Article · IA & agents
Quand un agent doit-il cesser de suivre son professeur ?
RetireOPD apprend à un étudiant sans skills à abandonner progressivement un enseignant privilégié lorsque l'écart de réussite cesse de diminuer.
La supervision doit avoir une fin
Dans un agent multi-tour entraîné par renforcement, une récompense unique arrive souvent à la fin de la trajectoire. La distillation on-policy ajoute un signal dense produit par un enseignant disposant de skills privilégiés. Yan Yu et ses coauteurs observent toutefois que cet enseignant n'est pas toujours fiable et que son utilité varie selon le stade d'apprentissage.
Adaptive Retirement
RetireOPD entraîne d'abord un enseignant conditionné par les skills et les récompenses de l'environnement, puis forme un étudiant sans skills avec RL et distillation. L'étudiant surveille l'écart avec l'enseignant. Lorsqu'il atteint une fraction cible de sa réussite et que l'écart ne se réduit plus, il retire la distillation et poursuit avec le RL seul.
Ce calendrier est donc piloté par l'apprentissage, plutôt que fixé d'avance. Il évite de maintenir indéfiniment une béquille qui pourrait limiter l'autonomie de l'étudiant.
Résultats rapportés
Sur des modèles Qwen2.5 de 1,5B à 7B, le résumé rapporte des gains de réussite de 14,1 % à 18,8 % sur ALFWorld par rapport au RL seul, et de 11,8 % à 19,0 % sur WebShop. L'étudiant dépasse son propre enseignant conditionné par les skills dans tous les réglages rapportés.
Interprétation éditoriale : rendre la dépendance mesurable
Dans un workflow agentique, une procédure assistée peut être utile au démarrage sans devoir devenir une dépendance permanente. Il faut mesurer l'écart entre la trajectoire proposée par le skill, la décision de l'étudiant et la réussite réelle, puis conserver une règle de retrait réversible.
Limites et statut de la source
Les résultats dépendent d'ALFWorld, WebShop, des modèles et du protocole de récompense. Le retrait automatique peut échouer si la métrique de divergence est mal choisie. Le document est un preprint ArXiv.
Source
Yan Yu, Zhengxi Lu, Yizhou Liu, Yichen Pan, Aozhe Wang, Qipeng Chen, Hua Yang, Wenqi Zhang, Weiming Lu, Qianglong Chen et Yongliang Shen, « RetireOPD: Self-Retiring On-Policy Distillation for Agentic Reinforcement Learning », ArXiv 2609.20784v1 : résumé et preprint, PDF.