Article · IA & agents
Récompenser le feedback sans laisser les longues trajectoires dominer
BATON sépare l'attribution du feedback dans une trajectoire et la masse d'optimisation accordée à chaque trajectoire d'agent.
Deux biais dans une même optimisation
Une trajectoire d'agent contient des actions, des observations et un retour final. Deux choix peuvent pourtant se mélanger : comment attribuer le feedback à une action dans la trajectoire, et quelle masse donner à une trajectoire complète dans le batch. Le preprint présente BATON pour traiter ces deux axes séparément.
Ce que les auteurs rapportent
Bayesian Feedback Attribution repondère les actions selon la compatibilité entre le feedback observé et des actions alternatives. Trajectory Mass Normalization donne une masse égale aux trajectoires complètes au lieu de laisser le nombre de tokens valides décider de leur poids. Les auteurs évaluent ces composants avec GRPO et GiGPO sur ALFWorld, WebShop et des questions avec recherche.
Avec Qwen2.5-1.5B, le taux de réussite ALFWorld passe de 72,9 % à 85,6 % pour GRPO et de 86,8 % à 94,1 % pour GiGPO dans la comparaison rapportée. Sur WebShop, les valeurs correspondantes passent de 57,1 % à 68,2 % et de 67,1 % à 76,4 %. L'ablation 2×2 indique aussi que chaque axe apporte un gain et que leur combinaison reste supérieure aux composants pris séparément.
Lecture éditoriale : mesurer le budget d'interaction
Un agent peut échouer parce qu'il ignore une observation, mais aussi parce que les trajectoires longues pèsent trop dans l'apprentissage. Cette distinction est utile pour concevoir des journaux d'exécution : conserver les observations, les actions, la longueur et le retour permet de diagnostiquer quel niveau du pipeline déforme la mise à jour.
Les gains de benchmark ne suffisent pas à démontrer une fiabilité générale. Ils donnent une hypothèse de travail : tester séparément le crédit local et la pondération globale avant d'ajouter encore une récompense ou un outil.
Limites et statut de la source
Les résultats dépendent des modèles, environnements, budgets de rollout, récompenses et protocoles évalués. Le papier rapporte une baisse du nombre moyen d'actions et de tokens dans une configuration ALFWorld, mais cela ne prouve pas une baisse de coût dans tous les environnements. BATON ajoute un calcul d'évaluation de vraisemblance pour l'attribution bayésienne. Le document est un preprint.
Source
Yingxuan Zhuang, Binhe Yu, Jingxiao Yang, Ruopei Sun, Ziting Li et coauteurs, « Dual-Axis Policy Optimization for LLM Agents: Bayesian Feedback Attribution and Trajectory Mass Normalization », ArXiv 2609.19830v1 : résumé et preprint, PDF.