Article · IA & agents
Mettre à jour les skills d'un agent sans propager chaque erreur
SkillAA relie une erreur observée à une zone précise du graphe de skills et soumet chaque modification à des gates puis à un rollback.
Un échec ne dit pas toujours quoi modifier
Une trajectoire ratée peut venir d'un mauvais déclencheur, d'une étape d'exécution, d'une frontière d'applicabilité ou d'une relation entre skills. Modifier tout le référentiel à partir du seul résultat final risque de dégrader des tâches qui fonctionnaient. Ziqiao Shang, Ling-Yue Ge et Lan-Zhe Guo proposent SkillAA pour localiser la réparation avant de l'appliquer.
Graphe et attribution
SkillAA représente dans un graphe les conditions d'utilisation, l'exécution et la composition des skills. Le système compare des exécutions réussies et échouées, puis route une réparation vers l'objet de graphe jugé responsable. L'édition reste locale et une catégorie d'échec peut conduire à ne rien modifier lorsqu'il s'agit d'une erreur ponctuelle ou d'un manque de preuve.
Deux contrôles filtrent les propositions. La Local Gate teste les cas probablement affectés ; la Big Gate vérifie ensuite la modification sur l'ensemble de mise à jour. Une proposition rejetée revient à l'état précédent. Les jeux de test restent réservés à l'évaluation finale, pas à la mise à jour.
Résultats rapportés
Le résumé rapporte 81,5 % sur SearchQA, 66,7 % sur LiveMath et 91,2 % sur DocVQA avec gpt-5.6-sol, ainsi que la meilleure moyenne observée dans chaque réglage principal. Ces chiffres soutiennent l'utilité du routage par attribution et de la validation à l'échelle du graphe dans le protocole présenté.
Interprétation éditoriale : une mémoire doit être réversible
Une bibliothèque de skills ne devrait pas croître uniquement par accumulation. Chaque nouvelle procédure doit conserver sa source, ses conditions d'application, ses tests de conflit et un retour arrière. Le pattern de SkillAA est utile même sans adopter son algorithme : diagnostiquer, éditer localement, tester les voisins, puis promouvoir avec une preuve.
Cette discipline protège aussi contre les corrections qui « améliorent » un cas en en cassant un autre. L'agent doit pouvoir signaler qu'il n'a pas assez de preuves pour attribuer l'échec à un skill, au lieu de produire une mise à jour automatique.
Limites et statut de la source
Les performances dépendent des benchmarks, des modèles et de la définition des gates. Une attribution erronée peut encore conduire à une mauvaise zone de réparation. Le document est un preprint ArXiv et ne constitue pas une garantie de sûreté d'une bibliothèque de skills en production.
Source
Ziqiao Shang, Ling-Yue Ge et Lan-Zhe Guo, « SkillAA: Attribution-Guided Skill-Graph Updating with Targeted Validation and Rollback », ArXiv 2609.20455v1 : résumé et preprint, PDF.