Article · IA & agents
Collecter les démonstrations humaines là où la politique hésite
HIL-UMI utilise l'écart entre une action humaine et la prédiction d'une politique pour cibler le post-entraînement d'un VLA.
Toutes les démonstrations ne se valent pas
Une politique Vision-Language-Action peut bien imiter les exemples connus tout en échouant sur des états hors distribution. Zimu Han, Yiming Zeng, Jiyao Zhang, Zihao Zhao, Yuanfei Wang, Yixiang Jin, Shiqi Li, Shuangben Chen, Wei Huang, Ruodai Li, Hui Shen et Hao Dong proposent HIL-UMI pour cibler les nouvelles données au lieu d'en collecter uniformément.
Un bouclage sans robot
Pendant une démonstration UMI tenue à la main, HIL-UMI interroge la politique sur le même flux d'observation mais n'exécute pas sa prédiction. Un Energy Score compare la trajectoire humaine et l'inférence ; un écart important déclenche la collecte d'une région probablement hors distribution.
Une seconde boucle estime les segments essentiels à partir d'un avantage en ligne faible. L'estimateur guide ensuite un clonage comportemental conditionné par l'avantage, avec un mélange équilibré de démonstrations initiales et de nouvelles données issues de la politique.
Résultats rapportés
Le résumé indique des améliorations constantes par rapport au SFT sur quatre tâches réelles, longues ou précises. HIL-UMI dépasse HG-DAgger sur Clean Up Table avec un temps de collecte par image inférieur dans l'expérience rapportée.
Interprétation éditoriale : demander l'aide humaine au bon endroit
Pour un agent logiciel, la supervision humaine peut être déclenchée par un désaccord entre l'action proposée et un comportement de référence, plutôt que par un échantillonnage aveugle. La trace doit montrer l'état vu, l'action proposée, la raison de l'escalade et la correction.
Ce mécanisme réduit le volume à annoter, mais ne supprime pas le besoin de vérifier que le score détecte vraiment les cas importants. Un désaccord de style et une action dangereuse ne doivent pas recevoir la même priorité.
Limites et statut de la source
Les expériences portent sur quatre tâches robotiques et la collecte utilise l'interface UMI. La qualité dépend de l'estimateur d'avantage et du score d'écart. Le document est un preprint ArXiv.
Source
Zimu Han, Yiming Zeng, Jiyao Zhang, Zihao Zhao, Yuanfei Wang, Yixiang Jin, Shiqi Li, Shuangben Chen, Wei Huang, Ruodai Li, Hui Shen et Hao Dong, « HIL-UMI: Bringing Human-in-the-Loop Post-Training of Vision-Language-Action Models to Universal Manipulation Interface », ArXiv 2609.20659v1 : résumé et preprint, PDF.