Article · IA & agents
Faire travailler ensemble vision et toucher dans un agent robotique
Agile-WAM prévoit des états visuels et tactiles à des horizons différents pour contrôler les contacts avec une latence réduite.
Le contact change plus vite que la scène
Dans une manipulation précise, deux signaux n'évoluent pas au même rythme. Les images successives peuvent rester proches alors qu'un contact provoque un changement tactile brutal. Hanchu Zhou, Brendan Lynch, Raman Goyal, Dechen Gao, Begum Kasap, Boqi Zhao et Junshan Zhang construisent Agile-WAM autour de cette différence.
Un modèle du monde orienté action
Agile-WAM encode les observations visuelles et tactiles dans un latent partagé. Un processus de Flow Matching produit des actions et prédit de futurs latents. La supervision est multi-horizon : la vision est prédite à un horizon plus éloigné, tandis que le tactile est prévu à la prochaine image pour conserver les détails du contact.
Cette architecture cherche à combiner une compréhension de la dynamique et une boucle de contrôle rapide. Le modèle ne se contente pas de produire un mouvement ; il utilise aussi une anticipation de l'état suivant.
Résultats rapportés
Les auteurs évaluent neuf tâches simulées et cinq tâches réelles de manipulation avec contact. Le résumé rapporte une meilleure réussite que la baseline la plus forte et une latence d'inférence de 11,9 ms. Dans les cinq expériences réelles, le gain relatif de réussite annoncé est de 29,4 %.
Interprétation éditoriale : observer après l'action
Un agent logiciel peut appliquer le même principe en séparant les signaux lents et rapides : état de configuration, résultat d'un test et événement critique ne méritent pas forcément la même fréquence de lecture. Le système doit identifier quelles observations déclenchent une pause ou une replanification.
Cette stratégie est utile seulement si les capteurs et vérificateurs sont fiables. Une prédiction de l'état futur ne remplace pas la lecture de l'état réel après une opération irréversible.
Limites et statut de la source
Les tâches sont centrées sur la manipulation et le contact ; les résultats ne mesurent pas tous les environnements robotiques. Les gains de latence et de réussite sont ceux du protocole du preprint. La publication ArXiv n'est pas une certification industrielle.
Source
Hanchu Zhou, Brendan Lynch, Raman Goyal, Dechen Gao, Begum Kasap, Boqi Zhao et Junshan Zhang, « Agile-WAM: An Agile Tactile World Action Model for Contact-Rich Robot Control », ArXiv 2609.20761v1 : résumé et preprint, PDF.