Article · IA & agents
Une mémoire légère pour les agents de manipulation
Workspace Models compresse les éléments utiles d'une histoire visuelle en un état latent interrogable au déploiement.
Plus d'historique ne signifie pas plus de contexte utile
Une tâche de manipulation longue dépend d'événements passés, mais donner toute l'histoire à une politique peut aussi introduire des corrélations parasites. Nitish Dashora, Douglas Chen, Idan Shenfeld, John Marangola, Pulkit Agrawal et Max Simchowitz proposent Workspace Models pour apprendre une mémoire compacte centrée sur ce qui est pertinent pour l'action courante.
Le workspace token
Pendant l'entraînement, un modèle vision-langage identifie les informations présentes et historiques nécessaires à la tâche. Un décodeur de reconstruction distille ensuite ces éléments dans un état latent appelé workspace token. Au déploiement, cet état peut remplacer les observations historiques et être interrogé sans nouvelle requête VLM dans la boucle.
Le choix est important pour un agent : une opération coûteuse de sélection de contexte est amortie avant l'exécution. La mémoire n'est donc pas une simple fenêtre tronquée ; elle est une représentation apprise de ce qui aide la politique.
Résultats rapportés
Le résumé indique des évaluations en simulation et sur matériel réel. Les workspace tokens remplacent les observations pour des tâches nécessitant de la mémoire et donnent, dans les expériences rapportées, de meilleures performances tout en étant plus légers que les requêtes VLM dans la boucle.
Interprétation éditoriale : compresser avec une preuve de pertinence
Pour un agent logiciel, la même idée invite à conserver un état de travail structuré plutôt qu'une trace infinie. Les éléments retenus devraient néanmoins rester inspectables : origine, date, décision qui les a sélectionnés et test montrant qu'ils suffisent pour la tâche. Une mémoire compacte non vérifiable peut simplement déplacer l'erreur dans une boîte noire.
Limites et statut de la source
L'architecture utilise un encodeur autoregressif dont le coût croît avec la longueur des séquences. La supervision de saillance dépend du grounding du VLM et les auteurs ne comparent pas toutes les méthodes hiérarchiques concurrentes. Le document est un preprint ArXiv.
Source
Nitish Dashora, Douglas Chen, Idan Shenfeld, John Marangola, Pulkit Agrawal et Max Simchowitz, « Workspace Models: Lightweight Robotic Memory via Saliency-Driven Supervision », ArXiv 2609.20820v1 : résumé et preprint, PDF.