EconSkills : mesurer le transfert de compétences des agents web

Une expérience n’est pas encore une compétence

Un agent web peut réussir une tâche en suivant une suite de clics, de recherches et de vérifications. Mais une trajectoire réussie contient aussi des détails propres à l’instance : une date, un identifiant, une page particulière ou une valeur observée. Si l’on recopie toute cette trajectoire dans le contexte d’une nouvelle tâche, l’agent reçoit beaucoup d’informations et peu de procédure réellement réutilisable.

Le preprint EconSkills: Studying Skill Transfer and Retrieval for Web Agents on Live Economic Data étudie cette transformation. Les auteurs distillent des interactions web vérifiées en compétences paramétrées. Une compétence décrit son but, ses préconditions, sa procédure, les particularités du site, les contrôles à effectuer et les stratégies de récupération. Les valeurs propres à la tâche source sont remplacées par des paramètres.

L’évaluation porte sur des agents qui consultent des données économiques en direct. Le score ne dépend pas seulement d’une réponse textuelle plausible : la réponse doit contenir la valeur attendue et le navigateur doit terminer sur le domaine faisant autorité. Cette définition oblige à distinguer navigation, extraction exacte et vérification de provenance.

Les sept champs d’une compétence

La bibliothèque EconSkills organise chaque procédure autour de sept champs. Le nom identifie l’opération. Le but explique la question à résoudre. Les préconditions indiquent quand la compétence peut s’appliquer. La procédure décrit les étapes réutilisables. Les indications de site donnent les repères propres à l’interface. La vérification précise ce qui doit être confirmé. La récupération décrit quoi tenter lorsque la page, le sélecteur ou le parcours ne fonctionne pas.

Ce découpage empêche une confusion fréquente entre « savoir où cliquer » et « savoir si la réponse est correcte ». Une compétence peut conduire vers la bonne page tout en laissant l’agent lire la mauvaise unité, la mauvaise date, la mauvaise série ou la mauvaise catégorie de formulaire. Le champ de vérification transforme ces distinctions en conditions explicites.

Le champ de récupération est tout aussi important. Les sites changent, les contrôles dynamiques ne répondent pas toujours et une URL enregistrée peut devenir obsolète. Une procédure réutilisable doit donc prévoir une recherche de secours, une vue tableau ou une méthode alternative. La compétence ne promet pas que le parcours restera identique ; elle indique comment reconnaître et traiter un écart.

Trois questions expérimentales

Les auteurs séparent le transfert contrôlé, la récupération dans une bibliothèque et le rôle de la couverture. Dans l’expérience TRAJ1, une trajectoire brute est comparée à une compétence structurée. Dans MATCH1, la compétence correspondant à la famille de tâche est fournie directement. Cette condition isole le transfert : l’agent n’a pas à trouver la bonne compétence, mais doit savoir l’utiliser sur une variante.

La comparaison à grande échelle introduit ensuite la recherche. RETR5 fournit cinq compétences récupérées, RAND5 cinq compétences choisies aléatoirement, ALL50 toute la bibliothèque et HINT30 une indication optionnelle. Les tâches sont réparties entre celles qui ont une compétence directement couverte et celles qui n’en ont pas. Cette séparation évite de confondre la qualité d’une procédure avec la capacité du système à reconnaître qu’aucune procédure ne correspond.

Le protocole comprend 100 variantes pour l’étude contrôlée et 360 tâches pour le déploiement de la bibliothèque. Les conditions de déploiement sont exécutées une fois par tâche ; les variantes contrôlées utilisent trois exécutions par condition. Les auteurs signalent donc des différences de réussite et de pas, mais ne disposent pas d’une estimation de variance entre plusieurs runs pour chaque tâche du déploiement complet.

Un skill matché peut aider

Dans la comparaison contrôlée, MATCH1 améliore la réussite par rapport à l’absence de compétence sur les variantes tenues à l’écart. Le résumé des résultats rapporte 46 changements de l’échec vers la réussite et 21 changements dans le sens inverse sur les cellules appariées BASE/MATCH1. Au niveau des paires source-variante, la compétence améliore le résultat dans 27 cas et le dégrade dans 12 cas ; 29 paires restent réussies dans au moins une condition et 32 ne réussissent dans aucune condition.

Les trajectoires réussies sont aussi plus courtes lorsque l’agent dispose de la compétence correspondante. Sur les 102 cellules où BASE et MATCH1 réussissent toutes deux, MATCH1 utilise en moyenne 2,37 actions de moins, avec une différence médiane de deux actions. Le gain n’est pas universel : une procédure peut guider vers une page proche mais incorrecte, ou imposer une hypothèse qui ne correspond pas à la variante.

Cette nuance est centrale. Le résultat ne dit pas qu’une bibliothèque de procédures améliore automatiquement tous les agents web. Il indique qu’une procédure paramétrée peut transférer une méthode lorsque le domaine, le site et la structure de la tâche correspondent. Le transfert est une propriété conditionnelle, pas un effet magique de l’historique.

La retrieval compacte préserve le niveau de base

Dans le déploiement sur 360 tâches, RETR5 est la condition de bibliothèque la plus favorable. Elle obtient 28,3 % de réussite globale, contre 28,1 % pour BASE sans compétence ; la différence globale est donc statistiquement liée au niveau de base dans le protocole. Sur les 150 tâches directement couvertes, RETR5 atteint 48,0 %, contre 44,0 % pour BASE.

La bibliothèque complète ALL50 obtient 11,4 % globalement et 18,0 % sur les tâches couvertes. Cette baisse illustre une interférence de contexte : fournir de nombreuses procédures plausibles peut rendre plus difficile la sélection de celle qui convient. Cinq compétences récupérées constituent ici un compromis plus utile que les cinquante compétences disponibles.

HINT30 obtient 25,8 % globalement. Sur les variantes tenues à l’écart, BASE et HINT30 réussissent toutes deux 45 tâches sur 100. En revanche, sur les 210 tâches sans correspondance directe, le hint approximatif baisse la réussite de 16,7 % pour BASE à 11,4 %. Le système a donc besoin d’un mécanisme capable de refuser une compétence seulement voisine.

La couverture explique le résultat global. Sur les tâches auxquelles une compétence exacte peut s’appliquer, la récupération apporte un avantage numérique. Sur les tâches hors bibliothèque, une procédure approximative peut détourner l’agent d’un parcours plus général. La sélection doit donc être évaluée séparément de la qualité intrinsèque des procédures.

Atteindre la page n’est pas vérifier la réponse

Les exemples qualitatifs rendent cette distinction concrète. Pour une tâche ONS, BASE reste sur une interface générale de téléchargement pendant 30 étapes, tandis qu’un hint correspondant conduit vers la page de série temporelle dédiée et réussit en 14 étapes. Le skill apporte ici un raccourci de navigation et un repère de destination.

Un cas USCIS montre la limite inverse. Le hint atteint la section pertinente d’un formulaire, mais l’agent ne renvoie pas de valeur vérifiée dans la limite de 30 étapes. Arriver sur la bonne page ne suffit donc pas : il faut encore sélectionner la bonne catégorie, lire le bon montant et confirmer la date d’effet.

Les auteurs recommandent implicitement de vérifier le portail, le type de donnée, l’entité, la date, l’unité, la définition de la série, l’état d’ajustement, le millésime de publication et l’orientation de la cotation lorsque ces éléments sont pertinents. Cette liste n’est pas une garantie universelle ; elle montre plutôt le type de préconditions sémantiques qui manque à une simple suite de clics.

Construire une bibliothèque responsable

Une bibliothèque de compétences devrait conserver la portée de chaque procédure et les conditions qui permettent de la rejeter. Le système de retrieval peut comparer le domaine, la famille de tâche et le schéma d’interaction avant d’insérer un skill dans le prompt. Lorsqu’aucun match ne respecte ces préconditions, l’absence de skill est préférable à un conseil approximatif.

Les traces utilisées pour créer une compétence doivent également être vérifiées. Une trajectoire qui a atteint une valeur sans confirmer sa provenance ne devrait pas être promue automatiquement au rang de procédure fiable. La bibliothèque peut conserver la preuve de la page finale, la date de consultation et les contrôles appliqués, tout en distinguant les éléments génériques des valeurs particulières à la tâche source.

Enfin, une procédure doit être considérée comme périssable. Les sites évoluent, les filtres changent et les séries économiques peuvent être révisées. Le champ de récupération aide à encaisser ces changements, mais il ne remplace pas une nouvelle validation. Une compétence ancienne peut rester utile pour son raisonnement général et devenir dangereuse si elle est présentée comme une route actuelle garantie.

Ce que l’étude ne prouve pas

L’étude utilise un seul benchmark, un seul backbone d’agent et une limite fixe de 30 étapes. L’expérience MATCH1 suppose que la bonne famille de compétence est déjà connue ; elle mesure donc le transfert, pas la recherche. Les résultats de la bibliothèque combinent au contraire couverture, sélection et utilisation du skill.

Les conditions complètes sont exécutées une seule fois par tâche, ce qui limite l’estimation de la variabilité entre runs. Les 50 compétences sont extraites de trajectoires vérifiées avec un schéma donné ; une autre méthode d’extraction, une bibliothèque plus grande ou des sites modifiés pourraient produire d’autres résultats. Les valeurs économiques et les pages web évoluent également, même si le protocole prévoit des contrôles de domaine et de provenance.

Le document est un preprint ArXiv et ne doit pas être présenté comme une validation par les pairs. Sa contribution est méthodologique : rendre mesurable la différence entre réutiliser une procédure, récupérer un contexte pertinent et refuser une compétence qui ne couvre pas la tâche.

Le principe à retenir

EconSkills suggère une règle simple pour les agents web : l’expérience doit être distillée en procédure, la procédure doit être récupérée avec parcimonie et son application doit être vérifiée jusqu’à la source faisant autorité. La meilleure bibliothèque n’est pas celle qui fournit le plus de texte. C’est celle qui sait quand un skill correspond, quand il faut l’ignorer et quelles propriétés de la réponse doivent encore être contrôlées.

Sources

Yukun Zhang, Kemu Xu et Yishen Chen, « EconSkills: Studying Skill Transfer and Retrieval for Web Agents on Live Economic Data », ArXiv 2609.19523v1, consulté le 21 septembre 2026 : résumé et preprint, PDF.