Article · IA & agents
Évaluer les sous-domaines d'un agent quand les labels sont rares
Prediction-powered smoothing combine prédictions et échantillonnage pour estimer plus prudemment la performance de domaines peu annotés.
Une moyenne globale cache les écarts
Un agent peut bien fonctionner sur une famille de tâches et échouer sur une autre. Or les campagnes exhaustives sont coûteuses et les labels humains ne sont pas également disponibles dans chaque domaine. Sho Kawano, Zehang Richard Li et Paul A. Parker traitent l'ensemble d'évaluation comme une population finie et cherchent à estimer chaque moyenne de domaine avec des intervalles utiles.
Du PPI au PP-S
Les auteurs partent de l'inférence alimentée par les prédictions. Leur prediction-powered smoothing (PP-S) ajuste un modèle bayésien à l'estimation propre à chaque domaine ; une extension, PP-TS, emprunte de l'information à une taxonomie de reporting. L'objectif est de stabiliser les petits domaines sans faire passer une prédiction non vérifiée pour un label.
Le travail propose aussi un score de validation approximativement sans biais, fondé sur le plan d'échantillonnage. Il sert à choisir entre estimateurs directs et lissés sans réserver nécessairement un gros échantillon indépendant.
Résultats rapportés
Le résumé décrit deux contextes : un benchmark avec correction vérifiable et du trafic d'agents déployés dont les résultats sont annotés par des humains. Dans les deux cas, les estimateurs proposés améliorent les estimations ponctuelles et par intervalle par rapport aux estimateurs directs, avec une couverture proche de la cible. Le score de validation sélectionne aussi correctement à budget comparable.
Interprétation éditoriale : montrer l'incertitude par segment
Pour un agent, le tableau de bord devrait donner un score par type de tâche, avec le nombre d'éléments réellement vérifiés et l'intervalle d'incertitude. Une moyenne globale peut masquer une régression sur le domaine le plus sensible. Le lissage aide à utiliser des signaux de modèle, mais ne doit pas effacer la séparation entre prédiction et observation.
Limites et statut de la source
Les propriétés dépendent du plan d'échantillonnage, de la qualité des prédictions et de la taxonomie. Un estimateur plus précis n'est pas une preuve de causalité ni une garantie de performance future. Le document est un preprint ArXiv.
Source
Sho Kawano, Zehang Richard Li et Paul A. Parker, « Prediction-Powered Smoothing and Validation for Disaggregated AI Evaluation », ArXiv 2609.20758v1 : résumé et preprint, PDF.