Article · IA & agents
La confiance intrinsèque ne suffit pas pour router un RAG
Une étude pré-enregistrée sépare la faiblesse d'un score de vraisemblance, l'échec d'un routeur et la facilité du jeu de questions.
Un signal séduisant
La probabilité moyenne des tokens générés semble pouvoir décider quand adapter un modèle, préférer une réponse paramétrique ou s'abstenir. Le papier teste cette intuition dans une QA extractive où les questions sont générées à partir des passages contenant déjà la réponse.
Résultats rapportés
Quatre modèles ouverts de 7 à 9 milliards de paramètres sont évalués sur deux corpus. La récupération seule couvre 92 à 99,8 % de la meilleure exactitude combinée possible. Le score de vraisemblance atteint une AUROC de 0,65 à 0,81 selon les critères, sans amélioration stable après adaptation. Le déclencheur de distillation échoue ses critères pré-spécifiés sur les quatre familles, et le pilote de routage échoue aussi. Les auteurs soulignent que, sur Gemma, retirer le terme de confiance change le verdict du sélecteur : l'échec ne peut donc pas être attribué uniformément au seul signal.
Interprétation éditoriale
Avant de construire un routeur, mesurer le gain maximal qu'il peut atteindre est plus important que choisir un score sophistiqué. Si le meilleur assemblage dépasse à peine le meilleur mode, la complexité du routage ne paiera probablement pas son coût.
Limites
La récupération est volontairement dominante et la QA est extractive ; ces conclusions ne se transfèrent pas automatiquement au multi-hop, à la synthèse ou aux questions sans passage pertinent. Le routage n'est piloté que sur un modèle et deux corpus, avec une couverture inégale des adaptations.
Source
Résultats pré-spécifiés des auteurs, ArXiv 2609.19942v1 : résumé et preprint, PDF.