Guide · IA & agents
Question multi-hop : vérifier la relation nécessaire, pas seulement le bon document
Une grille de diagnostic pour repérer les faits manquants à chaque étape et éviter de relancer inutilement la recherche.
Définir l’unité de preuve
Une question à plusieurs étapes exige souvent des faits intermédiaires. Retrouver un document qui mentionne les bonnes entités ne suffit pas si la relation nécessaire manque. Le preprint propose donc d’évaluer la présence du fait à chaque étape du raisonnement.
Le juge reçoit la sous-question et les passages accumulés, sans la réponse intermédiaire attendue. Cette précaution limite une fuite directe de la réponse dans le diagnostic. Le contrôle porte sur la possibilité de répondre à partir du contexte, pas sur la simple présence d’une chaîne de caractères.
Classer deux défauts différents
Dans la terminologie du papier, un échec de récupération signifie que le passage de référence n’a pas été retrouvé. Un « extraction failure » désigne un cas où ce passage est retrouvé mais ne contient pas le fait requis.
Ce second terme peut prêter à confusion : il ne décrit pas seulement un lecteur ayant ignoré une information pourtant visible. La section officielle précise que, dans la grande majorité des cas examinés, la relation recherchée n’est pas explicitement présente dans les autres passages du corpus contenant la chaîne de réponse.
Une fiche par étape
Noter la sous-question, la relation attendue, les passages visibles, le verdict de présence et sa justification. Conserver séparément la récupération du passage de référence et la présence du fait. Si le juge hésite, maintenir le cas pour revue plutôt que le transformer en diagnostic certain.
Cette fiche constitue une adaptation éditoriale du protocole. Elle permet d’orienter l’action : relancer la recherche pour un passage absent, ou examiner la couverture documentaire et la représentation des faits lorsque le corpus ne contient pas la relation.
Pourquoi ne pas rechercher partout ?
Sur MuSiQue, l’intervention ciblée peut approcher ou dépasser celle effectuée à chaque étape en utilisant moins d’appels. Le détail par nombre d’étapes montre aussi que des recherches inutiles peuvent ajouter des passages trompeurs.
Le transfert n’est pas universel. Sur 2WikiMultihopQA, les interventions rapportées apportent peu de gain malgré de nombreux signalements par le prédicteur. Le nombre d’alertes n’est donc pas une mesure suffisante de leur utilité.
Limites de la méthode
L’étude utilise un seul modèle de raisonnement, un juge automatique et des corpus anglais fondés sur Wikipédia. L’accord humain du juge ne supprime pas ses biais possibles. Les auteurs ne proposent pas de solution validée pour tous les faits absents et ne testent pas ce prédicteur dans tous les types de RAG.
Les sections officielles sur la décomposition des erreurs et les limites complètent les passages locaux. Aucun pourcentage d’échec n’est présenté comme une constante de tous les systèmes multi-hop.
Source et statut
Source principale : Diagnosing the Fact-Grounding Gap in Multi-Hop Question Answering, prépublication ArXiv 2609.17043v1 · PDF. Les résultats rapportés sont ceux des auteurs ; les conseils de méthode sont une interprétation éditoriale. Publication éditoriale, sans reproduction expérimentale dans cette session.
Compléments officiels effectivement consultés : 6.5 Failure Mode Decomposition · Limitations. Lecture partielle ; voir les passages et limites consignés dans la frontmatter.