Une explication textuelle n'est pas forcément une explication causale

Regarder une explication ne suffit pas

Un modèle de reconnaissance de douleur peut produire une carte d'attention ou une phrase plausible sans utiliser réellement les concepts cliniques annoncés. Alam Noor et Miguel Gutiérrez Gaitán étudient ce problème sur l'échelle d'expression faciale de la douleur chez le mouton.

Tester la nécessité des concepts

Le premier modèle laisse chaque région faciale consulter des embeddings textuels de descripteurs cliniques. Les auteurs constatent qu'ablation d'un descripteur change à peine le logit et que le signal le plus regardé correspond peu au niveau prédit. Ils remplacent ensuite le bypass d'apparence par un bottleneck conceptuel dont le classifieur ne lit que des scores SPFES supervisés par région.

Résultats rapportés

Le résumé indique une perte de 0,05 à 0,10 en kappa, mais une récupération de certains états minoritaires à 3,5–8,3 fois leur fréquence de base. Les ordres de sévérité des oreilles et des yeux émergent sans supervision directe de la sévérité. Retirer la supervision laisse le kappa stable tout en faisant tomber l'accuracy conceptuelle à 0,109.

Interprétation éditoriale : exiger une intervention qui change le résultat

Un agent explicatif devrait pouvoir montrer qu'un concept est nécessaire à sa décision, pas seulement qu'il l'a mentionné. Les tests d'ablation, de perturbation et de bottleneck peuvent compléter les explications textuelles. Dans un domaine sensible, une carte séduisante n'est pas une preuve suffisante.

Limites et statut de la source

Le protocole concerne un jeu d'images et un domaine vétérinaire précis ; l'imbalance clinique rend les scores agrégés trompeurs. Les résultats ne constituent pas un outil de diagnostic. Le document est un preprint ArXiv.

Source

Alam Noor et Miguel Gutiérrez Gaitán, « When Do Language-Grounded Explanations Help? A Graph-Bottleneck for Farm Monitoring Interpretable Sheep Facial Pain », ArXiv 2609.20427v1 : résumé et preprint, PDF.