Article · IA & agents
Tester si un agent comprend vraiment une demande de santé multilingue
HerHealthEval varie langue, registre et niveau de précision pour mesurer la clarification et le sous-triage dans les échanges sur la santé des femmes.
Comprendre une demande n'est pas seulement bien répondre
Un agent de santé peut produire une phrase fluide tout en ayant mal compris le risque ou en omettant de demander une précision nécessaire. Hassan Saeed Hassan Albattra, Mazen Mohammed Bahgat, Rahatara Ferdousi, Hana Essam Sayed Ahmed Amrya et Mariam Mousa proposent HerHealthEval pour tester cette étape en amont.
Six formes et trois langues
Chaque cas clinique existe en anglais, français et arabe standard moderne. Cinq formulations — canonique, clinique, grand public, indirecte ou prudente, émotionnellement inquiète — conservent la même information. Une sixième formulation retire volontairement un détail pour vérifier si le modèle demande une clarification.
Le framework mesure classification de la préoccupation, calibration du risque, comportement de clarification, conformité du parsing et cohérence entre formes.
Résultats rapportés
Les auteurs indiquent qu'une bonne exactitude agrégée peut cacher des erreurs de sécurité. Dans une adaptation multilingue, le sous-triage atteint 0,994 en français et en arabe dans la configuration décrite. Une réadaptation contrôlée avec des labels de risque invariants par langue réduit ce sous-triage à 0,572 et 0,558 respectivement.
Interprétation éditoriale : faire de la clarification une action de sécurité
Un agent ne devrait pas être récompensé pour répondre à tout prix. Lorsque l'information manque, demander ce qui manque peut être le comportement correct. Les jeux d'évaluation doivent donc inclure des paraphrases, des registres indirects et des cas où la seule sortie acceptable est une clarification prudente ou une orientation humaine.
Limites et statut de la source
Les cas, langues et modèles sont ceux du benchmark. Les résultats ne constituent pas un triage clinique ni un conseil médical. Le document est un preprint ArXiv ; toute utilisation réelle exige une validation professionnelle et réglementaire.
Source
Hassan Saeed Hassan Albattra, Mazen Mohammed Bahgat, Rahatara Ferdousi, Hana Essam Sayed Ahmed Amrya et Mariam Mousa, « HerHealthEval: Evaluating Multilingual and Register-Sensitive Understanding of Women's Health Communication », ArXiv 2609.20684v1 : résumé et preprint, PDF.