WiC n'est pas WSD : pourquoi les sens explicites aident les LLM

Deux tâches qui se ressemblent

Word-in-Context (WiC) demande si un mot a le même sens dans deux phrases. La désambiguïsation de sens (WSD) demande plutôt de choisir une définition dans un inventaire donné. L'article soutient que cette différence de cadrage compte : WiC laisse le modèle deviner lui-même le niveau de finesse attendu.

Résultats rapportés

Les auteurs testent six modèles ouverts sur des variantes WiC à granularité grossière et fine, ainsi que sur WSD. Ajouter des sens candidats améliore la moyenne de la WiC grossière de 78,5 % à 84,9 % avec raisonnement explicité, et de 74,9 % à 81,0 % sans celui-ci. Dans la variante fine, le meilleur réglage avec options atteint 71,9 %, contre 67,7 % sans options. La WSD grossière atteint 92,7 % en moyenne, ce qui laisse un écart avec WiC même quand l'inventaire est identique.

L'analyse humaine des erreurs nuance ces scores : sur 120 erreurs WiC grossières échantillonnées, 39 prédictions sont jugées correctes par les annotateurs. Les modèles produisent aussi souvent une distinction plus fine que l'annotation de référence.

Interprétation éditoriale

Un benchmark binaire ne mesure pas uniquement la compréhension lexicale. Il mesure aussi l'alignement sur les frontières de sens choisies par ses annotateurs. Pour évaluer un agent, il est donc utile de fournir les définitions attendues ou de documenter explicitement la granularité, puis de séparer erreur de sens, erreur de comparaison et désaccord d'annotation.

Limites

L'étude porte sur l'anglais, six modèles ouverts et vingt mots pour les expériences grossières. Fournir des options transforme volontairement WiC en une tâche plus proche de WSD : le résultat ne remplace donc pas le benchmark WiC standard. Les annotations humaines portent sur des échantillons d'erreurs, pas sur l'ensemble des instances.

Source

Résultats des auteurs, ArXiv 2609.20593v1, publié le 17 septembre 2026 : résumé et preprint, PDF.