Article · IA & agents
Un groupe d'agents trop unanime n'imite pas forcément les humains
Une réplication de groupes Wason montre que le consensus simulé peut dépasser celui des groupes humains et rester faux.
L'unanime n'est pas une preuve
Le consensus final est parfois utilisé comme indice de cognition collective. Tengfei Shao rappelle qu'il dépend aussi de la définition de la participation et de l'état final. Son étude rejoue 100 groupes humains confrontés à une tâche de sélection de cartes de Wason avec des groupes d'agents LLM appariés, un agent par réponse initiale humaine.
Mesurer les asymétries
Les groupes humains ne produisent pas tous une réponse et les règles de score donnent des taux de consensus différents, de 24,0 % à 57,0 % selon la définition. Les agents, eux, publient presque toujours. L'étude utilise donc des comparaisons de sensibilité, notamment avec participation appariée, pour réduire l'asymétrie de mesure.
Résultats rapportés
Dans les comparaisons postérieures à l'aveugle, les groupes d'agents restent plus consensuels. L'écart atteint 34,0 et 43,9 points selon le mode dans la comparaison fondée sur les soumissions, puis 34,1 et 44,4 points dans la comparaison à participation appariée. Dans les 45 groupes sans participant silencieux, le consensus complet est de 51,1 % chez les humains contre 85,2 % en mode chat pour les agents.
Le consensus ne suit pas l'exactitude collective : dans une variante isomorphe, le raisonnement atteint une quasi-unanimité alors que 74,0 % des groupes s'accordent sur une mauvaise réponse.
Interprétation éditoriale : préserver le désaccord informatif
Un orchestrateur multi-agent devrait mesurer la diversité des hypothèses, les changements d'avis et la justesse finale, plutôt que récompenser l'accord seul. Une convergence rapide peut être une panne de raisonnement collectif. Les rôles, les tours et la visibilité des messages doivent être documentés pour interpréter le résultat.
Limites et statut de la source
Le protocole porte sur une tâche de Wason, un modèle servi et un modèle de robustesse. Il ne décrit pas une loi générale sur tous les groupes humains ou agents. Le document est un preprint ArXiv.
Source
Tengfei Shao, « Language-model groups overstate consensus when replaying human deliberation on a reasoning task », ArXiv 2609.20543v1 : résumé et preprint, PDF.