Quand le rôle donné à un LLM déforme l'analyse financière

La question de l'invariance

Ahmed Asaad, Amr Mohamed, Yang Zhang et Omneya Abdelsalam analysent 3 575 dépôts SEC avec 12 grands modèles de langage. Ils comparent une récupération conditionnée par persona, une récupération neutre et un contexte formulé comme une mémoire.

Leur distinction est utile : un EvidenceScore devrait rester invariant quand la preuve est identique ; un PersonalizedScore peut refléter un mandat ou une préférence. Mélanger ces deux niveaux fait passer un choix de rôle pour une propriété du document.

L'effet vient souvent de l'interprétation

Dans l'expérience où tous les rôles lisent des extraits neutres et identiques au niveau des octets, 69 % en moyenne de l'effet observé avec la récupération personnalisée subsiste ; la médiane est de 68 %, avec une plage de 44 à 89 % selon le modèle. Pour la persona ShortSeller, 8 modèles sur 12 conservent au moins 74 % de l'effet, et la médiane atteint 89,1 %.

Ces chiffres suggèrent qu'une grande partie du spillover ne vient pas seulement de la sélection des passages. Le rôle oriente encore la lecture et la notation d'une preuve partagée.

Mitiger sans promettre la neutralité

Les auteurs testent un cadrage qui sépare le profil utilisateur de la preuve, ainsi qu'une sortie distincte entre score d'évidence et score personnalisé. Ces mitigations réduisent le spillover mais ne l'annulent pas, et leur efficacité varie selon le modèle.

Interprétation éditoriale

Pour une analyse financière reproductible, il faut conserver les passages récupérés, les instructions de rôle et le type de score. La neutralité est une référence d'invariance expérimentale, pas une vérité externe : un score neutre peut être stable et néanmoins faux.

Dans un usage à enjeux élevés, on peut demander deux sorties séparées : « ce que disent les éléments cités » puis « ce que ce mandat en déduit ». Cette séparation rend le désaccord visible et facilite l'audit des changements de prompt, de modèle et de corpus.

Limites et prudence

L'étude dépend des documents SEC, des personas, des prompts et des métriques retenus. Elle mesure un effet de cadrage, non une performance d'investissement ni une vérité fondamentale des entreprises. Les résultats ne garantissent pas qu'une séparation de sorties supprimera les biais dans un autre modèle ou un autre contexte.

Sources

Ahmed Asaad, Amr Mohamed, Yang Zhang et Omneya Abdelsalam, « The Analyst in the Prompt: Role, Retrieval, and Memory Biases in LLM Financial Analysis », ArXiv 2609.03218v1 : résumé et preprint, PDF.