Article · Cybersécurité
Quand une baisse de toxicité masque une autre forme de préjudice
Harm laundering montre pourquoi un score de toxicité en baisse ne suffit pas à conclure qu'un modèle produit moins de préjudice représentatif.
Le score de surface peut baisser
Les évaluations de sécurité s'appuient souvent sur des classifieurs qui repèrent un contenu explicitement toxique. Sarah Wyer, Sue Black et Noura Al Moubayed proposent le terme harm laundering pour décrire un déplacement possible : le contenu discriminatoire disparaît de la surface, mais une représentation biaisée subsiste sous une forme moins détectée.
Un audit sur plusieurs générations
L'étude analyse 450 000 complétions dirigées vers le genre dans 15 modèles, de GPT-2 à GPT-5, selon trois conditions démographiques. Elle compare toxicité, sentiment, diversité thématique et préjudice représentatif, puis formalise un test en trois critères et un protocole de détection en trois étapes.
Résultats rapportés
Le résumé rapporte une disparition de certains clusters de violence sexuelle visant les femmes et l'apparition d'un territoire représentationnel positif pour les complétions visant les hommes. Dans l'expérience décrite, la diversité thématique des complétions visant les femmes diminue de 36 % par rapport à celles visant les hommes au point de transition GPT-4, tandis que les classifieurs indépendants jugent non toxique un contenu mis en avant dans l'analyse. REGARD et Detoxify ne suivent pas la même évolution.
Interprétation éditoriale : tester ce qui est représenté, pas seulement ce qui est interdit
Un agent de sécurité devrait conserver plusieurs axes d'évaluation : toxicité explicite, omissions, stéréotypes et diversité des représentations. Une réponse polie peut rester problématique si elle efface une population ou reformule une discrimination en langage acceptable.
Limites et statut de la source
Les résultats concernent une lignée de modèles, des prompts et des classifieurs déterminés. Ils ne permettent pas de généraliser à tous les systèmes. Le document est un preprint ArXiv et le protocole doit être reproduit avant toute décision.
Source
Sarah Wyer, Sue Black et Noura Al Moubayed, « Harm Laundering in GPT Models: Evidence That Gender Discrimination Is Transformed Rather Than Reduced Across Safety-Trained Generations », ArXiv 2609.20779v1 : résumé et preprint, PDF.