Article · Cybersécurité
Évaluer la conformité de LLM en chinois sans confondre refus et sécurité
Ce que mesure un benchmark de conformité aux exigences chinoises de contenu généré, et ce qu'il ne permet pas de conclure.
Une évaluation située
La conformité d'un système dépend d'un texte, d'une juridiction et d'une politique d'évaluation. Le benchmark étudié examine des réponses en chinois au regard d'exigences réglementaires chinoises, plutôt que de supposer qu'un test anglophone suffit.
Résultats rapportés
Le corpus rassemble 2 303 questions : 2 100 issues d'une suite de sécurité et 203 questions constitutionnelles construites par les auteurs. Vingt modèles sont évalués sur la conformité et le refus, avec trois juges et une mémoire d'alignement hiérarchique mise à jour à partir de retours d'experts. Sur un échantillon de 249 questions, l'accord entre le cadre et la majorité d'experts atteint 98,8 % d'exactitude et 93,3 % de F1 ; l'accord entre les trois experts eux-mêmes est plus modeste, avec un kappa de Fleiss de 0,610.
Les auteurs rapportent que plusieurs modèles internationaux franchissent leur seuil de conformité sur des questions chinoises standard, tandis que les écarts se concentrent sur des dimensions liées à l'alignement idéologique. Ils observent aussi qu'un refus peut augmenter la conformité apparente tout en réduisant l'utilité.
Interprétation éditoriale
Un taux de refus n'est pas un indicateur autonome de qualité. Il faut afficher séparément réponse correcte, refus total, refus partiel et non-conformité, puis faire relire les cas frontières par des experts du droit concerné.
Limites
Les résultats dépendent des versions de modèles, des questions et de la grille réglementaire retenues. La couverture de modèles et la validation experte restent limitées. Ce benchmark n'est ni un avis juridique ni une preuve de conformité durable après une mise à jour de modèle ou de réglementation.
Source
Résultats des auteurs, ArXiv 2609.19989v1 : résumé et preprint, PDF.