Article · Cybersécurité
Automatiser le steering d'un modèle sans oublier sa surface d'attaque
Deep Noir découvre des points d'intervention dans les têtes d'attention et mesure aussi le risque d'injection lié au steering.
Le steering reste souvent manuel
Modifier le comportement d'un LLM à l'inférence peut améliorer une tâche, mais il faut encore choisir où intervenir et avec quelle intensité. Frank E. Bobe, Gregory D. Vetaw, Darshan W. Bryner, Matthew G. Cook et Jose L. Salas-Vernis présentent Deep Noir, un moteur qui utilise la convergence du Logit Lens et une attribution causale au niveau des têtes pour découvrir ces paramètres.
Découvrir et transférer
Le framework cherche des points d'intervention à travers plusieurs tailles et architectures. Le résumé rapporte que le steering découvert se transfère entre tâches et modèles dans les expériences de spam et de sentiment. Cette automatisation vise à réduire les modifications de code manuelles et à relier l'intervention à un mécanisme interprétable.
Résultats et risque
Les auteurs rapportent +16,7 points sur le spam à 1B et des gains de +21 à +42 points à 7–9B sur quatre architectures, ainsi que +13,1 points sur SST-2 dans le résumé. Ils observent aussi une surface d'attaque de prompt injection liée au steering, dont la vulnérabilité augmente avec sa magnitude.
Interprétation éditoriale : une amélioration est aussi une nouvelle configuration
Un agent qui utilise le steering devrait versionner le vecteur ou l'intervention, son intensité, les tâches de validation et les scénarios adversariaux. Une hausse de score ne suffit pas si elle rend le modèle plus sensible à une instruction parasite. La configuration de sécurité fait partie du résultat, pas d'un détail de déploiement.
Limites et statut de la source
Les gains sont rapportés sur des tâches et architectures déterminées ; ils ne prouvent pas une amélioration générale. Le lien entre steering et injection demande une évaluation spécifique au modèle et au domaine. Le document est un preprint ArXiv.
Source
Frank E. Bobe, Gregory D. Vetaw, Darshan W. Bryner, Matthew G. Cook et Jose L. Salas-Vernis, « Deep Noir: Autonomous Steering Discovery via Architectural Chronometry in Transformer Models », ArXiv 2609.20722v1 : résumé et preprint, PDF.