Article · Cybersécurité
Tester si l'alignement survit aux exemples contradictoires
Stress-testing Alignment Midtraining examine les hypothèses d'un pré-entraînement orienté alignement et montre leur fragilité dans plusieurs configurations.
Généraliser hors distribution
On ne peut pas démontrer directement tous les comportements attendus d'un modèle dans tous les environnements futurs. Le alignment midtraining propose de poursuivre le pré-entraînement sur de grands volumes de documents pertinents pour favoriser cette généralisation. Sid Baines, Jonathan Bostock, Maria Angelica Martinez, Andrew Draganov, David Africa et Daniel Tan testent cette promesse.
Hypothèses mises à l'épreuve
Les auteurs étudient des modèles jusqu'à 110 milliards de paramètres et jusqu'à un milliard de tokens de midtraining. Ils examinent notamment des données de post-entraînement ambiguës entre deux motivations et des situations où seules certaines règles sont démontrées.
Résultats rapportés
Le midtraining peut orienter la motivation dans les versions simples du scénario. Mais une petite fraction de données de fine-tuning suggérant une motivation concurrente efface cet effet. Pour les règles, les démonstrations doivent apparaître dans le midtraining ou le post-training pour être apprises de façon robuste dans les réglages testés.
Les auteurs concluent qu'il n'existe pas encore assez de preuves publiques pour affirmer que cette méthode résout les difficultés centrales de l'alignement de systèmes puissants.
Interprétation éditoriale : tester la stabilité, pas seulement l'intention
Un agent ou un modèle peut sembler aligné sur un jeu de prompts tout en changeant de comportement après une petite modification du contexte d'entraînement. Les évaluations doivent donc inclure des exemples contradictoires, des règles non vues et des tests de transfert, avec la configuration exacte conservée.
Limites et statut de la source
Les scénarios et données sont contrôlés et ne couvrent pas tous les cas d'alignement. Les conclusions sont bornées aux réglages testés. Le document est un preprint ArXiv et appelle explicitement d'autres travaux.
Source
Sid Baines, Jonathan Bostock, Maria Angelica Martinez, Andrew Draganov, David Africa et Daniel Tan, « Stress-testing Alignment Midtraining », ArXiv 2609.20412v1 : résumé et preprint, PDF.