Article · IA & agents
Détecter quand un modèle est vraiment en train de copier
SwitchSD utilise les signaux internes d'un LLM pour choisir entre brouillon neuronal et copie du contexte dans le décodage spéculatif.
Copier vite peut aussi tromper
Le décodage spéculatif accélère un grand modèle en faisant proposer des tokens par un brouillon. Une stratégie peut copier des séquences du contexte, mais un simple chevauchement de n-grammes confond parfois répétition accidentelle et véritable intention de copier. Roy Eisenstadt, Ido Cohen, Edo Cohen-Karlik, Lior Wolf et Itamar Zimerman proposent SwitchSD pour distinguer ces cas.
Un signal de contrôle interne
SwitchSD entraîne de petites sondes sur les représentations internes du modèle cible afin de détecter une intention de copie. Le système choisit alors dynamiquement entre un brouillon neuronal, comme EAGLE, et une copie fondée sur le contexte. La copie devient un régime contrôlé plutôt qu'une heuristique déclenchée par une ressemblance de surface.
Résultats rapportés
Le résumé annonce une AUC supérieure à 0,99 pour la détection d'intention de copie. Sur les familles Llama et Qwen, les auteurs rapportent jusqu'à 15 % de débit supplémentaire par rapport à des baselines comme EAGLE3.
Interprétation éditoriale : choisir le chemin d'exécution avec un signal mesuré
Un agent long contexte peut lui aussi choisir entre réutiliser une preuve récente, relire le contexte ou faire appel à un modèle plus coûteux. La décision doit être fondée sur un signal testé et sur une politique de repli. Une heuristique rapide qui déclenche trop souvent le mauvais chemin peut annuler son gain.
Le contrôle doit rester observable : journaliser la stratégie choisie, la confiance de la sonde, le coût et la qualité finale. Une optimisation de débit ne doit pas masquer une dégradation de fidélité.
Limites et statut de la source
Les gains sont mesurés sur les familles et jeux de données du preprint. Une sonde peut être sensible au domaine, au modèle ou à la température. Le document est un preprint ArXiv et ne garantit pas un gain sur un agent spécifique.
Source
Roy Eisenstadt, Ido Cohen, Edo Cohen-Karlik, Lior Wolf et Itamar Zimerman, « To Copy or Not to Copy: Controlling Speculative Decoding via Intrinsic Model Signals », ArXiv 2609.20186v1 : résumé et preprint, PDF.