Article · IA & agents
dQwen3.5 : adapter un backbone hybride en modèle de diffusion
Ce que change l’alternance attention–RNN lorsqu’un modèle autoregressif devient un modèle de langage diffusif.
Un backbone hybride pour la diffusion
Les modèles de langage diffusifs peuvent générer plusieurs positions en parallèle, mais leur adaptation commence souvent avec un transformer à attention complète. dQwen3.5 étudie une autre base : une architecture autoregressive hybride qui alterne attention et couches récurrentes.
La recette d’adaptation
Le papier adapte Qwen3.5 aux échelles 0,8B, 2B, 4B et 9B. Comme les couches récurrentes sont causalement structurées, l’adaptation doit gérer leur compatibilité avec une attention bidirectionnelle. Le protocole conserve l’alignement de lecture autoregressive grâce au décalage des tokens, puis entraîne le modèle dans un cadre de diffusion masquée.
Les observations rapportées
Par rapport à un contrôle à attention complète, le backbone hybride atteint un niveau de perte donné avec environ deux fois moins de tokens dans l’expérience principale. Les auteurs rapportent aussi un comportement de décodage dans n’importe quel ordre comparable à celui de modèles diffusifs à attention complète, ainsi que de bonnes performances en décodage parallèle.
Le document insiste toutefois sur le coût d’une adaptation excessive : les tableaux comparent des checkpoints à 50 et 100 milliards de tokens et montrent que prolonger l’adaptation n’améliore pas systématiquement chaque modèle. La qualité dépend donc du budget, de la taille et du protocole d’évaluation.
Pourquoi cela intéresse les équipes
Une architecture hybride peut être évaluée sur deux axes distincts : coût d’entraînement et vitesse de génération. La génération parallèle n’est utile que si la baisse du nombre d’étapes ne dégrade pas la qualité sur les tâches visées. Les benchmarks de code et de texte doivent donc être accompagnés d’une mesure de latence et de la qualité selon le budget de décodage.
Limites
Les comparaisons portent sur les familles et les recettes choisies par les auteurs. Un gain de tokens n’est pas automatiquement un gain de coût total : il faut inclure les accélérateurs, la mémoire, les étapes de décodage et les checkpoints retenus. Le preprint ne remplace pas une mesure sur le trafic d’une équipe.
Sources
Auteurs de l’équipe dQwen3.5, « dQwen3.5: Hybrid-Attention Diffusion Language Models », ArXiv 2609.20751v1, consulté le 22 septembre 2026 : résumé et preprint, PDF.