Une confiance par token ne décrit pas toujours une séquence

Le problème des décisions parallèles

Les modèles de diffusion discrets écrivent plusieurs positions à chaque étape. Ils tirent chaque token d'une distribution par position et utilisent ces mêmes distributions pour choisir quoi écrire. Russ Webb, Amitis Shidani, Alice Bizeul et Dan Busbridge analysent la limite de cette stratégie lorsque les tokens sont dépendants.

Les marges ne suffisent pas

Le résultat théorique présenté indique qu'une étape ne correspond à la distribution d'entraînement que si les positions écrites sont conditionnellement indépendantes compte tenu des tokens déjà fixés. Or deux distributions jointes peuvent avoir les mêmes marges par position tout en autorisant des combinaisons différentes.

Une confiance calculée séparément pour chaque position ne révèle donc pas toujours si le groupe de positions peut être écrit ensemble sans déformer la distribution. La limite concerne la structure conjointe, pas seulement la valeur de chaque score.

Résultats rapportés

Sur ScanAndAdd, tâche synthétique dont la distribution jointe est connue, les auteurs rapportent que chaque groupe d'au moins deux positions indéterminées écrit par un classement de confiance est dépendant. La distorsion mesurée atteint 29 fois le plancher de bruit d'échantillonnage en variation totale, alors que des métriques par échantillon valent 1,0.

Interprétation éditoriale : évaluer les actions en groupe

Pour un agent, vérifier la confiance de chaque sous-action ne garantit pas que leur combinaison est sûre. Un plan doit aussi être testé comme séquence ou comme état joint. Dans un workflow outillé, cette règle invite à valider les dépendances entre fichiers, permissions et mutations avant d'exécuter plusieurs actions en parallèle.

Limites et statut de la source

Les expériences reposent en partie sur ScanAndAdd et sur les familles de diffusion étudiées. Les implications pour chaque agent ou modèle doivent être reproduites. Le document est un preprint ArXiv.

Source

Russ Webb, Amitis Shidani, Alice Bizeul et Dan Busbridge, « Limits of Confidence in Diffusion », ArXiv 2609.20581v1 : résumé et preprint, PDF.