Article · Cybersécurité
Un format accepté ne prouve pas qu’une vérification fonctionne
SecTB-RTL documente un incident où le fournisseur accepte des réponses structurées mais où le validateur de production n’en reconnaît presque aucune.
La frontière entre format et sens
Une sortie JSON valide peut rester inutilisable par le système qui doit l’exécuter. « Trust, but Validate the Instrument » étudie cette frontière dans la génération de plans de vérification RTL sur 31 tâches et 124 régressions de sécurité matérielle.
Le papier prend une décision méthodologique importante : lorsqu’une chaîne d’évaluation est cassée, il ne transforme pas l’incident en résultat favorable ou défavorable du modèle. Il le conserve comme incident de validation de l’instrument.
L’incident R3
Un premier run a échoué avant l’exécution du modèle parce que le fournisseur rejetait le schéma. Après une réparation limitée au schéma, un run séparé a terminé 1 860 appels. Le fournisseur en a accepté 1 857, mais seulement neuf ont passé le validateur sémantique de production.
La génération et l’exécution ne partageaient donc pas le même contrat. Le papier refuse de produire une estimation d’effet de prompt à partir de cette exécution.
La chaîne à valider
Les auteurs proposent de tester successivement fournisseur, schéma, contrat sémantique, renderer, persistance, reprise, validation golden et oracle de mutants. Chaque frontière peut changer le sens de l’artefact.
La compilation et la couverture restent des diagnostics. Elles ne remplacent pas une exécution complète de l’artefact sauvegardé, ni une vérification des reprises et des régressions cachées.
Lecture éditoriale
Dans un pipeline agentique, il faut conserver le fichier exact qui a été accepté, rendu, sauvegardé puis repris. Une validation sur l’objet en mémoire ne suffit pas si la persistance ou le renderer peuvent modifier sa sémantique.
Limites
Les régressions sont rédigées et ne représentent pas des exploits de production. L’incident porte sur un fournisseur, une surface, des alias et une DSL donnés. Il s’agit d’une preuve de défaut de chaîne, pas d’un classement universel des modèles.
Source primaire : arXiv:2609.19844v1, PDF.
Brief visuel
Composition 1536×1024 : chaîne de validation en plusieurs portes, document structuré passant la porte du schéma mais bloqué à la porte sémantique, traces et artefact persistant visibles en arrière-plan. Palette graphite, bleu électrique, orange d’alerte et blanc. Aucun code lisible, marque ou logo.