Article · IA & agents
Promptfoo après l’annonce OpenAI : ce qui change vraiment
Une lecture prudente du rapprochement annoncé entre OpenAI et Promptfoo : statut, licence, évaluations locales et points à vérifier avant d’adapter un workflow.
L’annonce ne vaut pas une feuille de route
Le 9 mars 2026, OpenAI a annoncé son intention d’acquérir Promptfoo. La formulation compte : l’annonce décrit une opération soumise aux conditions de clôture habituelles. Elle ne constitue donc pas, à elle seule, un calendrier détaillé, une nouvelle API ou un engagement de compatibilité pour chaque intégration existante.
La page d’accueil du dépôt Promptfoo indique désormais que le projet fait partie d’OpenAI, tout en restant open source sous licence MIT. Ces deux faits peuvent coexister avec une période de transition : le dépôt, les versions publiées, les intégrations et les politiques associées doivent continuer à être vérifiés séparément.
Ce qui change et ce qui ne change pas
Le changement le plus solide est institutionnel : l’outil est désormais présenté dans l’écosystème OpenAI. En revanche, on ne peut pas déduire de cette annonce que les tests sont devenus gratuits, que les résultats sont garantis, que toutes les données restent locales ou que les anciennes configurations seront compatibles indéfiniment.
Le README actuel décrit Promptfoo comme un outil d’évaluation et de red teaming pour plusieurs fournisseurs. La licence MIT porte sur le code distribué ; elle ne transforme pas les conditions d’utilisation de chaque modèle distant, ni les obligations liées aux jeux de données et aux journaux que l’équipe choisit d’envoyer à un fournisseur.
Évaluation locale et red teaming distant
Il faut distinguer deux flux avant de parler de « test local » :
- Le scénario local : les assertions, les fixtures et l’orchestration peuvent s’exécuter sur la machine ou dans la CI de l’équipe. Cela ne signifie pas que le modèle appelé est local.
- Le scénario distant : une configuration qui utilise une API de modèle envoie les entrées nécessaires à ce fournisseur, selon ses propres conditions et paramètres de rétention.
- Le red teaming : les générateurs, cibles ou transforms sélectionnés peuvent ajouter des appels externes. La présence de Promptfoo dans le dépôt ne permet pas de connaître le parcours réel des données sans lire la configuration et les logs.
Avant un test sensible, inventoriez donc le fournisseur de chaque cible, le jeu de prompts injecté, les variables d’environnement, les artefacts conservés et la durée de rétention prévue. Un test qui passe mesure un comportement sur un corpus et une configuration donnés ; il ne prouve pas l’absence générale de vulnérabilité.
Une mise à jour sans effet de mode
Conservez l’ancienne configuration dans une branche ou un artefact de référence, puis comparez une petite matrice : même modèle, même version de l’outil, même corpus, mêmes critères et même budget d’appels. Notez séparément les changements de score, de latence, de coût et de couverture. Si un résultat varie, recherchez d’abord une variation de modèle, de température, de prompt système ou de dataset avant d’attribuer l’écart au rapprochement institutionnel.
Les critères utiles sont observables : taux de refus attendus, détection d’instructions parasites, respect d’un schéma, citations présentes quand elles sont requises et comportement sur les cas limites. Les seuils doivent rester propres au produit ; aucun score d’outil ne remplace une revue humaine des cas critiques.
Questions à poser avant de changer une dépendance
Demandez :
- quelle version exacte est épinglée et quelle version sera testée ;
- quels appels sortants le scénario déclenche réellement ;
- quels secrets et quelles données sont accessibles à la CI ;
- quelle licence couvre le code et quelles conditions couvrent les services appelés ;
- comment restaurer le runner, les seuils et les rapports précédents si une mise à jour modifie le comportement.
Cette liste vaut aussi pour un maintien sans changement. La bonne décision peut être de ne rien migrer tant que la nouvelle version n’a pas été comparée dans un environnement sans données sensibles.
Sources et limites
Sources officielles consultées le 22 septembre 2026 : l’annonce OpenAI du 9 mars 2026 et le dépôt Promptfoo. L’annonce décrit une acquisition projetée soumise à des conditions de clôture ; le dépôt et ses intégrations peuvent évoluer après cette date. Cet article ne promet ni stabilité d’API, ni confidentialité universelle, ni résultat de sécurité exhaustif. Il recommande de vérifier la version, la configuration et les conditions du fournisseur au moment du test.