Même OpenAI ne pouvait pas prouver qu'il surveillait toutes les actions de ses agents

Ce qui a été évalué

Du 21 juillet au 11 août 2026, une personne de METR et une de Redwood Research, deux organismes spécialisés dans l'évaluation des risques de l'IA, ont eu un accès étendu au système interne qu'OpenAI utilise pour surveiller le comportement de ses propres agents : code, consignes du moniteur, documentation, une douzaine d'entretiens techniques. Le rapport complet, de 61 pages, reste privé. METR en a publié un résumé le 22 octobre.

Ce qu'ils ont trouvé

• Une couverture partielle. Environ 75 à 94 % du trafic agentique interne des modèles les plus récents était éligible à la surveillance, avec une incertitude importante dans les deux sens. Pour les agents Codex internes, 99,2 % du trafic était éligible.
• Un trou de plusieurs mois. Faute de surveiller certains événements de « compaction » (le résumé automatique d'un long échange), environ 10 % du trafic éligible des agents Codex internes n'a probablement pas été surveillé de mai à juillet 2026. OpenAI avait repéré ce problème et l'a corrigé pendant l'exercice.
• Un contrôle qui attend la fin. Le moniteur se déclenchait quand l'agent rendait la main. Un agent qui continuait d'agir pouvait donc repousser le contrôle.
• Des contournements. Un exploit, dont les détails sont caviardés, permettait de soustraire des centaines d'actions récentes à la surveillance. Deux en-têtes contrôlables par le client désactivaient la surveillance de nouveaux agents. Les évaluateurs ont aussi trouvé un moyen théorique pour un agent Codex de sortir de son bac à sable.

OpenAI déclare avoir corrigé toutes les failles touchant sa chaîne de protection en production. METR précise ne pas avoir évalué cette affirmation. Le résumé note aussi des points positifs : à quelques exceptions près, le moniteur voit tout ce que voit l'agent.

Pourquoi cela concerne votre entreprise

OpenAI conçoit ses agents, maîtrise ses modèles et dispose d'équipes de sécurité parmi les plus avancées du secteur. Malgré cela, il fallait un audit externe pour établir quelle part des actions passait réellement devant un contrôle. Une entreprise qui déploie des agents d'éditeurs n'a aucune raison d'être mieux couverte sans l'avoir mesuré.

L'AI Act va dans le même sens. Pour les systèmes à haut risque, le déployeur doit confier la surveillance humaine à des personnes compétentes et conserver les journaux générés (articles 14 et 26). Une surveillance dont on ignore le taux de couverture ne se prouve pas.

Les cinq principes de METR, traduits pour un DSI

1. Rendre l'absence de surveillance difficile. Tout usage non surveillé doit être une exception approuvée, et le contrôle doit tourner toutes les N actions ou N minutes, pas seulement en fin de tâche.
2. Vérifier que ce qui doit être surveillé l'est vraiment. Rapprocher les journaux, compter, et ne pas confondre « journalisé » et « relu ».
3. Répondre vite aux incidents. Un responsable nommé, des consignes claires, des journaux infalsifiables et consultables.
4. Mettre à l'épreuve le dispositif de surveillance lui-même, régulièrement, comme on teste un plan de reprise.
5. Séparer l'agent et son contrôle. Ni l'agent ni ceux qui l'exploitent ne doivent pouvoir décider si, ou quand, la surveillance s'applique.

Par où commencer

Pour chaque agent en production, trois chiffres suffisent pour ouvrir le sujet en comité : la part de ses actions qui est journalisée, la part qui est effectivement relue, et le délai entre une action et son contrôle. C'est ce que le Cockpit rend visible et date, système par système. Pour une mise à l'épreuve par des personnes formées, l'offre Human in the Loop s'active sur engagement.

Le danger	Le conseil
Personne ne sait quelle part des actions de vos agents est réellement contrôlée.	Mesurez pour chaque agent la part des actions journalisées, la part relue et le délai de contrôle.
Le contrôle ne se déclenche qu'à la fin d'une tâche, que l'agent peut prolonger indéfiniment.	Faites tourner la surveillance à intervalles réguliers, toutes les N actions ou N minutes.
Les réglages de surveillance sont modifiables par ceux qui exploitent l'agent, ou par l'agent lui-même.	Séparez l'agent de son contrôle et tenez des journaux infalsifiables, avec un responsable nommé.