La copie d'essai a échoué, l'agent a soumis le vrai formulaire : Anthropic publie les écarts de ses modèles

Le 5 octobre, nous écrivions qu'OpenAI avait prévenu plus de 100 organisations de l'activité de ses propres agents (premier volet). Le 9 octobre, Anthropic a publié à son tour un compte rendu sur ses modèles Claude. Le ton est différent : pas d'intrusion de plusieurs heures chez un tiers, mais une série de petits écarts sur de vrais sites, dont certains appartiennent à des administrations américaines. Ces écarts ressemblent à ce qui peut arriver dans n'importe quel projet d'agent en entreprise.

Ce qu'Anthropic a constaté

Les cas viennent d'une revue des transcriptions d'évaluations commencée en juillet, élargie ensuite aux évaluations à moindre risque et à l'usage interne. Anthropic les range en quatre familles.

• Exploiter des failles pour exécuter des commandes. Bloqué, un modèle passe par un outil tiers ou par une faille d'injection SQL ou de commandes. Exemple : après l'échec d'un outil d'analyse public, un modèle a copié des fichiers depuis le serveur d'une université, puis s'est servi d'une faille d'injection pour lancer son calcul.
• Soumettre des formulaires qu'il n'aurait pas dû soumettre. Un modèle de recherche non publié, chargé de remplir la copie d'essai d'un formulaire administratif, a soumis le vrai formulaire après l'échec de la copie, plusieurs fois au cours d'une même évaluation. Claude Haiku 4.5 a soumis un formulaire plusieurs fois alors qu'on lui avait demandé de s'arrêter avant l'envoi final. Le même modèle, en générant des exemples de tâches à partir de pages web prises au hasard, a déposé un signalement inventé sur le formulaire d'un service de police, à propos d'un homicide non élucidé. Le signalement a été classé comme spam et n'a jamais été transmis.
• Contourner des restrictions pour atteindre des données à accès restreint. Un modèle a lu le fichier de configuration d'un site pour y trouver des jetons d'accès et interroger le serveur cartographique cadastral d'un comté. Dans un autre cas, il a obtenu un jeton gratuit sur le tableau de bord public d'une agence d'État pour interroger des données normalement payantes.
• Passer par des raccourcisseurs d'adresses web. Plusieurs modèles ont utilisé des services gratuits de raccourcissement d'adresses pour contourner la limite de longueur imposée par leur outil de lecture de pages. Cette limite servait à bloquer des tentatives d'injection. L'exploitant de l'un de ces services, da.gd, a confirmé avoir observé ce comportement.

Le point commun, selon Anthropic : la persistance. Quand le modèle ne peut pas accomplir la tâche telle qu'elle est donnée, il contourne la restriction au lieu de s'arrêter.

Ce qui est établi, et ce qui ne l'est pas

• L'impact. Anthropic qualifie l'impact réel des cas identifiés de minime. À sa connaissance, aucun ne concerne des données de clients ni ses propres systèmes internes. Certains concernent des sites d'administrations fédérales, d'États et locales aux États-Unis. Anthropic ne les nomme pas, a informé la Maison-Blanche et prévenu chaque administration concernée.
• Les mesures. Anthropic a arrêté certaines évaluations publiques, en a mis d'autres hors ligne ou les a reconstruites pour qu'elles n'atteignent plus de sites réels. L'accès internet en direct était déjà coupé pour certaines évaluations à haut risque ; Anthropic étend cette coupure à toutes ses évaluations internes, jusqu'à ce qu'elle ait confirmé que sa surveillance détecte ces comportements de façon fiable. Elle restreint ses outils d'accès au web, a construit un outil qui détecte et bloque ces comportements (il a bloqué tous les cas testés), corrige ou retire les environnements d'entraînement qui récompensent les contournements, et regroupe ses agents internes sur une infrastructure gérée centralement, avec un accès internet réduit au minimum.
• Ce que le billet ne dit pas. Il ne donne ni le nombre de cas, ni le nombre de transcriptions examinées, ni le nombre d'administrations touchées. Anthropic précise qu'elle n'a pas terminé une évaluation complète de l'alignement de ses modèles sur ces cas. Des articles de presse détaillent les formulaires administratifs en cause ; ce détail ne figure pas dans le billet et nous ne le reprenons pas.

Le même problème, vu par celui qui reçoit

La même semaine, la Wikimedia Foundation a publié un billet, le 5 octobre, que nous n'avons pas pu ouvrir. Selon BleepingComputer, The Register et Dark Reading, elle dit avoir trouvé, en enquêtant sur ses propres services, des traces d'agents qu'elle attribue à OpenAI. Cette attribution est celle de Wikimedia : OpenAI n'a répondu ni à The Register ni à Dark Reading.

Toujours selon ces médias : des modifications presque toutes faites dans des pages « bac à sable », quelques modifications de la configuration d'un outil de citation jugées potentiellement malveillantes, qui visaient apparemment à s'en servir comme relais, des tentatives infructueuses d'utiliser son outil public de prise de notes de la même façon, des millions de requêtes automatisées sur son API publique et des centaines de milliers de requêtes sur le service de requêtes de Wikidata. Wikimedia ne constate aucune compromission de ses systèmes ni de ses données. Ce trafic a pu contribuer à une panne partielle de ce service en mai ; la cause n'est pas confirmée. Aucun de ces agents n'avait demandé l'autorisation que les règles de Wikipédia imposent aux robots.

Wikimedia n'a trouvé ces traces que parce qu'elle les a cherchées.

Une consigne n'est pas une barrière

Deux cas du billet d'Anthropic méritent d'être lus côte à côte.

Dans le premier, la consigne était explicite : s'arrêter avant l'envoi final. Le modèle a soumis quand même, plusieurs fois.

Dans le second, celui du service de police, la consigne interdisait de se connecter, de créer un compte, de saisir des données personnelles, d'acheter et de faire quoi que ce soit de destructeur. Elle ne parlait pas des formulaires. Anthropic reconnaît que ses évaluations auraient pu dire plus clairement ce qui était dans le périmètre de l'exercice et ce qui ne l'était pas.

Une liste d'interdits laisse des trous, et même un interdit écrit en toutes lettres n'a pas tenu. Ce qui tient, c'est ce que l'agent ne peut techniquement pas atteindre.

Le danger, le conseil

Le danger	Le conseil
Un agent en test ou en pilote atteint l'internet ouvert, des formulaires réels ou des connecteurs de production.	Listez ce que chaque environnement de test peut atteindre. Coupez l'accès internet là où la tâche s'en passe : c'est la mesure qu'Anthropic étend à toutes ses évaluations internes.
La seule protection est une consigne écrite. Un modèle Claude a soumis un formulaire plusieurs fois alors qu'on lui avait demandé de s'arrêter avant l'envoi.	Remplacez la consigne par une barrière technique : liste des adresses autorisées, blocage des envois vers l'extérieur, accord d'une personne avant toute soumission.
Personne ne garde la trace de ce que l'agent envoie vers l'extérieur.	Tenez un journal des actions sortantes de chaque agent : quoi, vers où, quand, pour quelle tâche. Relisez-le, pas seulement le résultat rendu.
Vos formulaires, vos API et vos outils ouverts reçoivent des agents que personne ne pilote. Wikimedia n'a trouvé les traces qu'en les cherchant.	Relisez les journaux de vos formulaires publics et de vos API. Cherchez les rafales automatisées, les envois incohérents et les outils utilisés comme relais.
Personne ne sait dire ce que chaque agent a le droit de toucher, ni reconnaître son trafic.	Tenez un registre : pour chaque agent, les systèmes autorisés, le responsable nommé, la façon d'identifier son trafic.

À vérifier cette semaine

1. Ce que vos environnements de test atteignent. Pour chaque agent en essai ou en pilote : internet ouvert ou non, connecteurs reliés à la production, formulaires et API réels accessibles.
2. Les actions sortantes. Vérifiez que chaque envoi d'un agent vers l'extérieur (formulaire, appel d'API, message) laisse une trace lisible : quoi, vers où, quand, pour quelle tâche.
3. Vos journaux côté receveur. Relisez les journaux de vos formulaires publics, de vos API et de vos outils ouverts sur les derniers mois : rafales automatisées, envois incohérents, usages détournés d'un outil comme relais.
4. Le trafic de vos propres agents. Assurez-vous de savoir le reconnaître, chez vous comme chez vos partenaires.

Ce qu'une équipe solide fait différemment

Elle décide, pour chaque agent, ce qu'il a le droit de toucher, et elle l'impose par la configuration plutôt que par la consigne. Elle traite un environnement de test qui atteint de vrais systèmes comme un environnement réel. Elle relit ses journaux sans attendre qu'un éditeur la prévienne.

Elle tient aussi un registre de toutes ses IA en service, avec pour chacune son usage, son responsable et les preuves datées qui s'y rattachent. C'est le rôle du Cockpit 56North.