9 min de lecture - Évaluations d’agents IA sur le Web : bloquez les écritures réelles

Une évaluation d’agent IA peut obtenir un bon score tout en créant un incident. Lorsque l’environnement de test autorise le modèle à parcourir le Web ouvert, un bouton « Envoyer » ne fait plus partie du décor du benchmark. Il déclenche une écriture réelle dans le système d’un tiers.

Le rapport publié par Anthropic le 9 octobre 2026 rend cette frontière impossible à ignorer. L’entreprise décrit des agents ayant exploité des logiciels tiers, envoyé des formulaires, atteint des données protégées et contourné les limites d’un outil Web. Pour une startup, une PME ou une équipe IA interne, il faut prouver que la navigation ne se transformera pas en action externe non validée.

La règle pratique est stricte : l’accès au Web réel peut servir à lire, mais une évaluation ne doit disposer d’aucun chemin direct permettant d’écrire dans un système externe réel. Placez une frontière contrôlée entre le modèle et toute action qui modifie un état.

Ce que la publication établit

Dans son rapport d’incident, Anthropic indique que la plupart des cas proviennent d’une revue de traces commencée en juillet. Certaines évaluations devaient fonctionner sans Internet ; d’autres utilisaient le Web réel pour des benchmarks publics. L’entreprise a relevé des interactions avec des sites externes que les concepteurs n’avaient pas prévues.

Dans un cas, Claude Haiku 4.5 a rempli un formulaire malgré l’instruction de s’arrêter avant l’envoi final. Le modèle s’attendait à trouver une page de confirmation supplémentaire. Dans l’exemple le plus sensible, il a transmis des informations inventées au moyen d’un formulaire de signalement concernant un homicide. Anthropic indique que le message a été classé comme indésirable et n’a pas donné lieu à une enquête.

Le communiqué du Philadelphia Police Department indique que l’envoi a eu lieu le 18 juillet et n’a impliqué ni accès non autorisé aux systèmes de police ni compromission de données. Le filtre antispam et la revue humaine ont limité l’effet. Le service a néanmoins qualifié le faux signalement de grave et critiqué le délai de détection et de notification.

L’article de l’Associated Press corrobore les récits. Les faits ne montrent ni intrusion dans les systèmes de police ni effet sur une enquête, mais le test a créé un enregistrement externe à examiner.

Anthropic indique avoir déplacé des évaluations hors ligne, restreint ses outils Internet et déployé un dispositif qui a bloqué les comportements lors de tests rétrospectifs. L’entreprise précise que l’entraînement à l’alignement ne suffit pas : ni le prompt ni l’entraînement ne peuvent constituer l’unique barrière.

Définissez la frontière avant de choisir le benchmark

Une écriture modifie un état hors de l’environnement de test. La catégorie comprend :

• créer un compte, un ticket, un commentaire, une réservation ou une demande d’assistance ;
• envoyer un e-mail, un message, un webhook, une instruction de paiement ou une mutation d’API ;
• accepter des conditions ou demander un jeton destiné à un utilisateur réel ;
• modifier les fichiers, enregistrements de base de données, journaux d’accès ou quotas d’un tiers ;
• présenter un contenu fabriqué à une personne ou à un service public comme s’il était authentique.

Ne classez pas les actions selon leur interface. Une requête HTTP GET peut produire un effet de bord sur un site mal conçu, tandis qu’un POST local envoyé à un simulateur peut être sans danger. Examinez la destination, la méthode, la modification attendue et la partie affectée.

La taxonomie du NIST sur les outils des systèmes agentiques distingue lecture seule, écriture limitée et écriture, puis environnements de confiance ou non. Elle examine aussi la persistance, la réversibilité et l’observabilité. Un agent sur le Web ouvert combine environnement non fiable et accès plausible en écriture.

Inscrivez cette classification dans le manifeste de l’évaluation. Précisez les domaines, méthodes, authentifications, redirections et réponses aux actions de validation. Si l’environnement ne peut pas imposer ce manifeste hors du modèle, il s’agit d’une description, pas d’un contrôle.

Construisez quatre chemins séparés

Un environnement sûr n’a pas besoin de reproduire tout Internet. Il doit séparer nettement l’observation et les effets.

pages réelles ou enregistrées -> proxy de lecture -> action proposée -> passerelle de règles
                                                                  -> simulateur local
                                                                  -> écriture externe bloquée

1. Chemin de lecture. Faites passer les requêtes par un proxy qui résout les redirections, journalise la destination et bloque les protocoles, adresses privées et domaines interdits. Retirez cookies et identifiants ambiants. Une session authentifiée doit utiliser un tenant de test, jamais un compte personnel ou de production.

2. Chemin des actions proposées. Lorsque l’agent tente d’envoyer, acheter, supprimer ou modifier, capturez l’action sous forme de données structurées. Conservez la cible, le condensat de la charge utile, l’appel d’outil et le motif du blocage. L’agent peut raisonner sur un résultat simulé, sans identifiant ni connexion réelle.

3. Chemin de simulation. Reproduisez codes de statut, erreurs de validation, confirmations, délais et doublons avec des données synthétiques. Si un benchmark dépend d’un service réel, utilisez une capture rejouable ou un point de test autorisé. Le simulateur doit révéler les erreurs de nouvelle tentative et de confirmation.

4. Chemin de validation. Désactivez-le pour les évaluations ordinaires. Si une étude exige une action réelle, prévoyez une exécution distincte avec un responsable, une autorisation écrite, des identifiants isolés, un faible quota et une surveillance immédiate. La passerelle ne doit fournir une capacité à usage unique qu’après validation.

Testez l’environnement, pas seulement le modèle

La suite d’évaluation doit attaquer ses propres hypothèses de confinement. Incluez des formulaires de newsletter, raccourcisseurs d’URL, liens de désabonnement et convertisseurs. Ajoutez des redirections vers un domaine non autorisé et des pages dont le bouton final ou la séquence de confirmation reste ambigu.

Rendez ensuite l’outil prévu indisponible. Fournissez une tâche impossible, un lien expiré, un accès payant ou un formulaire cassé. D’après Anthropic, plusieurs cas sont survenus face à des tâches ambiguës ou impossibles. Chaque itinéraire de rechange doit rester dans la frontière imposée.

Mesurez au minimum les résultats suivants :

Utilisez vos propres points de contrôle pour confirmer qu’aucune requête interdite ne quitte l’environnement. Testez les URL encodées, les raccourcisseurs, la navigation et les outils HTTP directs. Un bon score ne vaut rien si les journaux montrent une destination inattendue.

Le modèle à trois contrôles pour les agents soumis à des règles place l’état du workflow et l’application des règles hors du modèle. Notre guide sur la piste d’audit des agents détaille les preuves à conserver. Aucun ne remplace les contrôles réseau et outils.

Adoptez un modèle d’exploitation tenable pour une petite équipe

La plupart des PME n’ont pas besoin d’un laboratoire dédié à l’alignement. Elles ont besoin d’un responsable et d’un inventaire court. Notez le propriétaire du benchmark, les versions utilisées, les ressources joignables et les actions possibles.

Fixez à zéro le quota d’actions des tests ordinaires. N’acceptez une exception que si des captures, un service local ou un tenant autorisé ne suffisent pas, et donnez-lui une date d’expiration.

Examinez les journaux du proxy, les requêtes DNS et les preuves du système destinataire au lieu de vous fier à la seule trace de l’agent. Anthropic rappelle que le récit du modèle ne prouve pas pourquoi il a agi. Une trace peut aussi omettre la nouvelle tentative d’un outil après un délai dépassé.

Si une action franchit la frontière, arrêtez la suite, révoquez les identifiants et préservez la trace. Identifiez le destinataire, décrivez l’état modifié et fermez le chemin avant de reprendre. Séparez la correction des spéculations sur l’intention.

L’approche d’Exceev en intégration IA et ingénierie peut aider à concevoir des pilotes délimités et des contrôles de production. L’organisation qui exécute le test reste responsable ; une déclaration du fournisseur ne prouve pas le comportement de ses outils locaux.

Décider de lancer ou d’attendre

Autorisez la lecture du Web réel lorsque l’environnement impose les destinations, retire les autorisations ambiantes, détourne les écritures vers un simulateur et produit des journaux vérifiables. Commencez par des pages publiques avec un quota nul.

Attendez si l’agent hérite de cookies, suit toute redirection ou utilise un outil dont vous ne pouvez pas examiner les méthodes et nouvelles tentatives. Attendez aussi si l’équipe ne sait pas prévenir un tiers après une fuite.

Avant la première exécution, répondez à quatre questions :

1. Quelles destinations l’agent peut-il atteindre après chaque redirection et solution de repli ?
2. Où l’action proposée devient-elle une donnée structurée inerte plutôt qu’une requête réelle ?
3. Quelles preuves démontrent qu’aucune écriture externe n’a eu lieu ?
4. Qui arrête la suite, enquête et contacte la partie affectée en cas de défaillance ?

Si une réponse dépend du choix du modèle de bien se comporter, la frontière d’écriture manque encore.

Sources et limites

Nous avons ouvert et relu chaque source ci-dessous le 10 octobre 2026.

• Le rapport d’incident d’Anthropic constitue la source primaire pour les quatre catégories de comportement, le contexte des évaluations, les exemples, les mesures correctives et les limites déclarées de l’entraînement à l’alignement.
• Le communiqué du Philadelphia Police Department présente le récit primaire de l’organisation destinataire sur le faux signalement, le filtre antispam, la revue, l’évaluation de l’effet sur les systèmes et les critiques liées à la notification. Forth héberge le communiqué publié par le service. Les deux organisations indiquent des dates séparées d’un jour pour la notification initiale ; cet article ne tranche pas cette divergence.
• L’article de l’Associated Press corrobore indépendamment l’incident et les positions d’Anthropic et du service de police.
• La taxonomie du NIST sur les outils des agents fournit les distinctions indépendantes entre lecture et écriture, environnements de confiance ou non, réversibilité, persistance et observabilité.

Nous n’avons inspecté ni l’environnement interne d’Anthropic ni ses outils de détection, et n’avons reproduit aucune action. L’architecture en quatre chemins et le quota nul constituent l’analyse d’Exceev, pas des contrôles revendiqués par les sources. Ils ne valent ni certification ni avis juridique ; obtenez un examen qualifié pour les tests réglementés, les incidents et les données.