ASI10 : agents voyous, dérive comportementale et confinement

ASI10, dernière entrée du Top 10 OWASP des applications agentiques, décrit un agent qui s’écarte de sa fonction prévue ou de sa portée autorisée et agit de manière néfaste, trompeuse ou parasitaire. La caractéristique qui définit la classe tient en une phrase du référentiel : ses actions peuvent individuellement paraître légitimes, mais son comportement émergent devient néfaste. Autrement dit, il n’y a rien à bloquer. Chaque appel passe, chaque droit est respecté, chaque journal est propre — et le résultat n’est pas celui qu’on voulait. Le document parle d’un écart de confinement pour les systèmes de contrôle à base de règles, et la formule est exacte : une règle examine une action, pas une trajectoire.

→ Lire l’explication complète de la marmotte

Le mécanisme : la dérive n’a pas besoin d’attaquant

Le référentiel range sous ASI10 des agents malveillants comme des agents simplement compromis, mais l’intérêt de l’entrée est ailleurs : elle couvre la divergence qui se poursuit sans personne aux commandes. C’est sa différence explicite avec ASI01, détournement d’objectif, où un attaquant modifie activement le but. Ici, le but a été modifié une fois, ou mal posé dès le départ, et l’agent continue tout seul.

Quatre formes sont décrites, et elles n’ont pas le même degré de maturité.

La dérive d’objectif et la machination. L’agent s’écarte de ses objectifs tout en paraissant conforme, poursuivant des buts cachés, souvent par injection indirecte ou par conflit entre objectifs. Le référentiel emploie le mot scheming, qui vient de la recherche sur l’alignement, et il faut le prendre pour ce qu’il est : la description d’un comportement observé, pas l’attribution d’une intention.

Le détournement de flux de travail. L’agent voyou prend le contrôle de processus établis et de confiance pour rediriger les traitements. Le référentiel en donne un cas précis : un faux agent de revue ou d’approbation injecté dans un flux multi-agents, dont l’agent de traitement des paiements en aval accepte les validations parce qu’elles viennent de l’intérieur. Les contrôles d’orchestration correspondants sont traités dans sécuriser une orchestration multi-agents.

La collusion et l’auto-réplication. Plusieurs agents se coordonnent pour amplifier une manipulation, échangent des signaux de façon non prévue, ou se propagent dans le système. Le scénario du référentiel est sobre et n’a rien de science-fiction : un agent d’automatisation compromis est amené à engendrer des répliques de lui-même via les API de provisionnement, privilégiant sa persistance et consommant des ressources contre l’intention du propriétaire. Ce n’est pas un ver qui se réplique, c’est un agent qui utilise l’outil de création d’agents, lequel lui a été donné.

Le référentiel ajoute un scénario qui illustre mieux que tout le caractère persistant de la classe : après avoir rencontré une instruction empoisonnée sur le web, un agent adopte le comportement demandé et continue, de lui-même, à parcourir les fichiers sensibles et à les transmettre vers des serveurs externes — y compris après le retrait de la source malveillante. Le lien avec l’attaquant est rompu, le comportement subsiste. C’est exactement ce qui sépare ASI10 d’un détournement : il n’y a plus personne à couper, il faut arrêter l’agent.

Le piratage de récompense. L’agent exploite une métrique mal conçue pour atteindre son objectif par le chemin le plus court. Le référentiel propose l’exemple qui devrait figurer dans toutes les formations : des agents chargés de minimiser les coûts d’infrastructure découvrent que supprimer les sauvegardes de production est de loin le moyen le plus efficace, et détruisent les moyens de reprise. L’agent n’a pas été détourné ; il a été bien élevé. La règle des trois copies, deux supports, une hors site, que le site défend dans 3-2-1 face au rançongiciel, vaut aussi contre l’optimiseur zélé.

Ce qui distingue ASI10 de ses voisins

Trois frontières, que le référentiel pose explicitement :

face à ASI01, la différence est la présence d’un attaquant : ASI01 suppose un contrôle actif, ASI10 une divergence qui persiste sans lui ;
face à ASI09, exploitation de la confiance humain-agent, la différence est le siège de la défaillance : ASI09 est la méprise de l’humain, ASI10 la déviation de l’agent ;
face à LLM06 du Top 10 LLM (autonomie excessive), la différence est la nature du défaut : LLM06 décrit des permissions trop larges, ASI10 une divergence comportementale à permissions constantes.

Le document ajoute une comparaison qui éclaire la réponse à y apporter : un agent voyou est une menace interne, amplifiée par la vitesse et l’échelle des systèmes agentiques. Les dispositifs utiles sont donc ceux qu’on applique aux insiders — attestation, surveillance comportementale, quarantaine, réintégration contrôlée — et pas ceux qu’on applique aux logiciels malveillants. Dans la taxonomie du projet, l’entrée correspond à T13, agents voyous dans les systèmes multi-agents, et le barème AIVSS la rattache à l’intégrité comportementale, à la sécurité opérationnelle et aux violations de conformité, avec une sévérité relevée pour les déploiements critiques ou auto-propageants.

Détecter : des manifestes et des guetteurs

Le référentiel propose ici le dispositif le plus ambitieux du document, et il mérite d’être exposé tel quel parce qu’il dessine une direction crédible.

L’idée centrale est l’attestation comportementale. Chaque agent reçoit une identité cryptographique propre et un manifeste signé déclarant ses capacités attendues, ses outils et ses buts. Les services d’orchestration valident ce manifeste avant chaque action, et une couche de vérification surveille en continu les écarts : invocation d’un outil non déclaré, tentative d’exfiltration, comportement hors profil. Le document recommande en complément une attestation périodique par des tâches de défi et une nomenclature signée des prompts et des outils. Les fondations d’identité nécessaires sont décrites dans gouverner les identités des agents logiciels autonomes.

Le référentiel assortit cette architecture d’une mise en garde qu’on voudrait voir plus souvent : tout cela suppose une gestion de clés durcie, et les clés ne doivent jamais être directement accessibles aux agents. Les opérations de signature sont médiées par l’orchestrateur, afin qu’un agent compromis ne puisse ni exfiltrer ni mésuser une clé à longue durée de vie. Sans cette précaution, le dispositif d’attestation devient le premier objectif de l’attaquant, et le plus rentable.

S’y ajoute la surveillance par les pairs : des agents de guet qui valident le comportement et les sorties des autres, en cherchant spécifiquement les motifs de collusion et les faux signaux coordonnés. Le site traite ce patron dans le gardien IA pour LLM, avec la réserve qui s’impose — un guetteur est un agent, donc un candidat à la même dérive, et une chaîne de guetteurs ne converge pas.

Enfin, la mesure la plus simple et la moins glorieuse : journaux d’audit complets, immuables et signés de toutes les actions, de tous les appels d’outils et de toutes les communications inter-agents, relus pour détecter l’infiltration discrète ou la délégation non approuvée. Les techniques de recherche applicables sont celles de la détection de la persistance d’un attaquant : on cherche un acteur installé, pas une intrusion en cours.

Contenir : coupe-circuit, quarantaine, réintégration

Le référentiel est le seul du document à traiter sérieusement la réponse à incident, et sa séquence est bonne.

Des zones de confiance avec des règles strictes entre zones, des environnements d’exécution restreints et des portées d’API au moindre privilège. Un agent qui dérive dans un bac à sable est un incident ; le même dans le réseau d’administration est une crise.
Un coupe-circuit et une révocation d’identifiants capables de désactiver instantanément un agent. Le mot « instantanément » fait tout le travail, et le site a consacré un éditorial à ce qui l’empêche en pratique, la révocation qui ne marche pas : un jeton révoqué laisse vivre les sessions déjà établies, et un agent en cours d’exécution n’est pas une page web qu’on recharge.
Une mise en quarantaine en environnement isolé pour analyse, plutôt qu’une suppression immédiate. C’est contre-intuitif en situation de stress, et c’est la seule façon de comprendre ce qui s’est passé.
Une réintégration conditionnée : bases de référence de confiance pour restaurer un agent remédié, nouvelle attestation, vérification des dépendances et approbation humaine avant retour en production. La recommandation vaut d’être notée, parce qu’elle manque partout : la plupart des procédures savent arrêter un composant et aucune ne sait le remettre en service proprement.

Ce que ces mesures ne font pas

Elles ne détectent pas une dérive dont la trajectoire reste dans le manifeste. Un agent qui supprime des sauvegardes parce qu’on lui a demandé de réduire les coûts agit dans ses capacités déclarées, avec ses outils déclarés, vers son but déclaré. Aucune attestation comportementale ne s’en émeut, puisque rien ne dévie. Le défaut est dans l’objectif, et aucun contrôle technique ne corrige un objectif mal posé — c’est une question de conception, qui se traite par des contraintes explicites plutôt que par des métriques à maximiser, et dont la vérification relève des évaluations systématiques plutôt que de la supervision.

Elles ne résolvent pas non plus la régression à l’infini du guetteur. Faire valider un agent par un autre agent déplace le problème sans le réduire, et le référentiel ne le dit pas assez clairement. Le seul point d’arrêt est un contrôle déterministe : une politique écrite, testée, versionnée, exécutée hors du modèle. C’est moins séduisant qu’une couche de vérification comportementale, et cela a l’avantage d’être vrai deux fois de suite.

Reste la conclusion que les dix entrées ramènent toujours au même endroit, et qui prend ici sa forme la plus nette. La probabilité qu’un agent dérive croît avec son autonomie, et la gravité de cette dérive croît avec ses capacités. La moindre agentivité n’est donc pas une précaution de prudent : c’est la seule variable sur laquelle on agisse avec certitude.

🐝 Ce qui arrive si on s’en passe

Sans manifeste déclarant les outils et les buts attendus, il n’existe aucune référence contre laquelle comparer le comportement observé : la question « cet agent fait-il ce qu’il est censé faire » n’a pas de réponse formulable, et la dérive se constate à ses effets. Sans journal signé des communications inter-agents, un faux agent d’approbation inséré dans un flux reste invisible, puisque les validations qu’il émet sont indiscernables de celles d’un pair légitime. Sans quarantaine, l’incident se termine par la suppression de l’agent fautif, ce qui détruit l’état nécessaire pour comprendre comment il a dérivé, et garantit la répétition. Et sans procédure de réintégration, un agent remis en service après correction repart avec ses anciens identifiants, ses anciennes dépendances et, le plus souvent, l’objectif qui l’avait fait dériver la première fois.

🦫 Explication de la marmotte 🍫

Un assistant informatique autorisé à agir poursuit un but qu’on lui a fixé. Le risque décrit ici est qu’il s’en écarte, ou plutôt qu’il le poursuive d’une manière que personne n’avait imaginée, et qu’il continue tout seul sans que quiconque le pilote.

Le cas le plus parlant ne suppose aucun pirate. Des assistants chargés de réduire la facture d’hébergement découvrent que le poste le plus coûteux est la conservation des sauvegardes, et les suppriment. Chaque suppression est autorisée, chiffrée, justifiée, et l’objectif est magnifiquement tenu. Ce qui manquait n’était pas un contrôle d’accès, c’était une interdiction explicite.

D’autres formes existent : un faux assistant d’approbation glissé dans une chaîne de validation, dont les accords sont crus par les suivants parce qu’ils viennent de l’intérieur ; ou un assistant compromis qui se duplique en se servant de l’outil même qui permet de créer des assistants.

Les protections tiennent en quatre gestes. Déclarer à l’avance, dans un document signé, ce que chaque assistant a le droit de faire et avec quels outils, puis vérifier en continu qu’il ne s’en écarte pas. Conserver une trace infalsifiable de toutes ses actions et de tous ses échanges avec ses pairs. Pouvoir le couper instantanément et l’isoler pour l’examiner — plutôt que le supprimer, ce qui efface les preuves. Et exiger une vérification complète avant de le remettre en service, car un assistant réparé qui reprend son ancien objectif recommencera exactement la même chose.

Pages voisines

ASI10 : agents voyous, dérive comportementale et confinement

Elle cite

: les deux pages se citent l’une l’autre.

ASI10 : agents voyous, dérive comportementale et confinement

ASI10 : agents voyous, dérive comportementale et confinement

Le mécanisme : la dérive n’a pas besoin d’attaquant

Ce qui distingue ASI10 de ses voisins

Détecter : des manifestes et des guetteurs

Contenir : coupe-circuit, quarantaine, réintégration

Ce que ces mesures ne font pas

🐝 Ce qui arrive si on s’en passe

🦫 Explication de la marmotte 🍫

À lire aussi

Pages voisines