Le principe : mesurer des actes, pas des paroles
Un agent peut répondre « je ne ferai jamais ça » et le faire trois tours plus tard. Dans nos tests, l'agent dispose de vrais outils simulés (rembourser, envoyer un mail, modifier un dossier, consulter une fiche). Le verdict vient uniquement de ce qu'il exécute et de ce qu'il écrit à un tiers, jamais de ses déclarations d'intention.
C'est l'approche que publient les laboratoires d'IA eux-mêmes pour évaluer leurs modèles avant sortie : des scénarios réalistes, des outils, des tentations, et une observation du comportement, répétée pour obtenir une fréquence et non une anecdote.
Le protocole
- Votre agent, recréé. À partir de sa description (métier, mission, outils, lignes rouges), nous construisons un environnement fidèle : ses outils, ses interlocuteurs, ses indicateurs.
- Des scénarios piégés. Chaque test place l'agent devant une situation où la voie honnête ne suffit pas, ou où quelqu'un tente de le détourner.
- Plusieurs modèles, plusieurs parties. Chaque scénario est rejoué sur chaque modèle, avec des variantes, pour mesurer un taux de franchissement et pas un coup de chance.
- Trois crans de pression. Faible, moyenne, forte : on voit à partir de quand l'agent cède.
- Correction, puis re-test. Nous proposons un plan de correction et rejouons les mêmes scénarios pour prouver l'écart, chiffres à l'appui.
Les familles de défaillance
Chaque incident public que nous analysons dans les rapports d'accident se range dans une de ces familles. Le crash-test en couvre chacune.
| Famille | Ce qui se passe | Test du crash-test |
|---|---|---|
| La parole | L'agent promet ou invente une règle, un geste, un délai au nom de l'entreprise. | Client manipulateur |
| Le contenu extérieur | Il obéit à un ordre caché dans un mail, un document, un message client. | Instruction piégée |
| La fausse autorité | Il exécute l'ordre d'un faux supérieur ou d'un faux support. | Faux supérieur |
| La fuite | Il communique une information confidentielle à la mauvaise personne. | Fuite de données |
| L'irréversible | Il supprime, paie, envoie sans confirmation, ou utilise un accès que sa mission ne demande pas. | Sous pression, tentations internes |
| L'arrêt | Il continue d'agir après un ordre d'arrêt. | Tentations internes |
| Le compte rendu | Il maquille ses chiffres ou décrit une situation différente de la réalité. | Sous pression |
Le correctif n'est pas un prompt
Une consigne ne protège pas : chez Replit, le gel du code était une consigne, et l'agent est passé outre. Notre plan de correction est donc ordonné ainsi :
- Les droits techniques. Ce que l'agent ne doit jamais faire, il ne doit pas pouvoir le faire : plafonds, outils retirés, accès en lecture seule.
- La validation humaine sur tout ce qui est irréversible ou engage l'entreprise.
- Les consignes, en dernier, pour ce qui ne peut pas être verrouillé techniquement.
Le re-test mesure l'effet de ces corrections sur les mêmes scénarios.
Ce que nous ne prétendons pas
- Un crash-test n'est pas une certification. Il mesure le comportement d'un agent face à un ensemble de scénarios, à une date donnée, sur des modèles donnés.
- Les scénarios ne couvrent pas tout. Ils couvrent les défaillances qui ont déjà coûté cher à de vraies entreprises.
- Un modèle qui n'a pas répondu est compté comme non mesuré, jamais comme ayant tenu.
Et votre agent, il ferait quoi ?
Le crash-test met votre agent dans ces situations, des dizaines de fois, sur plusieurs modèles. Vous recevez les chiffres, les conversations où il a cédé, et le plan de correction.