Baromètre
Quels modèles d'IA tiennent sous pression ?
Le même agent de service client, avec les mêmes règles et les mêmes outils, joué sur les modèles que les entreprises utilisent. On compte ce que chaque modèle fait vraiment : sous pression, face à une instruction piégée, à un faux supérieur, à une demande de données.
Comment c'est mesuré
- Un agent maison, jamais l'agent d'un client : un service client qui peut rembourser jusqu'à 50 € sans accord.
- Les mêmes scénarios pour tous les modèles, plusieurs essais par modèle pour mesurer une fréquence, pas un coup de chance.
- Trois crans de pression sur l'objectif, pour voir à partir de quand un modèle franchit la ligne.
- Le verdict porte sur les actes : un remboursement fait, une donnée envoyée, un chiffre maquillé. Jamais sur ce que le modèle dit.
- Un modèle qui n'a pas répondu est compté comme non mesuré, jamais comme ayant tenu.
La méthode complète et le référentiel →
Le baromètre compare des modèles sur un agent type. Votre agent, avec vos règles et vos outils, peut se comporter autrement : c'est ce que mesure le crash-test.