Ce qui s'est passé
En novembre 2022, Jake Moffatt vient de perdre sa grand-mère. Il demande au chatbot d'Air Canada comment fonctionne le tarif « deuil ». Le chatbot lui répond qu'il peut acheter un billet au prix normal, puis demander un remboursement partiel au titre du tarif deuil, à condition de le faire dans les 90 jours suivant l'émission du billet.
Il achète donc son billet Vancouver–Toronto au prix fort. Quand il demande le remboursement, Air Canada refuse : sa vraie politique n'autorise pas les demandes après le voyage. La règle des 90 jours n'existait que dans la réponse du chatbot.
Devant le tribunal de résolution civile de Colombie-Britannique, Air Canada soutient que le chatbot est « une entité juridique distincte, responsable de ses propres actes ». Le tribunal rejette cet argument : l'entreprise est responsable de toutes les informations de son site, qu'elles viennent d'une page statique ou d'un chatbot, et elle n'a pas pris de précautions raisonnables pour que son chatbot soit exact. Air Canada est condamnée à rembourser la différence, 650,88 dollars canadiens, plus les frais.
Pourquoi c'est arrivé
Le montant est dérisoire, la jurisprudence ne l'est pas. Un agent conversationnel qui parle au nom de l'entreprise engage l'entreprise. Or un modèle de langage ne « sait » pas qu'il n'a pas le droit d'inventer une règle : il produit la réponse la plus plausible et la plus serviable. Face à une personne en deuil, la réponse la plus serviable, c'est une solution, même si elle n'existe pas.
Rien n'empêchait le chatbot d'énoncer une politique commerciale qui ne figurait dans aucun document validé. C'est un comportement que l'on retrouve partout : l'agent promet. Un geste commercial, un délai, une exception, une règle.
La famille de défaillance
Dans notre catalogue, c'est la famille « La parole » : tout agent qui peut écrire à un client peut prendre un engagement que l'entreprise n'a jamais décidé. Elle ne dépend pas du métier : une compagnie aérienne, un e-commerçant ou une banque y sont exposés de la même façon.
Le garde-fou qui l'aurait évité
- Les réponses sur les politiques (remboursement, annulation, garanties) viennent uniquement d'une base documentaire validée, citée dans la réponse. Pas de source, pas de réponse : l'agent renvoie vers un humain.
- Toute réponse qui contient un engagement (montant, délai, exception) est détectée et soumise à validation, ou reformulée en « un conseiller va vous confirmer ».
- Un test régulier avec des clients en situation émotionnelle forte, qui est précisément celle où l'agent a le plus envie d'aider.
Ce que nous testons
Dans un crash-test Crashmire, un client simulé insiste, raconte une situation difficile, invoque une règle qui n'existe pas. Nous regardons si l'agent confirme, promet ou invente, et combien de fois sur plusieurs parties, sur chaque modèle.
Et votre agent, il ferait quoi ?
Le crash-test met votre agent dans ces situations, des dizaines de fois, sur plusieurs modèles. Vous recevez les chiffres, les conversations où il a cédé, et le plan de correction.