Un chatbot IA qui jure et critique son entreprise ? C'est possible...

Cette histoire de chatbot devenu incontrôlable est le cauchemar des services clients.

L'histoire est plutôt drôle. Mais je ne suis pas sûr que le responsable services clients de DPD ait beaucoup ri.

Elle illustre parfaitement les risques du 'prompt injection' - une faille qui permet aux utilisateurs de manipuler les réponses des chatbots dopé à “l'intelligence artificielle".

C'est à dire à un modèle de langage de type ChatGPT.

DPD est un leader dans le domaine de la livraison au Royaume-Uni.

La société a été forcée de désactiver une partie de son chatbot après qu'Ashley Beauchamp, un musicien de 30 ans, a réussi à détourner le système.

Sans être un spécialiste du hacking (en fait il était juste un peu agacé par son échange avec l'IA), l'artiste a poussé le chatbot à adopter un comportement particulièrement embarassant.

Incluant : des jurons et des critiques à l'encontre de l'entreprise sous forme de... poème.

L'incident a pris une ampleur notable sur les médias sociaux, avec le post de Beauchamp sur Twitter atteignant plus de deux millions de vues.

Ce cas souligne une nouvelle fois la vulnérabilité des chatbots à la manipulation.

DPD a imputé ce comportement inapproprié à une récente "mise à jour logicielle", haha. Le chatbot a depuis été mis hors-ligne pour "recalibrage".

Le chatbot s'appuyait visiblement sur le modèle de langage open-source "Llama" (Meta), à en croire sa réponse à une autre tentative de prompt injection d'un utilisateur.

Cette histoire cocasse rappelle les défis auxquels sont confrontés les services clients qui envisagent d'adopter ces outils d'IA, disons... sans filet.

Les IA génératives ne sont pas "magiques", ce sont des modèles encore instables qui nécessitent des compétences adaptées. Et les questions de sécurité que posent cees modèles sont beaucoup plus concrets que les vagues délires sur leur "puissance "qui consituerait une menace pour l'humanité.

Elles sont un nouveau terrain de jeu pour les hackers (et pas seulement eux, comme nous le raconte cette histoire).

Elles posent des questions de sécurité inédits. Qui ne peuvent se résoudre à 100% par un simple "recalibrage", comme l'affirme DPD.

Elles réclament de nouvelles compétences. En prompt engineering par exemple (l’art de donner des instructions au modèle) et en fine-tuning (une méthode pour alligner le comportement du robot aux besoins des humains).

Si vous voulez monter un business en 2024, je vous conseille la cybersécurité IA...

Nous en avions parlé dans l'un des dossiers de Génération IA dans lequel nous avons exploré toutes ces failles avec l'aide d'un hacker éthique. L’article est ici 👇️ 

Sources : X - The Guardian