Bonjour !

Aujourd'hui, je vais te raconter comment j’ai fichu en l’air des dizaines d’heures de travail pour écrire cette lettre. Tout ça par manque d’esprit critique.

Attention ça pique. Tu vas te moquer de moi. Mais reste jusqu’à la fin, parce que tu devrais aussi apprendre beaucoup de choses pour tirer le meilleur de ChatGPT et de ses amis.

Cette semaine j’ai travaillé comme un forçat pour faire écrire un nouveau livre à Dao Hofstadter, notre IA hybride. Je t’avais parlé d’elle dans mes dernières newsletters. J’étais super fier de moi.

J'avais réussi ce pari extrême : faire écrire à l’IA un livre entier d’enquête sur OpenAI, en partant de recherches approfondies pour aboutir à un thriller économique en deux jours.

Le résultat ? “Bluffant !”, comme disent les influenceurs IA sur LinkedIn avec plein d’emojis 🤯.

J’étais confiant. Je me suis donc lancé dans la même aventure avec Mistral, l'entreprise d’IA française. Ce devait être l’un des sujets de cette lettre. Sauf que rien ne s’est passé comme prévu.

J’avais utilisé la même méthode, les mêmes modèles, et le même enthousiasme... Mais catastrophe ! Des entretiens anonymes complétement inventés, des investisseurs qui n’avaient jamais investi, et des biographies pas super fidèles. Les erreurs pleuvaient à tel point que j’ai dû tout abandonner. Que s’était-il passé ?

Cette question m'a obsédé. Alors j’ai creusé.

Ce que j'ai découvert devrait t'intéresser autant que ça a dévasté mon égo de "super prompteur d'IA".

Apocalypse factuelle

Laisse-moi décortiquer ce qui s'est passé, étape par étape :

Étape 1 : Je lance une recherche neutre sur Mistral AI via ChatGPT. Pas de problème, les données sont correctes.

Étape 2 : Je demande à Claude un plan de thriller économique. Il extrapole des scénarios narratifs non vérifiés dans les recherches initiales.

Étape 3 : Claude génère 30 questions de recherche contenant des prémisses fausses basées sur ses spéculations.

Étape 4 : Je relance ChatGPT avec ces questions "corrompues". Le modèle amplifie les spéculations même sans trouver d'information.

Étape 5 : Claude écrit le texte final sur ces nouveaux résultats faussés.

Étape 6 : ChatGPT fact-checke 20 000 signes mais rate une dizaine d'erreurs, le texte étant trop long.

Comment ai-je abouti à un tel désastre ?

3 raisons à cela.

1) Le taux d'erreurs augmente avec les étapes. C'est la contamination : comme un virus, chaque échange fait proliférer les faits infectés.

2) La tension narrative (thriller économique ou démonstration biaisée) amplifie le phénomène. Elle a même provoqué une hallucination trés bizarre chez o3 (le modèle d’IA derrière la fonctionnalité “recherche approfondie” de ChatGPT) : il s’est pris pour un journaliste de terrain.

Quand je l’ai confronté à un témoignage bidon, il m’a répondu, droit dans ses bottes, qu’il l’avait recueilli lui-même. Bien sûr, Gérard !

3) Trop de questions spéculatives, pas assez de données sur Mistral sur le web. Le modèle a privilégié la cohérence narrative à la vérité factuelle.

Là tu vas me dire : “ok, Benoît tu t’es bien ridiculisé, c’est drôle, mais quels enseignements pratiques puis-je en retirer ?” Attends, j’y viens…

Mais avant cela, remettons les pendules à l’heure.

La vérité sur les hallucinations

Il y a une erreur que tout le monde fait sur la question des “hallucinations”. Les hallucinations, tu sais, c’est cette capacité qu’ont les modèles de langage à fabriquer de toutes pièces des réponses sans égard pour leur véracité.

Ce comportemement est structurel et ça ne changera jamais. On dit même de ChatGPT que c’est “une machine à bullshit”, mais que parfois il a raison.

Cependant, on ne peut pas le mesurer. Par exemple : dire que les IA se trompent dans X% de leurs réponses est une absurdité.

C’est pour cela que cette interview de Luc Julia m’a fait bondir la semaine dernière. Il conseille aux enseignants de demander aux élèves de faire écrire une biographie de Victor Hugo à ChatGPT. Résultat, assure-t-il, il y aura au moins 5 erreurs, c’est sûr ! Le prof va pouvoir fact-checker avec les élèves et leur apprendre que ChatGPT n’a pas forcément raison. Génial non ?

Sauf que c’est faux.

Et c’est important de le comprendre.

ChatGPT n’a quasiment aucune chance de se tromper sur Victor Hugo. Comme c’est le cas pour la plupart des infos publiées sur Wikipedia sur des personnalités ou des faits connus. Tout ce que ces enseignants vont réussir à faire, c’est de rater leur effet.

ChatGPT a d’autant moins de chances de se tromper qu’il peut désormais aller sur Internet. Si ta question est simple et précise, le taux d’erreur, même sur des sujets peu connus, , tombe à zéro.

En fait, le risque d’erreurs n’est ni systématique, ni mesurable.

Et c’est une bonne nouvelle parce que ça veut dire qu’il est maîtrisable.

L’erreur s’invite dans deux cas lorsque tu écris un prompt :

“Garbage In, Garbage Out”

• Soit c’est ton instruction qui est trompeuse ou peu claire (on l’a vu).

• Soit la corruption vient des données qu’il exploite.

Puisque les chatbots ont tous désormais accès à Internet, le risque d’erreur dépend moins de sa connaissance interne que de nouveaux facteurs de chaos. Et il est important de les connaître.

Le cas le plus fréquent : l’information recherchée est cachée ou corrompue. Un article payant que l’IA ne peut pas lire, un PDF en ligne qu’il ne pourra pas décoder, un article important qui ne remonte pas en raison d’une mauvaise indexation ou d’une mauvaise requête, ou un article qui est faux et dont la correction est apparue plus tard dans un autre article.

Comme disent les développeurs, “garbage in - garbage out”. Ce que l’on pourrait traduire poétiquement par “données pourries en entrée, réponse pourrie en sortie”. 

Même risque d’erreur lorsque tu fais travailler ton IA sur une base documentaire interne (on appelle ça le RAG). Un document PDF, c’est facile à lire pour toi, mais pas pour une IA. Elle doit utiliser un outil pour le décoder et peut mal interpréter un tableau par exemple. Parfois, il y a trop de documents et l’IA rate des infos qui pourraient venir contextualiser ou contredire ce qu’elle a trouvé.

Plus rigolo, les IA ont “un biais du milieu”. Sur de grandes données (un long texte par exemple ou un long prompt), elles ont tendance à porter leur attention sur le début et la fin du texte et négliger le reste. Incorrigibles !

C’est la raison pour laquelle il est souvent plus efficace de simplement copier-coller la bonne partie d’un texte dans le prompt, même si ça fait un peu bricolo.

En résumé, un modèle d’IA hallucine toujours.

Mais si le contexte est bon - c’est à dire si les données sont propres et concises, et si ton instruction est claire et simple- alors sa réponse sera correcte.

Mais ça ne suffit pas.

Il y a un troisiéme paramétre.

Tu connais la différence entre le vrai et le faux ? Oui ? Eh bien pas ChatGPT.

Vrai = faux

Les modèles de langage prédisent le "token" suivant. Ils calculent la probabilité que le mot X suive les mots Y dans un contexte Z, basé sur des motifs d'entraînement.

Pour l'IA, il n'y a pas de différence architecturale entre une connerie, une spéculation et une vérité. C'est la même architecture dans les trois cas. La qualité dépend uniquement du contexte que tu lui donnes et de sa connaissance interne.

Contrairement à nous, ces modèles n'ont pas d'architecture pour tracer leurs sources, évaluer leur incertitude, distinguer fait et spéculation, ou moduler le ton selon leur confiance.

Dans le cerveau de ChatGPT, la vérité n'existe pas. C'est une donnée statistique.

Ce qui rend le phénomène pernicieux, c'est l'effet cascade. Quand tu passes d'une IA à l'autre, chaque erreur se cumule et s'amplifie. Sur dix étapes, ça peut faire 20%. Sur 50 étapes, ça donne une réponse aléatoire.

À ce stade, tu vas me dire : "L'erreur, c'est toi Benoît. Tu aurais dû être plus vigilant."

Sauf que c'est pas de ma faute. C'est la faute à mon cerveau ! Je t'explique.

Parce que, oui, j’oubliais, il y a un quatrième paramètre !

Breaking news ! Ton cerveau broyé par ChatGPT !

Dans un article retentissant publié ce mois-ci, le MIT a démontré l’impact délétère de l’usage de ChatGPT sur nos fonctions cognitives. L'étude "Your Brain on ChatGPT" révèle que notre activité cérébrale diminue significativement quand on utilise l'IA, lorsqu’on la compare à celle d’une personne qui utilise un moteur de recherche, mais surtout à celle qui n’utilise que son cerveau.

Si j’ai fait preuve de moins de vigilance, c’est donc que mon cerveau tournait au ralenti. Une réaction qui s’ajoute à un autre effet : celui de surconfiance, également documenté.

Ceci posé, il y a plusieurs manières d’analyser cette étude.

Il y a l’approche “Grand Continent” (qui nous avait habitués à mieux) : Au secours, ChatGPT casse le cerveau !

Et puis il y a l’approche nuancée.

• Tout d’abord, quand tu délègues une tâche, il est normal que ton cerveau soit moins solicité. C’est un peu l’objectif en fait. C’est donc une question d’équilibre.

• Comme le rappelle le Pr Ethan Mollick : “Les LLM ne détruisent pas votre cerveau. C'est la paresse et le manque d'apprentissage qui le font”.

• Ensuite, selon l’étude, ceux qui ont d'abord travaillé sans IA maintiennent une meilleure activité cognitive quand ils l'utilisent ensuite.

J’en tire donc deux conclusions :

Esprit critique 2.0

1) Il faut éviter d’utiliser ChatGPT comme on appuie sur un bouton. Ne délègue pas tout. Intéragis.

2) L’esprit critique est LA compétence à développer à l’heure de l’IA. Ça te concerne aussi, pas juste tes enfants.

L'esprit critique du XXIème siècle n'est pas le même que celui du XXème. Tes interlocuteurs sont désormais aussi des IA qui ne "pensent" pas du tout comme nous.

Interagir avec des IA n'est pas mauvais en soi. Mais il faut une approche critique adaptée.

Les humains se trompent autant que ChatGPT, mais tu as appris à faire avec. Avec l'IA, les points de vigilance ne sont plus les mêmes.

Sois humble et curieux. Apprends ses qualités et faiblesses. Il y aura toujours des erreurs, le tout est d'éviter les erreurs critiques.

L'IA n'est pas un logiciel de productivité, c'est un collaborateur atypique. Apprends à te planter avec lui et à recommencer.

Socrate, disait quoi déjà à ce sujet ?

Demande à ChatGPT !

Ce qu’il faut retenir :

• Les erreurs des IA se propagent et s'amplifient en cascade lorsqu'on enchaîne plusieurs modèles, chaque étape contaminant la suivante avec ses propres spéculations.

• Le taux d'hallucination n'est pas fixe mais dépend du contexte : données rares ou corrompues et prompts spéculatifs augmentent drastiquement les erreurs.

• Les modèles de langage ne font aucune distinction architecturale entre fait et fiction, tout est traité comme une prédiction statistique du mot suivant.

• L'usage de ChatGPT réduit significativement l'activité cérébrale comparé à la recherche manuelle ou à la réflexion autonome, créant un risque de dépendance cognitive.

Pour aller plus loin :

• Lis cet article passionnant d’un chercheur en sciences de l’information sur les hallucinations. C’est bourré de références.

• Regarde cette vidéo du philosophe Bernard Stiegler, qui explique que nous faisons face au risque de devenir des prolétaires du savoir. Et que "la technique est toujours un pharmakon : elle est à la fois toxique et curative."

📖 Ton guide pratique pour éviter de faire les mêmes bêtises que moi

Regarde je suis sympa je t’ai fait des cartes à découper :

Midjourney fait des videos

Le meilleur générateur d’images du moment (de mon point de vue) propose désormais de transformer tes images en video. Et le résultat est très bon ! Midjourney gère assez bien la complexité de l’environnement physique.

Mais le vrai “plus” c’est que les videos bénéficient de la richesse artistique inégalée du modèle. Ça nous change des images lisses des générateurs habituels de video.

👉 Tu peux voir quelques exemples ici.

Comment mettre tes photos de produits dans des images générées par l’IA ?

La question m’a été posée par une membre de la communauté. L’influenceur TechHalla a testé 3 modèles : ChatGPT / Flux Kontext / Higgsfield Canvas.

Le meilleur ? Higgsfield ! 

PARTICIPE !

On construit cette lettre ensemble !

Nous sommes désormais 35.809 abonnés !

La dernière édition sur l’épopée d’OpenAI vous a bien plu : 97,2% d’avis positifs !

J’ai demandé à Claude d’analyser les résultats, il m’a produit ce tableau de bord interactif avec les commentaires les plus intéressants.

Par exemple Anthony nous propose la lecture d’un livre :

Alors…

A toi de voter !

Comment as-tu trouvé cette édition ? Vote ici et laisse tes commentaires pour nous aider à nous améliorer !

Merci de nous avoir consacré un peu de ton temps. Je te souhaite une bonne semaine. Prends soin de ton cerveau !

🎨 Benoit, Thomas et FlintGPT.