Le guide ultime sur l'intelligence artificielle la plus folle du moment

Cher(e) toi,

Je t’en avais parlé rapidement dans la dernière lettre, et depuis c’est devenu la folie. Tout le monde en parle, même à la télévision. Certains disent même que c’est un “tournant” avec des références plus ou moins romantiques, ça va du “c’est un point de bascule dans l’intelligence artificielle”, à “c’est comme l’invention de l’iPhone !” ou plus rigolo : “C’est comme l’invention du web !” Bon. De quoi (ou de qui ?) parle-t-on ? L’événement s’appelle “ChatGPT”, une intelligence artificielle qui répond à toutes tes questions même parfois quand elle ne sait pas, écrit des articles, des chansons, des recettes de cuisine ou des lignes de code à la demande et bien plus encore.

Alors si tu n’étais pas au courant de "l'événement", je vais t’expliquer qu'est ChatGPT. Mais surtout comment ça marche VRAIMENT, ce que tu peux faire avec et comment tu peux le faire, mais aussi ce que ChatGPT ne sait pas bien faire comme par exemple éviter de dire des conneries (mais bon ça, tu me diras, c’est comme les humains… et tu ne crois pas si bien dire, on va en parler).

Bon. Pour être honnête, j’ai été un peu moins bluffé que d’autres par ChatGPT parce que ça faisait déjà un petit moment que je jouais avec sa maman (ou son papa c’est comme tu veux), qu’on appelle GPT-3. Et je te propose d’ailleurs que nous commencions par là. Installe-toi confortablement, je t’invite à un petit cours du dimanche… C’est un peu long, parce que c’est un guide ultime justement, donc je te propose de sauter les étapes qui ne t’intéressent pas et de sauvegarder cette lettre pour y revenir de temps en temps.

C’est qui GPT ?

GPT, dont la dernière version s’appelle “GPT-3” (GPT-3.5 pour être plus précis), est une intelligence artificielle générative (en anglais “GPT” = “generative pre-trained model”, un modèle génératif pré-entrainé), c’est à dire qu’elle est capable de générer des contenus (comme du texte ou du code) à la demande.

Elle ne “comprend” pas ce qu’elle écrit (enfin pas au sens où on l’entend habituellement), elle ne fait que prédire les mots qui sont les plus cohérents pour continuer sa phrase. Mais elle le fait plutôt bien, grâce à une technologie récente dont on parlera plus loin, ce qui donne l’impression qu’elle est vraiment intelligente, ou consciente. Mais ce n’est pas le cas.

Quelle est la différence entre ChatGPT et GPT-3 ?

ChatGPT est une version “grand public” et plus facile à utiliser de GPT-3, mais le modèle et les données d’entrainement sont les mêmes. Pour cette même raison, ses réponses sont plus “encadrées” et nuancées que GPT-3 (enfin pas toujours). J’y reviendrais plus loin.

Que peut faire GPT-3 (et donc ChatGPT) ?

Elle peut écrire un article sur de la culture générale, écrire un mail à ton patron pour demander une augmentation, écrire un conte de fée (ce qui revient un peu au même), et elle peut réécrire tout cela dans différents styles d’écriture. Elle peut aussi traduire des textes ou en faire des résumés. Elle peut également écrire du code, c’est à dire que tu peux lui demander : “écris moi un programme qui me permet d’afficher mes photos de vacances avec un fond bleu et un titre très gros qui dit : VIVE LES VACANCES”, et elle te donne le code et la méthode pour l'implémenter.

D’où GPT-3 tire-t-elle ses données ?

GPT-3 entre dans la catégorie que l’on appelle les “large langage models”, autrement dit les modèles larges de traitement du langage. Ce sont des intelligences artificielles qui ont appris sur des milliards de données textuelles pour être capable de leur donner du sens et d’écrire ou de traduire comme le font les humains. 

Quelles données ? Alors par exemple, pour GPT-3, on parle des données récoltées par des projets “ouverts” (tout le monde peut y accéder gratuitement) comme le site d’archivage “CommonCrawl” ou l’encyclopédie en ligne Wikipedia, mais aussi des livres. 

Pour traiter ces données et faire ses prédictions, GPT-3 utilise un modèle à 175 milliards de paramètres (des critères si tu veux), soit 175 fois plus que sa précédente version, GPT-2, ce qui le rend particulièrement puissant. Imagine toi juste utiliser 175 milliards de critères pour prendre une décision… voilà.

Mais qui est à l’origine de GPT-3 ?

À sa sortie en 2020, GPT-3 était déjà une révolution. Le programme a été créé par la société californienne OpenAI. À l’origine, OpenAI a été fondée en 2015 par Elon Musk et Sam Altman, sous forme d’association, pour travailler sur une “intelligence artificielle forte” (c’est à dire supérieure à celle de l’humain) mais qui serait, hum, “éthique”. Oui parce que à l’époque, on avait assez peur que l’IA devienne vraiment intelligente et décide de détruire l’humanité (ce qui en dit long sur notre vision de l’humanité : si tu es intelligent, tu décides de la supprimer, sinon c’est que tu n’as rien compris…)

Plus tard (en 2019), OpenAI est devenue un entreprise mais à revenus “plafonnés”(c’est à dire en gros dont l’objectif n’est pas de gagner plein d’argent mais juste d’être rentable). Elle est financée désormais essentiellement par Microsoft qui l’implémente dans ses outils. Elle est l’entreprise la plus innovante en la matière et a déjà fait parler d’elle en lançant Dall-E, une autre intelligence artificielle générative, capable elle de produire des images de grande qualité sur la base de simples phrases.

Et comment ça marche exactement ?

Oui c’est important de bien comprendre comment ce programme fonctionne parce que ça permet, comme tu vas le voir, de prendre conscience de deux choses :

1. Pourquoi cette IA n’est pas consciente même si elle te parle comme un humain (les fautes d’orthographe en moins !)

2. Pourquoi elle écrit beaucoup de bêtises quand elle répond à tes questions.

Pour t’aider à approfondir le sujet, on va faire un peu de programmation. Et on va apprendre ensemble deux nouveaux mots : les “transformers” et le concept “d’attention” en “machine learning” (le machine learning veut dire “apprentissage automatique”, c’est le mot sérieux pour dire “intelligence artificielle”, c’est à dire une machine qui apprend à faire des prédictions et se corrige au fur et à mesure…).

Qu’est-ce qu’un transformer ?

Alors ce n’est pas un robot qui se transforme en camion comme dans le dessin animé. Je t’explique, c’est un peu technique, mais je vais simplifier.

En gros, GPT vient du monde de l’apprentissage automatique des langues. L’objectif de ces programmes est d’essayer de comprendre un texte, en général pour pouvoir le traduire dans une autre langue ou le résumer. Comme le robot ne comprend pas comme nous, on essaie de lui faire trouver de la cohérence mathématique dans un texte.

C’est là qu’interviennent les modèles “transformer” : inventés par des chercheurs de Google en 2017, ils permettent de comprendre un texte très vite et de façon plus précise. Les modèles de transformer encodent le texte sous forme de “vecteurs” (c’est à dire des listes de données chiffrées) pour représenter les mots (les tokens plus précisément) et les phrases. Ces vecteurs sont utilisés pour effectuer des calculs mathématiques pour prédire (générer le suite d’un texte) ou transformer les données (traduire un texte dans une autre langue).

Pour cela, les modèles de transformer utilisent ce qu'on appelle "l'attention". L'attention permet au modèle de se concentrer sur certaines parties des données pendant qu'il effectue une prédiction ou une transformation. Cela permet au modèle de mieux comprendre le contexte et de produire des résultats plus précis. Par exemple si un texte parle de cuisine, et qu’une phrase décrit une orange, le robot tiendra compte du contexte de la phrase. Ça parait simple mais c’est énorme.

Pourquoi GPT-3 apprend-elle aussi vite ?

Eh bien c’est grâce à une autre révolution apportée par GPT-3, qui s’appelle le “Zero/one/few-shot learning”. Qu’est-ce que c’est ? Demandons à ChatGPT… 

Avant ça il faut que tu comprennes que “shot” veut dire “coup”. Dans notre contexte, il s’agit d’exemples donnés à l’IA pour s’entrainer. Donc “one shot” veut dire “un exemple”. Et "few-shot" "peu d'exemples". Qu'en dit ChatGPT ?

Mieux : 

GPT est-elle multi-tâches ?

Oui oui, GPT est aussi multi-tâches, ce qui est très inhabituel pour un robot (en général ils ne font qu’une seule chose, celle pour laquelle ils ont été entrainés, par exemple jouer au go ou aux échecs mais pas les deux).

Encore une fois, ça te paraitra idiot pour un humain, mais pour un robot, c’est justement le début du début de l’intelligence…

Je te propose qu’on s’arrête là sur la partie technique et qu’on synthétise. Ce qu’il faut retenir de tout ça c’est que, ces technologies révolutionnaires, une fois mises en ensemble et associées à de gigantesques bases de données, expliquent les incroyables performances des modèles GPT dans la génération de textes en langage naturel ou en langage de programmation.

Nous en étions donc là en 2020 avec GPT-3, jusqu’à ce qu’arrive la petite nouvelle : ChatGPT, à la fin de 2022. Et là, nouveau bon dans l’espace. Pourquoi ?

Que change ChatGPT ?

ChatGPT est basé sur le même modèle que GPT-3, mais elle apporte deux innovations :

1. Tu peux lui parler comme à un humain, et elle te répond de la même manière. C’était déjà la cas avant, mais le design de l’interface en fait une conversation très fluide.

2. Mais surtout : l’IA retient ce que tu lui as écrit avant. Ce qui veut dire que si tu lui demande par exemple d’écrire un article, tu peux lui demander ensuite d’y apporter des corrections. Et donc travailler avec elle de façon itérative. Et ça change tout. Cela veut qu’elle évolue et apprend en temps réel avec toi à rendre ses résultats plus précis et plus profonds.

C’est donc la même technologie, mais avec une interface différente, plus naturelle.

ChatGPT est-elle laissée sans surveillance ?

Alors oui et non. OpenAI a rajouté à ChatGPT (qui s'appuie sur un entrainement non supervisé) une couche d’entrainement par des experts humains. Pourquoi ? Pour limiter l’IA dans ses réponses et lui éviter de (trop) déraper, mais aussi pour  rendre la discussion plus naturelle. Par exemple elle peut refuser de répondre, ou te dire qu’elle ne sait pas, ou encore nuancer ses propos. Cet entrainement est facile à reconnaître : l’IA est parfois un peu verbeuse, et a tendance a répéter le même type de formules quand elle rechigne à répondre…

Evidemment, depuis son lancement, des centaines de milliers de personnes se sont amusées à la faire dérailler (on en a vu beaucoup d’exemples sur Twitter) et ce système de garde-fou s’est grandement amélioré en quelques jours. Par exemple, elle ne t’explique plus que manger du verre pilé est bon pour la santé, d'ailleurs elle ne propose plus de conseils de santé du tout. Par contre, comme nous allons le voir, elle continue de te fournir des fausses citations de Nelson Mandela.

Ça va ? Pas trop fatigué ? Alors je te proposes de faire une pause et de revenir dans quelques minutes, on va regarder les plus et les moins, pourquoi elle invente des trucs sans prévenir, et surtout comment tu peux utiliser ChatGPT pour faire des choses que tu ne savais pas bien faire avant.

Est-ce que ChatGPT dit la vérité ou bien ?

Alors le truc le plus important qu’il faut retenir de ChatGPT, c’est qu’elle raconte beaucoup de bêtises. Et il y a une raison à cela. Bizarrement, ça ne la rend pas moins imprévisible que les humains (enfin ça dépend des humains...), parce que nous faisons la même chose avec notre cerveau. C’est fou, mais c’est ce que j’ai découvert en faisant des recherches sur les neurosciences pour mon livre. On appelle ça la “confabulation”. Qu’est-ce que c’est ? Arrêtons-nous quelques minutes sur ce phénomène si tu le veux bien.

Qu’est-ce que la confabulation ? 

Que se passe-t-il quand ton cerveau n’a aucun souvenir ni aucune connaissance sur lesquels s’appuyer quand il fait face à des informations incohérentes ? Se pose-t-il deux minutes pour réfléchir au problème ? Noooon malheureux ! Ça prendrait beaucoup trop de temps et d’énergie (n’oublie jamais que ton ami le cerveau est un thermostat). Non, quand il ne sait pas… il invente ! On appelle ça la confabulation.

Dans son livre “Perdons-nous connaissance?” (Odile Jacob - 2010), le neurologue Lionel Naccache prend l’exemple de cet homme qui avait un dysfonctionnement du cerveau qui faisait qu’il ne reconnaissait pas les gens. Par exemple, quand il voyait sa copine, il ne la reconnaissait pas, mais il la trouvait tellement jolie qu’il n’arrêtait pas de la draguer.

Le patient en question, quand on lui demandait qui était cette femme, inventait une histoire complètement imaginaire, dont il était absolument convaincu. Il n’était pas fou. Son cerveau essayait juste de recoller les informations qu’il avait devant lui pour que ça ait du sens. Et l’homme ne se rendait pas compte.

Nous faisons ça tout le temps. Enfin, pas draguer notre partenaire sans le ou la  reconnaître, mais boucher les trous avec notre imagination.

Qu’est-ce que la confabulation algorithmique ?

Eh bien, ChatGPT fait pareil, mais à sa façon. Elle a été conçue pour prédire du texte à partir d’un texte que tu lui envoies ou de ce qu’elle a déjà dit. Elle le fait sur la base de données qu’elle a ingéré de façon non supervisée (donc “en vrac” si tu veux). La plupart du temps ça marche, et c’est pour cela que ses réponses sont en général assez tièdes, vagues et consensuelles. Mais selon la façon dont tu poses la question, les réponses peuvent varier sensiblement. Et parfois elle invente carrément, surtout quand elle ne trouve pas de réponse cohérente (avec ta question) dans ses données.

Par exemple, je lui ai demandé de me trouver 10 citations de Nelson Mandela, et sur les 10 qu’elles m’a proposées, impossible de savoir si elles étaient vraies. Je lui ai demandé des références, elle m’a répondu avec des références fantaisistes. Je lui ai aussi demandé de me retrouver le texte intégral du discours du Nobel de la Paix en 1993, ChatGPT a dit “ok !” et elle m'a proposé un texte qui n’a rien à voir.

OpenAI reconnait-il que ChatGPT invente des trucs ?

Oui. C’est d’ailleurs ce qui a fait dire à Sam Altman, le fondateur d’OpenAI, sur Twitter, le 11 décembre dernier, la chose suivante :

Par ailleurs, une étude (à laquelle a participé OpenAI) donne un chiffre sur la tendance de GPT-3 à “confabuler” : 58% de réponses justes, ce qui fait 42% de réponses fausses ("TruthfulQA: Measuring How Models Mimic Human Falsehoods" - Lin, Hilton & Evans - 2022).

Ça ne rend pas ChatGPT inintéressant, mais c’est important de le savoir pour ne pas te faire avoir. En fait, quoi que tu lui demandes, une info, une ligne de code, ou une méthode de régime (quoique les méthodes de régime sont toutes un peu bullshit non ?), il faudra TOUT revérifier derrière par qu’il y a 42% de chances qu’elle te réponde n’importe quoi ou qu’elle place des inventions au milieu de ses bonnes réponses.

Et comme ChatGPT ne te donne pas ses sources (ou quand elle le fait elles sont souvent inventées) (je me suis retrouvé une fois avec des faux liens ou des faux livres qui n’avaient jamais été écrits), ça demande un peu de travail !

Quelques astuces pour bien utiliser ChatGPT

La première question à se poser avant “comment l’utiliser” c’est donc pour faire quoi ? Je te propose quelques cas d’usages, avec leurs limites. Tu me donneras les tiens !

Alors, ChatGPT, comment l'utiliser de façon utile ?
Va-t-il par exemple pousser “les gens” à écrire de moins en moins, comme je l'ai lu ici et là ? ("les gens" : c’est comme ça que les experts appellent les non-experts) Pas sûr.

Va-t-on voir le web envahi de millions de textes inintéressants ou faux ? Oui et… non. Les moteurs de recherche devraient y parer pour ne pas les référencer. Des outils existent déjà pour identifier les textes écrits par l’IA de ceux des humains, mais ils se trompent encore souvent (GPT-2 Output Detector Demo et Originality.ai par exemple). OpenAI travaille sur une sorte de filigrane cryptographique (et invisible) qui permettra de marquer ces textes pour éviter leur automatisation.

Mais le faire écrire tout seul n’est pas le principal intérêt de ChatGPT. En fait,  il y a une manière d’écrire bien particulière avec ChatGPT si tu veux vraiment écrire un truc intéressant (sinon, personne ne te lira, même les robots comme on l’a vu),

Comment écrire des textes intéressants ?

Pour écrire avec ChatGPT, il faut l'aborder comme un exercice créatif. La vraie révolution de l’outil ? Comme je te l’ai dit plus haut, c’est le fait que le robot se souvient de ce que tu lui as dit. Cela veut dire que tu peux itérer avec lui et le faire progresser de façon incrémentale.

Tu peux commencer par lui proposer ton sujet. Sois précis, sur ce que tu veux écrire et ses objectifs. Et prends un sujet que tu maitrises, sinon gare aux erreurs…

Demande lui un plan

Mais le plus efficace, c'est de lui présenter l’idée en une phrase et de lui demander un plan. Ce qui déjà va t’aider à structurer ton texte mais aussi te donner des idées d’angle, voire des angles morts qui t'auraient échappé.

Tu peux ensuite co-construire avec lui sur chaque point du plan en lui demandant de développer. Tu peux lui amener petit à petit du contexte, des idées ou des exemples d’articles. Sur ce dernier point, tu ne peux pas lui envoyer de liens (ChatGPT ne peut pas aller sur le web) mais tu lui peux donner un extrait.

Demande lui aussi des arguments pour et contre.

Tu peux aussi lui demander d'approfondir tel ou tel passage s'il est trop vague. Guide-le en lui donnant des références (auteurs, livres...) qu’il ira chercher (en tout cas celles qui ont été publiées avant 2021, à l’heure où j’écris ces lignes). Mais encore une fois, il faudra tout vérifier derrière.

N'hésite pas à aborder une même question avec différentes approches, et privilégie les phrases courtes. Et si tu vois qu’il bloque sur un truc, relance une nouvelle discussion pour effacer sa mémoire… S’il refuse de répondre (par exemple il n’aime pas donner son avis), demande lui de se placer dans le contexte d’une fiction. ChatGPT adore les fictions.

Une fois que tu as bien avancé, ton texte devrait déjà être moins vague et consensuel. Tu peux ensuite lui faire ré-écrire et récapituler…

Est-ce que ça fait gagner du temps ?

Oui et non. Personnellement je l’utilise pour synthétiser des concepts (par exemple pour le texte que tu lis, je lui ai demandé “qu’est-ce que la confabulation ?” ce qui m'a évité de me taper tout le travail de synthèse), ou pour avoir des idées  d’approche du sujet auxquelles je n’avais pas pensé.

Si tu as du mal à te mettre à l’écriture, ChatGPT est un vrai plus. Il y a plein de gens qui ont des idées et des connaissances, mais ont du mal à les structurer ou à les exprimer. La porte est désormais ouverte !

Si tu as du mal à exprimer tes idées, ou si tu manques de temps, tu peux par exemple lui donner tes notes et lui demander d’en faire un article, un titre, un tweet ou un post Linkedin. C’est assez efficace ! Des youtubeurs se sont amusés à demander à ChatGPT à trouver des idées de titres pour leurs vidéos en leur donnant juste le sujet.

Comment écrire du code quand on n’y connait rien ?

C’est sans doute la facette la plus révolutionnaire de ChatGPT. Même si elle invente également parfois (comme a pu le constater Thomas, mon associé, qui a joué avec cette semaine sur de la programmation). Il faut donc toujours vérifier…

De mon côté, comme j’ai envie de me mettre à Python depuis un petit moment mais sans trouver le temps (Python est le langage qui permet, entre-autres, de programmer en intelligence artificielle), j’ai demandé à ChatGPT de coder pour moi pour que je puisse me familiariser.

Je lui ai dit : “écris moi un programme en Python pour demander à GPT-3 de résumer un article sur la base d’un lien qu’on lui envoie”. Quelques seconde plus tard j’avais le code. Et ChatGPT m’a même expliqué comment l’installer, pas à pas.

J’ai testé le bout de code et ça marchait très bien.

Bon, le seul problème c’est que, une fois le programme lancé, GPT-3 résumait l’article, mais en prenant beaucoup de libertés ! Du coup c’était inutilisable, mais je suis content parce que j’ai pu tester mes premières lignes de code et comprendre ce que chaque ligne faisait.

Difficile de mesurer l’impact de cette innovation sur le monde du code, mais il est clair que, en s’y prenant bien, programmer va devenir abordable pour tout le monde !

En résumé…

En résumé, comme dirait ChatGPT (qui finit toujours ses textes comme ça), ChatGPT est encore une expérimentation, à aborder avec BEAUCOUP de prudence.

Mais plutôt que de le voir comme un robot qui fait le travail des humains à la place des humains, je trouve plus pertinent de l'aborder comme un partenaire de travail pour t'aider à trouver des idées, à mieux les structurer, mais aussi pour t'éviter les pièges de la paresse mentale qui t'empêchent parfois de nuancer.

 Par exemple, quand tu ne veux pas te prendre la tête à explorer toutes les facettes d’un concept, même celles qui vont à l’encontre de ton discours, où s’il y a des tâches d’écriture rébarbatives, le robot le fait pour toi pour que tu te concentres sur ta valeur ajoutée.

Voilà tout ce que j’ai appris cette semaine !

Nous n’en sommes qu’au début. De nouvelles applications s’appuyant sur GPT-3 vont encore fleurir dans les prochains mois. Ça va être un peu fou. Ça va sans doute trop vite. C’est un peu comme si LOpenAI avait ouvert un Jurassik Park dans le monde de la tech. C’est fascinant de voir toutes ces bestioles émerger sur la toile comme si elles sortaient d’un rêve de science-fiction. Mais que se passera-t-il quand le T-Rex s’échappera de son enclos et commencera à manger tout le monde ?

C’est l’objectif de ce guide (à partager largement donc !) : nous aider à garder la tête froide.