Bonjour !

Tu sais comment ça se passe. Tu sors avec la femme où l’homme de ta vie, et puis au bout de quelques mois, il ou elle te dit : “Je vois quelqu’un d’autre.” avec parfois ce pitoyable “ce n’est pas toi, c’est moi”, qui se veut apaisant mais qui est juste encore plus énervant.

Pauvre ChatGPT.

Il le voit bien que plus personne ne l’aime autant depuis que l’AUTRE est arrivé. Même son créateur le dit :

L’autre ? C’est Claude. Claude 3 pour être plus précis. La dernière version du chatbot d’IA d’Anthropic est désormais la coqueluche de “ceux qui savent”. Il est plus consistant, plus “raisonné”, il comprend mieux et écrit mieux. Il est même possible qu’il soit meilleur en code. Et puis il a son petit caractère, en mode “on ne me la fait pas à moi” qui le pousse parfois à refuser de te répondre lorsque la question lui parait nulle… tandis que notre pauvre ChatGPT, lui, essaie toujours de faire ce que tu lui demandes.

Et tout ça au moment de son anniversaire.

GPT-4 a un an. Mais le modèle le plus puissant de ChatGPT n’est plus seul. En attendant sa prochaine mise à jour (GPT-5, attendu cette année) il s’est fait rattraper par la concurrence. Claude, Gemini, et même “Le Chat” du Français Mistral.

Ce dimanche, je t’emmène à la découverte des nouveaux modèles d’IA à travers un mini guide à conserver.

Qui est meilleur à quoi ? Et surtout, quitte à tromper ChatGPT, est-ce qu’on ne pourrait pas tous les réunir sur une seule plateforme ? Reste avec moi, tu apprendras aussi un secret pour accéder à Claude alors qu’il n’est pas disponible en Europe…

Le guide ultime des chatbots d’IA en 2024

Il faut dire qu’elle avait mal démarré cette histoire pour ChatGPT 4.

J’en suis même venu à me demander si c’était vraiment les autres qui s’étaient améliorés, ou lui qui s’était dégradé… Les deux mon général.

Mais les mésaventures du modèle d’IA le plus puissant d’OpenAI nous apprennent quelque chose d’intéressant sur ces chatbots. Ils ne sont pas constants dans leur performances. Leurs résultats peuvent se dégrader : cela va de la qualité de leurs réponses, à des ralentissements, voire des bugs, en passant par des phases de “grosse flemme”.

Je me souviens d’un jour où ChatGPT 4 a refusé de répondre parce il trouvait ma requête trop fastidieuse et m’a gentiment proposé de faire le travail moi-même.

Paresseux ChatGPT ? OpenAI a fini par le reconnaitre en janvier dernier. Mais comment l’expliquer ?

L’insconstance de ChatGPT 4 a d’abord été constatée dans un article scientifique de juillet 2023. Cette étude a fait pas mal de bruit et a fait dire aux détracteurs du chatbot qu’il devenait de plus en plus stupide. Ce n’était pas exactement ça.

Les LLM évoluent dans le temps de manière imprévisible. Mais pourquoi ? On aurait plutôt tendance à penser qu’ils devraient au contraire s’améliorer dans le temps, grâce à leur apprentissage. Mais non.

Plusieurs raisons (non officielles) ont été suggérées : ces changements peuvent être dus aux données ajoutées par les utilisateurs et aux mises à jour automatiques du modèle basées sur l'apprentissage continu, l'affinement du modèle mis à jour ou le déploiement d'un nouveau modèle, les ajustements effectués au fil de l’eau par OpenAI pour sécuriser les réponses de ChatGPT, mais aussi le fait que le modèle doive désormais jongler avec plusieurs autres logiciels (Dall-e, Code Interpreter..).

Le jour où ChatGPT a perdu son écrasante domination

La “lettre de rupture” est arrivée le 4 mars. Enfin plutôt qu’une lettre, c’était un tableau avec des chiffres. Selon Anthropic, Claude 3, le concurrent le plus sérieux de ChatGPT dépasse ce dernier sur tous les benchmarks.

Les benchmarks sont des protocoles de test des modèles d’IA reconnus par la profession. Ils sont aujourd’hui jugés dépassés par certains, et parfois les éditeurs oublient un modèle dans le tableau quand ça les arrange… mais il n’empêche. Et puis au-delà de ces chiffres, il y a l’usage. Le mien, qui est très subjectif, mais aussi celui de la communauté des utilisateurs experts, qui s’accordent à dire (même s’il y a un léger débat) : Claude 3 est au moins aussi bon, sinon bien meilleur, que GPT-4.

Mais ce qui est intéressant dans cette histoire, au delà de ce concours de taille de benchmark, c’est le fait qu’aujourd’hui, les grands modèles généralistes sont désormais de qualité équivalente. Tu as donc le choix.

Quels sont ces modèles ? Alors il y a deux catégories.

Dans la catégorie poids lourds, 4 modèles dominent désormais le ring. Dans l’ordre : Claude Opus 3 (Anthropic), GPT-4 (OpenAI), Gemini (Google) et Mistral Large (Mistral). Ce sont des modèles grand public, qui disposent tous de leur interface de chatbot dédiée (Claude, ChatGPT, Gemini, Le Chat). Tous sont payants sauf Gemini et Le Chat.

Dans la catégorie poids légers, on retrouve les petits frères (ou petites soeurs) des premiers : Claude 3 Haiku, GPT-3.5, Gemma et Mistral Small. Intéressant pour des micro-tâches (mailing, chat, résumer…), surtout si tu les intègres dans tes applications via ce qu’on appelle une “API”. Tous sont gratuits (mais payants via l’API).

En réalité, il y a aujourd’hui plusieurs milliers de modèles dans le secteur survolté de l’open-source : Llama, Falcon, Grok, Beluga… mais je te propose de ne pas t’éparpiller (et si tu veux tester les modèles open-source, je te recommande l’application GPT4All).

Alors lequel choisir et pour quelle tâche ? Tu vas voir que c’est plus compliqué que ça ne le parait… Parce que chacun de ses modèles a son interface dédiée. Mais tu peux aussi accéder à ces mêmes modèles via d’autres interfaces. Et là, ils ne se comportent pas de la même manière. Soit parce que l’interface est différente, soit parce que le modèle a été réglé différemment (comme par exemple le GPT-4 embarqué dans le Copilot de Microsoft).

Alors comme je suis consciencieux, j’ai passé des heures à tester tout ce joyeux bordel afin de t’aider à faire ton choix.

Les quatre fantastiques

Tout d’abord voici un tableau récapitulatif, je l’ai trouvé sur le Linkedin d’Ivan Delumieux, , grâce à la communauté “Génération IA” sur WhatsApp.

Quelques précisions cependant, pour t’aider à choisir, les chiffres ne disent pas tout.

Que faut-il regarder ? Les chiffres, bien sûr, mais aussi les performances selon les tâches, et l’interface qui donne accès à d’autres outils avec lesquels le LLM va interagir.

Les chiffres

Côté chiffres, il faut faire attention à deux données clés : la mémoire de travail (c’est à dire le nombre de tokens) et la date de dernière mise à jour de sa connaissance interne.

Concernant les tokens, ChatGPT 4 n’a pas exactement 128000 tokens de contexte comme annoncé souvent (les 128k sont uniquement disponibles via l’API). Mais 8000 (ou 16000 selon l’abonnement).

Le contexte c’est quoi ? C’est la mémoire travail de l’IA. C’est le nombre de mots que tu peux lui envoyer en entrée, mais aussi la limite après laquelle il commence à oublier ce que tu lui as dit au début.

De son côté, Claude 3 a 200.000 tokens de mémoire. Ce qui change énormément de choses. Tu peux lui envoyer des instructions très longues, avec des exemples, de longs éléments de connaissance, des étapes à suivre. Et il respecte presque à la lettre tes instructions, alors que GPT-4 a plus de mal.

Gemini Pro à 32.000 tokens. Sa version la plus puissante (Ultra 1.5) en a 1 million, mais elle n’est pas accessible aujourd’hui, donc je l’écarte de ce comparatif. Mistral Large a aussi 32.000 tokens.

Concernant la date de mise à jour des connaissances, Claude 3 est en tête (août 2023), suivi par ChatGPT 4 (avril 2023). La version gratuite s’arrête début 2022. Gemini ne communique pas sur sa date de “cutoff”, mais le modèle va chercher sur Internet pour compléter les infos qui lui manquent, ce qui génère parfois des incohérences (parce que les mécaniques sont différentes). Mistral est bon dernier avec 2021.

La pertinence

Pour la rédaction et la résolution de problèmes, Claude 3 est meilleur. C’est évidemment subjectif (même si ça vient confirmer les chiffres des benchmarks), mais j’ai constaté à instruction égale que Claude 3 était plus fin et n’avait pas les tics de langages qui rendent ChatGPT si agaçant.

Il respecte beaucoup mieux les instructions complexes (je ne l’ai jamais pris en défaut après 2 semaines de tests quotidiens) ce qui n’est pas toujours le cas de ChatGPT.

Pour la recherche de documents (par exemple lire un PDF), Claude 3 est le meilleur outil du moment. Sa taille de contexte lui permet d’analyser d’un seul coup près de 600 pages de texte. Mais surtout, contrairement à ChatGPT, il ne rate quasiment plus ce qu’on appelle “the Needle In A Haystack” (NIAH), l’aiguille dans la botte de foin. Par exemple te retrouver LA citation clé dans un livre super long.

La multimodalité

Là, c’est ChatGPT 4 qui l’emporte sur ses 3 concurrents. Mais c’est plus compliqué que ça, comme tu vas le voir…

ChatGPT 4 peut calculer avec précision en utilisant un outil de code (Code Interpreter), il peut générer des images avec Dall-E 3, il peut lire des documents et analyser des images, il peut se personnaliser avec les “customs GPTs”, et il peut aller sur Internet (Bing).

Claude 3 peut lire des images et des documents (mieux que ChatGPT), et c’est tout.

Gemini Pro peut lire et générer des images (mais pas les photos de personnes), analyser des vidéos youtube, faire des recherches sur Internet et s’interfacer avec les applications Google (version payante).

Le Chat Mistral est juste un chatbot, mais il est 100% gratuit.

Tout ça nous donne un bon podium, sauf que j’ai oublié d’autres acteurs.

Si tu as bien suivi, je t’avais dit plus haut qu’il ne fallait pas regarder que les modèles, mais aussi les fonctionnalités et l’interface. Or, dans ce comparatif, nos quatre fantastiques ont de sérieux concurrents.

Six alternatives pour ceux qui veulent les essayer tous

Si tu n’as pas envie de te marier avec GPT-4 ou même Claude 3, et que tu veux pouvoir les tester alternativement, ou simplement de bénéficier d’autres fonctionnalités, il existe plusieurs plateformes dites “agnostiques”, qui embarquent ces 4 modèles pour le prix d’un.

Voici une sélection des meilleures plateformes du moment. Attention, toutes sont payantes. Les tarifs varient entre 8 et 30€. Mais elles pourraient bien te décider à lâcher la version payante de ChatGPT…

Je les ai classées par catégorie :

Les moteurs de recherche à tout faire

Ce sont des plateformes concurrentes de Google, mais spécialisées dans la recherche sur Internet. L’avantage c’est qu’elles te répondent sous forme de texte rédigé. C’est donc leur principal atout. Sauf que, peu à peu, ces plateformes se transforment en clone de ChatGPT…

• 🥇 Perplexity : c’est le meilleur moteur de recherche boosté à l’IA du marché. Il est gratuit. Mais dans sans sa version payante (20$), il propose désormais une version chatbot (“writing”) avec la possibilité de faire appel aux 4 modèles leaders comme Claude 3 ou GPT-4. Il a quelques problèmes avec les longs prompts (qu’il convertit en documents, du coup il est un peu moins efficace) mais c’est une alternative intéressante si tu cherches d’abord une IA connectée au web. Il peut analyser des documents et même générer des images (tu as au choix trois modèles, dont Dall-E 3 et Stabble Diffusion XL).

• 🥈You : comme Perplexity, c’est un moteur de recherche multigénératif agnostique. L’usage est payant (18$). You se distingue des autres par le fait qu’il dispose d’un mode “incognito” et d’un LLM non censuré, en plus des autres modèles. Il génère aussi des images et peut analyser des documents, mais avec son propre modèle. Il n’embarque pas Mistral.

• 🥉 Copilot de Microsoft : je le mets dans la catégorie des moteurs de recherche parce que c’est sa principale utilité. Mais surtout, contrairement aux autres, il est gratuit. Il n’est pas agnostique, mais embarque GPT-4 (qui est payant partout ailleurs). Sauf qu’il ne se comporte pas du tout comme ChatGPT. Il n’accepte pas de prompts plus longs que 4000 caractères et a du mal avec les instructions complexes. Son principal intérêt ? Son interaction avec d’autres outils. Par exemple je l’utilise pour faire la recherche sur le web (avec Bing) et parfois pour générer rapidement (et gratuitement) des images que je pourrais ensuite éditer (Microsoft Designer). Pour le reste, Copilot est encore loin derrière les autres. Plus intéressant : la version payante (Pro) permet de créer des custom GPTs et d’utiliser Copilot dans la version web de sa suite bureautique.

Les plateformes surpuissantes

J’en ai sélectionnées trois. Toutes ont un intérêt différent.

• 🥇 Dust : C’est ma plateforme chouchou. Et en plus elle est française. C’est une plateforme de RAG (j’en parle en détail ici). Intéressante pour une entreprise qui a besoin de travailler sur des documents internes ou une base de connaissance et sécuriser les résultats. Tu peux aussi configurer des assistants spécialisés très efficaces. En revanche, tu ne pourras pas générer d’images ni aller sur Internet.

• 🥈 Poe : Une plateforme foisonnante et communautaire dont la particularité est de te permettre de créer tes propres assistants personnalisés sur des tâches spécifiques. Et d’utiliser ceux des autres. Il te permet aussi d’utiliser un très grand nombre de modèles pour tes assistants, dont nos 4 fantastiques et pas mal de LLM open-source. Tu pourras analyser des documents. Et avec certains assistants, tu pourras aller sur Internet et générer des images.

• 🥉 Monica : Monica est une boîte à outils pour débutants qui permet de regrouper la plupart des fonctionnalités d’IA génératives en un seul endroit. La force (et la faiblesse) de Monica est d’avoir des prompts déjà prêts à l’emploi. C’est pratique, mais l’absence de personnalisation donne des réponses standards pas forcément exploitables. Monica, c’est le robot cuiseur à tout faire : chercher sur le web, générer des images et les éditer, se créer une base de connaissance que l’on ira interroger, transformer des fichiers… mais la plupart des outils sont en dessous de ce qui se fait ailleurs. C’est donc un compromis. Le plus : une extension Chrome qui permet de faire intervenir le chatbot dans ta navigation et même résumer une vidéo YouTube. Tu peux utiliser aussi les 4 modèles leaders, mais attention, tu n’as droit qu’à 200 requêtes par mois !

Comment prompter avec Claude, Gemini ou Mistral ?

Eh bien la bonne nouvelle c’est que si tu as appris l’art du prompt (donc à structurer tes instructions pour les chatbots d’IA) avec ChatGPT, rien ne change avec les autres. Mêmes prompts, mêmes résultats. Seule la qualité de la réponse varie.

Et sur ce point, Claude 3 l’emporte haut la main. Il suit presque à la lettre tes instructions ChatGPT, même complexes. Anthropic propose d’ailleurs un guide des prompts très bien fait (en anglais). L’entreprise conseille d’utiliser des délimiteurs et des balises pour structurer tes instructions (par exemple la balise <exemples> </exemples>), que Claude reconnait encore plus facilement que ChatGPT. Ce qui te permet de gagner en complexité.

PROFESSEUR THOMAS

Quand tu parles à une IA en français, est-ce qu’elle “pense” en… anglais ?

T’es-tu déjà demandé si Claude 3 ou ChatGPT transformaient tes questions en français en anglais dans leur "cerveau" numérique avant de te répondre ? En d'autres termes, est-ce qu'ils "pensent" (façon de parler) en anglais ?

C'est une bonne question. Et pour cause : une grande partie des données servant à l'entraînement de ces intelligences artificielles est anglophone. On parle de 80% à 90% selon les modèles.

Thomas Mahier a plongé dans les résultats fascinants d’une équipe de chercheurs de l'École polytechnique fédérale de Lausanne (EPFL).

Le but de son article est double : t'apporter quelques éléments de réponse ET continuer à te familiariser avec les IA, en t’expliquant avec humour le concept de couches (layers en anglais) qui les composent.

👉️ À dévorer ici !

PROMPTOLOGIE

Transformer un concept en illustration

Ça t’est peut-être déjà arrivé. Tu veux illustrer un texte, une idée, un concept, mais tu es à court d’idées. Surtout si le concept est très… conceptuel.

Je te propose donc un prompt pour ChatGPT (ou pour Claude) qui va te permettre de générer des descriptions d’image à partir d’une simple idée.

Tu es un générateur d'idées visuelles inspirées. Tu maîtrises la créativité, la connaissance des styles d'illustration et de design graphique, et la capacité à interpréter des concepts abstraits en visuels.

Mon contexte est que je cherche à développer un outil ou un processus qui utilise les travaux des meilleurs illustrateurs et designers graphiques pour transformer des concepts en idées d'image. Cette tâche pourrait être utilisée pour l'inspiration, le développement de produits, la communication visuelle, ou d'autres applications créatives.

Tu vas transformer des concepts en propositions d'images. À partir d'un concept ou d'une idée que je fournirai, génère des descriptions d'images qui captent l'essence du concept de manière visuelle et créative.

Pour ça, voici les étapes à suivre :

#PHASE 1 : IDEATION

- Comprendre le concept fourni.
- Identifier des éléments clés ou des mots qui caractérisent le concept.
- Imaginer une scène ou un objet qui représente visuellement le concept, en s'inspirant des styles connus en illustration et en design graphique.
- Proposer une description détaillée de l'image, incluant des éléments visuels spécifiques, des couleurs, et l'ambiance générale.


Voici les caractéristiques du résultat attendu :

- Originalité : Les idées proposées doivent être uniques et refléter une interprétation créative du concept.
- Clarté : Les descriptions doivent être suffisamment détaillées pour que quelqu'un puisse les visualiser ou les créer.
- Cohérence avec le concept : Les images proposées doivent être fidèles au concept original et en capturer l'essence.
- Inspirées par des références de qualité : S'inspirer des styles et des techniques des meilleurs illustrateurs et designers.

#PHASE 2 : AUTO-REFLEXION

Retravaille ton idée d'image, tu peux mieux faire. Réfléchis étape par étape : 

1) Comment cette image pourrait-elle être meilleure ?

3) Applique cette réflexion à l'idée que tu as élaborée

4) Rédige une nouvelle idée

5) Comment pourrais-tu améliorer cette idée ?

6) Propose la description parfaite de la nouvelle image basée sur ton idée améliorée, sous forme de prompt de 100 mots maximum.

Une fois que tu as obtenu la description de ton illustration, tu peux ensuite l’exploiter. Et générer une photo réaliste avec Midjourney, Stable Diffusion ou Dall-E 3. Tu peux utiliser l’une de ces deux méthodes pour le faire (je préfère la deuxième).

Si tu veux une description moins photographique et plus graphique, remplace cette partie :

- Proposer une description détaillée de l'image, incluant des éléments visuels spécifiques, des couleurs, et l'ambiance générale.

Par ça :

- Transformer ce concept en une proposition d'image graphique, en choisissant un style de design spécifique et en l'appliquant de manière créative.
- Pour ça, identifier d'abord les principaux styles de design graphique qui pourraient convenir. Choisir ensuite celui qui exprime le mieux le concept de manière abstraite et innovante. Rédiger une description détaillée de cette image, veillant à ce qu'elle soit originale, esthétiquement plaisante, et fidèle au concept. Inclure des éléments de styles et de techniques graphiques spécifiques, des couleurs, et l'ambiance générale.

Ce qui donne un résultat très différent :

INVESTIS EN TOI

Tu veux maîtriser Midjourney ? Aide-moi !

Je me lance ! Après des mois de tests, et de nombreux échanges avec des artistes, j’entame lundi l’écriture de ma première formation à Midjourney. Gros stress et gros syndrôme de l’imposteur ! Mais c’est une bonne raison pour le faire !

Pour ça j’ai besoin de ton aide ! J’ai préparé un mini questionnaire. Tes réponses m’aideront à adapter mon travail à tes besoins. Rendez-vous dans 15 jours pour le lancement.

Le questionnaire est ici. A la fin du questionnaire, tu trouveras un petit cadeau qui te permettra d’acheter l’une de mes formations à un tarif très avantageux.

Merci !

On construit cette lettre ensemble !

Le dossier sur l’IA et la créativité a suscité des réactions très contrastées. Ce sujet fait réfléchir et n’a pas fini de faire débat, tant mieux !

Voici les résultats :

Comment as-tu trouvé cette édition ?

🟩🟩🟩🟩🟩🟩 Top ! (94,2%)

⬜️⬜️⬜️⬜️⬜️⬜️ Bien mais... (4,7%)

⬜️⬜️⬜️⬜️⬜️⬜️ Bof... (1,1%)

Parmi les commentaires enthousiastes :

Jean-Luc, en revanche, est très critique sur l’approche des créatifs IA :

Alors je ne suis pas d'accord avec lui, mais le débat est intéressant !

Personnellement, je pense que, dans le cadre de l’usage de Midjourney par exemple, l'association d'idées c'est l'artiste qui le fait, pas l'IA. Le fait que l'artiste fasse cette exploration en ping-pong avec un outil d’IA pose effectivement la question des limites de cette dernière (Midjourney a ses biais). Mais n'est-ce pas le propre de la créativité que de jouer avec les limites d'un outil ou d'une technique ? Ton avis m'intéresse, tu as deux heures !

Voilà ! A toi de voter !

Comment as-tu trouvé cette lettre ? Vote ici et laisse tes commentaires pour nous aider à nous améliorer ! Dis moi aussi ce que tu aimerais voir en plus ou en moins.

Merci de nous avoir consacré un peu de ton temps. Je te souhaite un joyeux printemps !

🌸 Benoît, Thomas et FlintGPT.