Google s'apprête à surpasser GPT-4 avec Gemini Ultra : bluff ou réalité ?

En Bref. Google a lancé Gemini Pro, un modèle d'IA qui a surpassé GPT-3.5 dans six des huit benchmarks, et prévoit de lancer Gemini Ultra en 2024 pour surpasser GPT-4.

La compétition. En lançant Gemini Pro, Google se positionne comme un concurrent direct de GPT-3.5, et prévoit de surpasser GPT-4 avec le lancement de Gemini Ultra en 2024. Sauf qu’on ne sait pas bien quelle version a été testée.

La version embarquée : Le modèle Nano pour les smartphones sera utilisé dans le Pixel 8 Pro. Il permettra par exemple de créer des résumés de mémos vocaux.

Les capacités. Les modèles Gemini sont multimodaux, capables de traiter le texte, les images, l'audio, la vidéo et le code. Google prévoit d'intégrer ces modèles dans ses produits existants, notamment le chatbot Bard. Pro et Nano seront lancés le 13 décembre 2023.

La vidéo qui fâche. Largement diffusée sur les réseaux sociaux, la vidéo de démonstration montre une IA fluide qui répond au doigt et à l’oeil à l’utilisateur avec la voix. Mais quand on y regarde de plus près (le “making off” publié par Google"), on comprend que la vidéo de démonstration est en fait un montage trompeur.

Que penser de ce montage ? En fait, ce tour de passe passe nous en dit beaucoup sur l'agitation parfois irrationnelle du marché en général.

Et sur la fébrilité de Google en particulier.

Ce qui est le plus intéressant, c'est Google n'a pas vraiment menti sur la vidéo présentant son nouveau modèle d'IA, censé détroner GPT-4 en 2024.

Les détails du "making off" sont brièvement précisés au début, et décrits dans un post de blog. Mais personne n'a pris le temps de lire entre les lignes.

De quoi parle-t-on ?

Dans cette vidéo, on voit une IA présentée un peu comme celle d'Iron Man, qui répond du tac au tac à l'humain qui lui montre des objets.

L'idée est de faire la démo des capacités multimodales de Gemini Ultra.

Cette vidéo a fait le tour des réseaux sociaux.

Sauf que tout a été monté. Les vidéos en direct sont en fait des photos, et elles ont été présentées une par une. Et les instructions envoyées au modèle ne sont pas celles que l'on voit à l'écran.

Pourquoi Google a-t-il ressenti le besoin d'en faire des tonnes ?

En retard dans la course aux grands modèles de langage, la firme perd-elle son sang-froid ?

Après l'incident OpenAI, on a le sentiment que ce secteur, censé maitriser le développement de ces technos disruptives, est dans une fébrilité pas hyper rassurante.

Cette anecdote pose également le problème de manque flagrant de transparence du secteur.

 Dans un post sur X, la chercheure Emily Bender appelle à une plus grande responsabilité des entreprises technologiques dans le domaine de l'IA.

Cette histoire pose aussi la question des benchmarks utilisés pour mesurer ces IA. Aujourd'hui dépassés, ces tests chiffrés présentés à chaque nouveau lancement contribuent à alimenter les imaginaires.

Le nouveau benchmark, GAIA, présenté ces derniers jours par les équipes de Meta, devrait nous mettre la puce à l'oreille : GPT-4 a difficilement atteint un taux de réussite de 30% (contre 92% pour un humain).

A-t-on atteint un plateau avec les grands modèles de langage (LLM) ? L’expert IA Gary Marcus s’interroge sur l’avenir de GPT-4 et sur les futures optimisations des LLM :

Malgré les promesses de Google, les résultats doivent encore être confirmés par des tests indépendants. La communauté technologique reste donc prudente face à ces annonces.

Au fond, le vrai juge de paix sera l'utilisateur, lorsqu'il aura en main cet outil... en 2024.

Nous avons gagné en maturité. Peu nous importe la SF et l'anthropomorphisation des IA, l'important reste l'utilité et la fiablité de ces modèles dans nos usages professionnels et personnels.

Nous font-il gagner du temps ou nous en font-ils perdre ?

Ce qui est sûr, c'est que l'emballement médiatique, lui, nous en fait perdre.

Et il met à l’épreuve notre esprit critique, souligne le chroniqueur Alberto Romero :