Les avancées des grands modèles de langage en 2024

Pour Simon Willison, 2024 a été une année charnière pour l'IA générative avec plusieurs percées majeures. Au delà du buzz, l’ingénieur propose un récapitulatif de ce qu’il faut retenir de 2024 pour ce qui concerne les grands modèles de langage (LLM) comme GPT-4…

Simon Willison est un programmeur britanique, son blog est une référence sur les sujets de programmation en général et sur l’IA en particulier.

Vous pouvez retrouver l’article en entier ici.

Les grandes avancées

1. Démocratisation des performances :

   • De nombreux modèles ont dépassé GPT-4 (18 organisations)

   • Ces modèles sont devenus accessibles sur un simple ordinateur portable (exemple : Llama 3.3 70B sur MacBook)

   • Les prix ont chuté drastiquement (jusqu'à 27x moins cher qu'en 2023)

2. Multi-modalité :

   • Les modèles comprennent maintenant images, audio et vidéo

   • Exemple concret : vous pouvez montrer votre jardin à votre téléphone et discuter en direct avec l'IA des plantes que vous voyez

   • Les interactions vocales sont devenues naturelles, avec différents accents possibles

3. Création d'applications :

   • Les LLM peuvent générer des applications web complètes en une seule demande

   • Exemple : Claude peut créer une application d'extraction d'URLs fonctionnelle en quelques secondes

4. Impact environnemental :

   • Positif : l'efficacité énergétique par requête s'est améliorée (100x moins d'énergie qu'avec GPT-3)

   • Négatif : construction massive de centres de données énergivores

Les défis persistants

• Agents IA : Malgré les promesses, les "agents" autonomes restent un concept flou. Le principal obstacle est que les LLM "croient" tout ce qu'on leur dit, les rendant peu fiables pour des tâches autonomes. Pour 2025, les experts restent sceptiques sur une percée majeure dans ce domaine.

• Complexité d'utilisation : Les LLM sont devenus des outils puissants mais complexes, nécessitant une expertise pour en tirer le meilleur parti. C'est comme avoir une tronçonneuse déguisée en couteau de cuisine.

• Distribution inégale des connaissances : Un fossé se creuse entre les experts et le grand public dans la compréhension et l'utilisation de ces technologies.

Perspectives 2025

• Essor des modèles "raisonneurs" qui prennent plus de temps pour réfléchir (comme OpenAI o3)

• Développement de l'IA multimodale avec des interactions toujours plus naturelles

• Focus probable sur la démocratisation et la simplification d'utilisation

• Poursuite de la baisse des coûts et amélioration de l'efficacité énergétique

• Intensification du débat sur l'impact environnemental des centres de données