- Génération IA
- Posts
- GAIA : le révélateur des faiblesses des IA
GAIA : le révélateur des faiblesses des IA
GAIA, le test ultime pour les IA génératives, met en lumière les défis rencontrés par GPT-4... encore bien loin de l'intelligence humaine !
![](https://media.beehiiv.com/cdn-cgi/image/fit=scale-down,format=auto,onerror=redirect,quality=80/uploads/asset/file/448a2215-de74-4d1f-9996-7cfd93103d51/DALL_E_2023-11-26_12.30.50_-_A_humorous_and_whimsical_illustration_of_a_robot__designed_with_a_vintage__clunky_appearance__sitting_at_a_small_school_desk._The_robot_looks_perplexe.jpg?t=1700976863)
En Bref. GAIA est un outil de benchmarking innovant, développé par des chercheurs de Meta-FAIR, Meta-GenAI, HuggingFace, et AutoGPT, pour évaluer les performances des intelligences artificielles génératives.
Le Score. GAIA comprend une série de 466 questions de différents niveaux de difficulté. Lors des tests, GPT-4 a réussi seulement 30% des questions de niveau 1 et a échoué à toutes les questions les plus difficiles. En comparaison, un humain réussit 92% des questions posées par GAIA.
Les Entraves. L'article souligne les difficultés des IA en matière de comparaison de plusieurs sources d'information. De plus, GAIA, qui est limité à l'anglais, ne prend pas en compte la méthode utilisée par les IA pour arriver à leurs réponses, ce qui pourrait affecter la comparaison de plusieurs sources d'information.
Source : Numerama