Le jeu des questions - réponses

Analyse de documents PDF : comment structurer vos prompts pour des réponses fiables et éviter les hallucinations ?

Author

Thomas Mahier
September 09, 2024

Un des usages les + pratiques des modèles génératifs, c’est de leur faire lire des rapports à ta place (en même temps, qui a envie de lire des rapports de 300 pages ?).

Un petit résumé, quelques questions et, hop, le tour est joué.

Vraiment pratique.

Exemple.

J’aime bien lire les rapports du Haut Conseil pour le Climat. Mais là, je vais plutôt demander à ChatGPT-4o de lire leur résumé exécutif de juin 2024 pour moi.

Je le télécharge, le donne à ChatGPT-4o et lui pose une petite question : 

Lis le document joint et réponds à la question suivante:
"""
A combien s'élèvent les émissions nettes de gaz à effet de serre de la France pour l'année 2023 ?
"""

Ce à quoi il me répond gentiment :

Les émissions nettes de gaz à effet de serre de la France pour l'année 2023 s'élèvent à 373 Mt éqCO2 selon les données provisoires du Citepa

ChatGPT-4o

Pas mal, non ? Pas mal, pas mal, oui, si on veut… sauf que c’est FAUX. Ceux sont les émissions brutes qui s’élèvent à 373 Mt éqCO2 et moi j’ai demandé les émissions nettes (ok, je lui ai tendu un piège, mais brut / net, désolé, c’est pas pareil).

ChatGPT et ses concurrents peuvent “parfois” produire des affirmations fausses ou imaginaires : les fameuses “hallucinations“.

Comment, alors, réduire au maximum ce risque ?

Avec un meilleur prompt, bien sûr : 

Lis le document joint et réponds à la question suivante:
"""
A combien s'élèvent les émissions nettes de gaz à effet de serre de la France pour l'année 2023 ?
"""

Suis les étapes suivantes :
- Dans un premier temps, extrais et affiche les éléments les plus pertinents pour répondre à la question posée.
- Analyze si les éléments permettent de répondre précisément à la question posée. Si les éléments ne permettent pas de répondre à la question, dis-le.
- Et enfin réponds à la question.

Je te laisse lire la nouvelle réponse :

Eléments pertinents :

Les éléments les plus pertinents extraits du document concernant les émissions nettes de gaz à effet de serre pour l'année 2023 sont les suivants :

- Les émissions brutes de gaz à effet de serre en France ont atteint 373 Mt éqCO₂ en 2023, soit une baisse de 5,8 % par rapport à 2022.

- Les émissions nettes (qui incluent les puits de carbone) pour 2023 ont dépassé le budget carbone prévu, avec un excès de 15 Mt éqCO₂ par rapport aux objectifs initiaux, en raison de l'affaiblissement du puits de carbone forestier.

- La baisse structurelle des émissions brutes, sans tenir compte des facteurs conjoncturels, est estimée à 15,3 Mt éqCO₂.

Analyse des éléments :

Ces données permettent de répondre en partie à la question. Les émissions nettes incluent les puits de carbone, et bien que l'excès par rapport aux objectifs soit mentionné (15 Mt éqCO₂), le document ne donne pas directement la valeur exacte des émissions nettes totales pour l'année 2023. Il est précisé que les émissions brutes sont de 373 Mt éqCO₂, mais le déficit dans la capacité des puits de carbone n'est pas chiffré précisément.

Réponse à la question :

Les émissions nettes de gaz à effet de serre de la France pour l'année 2023 ne sont pas explicitement données dans le document. Toutefois, on sait qu'elles ont dépassé le budget prévu de 15 Mt éqCO₂, en partie à cause de l'affaiblissement des puits de carbone. Les émissions brutes sont quant à elles estimées à 373 Mt éqCO₂ pour 2023.

ChatGPT-4o

BOUM ! D'une réponse fausse à une analyse précise et juste. Joli.

L’astuce a consisté (encore) à fonctionner étape par étape (tu te rappelles : chaîne de pensée ? autorégression ?) :

  • Etape 1 : Extraction des éléments pertinents

  • Etape 2 : Analyse des élements

  • Etape 3 : Réponse

Zoom sur l'étape 2 : j'y ai glissé une porte de sortie. En demandant "Si les éléments ne permettent pas de répondre à la question, dis-le", j'autorise - et j'encourage même - le modèle à admettre son ignorance. C'est un garde-fou essentiel contre les fausses certitudes.

Donc, pratique, oui, mais à condition de savoir s’y prendre (qui a parlé de formation ? 😋 ).

Et ce n'est qu‘un aperçu ! Le sujet "Demande à ton PDF" mériterait sa propre mini-série : quid des images ? des tableaux ? quand le PDF est trop long ? ChatGPT, Claude, Gemini.. traitent-ils les documents de la même manière ? (Tu peux me dire dans les commentaires si une telle série t’intéresserait).

Ce qu'il faut retenir :

  • Les modèles de langage peuvent "halluciner" des informations incorrectes, ce qui nécessite une approche prudente.

  • Un prompt bien structuré en étapes (extraction, analyse, réponse) améliore considérablement la fiabilité des réponses.

  • Inclure une "porte de sortie" dans le prompt (par exemple, autoriser le modèle à dire qu'il ne peut pas répondre) permet d’éviter des réponses fausses ou imprécises.