Guide
Comment vérifier une réponse de l'IA sur vos données
Une liste de contrôle pour vérifier ce que l'IA répond sur vos documents et vos chiffres : source, recalcul, signaux d'alerte, effort selon l'enjeu.
Mis à jour le
Une réponse tirée de vos données se vérifie sur la donnée elle-même, pas sur l'assurance du ton. La méthode tient en trois gestes. Retrouvez le passage ou les lignes d'où vient la réponse. Refaites le calcul important par un autre moyen. Ajustez l'effort à ce que la réponse va décider. Même les meilleurs outils d'intelligence artificielle (IA) se trompent parfois : Anthropic, l'éditeur de Claude, écrit que ses modèles peuvent produire du texte inexact ou incohérent avec les documents fournis. Le guide de la direction générale des Entreprises (DGE) ajoute que ces erreurs peuvent persister même quand l'IA s'appuie sur les documents de l'entreprise.
La liste de contrôle
- D'où vient la réponse ? Demandez le document, la page, l'onglet ou les lignes utilisés. Certains outils le font d'office : selon Notion, sa fonction Q&A cite toujours ses sources.
- Le passage dit-il vraiment cela ? Ouvrez le document et lisez le passage cité, avec ce qui l'entoure. Une clause peut être corrigée par un avenant deux pages plus loin.
- Le périmètre est-il le bon ? Période, site, type de client, hors taxes ou toutes taxes : relisez la question telle que l'outil l'a comprise.
- Le chiffre se recalcule-t-il ? Refaites un total par un filtre ou une formule, ou au moins un sous-total.
- Les mots ont-ils été reconnus ? Dans Power BI, Microsoft souligne en bleu les mots rattachés à vos données, en pointillés orange les mots ambigus, en double trait rouge les mots introuvables. Si votre outil n'affiche rien de tel, demandez-lui quelle colonne il a utilisée.
- La réponse tient-elle si on la redemande ? Reposez la question, autrement formulée.
- Correspond-elle à votre intention ? C'est le conseil de Microsoft pour Copilot dans Excel : évaluer si le résultat correspond à ce que vous vouliez.
Pour une réponse tirée d'un texte
Le risque principal est une affirmation qui « sonne juste » sans figurer dans le document. Deux demandes simples, recommandées par Anthropic, limitent ce risque :
- lui permettre de dire qu'elle ne sait pas. Précisez dans votre question : « si le document ne le dit pas, réponds que tu ne trouves pas ». Selon Anthropic, cette permission explicite réduit nettement les informations erronées ;
- exiger une citation par affirmation. Demandez de citer mot pour mot l'extrait qui soutient chaque point. Anthropic conseille ensuite de retirer toute affirmation qui ne trouve pas sa citation.
Vérifiez ensuite la citation vous-même : elle doit exister, à l'endroit indiqué.
Pour un chiffre
Un chiffre faux se repère mieux qu'une phrase fausse, à condition de savoir où regarder :
- demandez la formule ou le détail du calcul, pas seulement le résultat ;
- comparez à un repère connu : le total annuel que vous connaissez par la comptabilité, le nombre de clients que vous connaissez par le logiciel ;
- contrôlez les extrêmes : le plus gros client, le mois le plus faible ; une erreur de périmètre s'y voit souvent ;
- comptez les lignes : si l'outil dit « 212 commandes » et que votre export en compte 230, cherchez les 18 manquantes.
Les causes d'erreur les plus fréquentes sur les chiffres sont détaillées dans pourquoi l'IA se trompe dans les calculs.
Les signaux d'alerte
| Signal | Ce que ça peut cacher | Votre réflexe |
|---|---|---|
| Pas de source citée | Réponse rédigée sans appui sur vos documents | Redemander avec la source exigée |
| Chiffre très rond ou trop précis | Valeur estimée, pas calculée | Demander la formule |
| Réponse différente à chaque essai | Erreur de lecture ou de calcul | Revenir à la donnée |
| Réponse sur un document que vous ne reconnaissez pas | Ancienne version, doublon | Vérifier la date du document |
| « Selon les documents… » sans nom de document | Affirmation générale | Demander le nom exact du fichier |
Adapter l'effort à l'enjeu
| Enjeu | Exemple | Vérification suffisante |
|---|---|---|
| Faible | Retrouver un fichier, une procédure interne | Ouvrir le document cité |
| Moyen | Préparer une relance, une réunion | Lire le passage, recalculer un total |
| Fort | Chiffre transmis à un client, une banque, un associé ; décision d'achat | Recalcul complet par une autre méthode, relecture par une deuxième personne |
Anthropic le résume dans sa documentation : ces techniques réduisent les erreurs mais ne les éliminent pas, et les informations critiques doivent toujours être validées, surtout quand l'enjeu est fort.
Garder une trace
Pour les réponses qui servent à décider, notez la question posée, la date, la réponse, la source citée et ce que vous avez vérifié. Si un chiffre est contesté plus tard, vous saurez d'où il venait. C'est aussi la meilleure façon de repérer les questions sur lesquelles votre outil se trompe souvent, et donc les données à mieux préparer.
Une réponse absente plutôt que fausse ? Voyez l'IA ne trouve pas l'information.
Questions fréquentes
Peut-on demander à l'IA de se vérifier elle-même ?
Oui, en partie : Anthropic conseille de lui demander une citation à l'appui de chaque affirmation et de retirer celles qui n'en ont pas. Mais ces techniques réduisent les erreurs sans les supprimer : une information importante se valide vous-même.
Faut-il tout vérifier ?
Non. Adaptez l'effort à l'enjeu : un coup d'œil pour une recherche de document, un recalcul pour un chiffre qui part chez un client ou dans une décision.
Une réponse qui change quand on repose la question, est-ce grave ?
C'est un signal d'alerte. Anthropic indique que des écarts entre plusieurs réponses à la même question peuvent révéler une erreur. Revenez à la donnée.
Sources
Pages consultées pour écrire cet article :
- https://platform.claude.com/docs/fr/test-and-evaluate/strengthen-guardrails/reduce-hallucinations
- https://www.entreprises.gouv.fr/files/files/Publications/2024/Guides/20241127-bro-guide-ragv4-interactif.pdf
- https://www.notion.com/fr/help/guides/unearth-fresh-insights-from-your-personal-knowledge-library-using-q-and-a
- https://support.microsoft.com/fr-fr/office/prise-en-main-de-copilot-dans-excel-d7110502-0334-4b4f-a175-a73abdfc118a
- https://learn.microsoft.com/fr-fr/power-bi/natural-language/q-and-a-intro