Aller au contenu
NL-Q

Guide

Comment vérifier une réponse de l'IA sur vos données

Une liste de contrôle pour vérifier ce que l'IA répond sur vos documents et vos chiffres : source, recalcul, signaux d'alerte, effort selon l'enjeu.

Mis à jour le

Une réponse tirée de vos données se vérifie sur la donnée elle-même, pas sur l'assurance du ton. La méthode tient en trois gestes. Retrouvez le passage ou les lignes d'où vient la réponse. Refaites le calcul important par un autre moyen. Ajustez l'effort à ce que la réponse va décider. Même les meilleurs outils d'intelligence artificielle (IA) se trompent parfois : Anthropic, l'éditeur de Claude, écrit que ses modèles peuvent produire du texte inexact ou incohérent avec les documents fournis. Le guide de la direction générale des Entreprises (DGE) ajoute que ces erreurs peuvent persister même quand l'IA s'appuie sur les documents de l'entreprise.

La liste de contrôle

  1. D'où vient la réponse ? Demandez le document, la page, l'onglet ou les lignes utilisés. Certains outils le font d'office : selon Notion, sa fonction Q&A cite toujours ses sources.
  2. Le passage dit-il vraiment cela ? Ouvrez le document et lisez le passage cité, avec ce qui l'entoure. Une clause peut être corrigée par un avenant deux pages plus loin.
  3. Le périmètre est-il le bon ? Période, site, type de client, hors taxes ou toutes taxes : relisez la question telle que l'outil l'a comprise.
  4. Le chiffre se recalcule-t-il ? Refaites un total par un filtre ou une formule, ou au moins un sous-total.
  5. Les mots ont-ils été reconnus ? Dans Power BI, Microsoft souligne en bleu les mots rattachés à vos données, en pointillés orange les mots ambigus, en double trait rouge les mots introuvables. Si votre outil n'affiche rien de tel, demandez-lui quelle colonne il a utilisée.
  6. La réponse tient-elle si on la redemande ? Reposez la question, autrement formulée.
  7. Correspond-elle à votre intention ? C'est le conseil de Microsoft pour Copilot dans Excel : évaluer si le résultat correspond à ce que vous vouliez.

Pour une réponse tirée d'un texte

Le risque principal est une affirmation qui « sonne juste » sans figurer dans le document. Deux demandes simples, recommandées par Anthropic, limitent ce risque :

  • lui permettre de dire qu'elle ne sait pas. Précisez dans votre question : « si le document ne le dit pas, réponds que tu ne trouves pas ». Selon Anthropic, cette permission explicite réduit nettement les informations erronées ;
  • exiger une citation par affirmation. Demandez de citer mot pour mot l'extrait qui soutient chaque point. Anthropic conseille ensuite de retirer toute affirmation qui ne trouve pas sa citation.

Vérifiez ensuite la citation vous-même : elle doit exister, à l'endroit indiqué.

Pour un chiffre

Un chiffre faux se repère mieux qu'une phrase fausse, à condition de savoir où regarder :

  • demandez la formule ou le détail du calcul, pas seulement le résultat ;
  • comparez à un repère connu : le total annuel que vous connaissez par la comptabilité, le nombre de clients que vous connaissez par le logiciel ;
  • contrôlez les extrêmes : le plus gros client, le mois le plus faible ; une erreur de périmètre s'y voit souvent ;
  • comptez les lignes : si l'outil dit « 212 commandes » et que votre export en compte 230, cherchez les 18 manquantes.

Les causes d'erreur les plus fréquentes sur les chiffres sont détaillées dans pourquoi l'IA se trompe dans les calculs.

Les signaux d'alerte

Signal Ce que ça peut cacher Votre réflexe
Pas de source citée Réponse rédigée sans appui sur vos documents Redemander avec la source exigée
Chiffre très rond ou trop précis Valeur estimée, pas calculée Demander la formule
Réponse différente à chaque essai Erreur de lecture ou de calcul Revenir à la donnée
Réponse sur un document que vous ne reconnaissez pas Ancienne version, doublon Vérifier la date du document
« Selon les documents… » sans nom de document Affirmation générale Demander le nom exact du fichier

Adapter l'effort à l'enjeu

Enjeu Exemple Vérification suffisante
Faible Retrouver un fichier, une procédure interne Ouvrir le document cité
Moyen Préparer une relance, une réunion Lire le passage, recalculer un total
Fort Chiffre transmis à un client, une banque, un associé ; décision d'achat Recalcul complet par une autre méthode, relecture par une deuxième personne

Anthropic le résume dans sa documentation : ces techniques réduisent les erreurs mais ne les éliminent pas, et les informations critiques doivent toujours être validées, surtout quand l'enjeu est fort.

Garder une trace

Pour les réponses qui servent à décider, notez la question posée, la date, la réponse, la source citée et ce que vous avez vérifié. Si un chiffre est contesté plus tard, vous saurez d'où il venait. C'est aussi la meilleure façon de repérer les questions sur lesquelles votre outil se trompe souvent, et donc les données à mieux préparer.

Une réponse absente plutôt que fausse ? Voyez l'IA ne trouve pas l'information.

Questions fréquentes

Peut-on demander à l'IA de se vérifier elle-même ?

Oui, en partie : Anthropic conseille de lui demander une citation à l'appui de chaque affirmation et de retirer celles qui n'en ont pas. Mais ces techniques réduisent les erreurs sans les supprimer : une information importante se valide vous-même.

Faut-il tout vérifier ?

Non. Adaptez l'effort à l'enjeu : un coup d'œil pour une recherche de document, un recalcul pour un chiffre qui part chez un client ou dans une décision.

Une réponse qui change quand on repose la question, est-ce grave ?

C'est un signal d'alerte. Anthropic indique que des écarts entre plusieurs réponses à la même question peuvent révéler une erreur. Revenez à la donnée.

Sources

Pages consultées pour écrire cet article :

  1. https://platform.claude.com/docs/fr/test-and-evaluate/strengthen-guardrails/reduce-hallucinations
  2. https://www.entreprises.gouv.fr/files/files/Publications/2024/Guides/20241127-bro-guide-ragv4-interactif.pdf
  3. https://www.notion.com/fr/help/guides/unearth-fresh-insights-from-your-personal-knowledge-library-using-q-and-a
  4. https://support.microsoft.com/fr-fr/office/prise-en-main-de-copilot-dans-excel-d7110502-0334-4b4f-a175-a73abdfc118a
  5. https://learn.microsoft.com/fr-fr/power-bi/natural-language/q-and-a-intro

À lire aussi