RAG : faire répondre une IA avec vos propres documents

Pourquoi une IA se trompe

Un modèle de langage est entraîné à produire la suite de mots la plus plausible. Il ne consulte pas une base de faits : il n'a ni votre catalogue, ni vos conditions de vente, ni vos tarifs de la semaine. Quand on lui pose une question à laquelle il n'a pas la réponse, il peut produire quand même une réponse qui a l'air juste. C'est ce qu'on appelle une hallucination.

Des chercheurs d'OpenAI ont proposé en 2025 une explication de la persistance du phénomène : les évaluations classiques récompensent la bonne réponse et ne donnent rien à « je ne sais pas », donc les modèles sont poussés à deviner plutôt qu'à s'abstenir ^[1] ^[2]. Dans leur exemple, deviner une date de naissance a une chance sur 365 d'être juste, alors que répondre « je ne sais pas » rapporte toujours zéro.

Pour une entreprise, le risque est concret : un prix inventé, une politique de retour inexacte, un délai faux. Le problème n'est pas que l'IA soit « bête », c'est qu'elle répond sans avoir la source sous les yeux. Voyez la différence sur quatre situations.

ClientJe peux me faire rembourser un article acheté en solde ?

Sans RAG : de mémoire

Délai et règle inventés

Avec RAG : à partir de vos documents

CGV, article 6 : « Les articles soldés sont échangés sous 14 jours, sans remboursement. »

Réponse sourcée

Exemples fictifs, pour illustrer le principe : les réponses « sans RAG » sont plausibles mais fausses.

Le RAG, simplement

RAG signifie Retrieval-Augmented Generation, en français « génération augmentée par la recherche ». Le terme vient d'un article de 2020 de chercheurs de Facebook AI, de University College London et de New York University ^[3]. L'idée : séparer la mémoire de l'IA de ses connaissances. On laisse le modèle écrire, et on va chercher l'information dans une base à part, que l'on peut mettre à jour sans rien réentraîner.

L'image la plus simple est celle du bibliothécaire : avant de répondre, il ouvre le bon livre à la bonne page, puis il lit le passage à voix haute. S'il ne trouve rien, il dit qu'il ne sait pas.

Chercher

On retrouve les extraits de vos documents qui ressemblent le plus à la question.

Augmenter

On ajoute ces extraits à la question avant de la donner à l'IA.

Générer

L'IA rédige une réponse à partir de ces extraits, et cite la source.

Comment l'IA retrouve le bon passage

C'est l'étape que l'on voit le moins et qui décide de tout. Choisissez une question ci-dessous : chaque extrait de la base reçoit un score de proximité, et les deux meilleurs sont envoyés à l'IA.

Essayez : posez une question à la base de connaissances d'une boutique de bougies

Livraisonenvoyé à l'IA

Livraison en France métropolitaine sous 3 à 5 jours ouvrés. Gratuite dès 60 € d'achat.

proximité avec la question : 92 %

Retours

Retour possible sous 14 jours après réception. Les articles soldés sont échangés, non remboursés.

proximité avec la question : 12 %

Entretien

Taillez la mèche à 5 mm avant chaque allumage. Ne laissez pas brûler plus de 4 heures d'affilée.

proximité avec la question : 5 %

Composition

Cire de soja végétale, mèche en coton, parfums sans phtalates.

proximité avec la question : 4 %

Cadeaux

Emballage cadeau offert sur demande. Carte manuscrite possible, 120 caractères maximum.

proximité avec la question : 18 %

Contactenvoyé à l'IA

Service client du lundi au vendredi, 9 h – 17 h, par email. Réponse sous 48 h ouvrées.

proximité avec la question : 30 %

L'IA reçoit

la question + les extraits « Livraison » et « Contact »

Elle répond

Comptez 3 à 5 jours ouvrés en France métropolitaine. La livraison est gratuite dès 60 € d'achat.

Scores illustratifs : un vrai système les calcule avec des « embeddings », des vecteurs qui mesurent la proximité de sens entre la question et chaque extrait. Dans le dernier exemple, le bon extrait est trouvé, mais il ne contient pas la réponse : la consigne « dis que tu ne sais pas » fait toute la différence.

Ce que disent les études

Le RAG est souvent présenté comme la solution aux hallucinations. Les mesures disponibles sont plus nuancées.

0 – 0 %

de réponses erronées mesurées sur des outils de recherche juridique professionnels (Lexis+ AI, Westlaw AI-Assisted Research) qui reposent sur du RAG. Étude de Stanford et Yale, outils testés en mai 2024 ^[4].

5,7 % → 5,7 %

d'échecs de recherche (parmi les 20 meilleurs extraits) avec la méthode « Contextual Retrieval » d'Anthropic associée à un reclassement des résultats, soit 67 % d'échecs en moins sur leurs jeux de test ^[5].

≈ 0 pages

C'est la taille (200 000 tokens) en dessous de laquelle Anthropic conseille d'inclure toute la base de connaissances directement dans la requête, sans système de recherche ^[5].

Ce qu'on peut en retenir

Le RAG réduit les erreurs sans les supprimer. Les outils juridiques testés se présentaient comme fiables ; les chercheurs ont mesuré des erreurs dans un cas sur six à un sur trois.
La qualité de la recherche compte autant que celle du modèle. Si le bon passage n'est pas retrouvé, l'IA répond sans lui. D'où l'intérêt de techniques comme le contexte ajouté à chaque extrait ou le reclassement.
Un RAG n'est pas toujours nécessaire. Pour une petite base, tout mettre dans la requête est plus simple et supprime l'étape de recherche, donc une source d'erreur.
Apprendre à dire « je ne sais pas » est une fonction, pas un détail. C'est précisément ce que les évaluations actuelles ne récompensent pas, d'après l'analyse d'OpenAI ^[2].

Limites de ces chiffres : l'étude de Stanford porte sur le domaine juridique et sur des outils de 2024 ; les chiffres d'Anthropic viennent de leurs propres jeux de test. Ils donnent des ordres de grandeur, pas une promesse pour votre cas. Seul un test sur vos documents vous le dira.

Un cas complet, pas à pas

Un exemple fictif pour voir l'ensemble de la chaîne : une boutique de bougies artisanales qui veut un assistant pour ses clients.

1
On choisit les documents
Une boutique de bougies artisanales réunit ses CGV, sa FAQ, ses 38 fiches produits et son guide d'entretien. Le catalogue de l'an dernier et les brouillons sont écartés.
2
On découpe en extraits
Chaque document est coupé en morceaux de quelques paragraphes, en gardant leur titre : « Retours », « Livraison », « Entretien ».
3
On indexe
Chaque extrait est transformé en vecteur (un embedding) et rangé dans une base qui sait retrouver les plus proches d'une question.
4
Un client pose une question
« Je peux rendre un article en solde ? » La question devient elle aussi un vecteur, et la base renvoie les 2 à 4 extraits les plus proches.
5
L'IA répond, avec sa source
Elle reçoit la consigne, les extraits et la question. Elle répond en citant l'article des CGV, ou, si rien ne correspond, elle transmet à l'équipe.
6
On relit et on corrige
Chaque semaine, quelqu'un relit une vingtaine de conversations, corrige les documents ou la consigne, puis recommence.

Exemples par métier

Ce que l'on charge, ce que les clients demandent, et le piège à éviter. Exemples illustratifs, à adapter à votre activité.

Boutique en ligne

À charger: CGV, FAQ livraison et retours, fiches produits, guide des tailles.
Question type: « Quelle taille me conseillez-vous si je mesure 1,72 m ? »
Vigilance: Prix et stocks changent tout le temps : ne les figez pas dans les documents, branchez plutôt le catalogue.

Restaurant et hôtel

À charger: Carte, liste des allergènes, horaires, politique d'annulation.
Question type: « Vous acceptez les chiens en terrasse ? »
Vigilance: Pour les allergènes, faites valider chaque réponse par une personne et renvoyez à l'équipe au moindre doute.

Cabinet comptable ou de conseil

À charger: Procédures internes, listes de pièces par dossier, modèles d'emails.
Question type: « Quels justificatifs faut-il pour ce dossier ? »
Vigilance: Les règles évoluent : indiquez la date de chaque document et faites citer la source dans la réponse.

Immobilier

À charger: Fiches de biens, charges, règlement de copropriété, étapes d'un achat.
Question type: « Le bien du 3ᵉ étage a-t-il une place de parking ? »
Vigilance: Un bien = un document distinct, étiqueté, pour que l'IA ne mélange jamais deux annonces.

Organisme de formation

À charger: Programmes, règlement intérieur, calendrier des sessions.
Question type: « Cette formation est-elle finançable ? »
Vigilance: Ne laissez pas l'IA promettre un financement : sur ce sujet, elle oriente vers un conseiller.

Support client et SAV

À charger: Manuels, notes de version, solutions de tickets déjà résolus.
Question type: « Le voyant clignote en rouge, que faire ? »
Vigilance: Un même problème n'a pas la même solution selon la version : filtrez les extraits par modèle de produit.

Le mettre en place en 5 étapes

Choisissez une question précise
« Répondre aux clients » est trop large. Partez d'un cas : les questions sur les livraisons, la FAQ d'un produit, les procédures internes d'une équipe.
- Notez les 10 questions que l'on vous pose le plus.
- Notez 3 questions auxquelles l'IA ne doit surtout pas répondre seule.
Rassemblez des sources fiables et à jour
FAQ, conditions de vente, fiches produits, procédures. Si un document est faux, l'IA répétera l'erreur avec aplomb. Un dossier propre vaut mieux qu'un gros dossier.
- Supprimez les doublons et les versions périmées.
- Préférez du texte à des PDF scannés en image : l'IA lit mieux le texte.
- Donnez à chaque document un titre clair et une date.
Choisissez l'outil adapté
Selon le volume et l'usage : tout dans la requête, assistant avec fichiers, ou RAG sur mesure. Le sélecteur plus bas vous donne une recommandation.

Écrivez la consigne de réponse

C'est l'étape la plus rentable. Une consigne de base à adapter :

Tu réponds aux clients de [nom de l'entreprise].
Réponds uniquement à partir des documents fournis.
Cite le document et le passage utilisés.
Si l'information n'y figure pas, dis-le clairement
et propose de contacter l'équipe. N'invente rien.
Si la question est floue, pose une question de précision.
Sur les prix, les remboursements et la santé, renvoie
vers un conseiller.

Testez avec de vraies questions
Posez 10 questions de clients, dont 2 ou 3 dont la réponse ne figure dans aucun document.
- Vérifiez la réponse, puis la source citée.
- Vérifiez surtout que l'IA sait dire qu'elle ne sait pas.
- Corrigez les documents ou la consigne, puis recommencez.

Quel outil choisir

Répondez à trois questions, nous vous disons par où commencer.

Quelle est la taille de vos documents ?

Qui pose les questions ?

Les documents contiennent-ils des données sensibles ?

Notre recommandation

Tout mettre dans la requête

Sous environ 500 pages, Anthropic indique qu'on peut inclure toute la base dans la requête. Pas de recherche, donc une source d'erreur en moins.

Premier pas : Créez un projet dans un assistant IA, déposez vos documents et collez la consigne de la section « 5 étapes ».

Les trois approches côte à côte

Approche	Idéal pour	Mise à jour	Limite principale
Tout dans la requête	Base courte (moins de ~500 pages)	Remplacer le fichier	Taille de la fenêtre de contexte : tout est renvoyé à chaque question.
RAG	Base volumineuse ou qui change souvent	Mettre à jour l'index	La qualité de la recherche décide de la qualité de la réponse.
Fine-tuning	Un style, un format ou un comportement constants	Réentraîner le modèle	Peu adapté aux faits qui changent ; ne cite pas nativement ses sources.

Quand le RAG se trompe

Quatre échecs fréquents, avec un exemple et ce qui permet de les éviter.

Le bon passage n'est pas retrouvé

Le client écrit « rembourser », le document dit « restitution du prix ». La recherche passe à côté et l'IA répond sans la règle.

Comment l'éviter : Testez la recherche seule, sans l'IA. Ajoutez le vocabulaire des clients dans les documents. Envisagez un reclassement.

Le passage est coupé au mauvais endroit

« Les articles soldés… » est dans un extrait, « …ne sont pas remboursés » dans le suivant. L'IA ne voit que la première moitié.

Comment l'éviter : Découpez par sens (un titre, une règle) plutôt qu'au nombre de caractères, et gardez un recouvrement entre extraits.

Le document est périmé

Les anciennes CGV (30 jours) et les nouvelles (14 jours) sont toutes les deux dans la base. L'IA cite la mauvaise, avec aplomb.

Comment l'éviter : Une seule version par document, une date visible, et un responsable de la mise à jour.

La question est ambiguë

« Combien ça coûte ? » : quel produit, quelle livraison, quelle option ? L'IA choisit au hasard.

Comment l'éviter : Dans la consigne, demandez de poser une question de précision quand la demande est floue.

Les erreurs de mise en place les plus courantes

Pas de consigne « je ne sais pas ». Sans elle, le modèle comble les trous.
Ne pas vérifier les sources citées. Une réponse qui cite un document peut quand même le déformer.
Tester seulement les questions faciles. Incluez des questions piégeuses et hors sujet.
Oublier la mise à jour. Un prix qui change doit changer dans la base le jour même.
Mettre des données personnelles sans nécessité. Ne chargez que ce dont l'IA a besoin.

Checklist avant d'ouvrir au public

Cochez au fur et à mesure.

J'ai noté les 10 questions que mes clients posent le plus
J'ai supprimé les documents périmés et les doublons
La consigne impose de répondre uniquement à partir des documents
La consigne demande de citer la source
La consigne dit quoi faire quand l'information manque
J'ai testé 3 questions dont la réponse n'est dans aucun document
J'ai vérifié chaque source citée, pas seulement la réponse
Quelqu'un est chargé de mettre les documents à jour

Votre base est prête pour un test en conditions réelles. Un test réussi sur dix questions ne garantit pas le reste : continuez à relire les réponses les premières semaines.

Questions fréquentes

Qu'est-ce que le RAG en une phrase ?

Le RAG (Retrieval-Augmented Generation) consiste à chercher d'abord les passages utiles dans vos propres documents, puis à demander à l'IA de répondre à partir de ces passages, au lieu de répondre de mémoire.

Le RAG supprime-t-il les hallucinations ?

Non, il les réduit. Une étude de Stanford publiée en 2024 a mesuré entre 17 % et 33 % de réponses erronées sur des outils juridiques professionnels qui utilisent le RAG. La qualité des documents, de la recherche et de la consigne reste déterminante.

Faut-il toujours un RAG ?

Non. Anthropic indique que pour une base de connaissances de moins de 200 000 tokens, soit environ 500 pages, on peut l'inclure en entier dans la requête, sans système de recherche.

Quelle différence entre RAG et fine-tuning ?

Le RAG laisse le modèle intact et lui fournit les bonnes informations au moment de la question : mettre à jour un document suffit à mettre à jour les réponses. Le fine-tuning modifie le modèle lui-même, ce qui est plus lourd et moins adapté à des informations qui changent souvent.

Mes documents sont-ils envoyés à l'IA ?

Les passages retrouvés sont envoyés au modèle avec la question. Vérifiez donc les conditions de confidentialité de l'outil choisi avant d'y mettre des documents sensibles, et n'y mettez pas de données personnelles inutiles.

Combien de documents faut-il pour commencer ?

Peu. Commencez par une dizaine de documents fiables et à jour, comme votre FAQ, vos conditions de vente et vos fiches produits, puis testez avec de vraies questions de clients.

Combien de temps faut-il pour le mettre en place ?

Cela dépend surtout de l'état de vos documents. Un assistant avec fichiers peut être prêt dans la journée ; un chatbot connecté à votre site demande davantage de temps, en particulier pour nettoyer les documents et tester les réponses.

Quel modèle d'IA faut-il choisir ?

La plupart des assistants récents savent travailler à partir de documents fournis. Le choix du modèle compte en général moins que la qualité des documents, de la recherche et de la consigne de réponse.

Qu'en est-il du RGPD ?

Si vos documents contiennent des données personnelles, vous restez responsable de leur traitement : n'y mettez que ce qui est nécessaire, vérifiez où le fournisseur les héberge et ce qu'il en fait, et informez les personnes concernées si besoin.

Glossaire

Hallucination: Réponse plausible mais fausse, produite par un modèle qui n'a pas l'information et répond quand même.
Extrait (chunk): Morceau de document, de quelques paragraphes, qui est indexé et retrouvé séparément.
Embedding: Représentation numérique d'un texte, sous forme de vecteur, qui place les textes de sens proche les uns près des autres.
Base vectorielle: Base de données qui stocke ces vecteurs et retrouve rapidement ceux qui sont les plus proches d'une question.
Reclassement (reranking): Deuxième passe qui réordonne les extraits retrouvés pour ne garder que les plus pertinents.
Fenêtre de contexte: Quantité de texte que le modèle peut lire en une seule requête, consigne, documents et question compris.
Ancrage (grounding): Fait de contraindre la réponse à des sources fournies, avec citation du passage utilisé.

Un RAG pour votre entreprise ?

Dites-nous quels documents vous avez et quelles questions vos clients posent. Nous regardons avec vous si un simple assistant suffit, ou si un chatbot sur mesure a du sens.

Parler de votre cas →