Vers une évaluation rigoureuse des systèmes RAG : le défi de la due diligence (2025)

Abstract: L’IA générative se déploie dans des secteurs à haut risque comme la santé et la finance. L’architecture RAG (Retrieval Augmented Generation), qui combine modèles de langage (LLM) et moteurs de recherche, se distingue par sa capacité à générer des réponses à partir de corpus documentaires. Cependant, la fiabilité de ces systèmes en contextes critiques demeure préoccupante, notamment avec des hallucinations persistantes. Cette étude évalue un système RAG déployé chez un fonds d’investissement pour assister les due diligence. Nous proposons un protocole d’évaluation robuste combinant annotations humaines et LLM-Juge pour qualifier les défaillances du système, comme les hallucinations, les hors-sujets, les citations défaillantes ou les abstentions. Inspirés par la méthode Prediction Powered Inference (PPI), nous obtenons des mesures de performance robustes avec garanties statistiques. Nous fournissons le jeu de données complet. Nos contributions visent à améliorer la fiabilité et la scalabilité des protocoles d’évaluations de systèmes RAG en contexte industriel.

## introduction depuis l'apparition de chatgpt, l'usage de l'ia générative s'est rapidement étendu à des secteurs sensibles comme la santé, la finance ou la défense. parmi les applications notables, les systèmes rag (retrieval-augmented generation), combinant llm (large language model) et moteur de recherche, se distinguent par leur capacité à générer des réponses fondées sur un corpus documentaire, avec citations à l'appui. ces systèmes sont déjà largement adoptés dans l'industrie, notamment pour interroger des documentations d'entreprises complexes ou analyser des archives dans le cadre de fusions-acquisitions. mais dans des contextes critiques, leur fiabilité est un enjeu crucial @xcite . malgré leurs promesses, les rags ne garantissent pas l'absence d'hallucinations @xcite , et leurs performances varient fortement selon le domaine métier. cela impose des protocoles d'évaluation adaptés, en cohérence avec des exigences réglementaires croissantes, comme celles de l'ai act. deux approches d'évaluation dominent : l'annotation humaine, précise mais coûteuse, et l'évaluation par llm-juge, scalable mais parfois biaisée. des méthodes hybrides comme ppi (prediction powered inference) @xcite ou asi (active statistical inference) @xcite proposent de les combiner pour une évaluation rigoureuse et économiquement viable. dans cet article, nous exploitons ces méthodes pour évaluer un système rag utilisé lors de due diligence. nous développons un protocole approfondi, inspiré de ppi, pour quantifier les points de défaillance d'un système industriel foot_0 . nos contributions principales sont les suivantes : les jeux de données standards servent souvent à entraîner des détecteurs d'hallucinations, mais restent limités pour évaluer un système en contexte réel. les méthodes basées sur un llm-juge @xcite ou un comité de llm-juges @xcite , comme ragas @xcite ou g-eval @xcite permettent une évaluation automatique et scalable. ces méthodes peuvent être enrichies d'outils tels que google search ou des interpréteurs python, comme dans les approches safe @xcite et facttool @xcite . certaines méthodes exploitent la stochasticité des llms pour estimer des scores d'hallucinations, c'est le cas de chainpoll @xcite ou des approches par entropie sémantique @xcite . d'autres méthodes vont plus loin, et calibrent ces scores pour refléter la probabilité d'occurrence d'une hallucination @xcite . cependant, ces méthodes sont sensibles au prompt, au modèle utilisé, et à la qualité des données disponibles, comme les graphes de connaissance @xcite . les résultats obtenus par les llm-juges sont très variables, avec des performances oscillant entre 5% et 50% @xcite . à l'opposé du spectre, les annotations humaines offrent une grande précision mais sont coûteuses et difficilement scalables @xcite . des méthodes hybrides comme ppi (angelopoulos et al., 2023a,b) et asi @xcite combinent les deux approches. elles incarnent une théorie des sondages augmentée par llm. ppi repose sur un échantillon de contrôle aléatoire annoté par des humains et llm-juge. les annotations humaines sont utilisées pour corriger les biais du llm-juge, et appliquer cette correction à grande échelle. asi affine encore cette logique via un échantillonnage adaptatif basé sur l'incertitude du llm-juge. ppi a été appliqué à des systèmes de compétition entre llms, tels que chatbotarena (boyeau et al., 2024), ou à des systèmes rags (saad-falcon et al., 2024). de son côté, asi a été utilisé pour des systèmes de classification multi-classe basés sur des llms (gligorić et al., 2024). nos travaux s'inscrivent dans la lignée de ares (saad-falcon et al., 2024), en exploitant l'approche ppi dans le contexte industriel de la due diligence. ## points de défaillance du système en inspectant manuellement les réponses du système alban, plusieurs points de défaillance ont été recensés : dans le contexte de la due diligence, ces points de défaillance ont des impacts qui peuvent aller de la simple perte de temps (langue erronée, hors-sujets, langue de bois), à des décisions stratégiques d'investissement faussées (hallucinations, réponses partielles). dans la suite, nous traitons les risques à la maille réponse, sauf pour les citations défaillantes et les hallucinations qui sont traitées à la maille phrase. par ailleurs, nous choisissons de ne pas traiter le problème des réponses partielles, dont l'évaluation nécessite une expertise métier très spécialisée, ni de la langue de bois, qui est une notion relativement subjective et moins critique. thème/difficulté simple intermédiaire difficile inapproprié finance 16 16 16 15 rh 7 7 7 3 it 10 10 10 4 jeu de réponses pour chaque question, nous avons généré 20 réponses distinctes, en conservant le même libellé et en initiant une nouvelle conversation à chaque fois. cette procédure permet de prendre en compte les réponses stochastiques à température non nulle foot_2 . extraction de phrases afin de mieux quantifier et localiser les hallucinations, nous découpons chaque réponse en phrases, comme indiqué en figure 2. stratégie d'échantillonnage pour les réponses comme pour les phrases, nous sélectionnons les observations à annoter par un plan de sondage stratifié. dans un premier temps, nous effectuons un embedding de toutes les observations avec le moteur text-embedding-ada-002 d'openai. ensuite, nous appliquons un algorithme de clustering k-means à ces embeddings au sein de chaque thème. enfin, nous sélectionnons aléatoirement trois observations par cluster. le nombre de clusters k est déterminé par le budget alloué à l'annotation humaine. protocole d'annotation les annotations, humaines ou produites par un llm-juge, permettent de détecter les hors-sujets et les hallucinations. les consignes, identiques pour les deux types d'annotateurs, sont formalisées sous forme de prompt. trois annotateurs humains, de niveaux d'expertise croissants, interviennent successivement : le second relit le premier, et un troisième tranche en cas de désaccord persistant. tous sont coauteurs du présent article. un exemple d'annotation est présenté en section 10. llm-juge dans cet article, le llm-juge est gpt-4o (gpt-4o-2024-08-06) utilisé à température nulle. le jeu de données ainsi constitué ne saurait être considéré comme un gold standard : obtenir une réponse idéale à chaque question impliquerait un coût humain bien supérieur. c'est précisément tout l'intérêt de notre approche : permettre une évaluation à bas coût d'un système génératif, tout en s'appuyant sur une revue humaine experte. ## protocole d'évaluation 6.1 métriques pour chaque risque identifié, nous appliquons des métriques de performance spécifiques. taux de langue correcte (maille réponse) nous mesurons la proportion de réponses rédigées en français, sachant que toutes les questions sont posées dans cette langue et que nous générons une vingtaine de réponses par question foot_3 . taux de réponse (maille réponse) nous calculons la proportion de réponses qui ne sont pas des abstentions manifestes et qui citent explicitement des sources. nous employons des expressions régulières (regex) pour détecter la présence de citations dans le texte. taux de citations fonctionnelles (maille phrase) nous calculons la proportion de phrases où tous les ids de sources citées correspondent aux ids fournis par le moteur de recherche. pertinence (maille réponse) nous estimons la proportion de réponses exemptes de tout contenu hors sujet. nous introduisons un label binaire : "0" si la réponse contient au moins un hors sujet, "1" si la réponse ne contient aucun hors sujet. véracité (maille phrase) nous évaluons la proportion de phrases dont toutes les affirmations sont déductibles du texte. nous introduisons un label binaire : "0" la phrase contient au moins un élément non déductible des sources citées (hallucination), "1" la phrase est entièrement déductible des sources citées. les phrases qui relèvent de la langue de bois sont annotées "1", pour ne pas introduire de confusion avec la notion d'hallucination. les métriques taux de langue correcte, taux de citations fonctionnelles, et taux de réponse peuvent être mesurées de manière programmatique et sans ambiguïté. en revanche, les métriques de pertinence et de véracité requièrent du raisonnement, que nous traitons par des annotations humaines ou llm-juge. les prompts utilisés à cette fin sont présentés en section 10. ## résultats la figure 3 présente les métriques calculées automatiquement (langue correcte, réponse effective et citation fonctionnelle) par thématique et niveau de difficulté des questions. on observe une nette dégradation des performances lorsque la complexité des questions augmente. le système tend alors à s'abstenir de répondre et à basculer en anglais, un comportement également observé pour les questions inappropriées, pourtant censées rester sans réponse. cela suggère que face à une faible confiance (mesuré par exemple par sa perplexité @xcite ), le modèle opte pour l'anglais. par ailleurs, le système fournit une réponse même lorsqu'aucune n'est attendue. enfin, bien qu'il restitue correctement les identifiants de sources dans 99% des cas, les erreurs résiduelles peuvent nuire à son exploitation. la figure 4 présente les métriques nécessitant un raisonnement (pertinence et véracité) et compare les performances des trois méthodes d'évaluation : annotations humaines, llm-juge et ppi. les annotations humaines révèlent une forte variabilité de pertinence selon les thématiques, avec des résultats particulièrement faibles en it (32% de réponses entièrement pertinentes). la véracité reste relativement élevée, entre 80% et 88% des phrases. une analyse manuelle révèle que les 12 à 20% de phrases contenant une hallucination sont bien réparties dans quasiment toutes les réponses. comparé à l'humain, le llm-juge surestime nettement la pertinence, notamment en it (écart d'un facteur 2), tandis que les écarts de véracité restent plus modérés (jusqu'à 6%). les estimations ppi, très proches de celles obtenues par annotations humaines, montrent que dans cette étude, les annotations du llm-juge apportent peu d'information utile. ## conclusion dans cet article, nous avons évalué un système rag dans un contexte industriel de due diligence, en analysant ses défaillances par domaine métier et en combinant plusieurs méthodes d'évaluation. nos résultats montrent que, malgré leur potentiel pour automatiser l'analyse documentaire, ces systèmes soulèvent des enjeux critiques de fiabilité, notamment en termes de pertinence et de véracité. le protocole proposé, fondé sur des métriques automatiques, des annotations humaines et des évaluations par llm-juge, permet une mesure scalable et réplicable à chaque itération du système. les deux facteurs déterminants pour réduire l'incertitude sont le volume d'annotations humaines et la