Cadre d’évaluation pour les systèmes de génération augmentée ( RAG ) : combinaison des performances de recherche d’informations et de LLM (2025)

Abstract: Cet article introduit un nouveau cadre d’évaluation pour les systèmes RAG, en comblant les lacunes des approches précédentes. La première phase consiste à concevoir un ensemble de données avec des parties pertinentes extraites pour chaque exemple, représentant les informations nécessaires pour répondre à une question donnée, et à proposer une métrique d’évaluation pour les systèmes IR basée sur la présence de ces parties dans le contenu récupéré. La deuxième phase explore la relation entre le système de RI et les évaluations RAG globales et utilise cette relation pour prédire les performances globales du RAG à partir des performances du SRI. Cette approche élimine le besoin de réponses coûteuses générées par LLM et d’évaluations ultérieures, réduisant ainsi les coûts et fournissant un cadre d’évaluation plus complet et plus robuste pour les systèmes RAG.

## introduction les approches rag (retrieval augmented generation) combinent les capacités des grands modèles de langue (llm) en matière de compréhension et de génération de langage avec les systèmes de recherche d'informations (sri) pour générer des réponses plus précises et contextuellement pertinentes @xcite . le processus typique d'un rag consiste à récupérer des documents pertinents sur la base d'une requête utilisateur et d'un sri et à utiliser ces documents pour inciter les llm à générer des réponses de meilleur qualité. les approches rag peuvent être utilisés au-delà des applications de questions-réponses @xcite , et ont démontré leur efficacité dans la réduction des hallucinations @xcite , l'ancrage des connaissances à partir de sources multiples @xcite et, surtout, l'accès à des informations dynamiques et actualisées @xcite . l'évaluation des rag peut être difficile : contrairement aux modèles de langage traditionnels, les performances d'un système rag dépendent non seulement de la qualité du texte généré, mais également de la qualité des documents récupérés. par conséquent, les mesures d'évaluation doivent tenir compte de ces deux aspects. les mesures d'évaluation classiques d'un sri sont la map, le score f1, le mrr et le ndcg qui évaluent la capacité du système à récupérer les documents pertinents en réponse à une requête. les mesures traditionnelles de génération de langage naturel (nlg) telles que les scores bleu et rouge peuvent être utilisées pour mesurer la pertinence du texte généré des llm. l'évaluation humaine joue un rôle crucial dans l'évaluation des llm, en fournissant des informations sur des aspects tels que la cohérence, la fluidité et la qualité globale que les mesures automatisées pourraient manquer. pour l'évaluation globale d'un rag, certaines des mesures précédentes sont utilisées, telles que rouge @xcite , et d'autres techniques basées sur l'emploi d'un llm comme juge pour calculer les scores qui évaluent la qualité du système rag sur différents aspects tels que la fidélité des réponses @xcite et la pertinence du contexte @xcite . la question de recherche traitée dans cet article est : comment évaluer les systèmes de recherche d'informations (sri) dans le cadres de génération augmentée par llm (rag) ? cette question est traitée en trois sous-questions : l'évaluation des réponses générées qui représentent les performances globales d'un système rag avec plusieurs systèmes de recherche d'informations peut révéler l'influence de ces systèmes sur la précision et la qualité des réponses générées. 2. quelle est la relation entre la qualité du système de recherche d'informations et la qualité globale d'un système rag ? la compréhension de cette relation peut nous aider à répondre à la question suivante et ajoute de l'explicabilité aux réponses générées. 3. pouvons-nous estimer les performances globales d'un système rag en fonction des performances de son système de recherche d'informations ? l'établissement d'une telle estimation peut nous aider à créer un nouveau cadre d'évaluation pour les systèmes rag qui soit plus explicable et systématique. ce cadre évaluerait les deux phases d'un système rag : la phase de recherche d'informations et la phase de génération. ce faisant, il fournit une compréhension globale de la manière dont chaque phase contribue à la performance finale, permettant des améliorations ciblées et des évaluations plus transparentes. dans la suite de cet article, nous présentons en partie 2 un état de l'art lié à notre problématique. en partie 3 nous décrivons notre approche. les expérimentations et les résultats sont présentés en partie 5, avant de conclure. 2 état de l'art nous décrivons ici les différentes propositions pour l'évaluation des rag. ragas (retrieval augmented generation assessment) (es et al., 2024) fournit une méthode d'évaluation des systèmes rag sans s'appuyer sur des réponses de référence. il se concentre sur trois dimensions clés : la fidélité, la pertinence de la réponse et la pertinence du contexte. ragas utilise un autre llm comme juge pour évaluer ces dimensions. la fidélité indique si la réponse tient compte des documents retrouvés. la pertinence de la réponse est mesurée en invitant le llm évalué à générer des questions potentielles en fonction de la réponse, puis en calculant la similarité entre ces questions et la question d'origine. la pertinence du contexte évalue l'orientation et la nécessité du contexte récupéré (les documents retrouvés par le sri) pour répondre à la question. le llm extrait du contexte les phrases essentielles pour répondre à la question, et le score de pertinence est la proportion de phrases nécessaires dans le contexte. avec ces mesures, aucune évaluation du sri n'est donc réalisée directement lors du calcul de le pertinence du contexte. ares (zhang et al., 2023) propose d'automatiser le processus d'évaluation sur les critères de ragas. il aborde le problème en trois étapes : génération de données synthétiques, réglage fin des juges llm, et enfin inférence basée sur la prédiction. dans l'étape de génération de données synthétiques, un llm est invité à générer des questions synthétiques et des réponses correspondantes en fonction de passages fournis. des llm légers, tels que deberta-v3-large, sont ensuite affinés en tant que juges llm à l'aide de ces données synthétiques pour les trois tâches de classification associées chacune à la mesure d'évaluation : pertinence du contexte, fidélité des réponses, et enfin pertinence des réponses. on se replace ensuite dans le même cadre que des évaluations de ragas. cette approche ne se base donc pas dans un cadre où un sri est évalué. d'autres approches, comme crag (meta, 2025), proposée par l'entreprise meta, utilise cinq domaines de référence : finance, sports, musique, cinéma et une encyclopédie à domaine ouvert (wikipedia). il comporte huit types de questions : questions simples, conditionnelles, ensemble, comparaison, agrégation, multi-sauts, post-traitement et fausses prémisses. crag mesure la qualité de prédiction sur une échelle à 3 valeurs : parfait, acceptable et manquant. cependant, crag ne se préoccupe pas spécifiquement de l'évaluation du sri dans le rag. le benchmark de génération augmentée de récupération (rgb) (chen et al., 2024) évalue les performances des llm sur des tâches qui combinent la récupération et la génération, en se concentrant sur quatre capacités principales : la robustesse au bruit, le rejet négatif, l'intégration des informations et la robustesse contrefactuelle. rgb lui non plus n'évalue aucunement la composante sri. notre étude de l'état de l'art, dont un bref rappel a été donné ci-dessus, nous montre qu'il n'y existe pas d'étude explicite sur l'influence de la qualité du sri sur le rag. dans la partie suivante, nous faisons donc une proposition dans ce sens. ## proposition ce travail vise à évaluer les sri dans un cadre rag et à évaluer les performances globales du système rag, en se concentrant particulièrement sur la qualité de ses réponses finales. de plus, nous explorerons la relation entre ces évaluations et la possibilité d'estimer les performances globales d'un cadre rag en fonction de ses performances de recherche d'information. pour cela, notre cadre d'évaluation utilise un corpus de documents, et est composé de @xmath0, a, @xmath1: -une requête q ; -la réponse pertinente à la requête q, notée a ; -l'ensemble des passages pertinents des documents du corpus pour q, noté @xmath2, ..., p n }