Exploration du RAG pour la génération de réponses à des questions en contexte éducatif: étude sur les données SCIQ (2025)

Abstract: Les systèmes basés sur le RAG (Retrieval-Augmented Generation) sont des systèmes qui optimisent la puissance des grands modèles de langue (LLM, en anglais, Large Language Models) avec une recherche d’information (RI) à partir de sources de connaissances externes, sans avoir besoin de réentraîner le modèle. Ce type d’approche est connu pour améliorer les réponses du LLM, en particulier pour répondre à des questions spécifiques à un domaine, et réduire le phénomène d’hallucination constaté avec ces derniers. Dans cet article, nous explorons l’application d’un tel système dans un contexte pédagogique, en utilisant le jeu de données SCIQ (SCIence Questions), un ensemble de questions scientifiques à choix multiples de niveau scolaire, qui nous permet d’évaluer la capacité des modèles à fournir des réponses précises, pédagogiques et vérifiables. Nous évaluons les performances du système par rapport à un modèle génératif standard (Llama3 8b et Mistral 7b) de réponse aux questions et analysons ses forces et ses limites dans un contexte éducatif. La performance la plus élevée en termes de précision a été enregistrée avec l’approche basée sur le RAG (rag-llama), qui a permis d’atteindre une précision globalement supérieure par rapport aux autres approches testées.

## introduction de nos jours, l'intelligence artificielle (ia) est de plus en plus présente dans de nombreux domaines, et l'éducation n'échappe pas à cette tendance. l'ia est désormais intégrée dans les environnements éducatifs à travers des applications variées : pour l'aide aux élèves via des systèmes de tutorat intelligent, apprentissage ludique (game-based learning) ou encore évaluation formative automatisée, pour apporter un soutien aux enseignants avec des outils de détection de plagiat, de curation intelligente de ressources pédagogiques ou d'évaluation sommative automatisée, ou pour fournir une assistance aux institutions et établissements scolaires grâce à des systèmes de gestion des admissions, de planification des cours et des emplois du temps, ou encore de surveillance à distance des examens @xcite . parmi ces usages, les systèmes de tutorat intelligent (sti) comptent parmi les applications d'ia les plus répandues et les mieux financées dans le domaine de l'éducation. ils proposent des tutoriels informatisés, étape par étape, adaptés à chaque élève, principalement dans des disciplines structurées comme les mathématiques @xcite . dans ce contexte, les systèmes de réponse automatique aux questions (qa) apparaissent comme particulièrement prometteurs pour accompagner l'apprentissage des élèves et fournir des explications à la demande. toutefois, les modèles de langage de grande taille (llms), bien que puissants, génèrent leurs réponses à partir de connaissances apprises lors de l'entraînement. cela peut entraîner des réponses erronées, obsolètes, ou encore des phénomènes d'hallucination -une faiblesse bien connue de ces systèmes. pour pallier ces limites, les systèmes de type génération augmentée par la recherche d'information retrieval-augmented generation (rag) (lewis et al., 2020) ont été proposés. ils combinent les capacités génératives des llms avec un module de recherche documentaire, permettant de produire des réponses fondées sur des sources externes fiables et vérifiables, telles que des articles scientifiques ou des manuels scolaires. dans un contexte éducatif, cette capacité à s'appuyer sur des sources factuelles est essentielle. elle garantit des réponses plus fiables, alignées avec les objectifs pédagogiques définis par les programmes scolaires. de plus, les systèmes rag offrent une transparence accrue : les documents utilisés pour formuler la réponse peuvent être consultés, ce qui permet aussi bien aux élèves qu'aux enseignants de comprendre le raisonnement sous-jacent. enfin, ces systèmes peuvent être adaptés à des corpus spécifiques, permettant un alignement précis avec des référentiels pédagogiques ou des supports institutionnels. ainsi, les systèmes rag représentent une alternative plus fiable, interprétable et potentiellement mieux adaptée aux exigences de l'enseignement que les modèles génératifs classiques. ce travail a pour objectif d'explorer de manière approfondie le potentiel de cette approche dans un contexte éducatif, en s'appuyant sur un ensemble de questions de recherche structurantes qui guident l'analyse et la réflexion. ## ia et rag en éducation : une vue d'ensemble la présente section propose une vue d'ensemble des apports de l'intelligence artificielle (ia) en éducation, en articulant deux axes complémentaires. le premier examine les usages généraux de l'ia dans le domaine éducatif, en s'appuyant sur les évolutions récentes des technologies basées sur les modèles de langage. le second s'intéresse plus spécifiquement aux systèmes dits rag, conçus pour pallier certaines limites des llms, en particulier le phénomène d'hallucination, en intégrant des mécanismes de récupération d'informations provenant de sources externes fiables. ## approche et méthodologie cette section présente de manière détaillée les fondements méthodologiques de notre étude, en articulant d'abord la description du jeu de données science questions (sciq) utilisé comme collection de tests, puis en exposant les différents systèmes et configurations expérimentales testés et expérimentés pour répondre aux problématiques posées, avant de détailler enfin la stratégie d'évaluation mise en oeuvre pour mesurer rigoureusement la performance et la pertinence des approches proposées.