Par exemple :

— Le quiz 4233, question 3 (p-value = 0,051) a montré une nette distinction : un groupe d'étudiants obtenant seulement 37,5 % (Cluster 0), un autre 83,3 % (Cluster 1) et un troisième 50 % (Cluster 2). (Fig. 4.) Ce contraste marqué, combiné au regroupement affectif/physique, suggère que les étudiants en difficulté ont réagi avec des schémas émotionnels similaires, reflétant probablement de la frustration ou une déconcentration. De même, la question 4 (p-value = 0,348), bien que moins prononcée, a révélé un groupe d'étudiants obtenant des résultats systématiquement inférieurs (61,8 %), confirmant la présence d'une convergence affective induite par la tâche. Ces résultats renforcent l'hypothèse H2 en confirmant que les émotions varient selon la question et que les étudiants peu performants présentent des trajectoires affectives comparables lorsqu'ils sont mis au défi.

— Quiz 4231, question 5 (p-value = 0,092) : Un groupe d'étudiants peu performants a montré une forte activation. Ces schémas reflètent une mobilisation émotionnelle intense, renforçant l'idée que la difficulté déclenche des réponses physiologiques et affectives communes.

— Quiz 4233, question 1 (p-value = 0,039) a révélé deux grands groupes d'étudiants obtenant des résultats inférieurs à 50 %, et un groupe atypique composé d'un seul étudiant très performant. Bien que ce regroupement mette en évidence une difficulté générale chez la plupart des étudiants, le test statistique ne confirme pas l'existence d'une structure affective significative entre les groupes de performance. Néanmoins, la prévalence de faibles scores peut néanmoins indiquer un stress émotionnel partagé en réponse au contenu de la question.

Dans ces exemples, les réponses émotionnelles ne sont pas idiosyncrasiques : les étudiants en difficulté ont tendance à adopter des comportements convergents face à la même question. Ces résultats valident l'hypothèse H2, montrant que les réponses affectives varient non seulement d'un étudiant à l'autre, mais aussi d'une question à l'autre, avec des schémas cohérents émergeant en réponse à la difficulté perçue ou à la charge cognitive.

<figure><img src="image_47.png" /></figure>

FIGURE 4 – Projection PCA des trajectoires des étudiants pour le questionnaire 4233, question 3. Trois groupes distincts émergent (p-value = 0,0515), révélant des états émotionnels et physiques cohérents parmi les étudiants peu performants, à l'appui de H2.

**H3. Les trajectoires émotionnelles dépendent du contexte et ne sont pas des constantes propres à chaque étudiant.** Les résultats du regroupement par étudiant ont également révélé que les étudiants ne présentaient pas un état affectif unique et récurrent d'une question à l'autre. Au contraire, les
trajectoires étaient façonnées par la complexité spécifique de chaque question. L'état émotionnel et physique d'un étudiant lors d'une question à choix multiples facile différait sensiblement de son état lors d'une tâche de codage complexe, même réalisée au cours de la même séance. Cela contredit la notion de profils affectifs fixes et conforte l'hypothèse H3 : les réponses affectives dépendent du contexte plutôt qu'elles ne sont intrinsèques à l'apprenant.

<figure><img src="image_48.png" /><figcaption>FIGURE 5 – Nuage de points illustrant la corrélation entre les scores individuels des étudiants et les scores moyens de leurs pairs du groupe pour les quiz 4231 et 4233.</figcaption></figure>

**H4. Schémas communs aux questions difficiles.** Afin de tester la convergence interindividuelle face à des défis cognitifs partagés, nous avons appliqué un regroupement par question : le regroupement des trajectoires de tous les étudiants sur une question spécifique. Une structure beaucoup plus claire est apparue. Les groupes composés d'étudiants peu performants présentaient systématiquement des caractéristiques de trajectoire communes, telles qu'une valence décroissante, des mouvements fréquents de la tête et une proximité réduite avec l'écran, tandis que les groupes très performants présentaient des schémas affectifs et physiques plus stables. Quantitativement, ces groupes étaient significativement alignés avec la performance : pour le quiz 4231, la corrélation de Pearson entre la note d'un étudiant et le score moyen de ses pairs était de r = 0,41 (p-value < 0,001) ; pour le quiz 4233, r = 0,38 (p-value < 0,001). Sur l'ensemble des données du quiz, cette corrélation est restée stable autour de r ≈ 0,40, indiquant que les étudiants d'un même groupe de trajectoire avaient tendance à obtenir des scores similaires. Ces regroupements cohérents et alignés sur les performances (Fig. 5) corroborent l'hypothèse H4 : confrontés à la même question difficile, les étudiants ont tendance à présenter des réactions émotionnelles et physiques similaires, qui se manifestent par des groupes homogènes dans l'espace SEPT. Ainsi, SEPT capture non seulement les réactions individuelles, mais aussi des schémas de difficulté communs, offrant ainsi un moyen évolutif de détecter les contenus problématiques en temps réel.
# 5 Conclusion

Cette étude a présenté le SEPT comme un nouveau cadre pour la capture et l'analyse de données comportementales et affectives fines lors des évaluations en ligne. Grâce à des trajectoires dynamiques et multivariées combinant la valence, l'arousal, l'orientation de la tête et la distance face à l'écran, nous avons démontré que le comportement et la difficulté des étudiants peuvent être déduits au niveau de chaque question. Nos analyses de clustering ont validé les hypothèses clés : (H1) la valence et l'arousal seuls ne suffisaient pas à saisir l'état physique des étudiants, ce qui enrichissait l'interprétation de la confusion ou de l'effort cognitif; (H2) les réponses émotionnelles et physiques variaient significativement d'une question à l'autre, confirmant que l'émotion est un processus dynamique et contextuel plutôt qu'un phénomène stable à l'échelle de l'évaluation; (H3) l'absence de signatures individuelles stables au cours d'un quiz a confirmé que ces trajectoires sont davantage façonnées par les exigences spécifiques à la question que par les traits intrinsèques des étudiants; et (H4) l'émergence de schémas comportementaux communs en réponse aux questions difficiles a révélé que les étudiants en difficulté sur une même question présentaient souvent des profils SEPT similaires, correspondant à des performances faibles et homogènes au sein des groupes. Bien que ces résultats confirment le potentiel discriminant du SEPT, plusieurs limites doivent être reconnues. Premièrement, la fusion de données multimodales émotionnelles et posturales reste techniquement difficile, notamment pour synchroniser et pondérer des entrées hétérogènes. Les travaux futurs devraient explorer les architectures de fusion basées sur l'apprentissage profond, en utilisant des mécanismes d'attention temporelle ou des réseaux neuronaux récurrents, afin d'affiner l'interprétabilité et la robustesse (D'mello & Kory, 2015). Deuxièmement, nos résultats sont actuellement limités à un domaine académique spécifique (apprentissage automatique) et à une population étudiante homogène. Une validation plus large entre les matières, les institutions et les contextes culturels est nécessaire, ainsi que des études longitudinales pour déterminer si les trajectoires du SEPT prédisent les résultats d'apprentissage à long terme (Rodrigo et al., 2012). Pour remédier à ces limites et améliorer le cadre du SEPT, nous identifions quatre axes de recherche futurs. Premièrement, nous cherchons à dériver un indicateur d'engagement en temps réel en transformant le mouvement de la tête, la distance visage-écran et la dynamique faciale en un score d'engagement composite. Des travaux récents utilisant des réseaux convolutifs de graphes spatio-temporels ont montré des résultats prometteurs dans la capture de l'engagement à partir de repères faciaux (Mangaroska et al., 2021). Deuxièmement, nous proposons d'étendre le SEPT pour mesurer la concentration cognitive, en intégrant les changements d'attention via la posture de la tête et le suivi du regard comme indicateurs de concentration ou de distraction pendant la résolution de problèmes (Abedi & Khan, 2024). Troisièmement, pour enrichir la diversité des signaux, le SEPT pourrait intégrer des sources de données multimodales telles que les signaux physiologiques (par exemple, la variabilité du rythme cardiaque) et le comportement numérique (par exemple, la dynamique de la souris ou du clavier), qui se sont avérés améliorer la précision de la reconnaissance des affects (Gaudi et al., 2022). Enfin, des mécanismes de rétroaction en temps réel devraient être développés pour fournir des informations exploitables aux instructeurs ou aux systèmes de tutorat intelligents, en adaptant dynamiquement les stratégies pédagogiques en fonction des trajectoires des étudiants.
Références

ABEDI A. & KHAN S. S. (2024). Engagement Measurement Based on Facial Landmarks and Spatial-Temporal Graph Convolutional Networks. arXiv:2403.17175 [cs], DOI: 10.48550/arXiv.2403.17175.

ARROYO I., WOOLF B. P., BURELSON W., MULDNER K., RAI D. & TAI M. (2014). A Multimedia Adaptive Tutoring System for Mathematics that Addresses Cognition, Metacognition and Affect. *International Journal of Artificial Intelligence in Education, 24*(4), 387–426. DOI: 10.1007/s40593-014-0023-y.

BAKER R. S. J. D., D'MELLO S. K., RODRIGO M. M. T. & GRAESSER A. C. (2010). Better to be frustrated than bored: The incidence, persistence, and impact of learners' cognitive-affective states during interactions with three different computer-based learning environments. *International Journal of Human-Computer Studies, 68*(4), 223-241. DOI: 10.1016/j.ijhcs.2009.12.003.

BLIKSTEIN P. & WORSLEY M. (2016). Multimodal Learning Analytics and Education Data Mining: using computational technologies to measure complex learning tasks. *Journal of Learning Analytics, 3*(2), 220-238. Number: 2, DOI: 10.18608/jla.2016.32.11.

BOSCH N. & D'MELLO S. (2017). The affective experience of novice computer programmers. *International Journal of Artificial Intelligence in Education, 27*(1), 181-206. Place: Germany
Publisher: Springer, DOI: 10.1007/s40593-015-0069-5.

BOSCH N., D'MELLO S. K., BAKER R. S., OCUMPAUGH J., SHUTE V., VENTURA M., WANG L. & ZHAO W. (2016). Detecting student emotions in computer-enabled classrooms. In *Proceedings of the Twenty-Fifth International Joint Conference on Artificial Intelligence*, IJCAI'16, p. 4125-4129, New York, New York, USA: AAAI Press.

BULAT A., CHENG S., YANG J., GARBETT A., SANCHEZ E. & TZIMIROPOULOS G. (2022). Pre-training strategies and datasets for facial representation learning. arXiv:2103.16554 [cs] version: 2, DOI: 10.48550/arXiv.2103.16554.

CHAUBEY A. & BHATTACHARYA B. (2015). Learning Management System in Higher Education. *IJSTE - International Journal of Science Technology & Engineering*, 2, 158-162.

D'MELLO S. K. & KORY J. (2015). A Review and Meta-Analysis of Multimodal Affect Detection Systems. *ACM Comput. Surv.*, **47**(3), 43:1-43:36. DOI: 10.1145/2682899.

FRENKEL J., CAJAR A., ENGBERT R. & LAZARIDES R. (2024). Exploring the impact of nonverbal social behavior on learning outcomes in instructional video design. *Scientific Reports*, **14**, DOI: 10.1038/s41598-024-63487-w.

GARRISON D. R., ANDERSON T. & ARCHER W. (1999). Critical Inquiry in a Text-Based Environment: Computer Conferencing in Higher Education. *The Internet and Higher Education*, **2**(2), 87-105. DOI: 10.1016/S1096-7516(00)00016-6.

GAUDI G., KAPRALOS B., COLLINS K. & URIBE QUEVEDO A. (2022). Affective computing: An introduction to the detection, measurement, and current applications. DOI: 10.1007/978-3-030-80571-5_3.

GRAESSER A. C. & D'MELLO S. (2012). Chapter Five - Emotions During the Learning of Difficult Material. In B. H. ROSS, Éd., *Psychology of Learning and Motivation*, volume 57 de *The Psychology of Learning and Motivation*, p. 183-225. Academic Press. DOI: 10.1016/B978-0-12-394293-7.00005-4.

HARLEY J. M., BOUCHET F., HUSSAIN M. S., AZEVEDO R. & CALVO R. (2015). A multi-componential analysis of emotions during complex learning with an intelligent multi-agent system. *Computers in Human Behavior*, **48**, 615-625. DOI: 10.1016/j.chb.2015.02.013.
HARLEY J. M., LAJOIE S. P., FRASSON C. & HALL N. C. (2017). Developing Emotion-Aware, Advanced Learning Technologies: A Taxonomy of Approaches and Features. *International Journal of Artificial Intelligence in Education, 27*(2), 268-297. DOI: 10.1007/s40593-016-0126-8.

IEAMSAARD J., CHAROENSOOK S. N. & YAMMEN S. (2021). Deep Learning-based Face Mask Detection Using YoloV5. In *2021 9th International Electrical Engineering Congress (iEECON)*, p. 428-431. DOI: 10.1109/iEECON51072.2021.9440346.

JIANG Y., BOSCH N., BAKER R. S., PAQUETTE L., OCUMPAUGH J., ANDRES J. M. A. L., MOORE A. L. & BISWAS G. (2018). Expert Feature-Engineering vs. Deep Neural Networks: Which Is Better for Sensor-Free Affect Detection? In C. PENSTEIN ROSÉ, R. MARTÍNEZ-MALDONADO, H. U. HOPPE, R. LUCKIN, M. MAVRIKIS, K. PORAYSKA-POMSTA, B. MCLAREN & B. DU BOULAY, Éds., *Artificial Intelligence in Education*, p. 198-211, Cham: Springer International Publishing. DOI: 10.1007/978-3-319-93843-1_15.

LEE J. W. (2020). Impact of Proctoring Environments on Student Performance: Online vs Offline Proctored Exams.

LIU M. & KOLLIAS D. (2019). Aff-Wild Database and AffWildNet. arXiv:1910.05318 [cs], DOI: 10.48550/arXiv.1910.05318.

MANGAROSKA K., SHARMA K., GASEVIC D. & GIANNAKOS M. (2021). Exploring students' cognitive and affective states during problem solving through multimodal data: Lessons learned from a programming activity. *Journal of Computer Assisted Learning, 38*. DOI: 10.1111/jcal.12590.

MOLLAHOSSEINI A., HASANI B. & MAHOOR M. H. (2019). AffectNet: A Database for Facial Expression, Valence, and Arousal Computing in the Wild. *IEEE Transactions on Affective Computing, 10*(1), 18-31. arXiv:1708.03985 [cs], DOI: 10.1109/TAFFC.2017.2740923.

MORENO-MARCOS P. M., MUÑOZ-MERINO P. J., MALDONADO-MAHAUAD J., PÉREZ-SANAGUSTÍN M., ALARIO-HOYOS C. & DELGADO KLOOS C. (2020). Temporal analysis for dropout prediction using self-regulated learning strategies in self-paced MOOCs. *Computers & Education, 145*, 103728. DOI: 10.1016/j.compedu.2019.103728.

NADAUD E., YAACOUB A., HAIDAR S., GRAND B. & PREVOST L. (2024). Emotion Trajectory and Student Performance in Engineering Education: A Preliminary Study. DOI: 10.1007/978-3-031-59465-6_25.

NANDI A., XHAFA F., SUBIRATS L. & FORT S. (2021). Real-Time Emotion Classification Using EEG Data Stream in E-Learning Contexts. *Sensors, 21*(5), 1589. Number: 5 Publisher: Multidisciplinary Digital Publishing Institute, DOI: 10.3390/s21051589.

PAQUETTE L., DE CARVALHO A. M. & BAKER R. S. (2014). Towards Understanding Expert Coding of Student Disengagement in Online Learning: 36th Annual Meeting of the Cognitive Science Society, CogSci 2014. *Proceedings of the 36th Annual Meeting of the Cognitive Science Society, CogSci 2014*, p. 1126-1131. Publisher: The Cognitive Science Society.

PERRY, RAYMOND P. R. P. (2014). Control-Value Theory of Achievement Emotions. In *International Handbook of Emotions in Education*. Routledge. Num Pages: 22.

PIOT M., ALABARBE T., GONZALEZ J., LE BAIL C., PREVOST L., BOURDEAU J., BERNARD F. X., BAKER M. & DETIENNE F. (2019). Joint analysis of verbal and nonverbal interactions in collaborative E-learning. In *2019 8th International Conference on Affective Computing and Intelligent Interaction Workshops and Demos (ACIIW)*, p. 1-5. DOI: 10.1109/ACIIW.2019.8925033.

RODRIGO M., BAKER R., AGAPITO J., NABOS J., REPALAM M., REYES JR S. & SAN PEDRO C. (2012). The Effects of an Interactive Software Agent on Student Affective Dynamics while Using an Intelligent Tutoring System. *IEEE Transactions on Affective Computing, 3*, 224-236. DOI: 10.1109/T-AFFC.2011.41.
SHI G., CHEN S., LI H., TIAN S. & WANG Q. (2024). A study on the impact of COVID-19 class suspension on college students' emotions based on affective computing model. *Applied Mathematics and Nonlinear Sciences, 9*(1).

SILVA L. C., DE M.B. OLIVEIRA F. C., DE OLIVEIRA A. C. & DE FREITAS A. T. (2014). Introducing the JLoad : A Java Learning Object to Assist the Deaf. In *2014 IEEE 14th International Conference on Advanced Learning Technologies*, p. 579–583. ISSN : 2161-377X, DOI : 10.1109/ICALT.2014.169.

SPITZER M. W. H. & MOELLER K. (2023). Performance increases in mathematics during COVID-19 pandemic distance learning in Austria : Evidence from an intelligent tutoring system for mathematics. *Trends in Neuroscience and Education*, **31**, 100203. DOI: 10.1016/j.tine.2023.100203.
UNION E. (2018). General Data Protection Regulation (GDPR) – Official Legal Text.

WAGNER N., MÄTZLER F., VOSSBERG S. R., SCHNEIDER H., PAVLITSKA S. & ZÖLLNER J. M. (2024). CAGE : Circumplex Affect Guided Expression Inference. arXiv :2404.14975 [cs] version : 1, DOI: 10.48550/arXiv.2404.14975.

WHITEHILL J., SERPELL Z., LIN Y.-C., FOSTER A. & MOVELLAN J. (2014). The Faces of Engagement : Automatic Recognition of Student Engagement from Facial Expressions. *Affective Computing, IEEE Transactions on*, **5**, 86–98. DOI: 10.1109/TAFFC.2014.2316163.

ZHAO J. & ITTI L. (2016). shapeDTW : shape Dynamic Time Warping. arXiv :1606.01601 [cs], DOI : 10.48550/arXiv.1606.01601.
# Stimuler la Pensée Étudiante avec l'AQG : Vers une Génération Automatique de Questions de Type Étudiant

Abdelbassat Labeche¹, ² Sébastien Fournier¹

(1) LIS Laboratory, Aix-Marseille Université, France

(2) École Supérieure d'Informatique (ESI-SBA), Algérie

a.labeche@esi-sba.dz, sebastien.fournier@univ-amu.fr

## RÉSUMÉ

Les systèmes de génération automatique de questions (AQG) sont largement utilisés dans les contextes éducatifs pour évaluer les connaissances. Ces systèmes se concentrent presque exclusivement sur des questions de type enseignant, structurées et factuelles. Cet article propose une approche novatrice, le Student-AQG, qui vise à simuler des questions spontanées qu'un étudiant réel pourrait poser, reflétant ses incompréhensions, sa curiosité ou ses besoins d'approfondissement. En nous appuyant sur les travaux récents en génération de questions autonomes (Mulla & Gharpure, 2023), nous concevons un système modulaire basé sur des LLMs guidés par du prompt engineering, tenant compte du profil cognitif de l'apprenant. Nous décrivons une stratégie d'évaluation combinant des métriques automatiques et des annotations humaines sur la fluidité, la pertinence et la valeur pédagogique. Ce travail vise à aider les élèves à formuler des questions, développant ainsi leur pensée critique, une compétence essentielle souvent négligée à cause du faible questionnement spontané observé en classe (Chin & Osborne, 2008; Raj et al., 2022).

## ABSTRACT

Stimulating Student Thinking with AQG : Towards Automatic Generation of Student-Like Questions

Automatic question generation (AQG) systems are widely used in educational settings to support knowledge assessment. Most existing systems focus almost exclusively on teacher-like questions that are structured and factual. This paper proposes a novel approach, Student-AQG, which aims to simulate spontaneous questions a real student might ask—revealing confusion, curiosity, or the need for clarification. Building on recent research in question generation (Mulla & Gharpure, 2023), we design a modular system that leverages large language models guided by prompt engineering, while adapting to the learner's cognitive profile. We also describe an evaluation framework combining automatic metrics and human annotations, focusing on fluency, relevance, and pedagogical value. This research seeks to assist students in formulating their own questions, enhancing their critical thinking—a key competency often overlooked due to the lack of spontaneous questioning in classrooms (Chin & Osborne, 2008; Raj et al., 2022).

**MOTS-CLÉS** : Génération automatique de questions, Modèles de langage, Apprentissage actif, Prompt engineering, Pensée critique.

**KEYWORDS:** Automatic question generation, Language models, Active learning, Prompt engineering, Critical thinking.

**ARTICLE :** Accepté à IA-ÉDU@CORIA-TALN 2025.
# 1 Introduction

Ces dernières années, les grands modèles de langage (LLMs) comme ChatGPT, LLaMA ou Mistral ont transformé l'interaction entre intelligence artificielle et apprentissage humain. Pourtant, en contexte scolaire, les étudiants restent souvent passifs et posent rarement des questions en classe, par manque de confiance ou par crainte du jugement. Il devient donc essentiel de les accompagner dans la formulation de questions, afin de les rendre progressivement autonomes dans cette pratique réflexive.

Un usage prometteur des LLMs en éducation est la génération automatique de questions (AQG) à partir d'un texte source. Les travaux de (Mulla & Gharpure, 2023) montrent que la plupart des systèmes AQG se limitent à des questions factuelles, négligeant les aspects métacognitifs. Or, comme l'ont établi (Ikuta & Maruno, 2004), les étudiants qui posent des questions montrent une compréhension plus profonde des concepts. Notre projet s'inscrit dans cette perspective, en proposant un système original centré sur l'élève. Ce **Student-AQG system** vise à simuler, à l'aide d'un LLM, la capacité d'un étudiant réel à poser des questions ouvertes, imparfaites, mais révélatrices de sa curiosité ou de ses doutes.

L'objectif est de stimuler l'engagement cognitif et d'encourager la pensée critique par la formulation de questions pertinentes, adaptées à leur âge et à leur niveau. Contrairement aux approches classiques centrées sur l'évaluation, notre système cherche à reproduire la dynamique naturelle d'un élève face à un contenu éducatif, et à l'accompagner vers une autonomie dans la création de ses propres questions.

# 2 Problématique

La génération automatique de questions est un domaine actif en traitement automatique des langues (TAL), mais la majorité des approches restent centrées sur l'enseignant (Bulathwela et al., 2023). Si ces méthodes sont efficaces pour créer des QCM ou des quiz, elles n'encouragent pas toujours l'engagement cognitif ni la pensée critique des apprenants.

À l'inverse, un système Student-AQG devrait produire des questions traduisant une curiosité réelle, une compréhension partielle ou un besoin d'approfondissement (Chin & Osborne, 2008). Ces questions ne servent pas seulement à évaluer, mais initient un dialogue avec l'enseignant, stimulant un apprentissage plus interactif et réflexif. Le tableau 1 illustre les différences clés entre les deux approches.

<table><caption>TABLE 1 – Comparaison Teacher-AQG vs Student-AQG</caption><thead><tr><td>Élément</td><td>Teacher-AQG</td><td>Student-AQG</td></tr></thead><tbody><tr><td>Finalité</td><td>Évaluer la compréhension</td><td>Simuler le questionnement naturel</td></tr><tr><td>Style</td><td>Structuré, factuel</td><td>Curieux, confus, exploratoire</td></tr><tr><td>Utilisation</td><td>Enseignants, quiz</td><td>Élèves, auto-apprentissage</td></tr><tr><td>Données</td><td>SQuAD, RACE</td><td>Forums, prompts simulés</td></tr></tbody></table>

Cependant, guider un LLM à adopter une posture « étudiante » reste un défi majeur. Il faut concevoir des prompts générant des formulations naturelles mais pertinentes (Zamfirescu-Pereira et al., 2023), éviter les questions trop simples ou complexes, évaluer leur valeur pédagogique, et limiter les biais cognitifs ou culturels.
# 3 État de l'art

Cette section présente brièvement les principales approches de génération automatique de questions, en s'appuyant sur les méthodologies recensées par (Mulla & Gharpure, 2023), des systèmes à base de règles aux modèles neuronaux actuels (Lopez et al., 2021).

## 3.1 Approches fondées sur des règles et méthodes neuronales supervisées

Les premières méthodes utilisent des structures syntaxiques et des patrons linguistiques pour transformer des phrases en questions. Elles exploitent des arbres syntaxiques, des patrons sémantiques ou des règles heuristiques issues de corpus, mais manquent de souplesse et de généralisation hors domaine.

Avec des corpus comme SQuAD ou WikiAnswers, des architectures Seq2Seq avec attention ont permis de générer automatiquement des questions à partir de textes et réponses. Des modèles comme T5, BART ou des réseaux LSTM ont été entraînés pour produire des questions proches de celles humaines, évaluées par des métriques telles que BLEU, METEOR ou ROUGE.

## 3.2 Transformers et prompting sans supervision

Des modèles récents tels que GPT-3, LLaMA ou BERT, utilisés en zero-shot ou few-shot via le prompt engineering, génèrent des questions pertinentes sans entraînement dédié. Ces approches s'appuient sur la contextualisation des prompts, la reformulation par rôle ou le raisonnement en chaîne pour simuler un questionnement plus naturel. S'inscrivant dans cette troisième approche, les recherches récentes incluent des travaux sur la génération de questions critiques visant à stimuler la pensée analytique (Figueras & Agerri, 2025), la génération de questions motivées par la curiosité simulant le questionnement d'un apprenant découvrant un nouveau concept (Javaji & Zhu, 2024), et l'utilisation des techniques de prompting pour générer des questions éducatives, notamment avec le jeu de données EduProbe qui privilégie les questions commençant par "Pourquoi" et "Comment" (Maity et al., 2024).

Par rapport aux méthodes précédentes, ces modèles offrent une grande souplesse, mais posent des défis en termes de variabilité, de contrôle du style et d'évaluation de la pertinence des questions.

# 4 Méthodologie

Notre méthodologie repose sur la conception d'un système capable de simuler le questionnement naturel d'un élève à partir d'un texte pédagogique. Ce système, appelé Student-AQG, mobilise des modèles de langage avancés et des techniques modernes de prompt engineering pour générer des questions pertinentes, révélatrices de la curiosité ou des incompréhensions d'un apprenant.

## 4.1 Vue d'ensemble du système

Inspiré par le cadre multi-agents proposé dans (Sun et al., 2024), notre système combine plusieurs modules où le LLM alterne entre rôles génératifs et évaluatifs. Le pipeline comprend quatre grandes étapes successives : (1) le prétraitement linguistique, (2) l'extraction de concepts clés, (3) la génération
de questions via un LLM guidé par des prompts optimisés (Lemeš, 2024), et enfin (4) le filtrage et l'évaluation des questions générées.

Le système prend en compte le **profil cognitif de l'élève**, notamment son âge et son niveau scolaire, pour ajuster la formulation, la complexité et l'intention pédagogique de la question. Cette personnalisation vise à renforcer l'engagement et la pertinence des interactions.

## 4.2 Architecture technique

L'implémentation repose sur une architecture modulaire HuggingFace. Elle comprend un pipeline linguistique, une couche d'abstraction entre modèles, et des connecteurs d'évaluation. Notre étude compare des modèles de tailles variées pour évaluer le compromis entre qualité et ressources.

<table><caption>TABLE 2 – Modèles envisagés pour le Student-AQG</caption><thead><tr><td>Modèle</td><td>Taille</td><td>Type</td></tr></thead><tbody><tr><td>GPT-4</td><td>~1T</td><td>Propriétaire</td></tr><tr><td>Qwen</td><td>14B</td><td>Open source</td></tr><tr><td>Mistral</td><td>7B</td><td>Open source</td></tr><tr><td>Gemma</td><td>2B</td><td>Open source</td></tr></tbody></table>

## 4.3 Ingénierie des prompts

Le guidage du LLM repose sur une ingénierie fine des prompts, adaptée au profil cognitif ciblé. Comme l'ont montré (Zamfirescu-Pereira et al., 2023), la formulation des instructions joue un rôle clé dans la qualité des réponses. Nous nous appuyons sur plusieurs stratégies, dont (Scaria et al., 2024).

Nous utilisons un gabarit dynamique où l'élève est simulé comme locuteur. Par exemple :

Joue le rôle d'un(e) étudiant(e) de niveau[niveau] en[domaine]. Tu viens d'apprendre le concept suivant:[concept], mais certains points restent flous. Instructions : 1. Identifie un aspect difficile ou intéressant 2. Formuleune question à poser à ton enseignant 3. (Avancé uniquement) Expliqueton raisonnement

Trois techniques principales enrichissent la génération : a) **L'exemple guidé (Few-shot)** : le modèle reçoit 2 ou 3 exemples authentiques de questions d'élèves ; b) **Le raisonnement en chaîne (Chain-of-Thought)** : selon (Wei et al., 2022), cette méthode aide le modèle à formuler sa pensée séquentiellement, améliorant cohérence et plausibilité, surtout pour les niveaux avancés ; c) **La re-formulation par rôle** : le modèle adopte l'identité d'un étudiant curieux face à un nouveau concept, favorisant une formulation plus naturelle et spontanée.

Ces techniques génèrent des questions authentiques. Pour un cours d'IHM, le système produit : « Quelle est la différence entre le système sensoriel et le système cognitif dans l'interface homme machine ? » — imitant le questionnement spontané étudiant.
## 4.4 Extension : aide à la formulation de questions

En complément de la génération automatique de questions, nous envisageons d’intégrer un module interactif destiné à **aider les étudiants à formuler leurs questions**. Ce module proposera des indices, des pistes de réflexion ou des mots-clés extraits du texte pour guider l’élève dans sa réflexion.

L'objectif est de favoriser une démarche active où l'étudiant participe au processus de questionnement, ce qui renforce l'appropriation des connaissances et développe la pensée critique. Cette extension se positionne comme un outil pédagogique interactif et complémentaire au système Student-AQG.

## 4.5 Réduction des biais dans la génération de questions

Les grands modèles de langage (LLMs) peuvent reproduire ou amplifier des biais présents dans leurs données d'entraînement, notamment sur le genre, l'origine culturelle ou les stéréotypes implicites (Navigli et al., 2023). Dans un contexte éducatif, ces biais peuvent compromettre la neutralité des questions générées, en introduisant des formulations inadéquates ou non inclusives.

Pour limiter ces effets, plusieurs mécanismes sont prévus. D'abord, les prompts seront formulés de manière explicite et neutre, en évitant les termes marquant une identité spécifique (par exemple, "l'ap-prenant" au lieu de formulations genrées). Ensuite, un filtrage automatique analysera chaque question à l'aide d'un lexique de sensibilité (issu de ressources sur les biais linguistiques), couplé à une mesure de similarité sémantique via des embeddings (Sentence-BERT ou KeyBERT). Enfin, une évaluation humaine sera menée sur un échantillon représentatif : un groupe d'enseignants et d'étudiants annotera les questions selon une grille de neutralité, représentativité et absence de stéréotypes. Cette validation mesurera l'accord inter-annotateurs et permettra d'ajuster progressivement prompts ou filtres.

Cette approche vise à concilier le réalisme cognitif des questions étudiantes avec des garanties minimales d'équité et d'inclusivité.

## 4.6 Stratégie d'évaluation

L'évaluation du système Student-AQG repose sur une combinaison d'indicateurs automatiques et d'annotations humaines, en accord avec les recommandations de (Mulla & Gharpure, 2023). Le tableau 3 présente les principales métriques utilisées.

<table><caption>TABLE 3 – Métriques d'évaluation du Student-AQG</caption><thead><tr><td>Critère</td><td>Méthode d'évaluation</td><td>Échelle</td></tr></thead><tbody><tr><td>Fluidité</td><td>Score GPT-4 (cohérence grammaticale)</td><td>0-1</td></tr><tr><td>Pertinence contextuelle</td><td>Similarité sémantique (Sentence-BERT)</td><td>0-3</td></tr><tr><td>Réalisme cognitif</td><td>Annotation humaine (marqueurs de doute, confusion)</td><td>1-5</td></tr><tr><td>Valeur pédagogique</td><td>Jugement expert (utilité, discussion induite)</td><td>1-5</td></tr><tr><td>Similarité avec questions étudiantes</td><td>Similarité d'embeddings</td><td>0-1</td></tr><tr><td>Détection de biais</td><td>Checklist qualitative</td><td>Binaire</td></tr></tbody></table>

L'expérimentation inclura une validation humaine par annotateurs indépendants, avec mesure du niveau d'accord et améliorations itératives du processus.
## 4.7 Limites des jeux de données existants

Les systèmes traditionnels de génération de questions éducatives reposent principalement sur des corpus comme SQuAD ou SciQ (Bulathwela et al., 2023). Bien que ces jeux de données produisent des questions factuelles bien structurées, ils ne reflètent ni la spontanéité ni les marqueurs d'incertitude du questionnement étudiant réel. Leurs questions supposent une compréhension totale du texte et visent l'évaluation, plutôt que l'expression de doutes ou de curiosité.

Comme le montre (Bulathwela et al., 2023), même les modèles pré-entraînés sur des textes scientifiques (S2ORC) reproduisent ces limites. Notre approche Student-AQG contourne ces biais en misant sur le prompt engineering plutôt qu'un apprentissage supervisé, générant ainsi des questions plus authentiques et pédagogiquement pertinentes.

## 5 Considérations éthiques

Notre approche intègre plusieurs préoccupations éthiques essentielles à l'usage des LLMs en contexte éducatif. D'abord, la **protection des données** est assurée : aucune information personnelle ni contenu original n'est conservé. Ensuite, des mécanismes de **filtrage post-génération** sont mis en place pour détecter et limiter les biais culturels ou stéréotypes, comme mentionné précédemment. Enfin, la **transparence** est garantie : les utilisateurs sont informés que les questions proviennent d'une simulation, évitant ainsi toute confusion pédagogique.

## 6 Conclusion et perspectives

Le projet Student-AQG propose une approche innovante pour encourager l'apprentissage actif, en simulant le questionnement spontané d'élèves via des modèles de langage. Contrairement aux systèmes centrés sur l'enseignant, notre démarche cherche à reproduire la diversité, l'imprécision et la curiosité propres aux véritables questions étudiantes. Les travaux de (Elkins et al., 2023) montrent que les LLMs, guidés par des taxonomies comme celle de Bloom, peuvent générer des questions pertinentes. Notre contribution se distingue par son attention au réalisme cognitif de l'élève simulé.

Les perspectives futures incluent l'implémentation complète du pipeline basé sur HuggingFace pour valider tous les composants. Nous visons aussi la constitution d'un jeu de données annoté de vraies questions étudiantes, inspiré de (Ikuta & Maruno, 2004), afin de mieux calibrer nos outils d'évaluation. Enfin, une évaluation à différents niveaux scolaires permettra de mesurer l'adaptabilité du système aux profils d'apprenants et la pertinence pédagogique des questions générées.

## Références

BULATHWELA S., MUSE H. & YILMAZ E. (2023). Scalable educational question generation with pre-trained language models. In N. WANG, G. REBOLLEDO-MENDEZ, N. MATSUDA, O. C. SANTOS & V. DIMITROVA, Éds., *Artificial Intelligence in Education*, p. 327–339, Cham : Springer Nature Switzerland.
CHIN C. & OSBORNE J. (2008). Students' questions : a potential resource for teaching and learning science. *Studies in Science Education, **44*(1), 1-39. DOI: 10.1080/03057260701828101.

ELKINS S., KOCHMAR E., SERBAN I. & CHEUNG J. C. K. (2023). How useful are educational questions generated by large language models? In N. WANG, G. REBOLLEDO-MENDEZ, V. DIMITROVA, N. MATSUDA & O. C. SANTOS, Éds., *Artificial Intelligence in Education. Posters and Late Breaking Results, Workshops and Tutorials, Industry and Innovation Tracks, Practitioners, Doctoral Consortium and Blue Sky*, p. 536-542, Cham : Springer Nature Switzerland.

FIGUERAS B. C. & AGERRI R. (2025). Benchmarking critical questions generation : A challenging reasoning task for large language models. https://synthical.com/article/057ecc00-f754-4396-b66b-a22f7393884e.

IKUTA J. & MARUNO S. (2004). Do elementary school students come up with questions during class? *Graduate School of Human-Environment Studies, Kyushu University*. DOI: 10.15017/3566.
JAVAJI S. R. & ZHU Z. (2024). What would you ask when you first saw $a^2 + b^2 = c^2$? evaluating llm on curiosity-driven questioning.

LEMEŠ S. (2024). Prompt engineering. In *Artificial Intelligence in Industry 4.0 : The Future That Comes True*, p. 159-170. DOI: 10.5644/PI2024.215.08.

LOPEZ L. E., CRUZ D. K., CRUZ J. C. B. & CHENG C. (2021). Simplifying paragraph-level question generation via transformer language models. In D. N. PHAM, T. THEERAMUNKONG, G. GOVERNATORI & F. LIU, Éds., *PRICAI 2021 : Trends in Artificial Intelligence*, p. 323-334, Cham : Springer International Publishing.

MAITY S., DEROY A. & SARKAR S. (2024). Harnessing the power of prompt-based techniques for generating school-level questions using large language models. In *Proceedings of the 15th Annual Meeting of the Forum for Information Retrieval Evaluation*, FIRE '23, p. 30-39, New York, NY, USA : Association for Computing Machinery. DOI: 10.1145/3632754.3632755.

MULLA N. & GHARPURE P. (2023). Automatic question generation : a review of methodologies, datasets, evaluation metrics, and applications. *Progress in Artificial Intelligence, **12*(1), 1-32. DOI: 10.1007/s13748-023-00295-9.

NAVIGLI R., CONIA S. & ROSS B. (2023). Biases in large language models : Origins, inventory, and discussion. *J. Data and Information Quality, **15*(2). DOI: 10.1145/3597307.

RAJ T., CHAUHAN P., MEHROTRA R. & SHARMA M. (2022). Importance of critical thinking in the education. *World Journal of English Language, **12**(3), 126-135. DOI: 10.5430/wjel.v12n3p126.

SCARIA N., DHARANI CHENNA S. & SUBRAMANI D. (2024). Automated educational question generation at different bloom's skill levels using large language models : Strategies and evaluation. In A. M. OLNEY, I.-A. CHOUNTA, Z. LIU, O. C. SANTOS & I. I. BITTENCOURT, Éds., *Artificial Intelligence in Education*, p. 165-179, Cham : Springer Nature Switzerland.

SUN H., LIU Y., WU C., YAN H., TAI C., GAO X., SHANG S. & YAN R. (2024). Harnessing multi-role capabilities of large language models for open-domain question answering. In *Proceedings of the ACM Web Conference 2024*, p. 4372-4382.

WEI J., WANG X., SCHUURMANS D., BOSMA M., ICHTER B., XIA F., CHI E., LE Q. V. & ZHOU D. (2022). Chain-of-thought prompting elicits reasoning in large language models. In S. KOYEJO, S. MOHAMED, A. AGARWAL, D. BELGRAVE, K. CHO & A. OH, Éds., *Advances in Neural Information Processing Systems*, volume 35, p. 24824-24837 : Curran Associates, Inc.

ZAMFIRESCU-PEREIRA J., WONG R. Y., HARTMANN B. & YANG Q. (2023). Why johnny can't prompt : How non-ai experts try (and fail) to design llm prompts. In *Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems*, p. 1-21. DOI: 10.1145/3544548.3581388.
# Un outil conversationnel basé sur un graphe de connaissances, des LLM et un modèle BERT pour les programmes d'alternance en France

Baba Mbaye¹ Diana Nurbakova² Duaa Baig¹, ²

(1) Effet B, 1 Rue Dr Fleury Papillon, 69100 Villeurbanne, France

(2) INSA Lyon, CNRS, Université Claude Bernard Lyon 1, LIRIS, UMR5205, 20 Avenue Albert Einstein, 69621 Villeurbanne, France

baba@effetb.com, diana.nurbakova@insa-lyon.fr, duaa.baig@insa-lyon.fr

## RÉSUMÉ

Le suivi efficace de l'acquisition des compétences dans les programmes de l'alternance, présente des défis importants pour la technologie éducative. Cet article présente un nouvel agent conversationnel intégré dans un livret de formation numérique qui relève ces défis grâce à une architecture multimodale. Notre système intègre (1) un graphe de connaissances spécifique à un domaine, lié à des référentiels de compétences, (2) des grands modèles de langage (LLM) et (3) un composant génératif basé sur BERT. Cette approche hybride permet à la fois une représentation structurée des trajectoires d'apprentissage et des capacités d'interaction en langage naturel, ce qui permet un suivi nuancé des progrès et des interventions personnalisées. L'évaluation empirique démontre que le système fournit un retour d'information contextuellement pertinent qui s'adapte aux modèles d'apprentissage individuels, ce qui permet une acquisition plus efficace des compétences.

## ABSTRACT

### A Conversational Tool Based on Knowledge Graph, LLMs and BERT Model for Work-Study Programs in France

Effective skill acquisition monitoring in vocational training programs, particularly apprenticeships, presents significant challenges for educational technology. This paper introduces a novel conversational agent embedded within a digital training booklet that addresses these challenges through a multimodal architecture. Our system integrates (1) a domain-specific knowledge graph linked to competency frameworks, (2) state-of-the-art large language models (LLMs) and (3) a BERT-based generative component. This hybrid approach enables both structured representation of learning trajectories and natural language interaction capabilities, allowing for nuanced progress monitoring and personalized interventions. Empirical evaluation demonstrates that the system provides contextually relevant feedback that adapts to individual learning patterns, resulting in more efficient skill acquisition.

**MOTS-CLÉS** : Outil conversationnel, Graphe de connaissances, LLMs, BERT, programmes d'alternance.

**KEYWORDS:** Conversational tool, Knowledge graph, LLMs, BERT, Work-Study Programs.

**ARTICLE :** Accepté à IA-ÉDU@CORIA-TALN 2025.
# 1 Introduction

Les programmes en alternance combinent l'apprentissage académique et l'expérience professionnelle. Ils offrent de nombreux avantages, comme l'acquisition de compétences concrètes liées au domaine d'études, l'amélioration de l'employabilité des étudiants, et la possibilité d'appliquer des concepts théoriques dans des situations réelles (University of Notre Dame, Australia et al., 2019). Cependant, ces programmes rencontrent également plusieurs défis : la gestion du temps, la taille des promotions (University of Notre Dame, Australia et al., 2019), les difficultés de placement en entreprise (Stanley & Xu, 2019), ou encore l'équilibre entre le travail et les études (Uclaray et al., 2023).

Chaque programme de formation couvre un ensemble de compétences et de savoirs propres au métier visé. Traditionnellement, un livret de suivi est utilisé pour suivre les compétences acquises par les apprenants. Ce livret est consulté par les apprentis eux-mêmes, les tuteurs en entreprise, les formateurs de l'établissement scolaire et les responsables pédagogiques. Avec la transition numérique, ces livrets sont désormais disponibles sous forme digitale, permettant d'évaluer les progrès des apprenants et de valider les compétences. Cependant, ces versions numériques restent souvent statiques et nécessitent une saisie manuelle régulière. Pour simplifier les interactions avec le livret et limiter ces interventions manuelles, l'intégration d'un outil conversationnel intelligent peut être une solution pertinente (Pérez et al., 2020; Wollny et al., 2021).

Les chatbots sont de plus en plus utilisés dans le domaine de l'éducation pour enrichir l'expérience d'apprentissage et apporter un soutien personnalisé. Ils peuvent servir d'assistants pédagogiques, aider à évaluer les étudiants et fournir un retour d'information en temps réel (Pérez et al., 2020; Georgescu, 2018; Chamorro-Atalaya et al., 2023). De plus, ils permettent un accompagnement individualisé en s'adaptant aux besoins spécifiques de chaque apprenant (Wollny et al., 2021; Alfehaid & Hammami, 2023; Ramandanis & Xinogalos, 2023). Pourtant, ces outils conversationnels n'ont pas encore été intégrés aux livrets numériques dans le cadre des programmes en alternance.

Pour combler ce manque, nous proposons un agent intelligent basé sur trois éléments principaux :

1. Un graphe de connaissances (GC) pour modéliser les compétences des apprentis et les programmes en alternance.

2. Un modèle de langage de grande taille (Large Language Model - LLM) pour analyser les requêtes des utilisateurs et les traduire en requêtes Cypher afin d'extraire les informations du graphe de connaissances.

3. Un modèle BERT ajusté (fine-tuned) (Devlin et al., 2019) pour générer des réponses précises et adaptées.

Notre approche se concentre sur trois scénarios :

- Sc1, Suivi des compétences acquises;

- Sc2, Recommandation des compétences à développer;

- Sc3, Suivi personnalisé et retour d'information.

Le reste du papier est organisé de la façon suivante. Nous présentons le contexte du travail dans la Section 2. Les Sections 3 et 4 décrivent notre outil conversationnel. Nous présentons nos expérimentations dans la Section 5, suivi de la discussion sur les défis et perspectives du travail (Section 6). Enfin, nous concluons le papier avec le résumé des contributions et les travaux futurs (Section 7).
# 2 Organisation et Environnement Éducatif des Formations en Alternance

Depuis les années 1990, la formation en alternance connaît une croissance importante (Le Thuaut, 2005). En 2022, on comptait environ 837 000 apprentis (Ministère du Travail, 2024). Cette augmentation est en grande partie due à la réforme de 2018, qui a renforcé les incitations financières et simplifié les démarches administratives (Assemblée-Nationale, 2018).

## 2.1 Un cadre réglementaire structurant

L'organisation des formations professionnelles est encadrée par France Compétences – un organisme public chargé de réguler la qualité et le financement des formations. Cette institution gère également le Répertoire National des Certifications Professionnelles (RNCP), un registre officiel qui recense toutes les qualifications reconnues par l'État. Chaque certification inscrite au RNCP est classée selon un référentiel national en 8 niveaux, correspondant aux différents degrés de qualification (du niveau CAP au doctorat). Ces certifications sont détaillées en blocs de compétences, qui définissent les savoir-faire et les critères d'évaluation attendus.

Un exemple concret est le diplôme d'ingénieur en informatique délivré par l'INSA Lyon, répertorié sous le code RNCP35971. Ce diplôme est structuré en 5 blocs de compétences, parmi lesquels on trouve, par exemple, le bloc RNCP35971BC01, intitulé : "Concevoir, développer et maintenir des logiciels de qualité". Chaque bloc précise les compétences à maîtriser, comme la conception d'architectures logicielles complexes ou l'utilisation d'outils de modélisation.

Pour assurer le suivi des apprentissages, des carnets de suivi numériques sont utilisés. Parmi les plateformes les plus courantes, on peut citer Campus skill, GowizApp, Kwark, Sheldon skills et STUDEA. Ces outils permettent de documenter l'acquisition des compétences en temps réel.

## 2.2 Objectifs pédagogiques de notre outil numérique de suivi

L'intégration de notre solution numérique dans les parcours d'alternance répond à plusieurs objectifs pédagogiques :

1. Suivi automatisé des compétences : Ces outils permettent de suivre en temps réel l'évolution des compétences des apprentis, évitant ainsi les lourdeurs administratives liées au suivi manuel. Par exemple, un tuteur peut interroger le système pour savoir : "Quelles compétences Jean a-t-il validées dans le module de développement logiciel ?" et obtenir un résumé précis des progrès réalisés.

2. Recommandations personnalisées : Grâce à l'analyse des parcours d'apprentissage, ces systèmes suggèrent des compétences à prioriser en fonction des besoins de chaque apprenti. Par exemple, une question comme : "Quelles compétences Marie devrait-elle travailler ensuite ?" permettra au système de proposer un itinéraire de formation adapté.

3. Analyse comparative des performances : Ces outils offrent aussi la possibilité de comparer les performances d'un apprenti avec celles de ses pairs ou avec les attentes du programme. Par exemple, un tuteur peut demander : "Comment Thomas progresse-t-il par rapport aux attentes ?" et obtenir une analyse contextualisée.
## 2.3 Un outil au service de plusieurs publics

Ce type de système bénéficie à l'ensemble des acteurs impliqués dans les parcours d'alternance :

1. *Les apprentis* : Ils peuvent consulter en permanence l'état d'avancement de leurs compétences, identifier leurs points forts et les domaines à améliorer. Grâce aux recommandations personnalisées, ils peuvent aussi adapter leur apprentissage tout en restant en phase avec les objectifs de leur formation.

2. *Les tuteurs et formateurs* : Ces outils simplifient le suivi des apprentis en automatisant la collecte des données et en facilitant l'identification rapide des éventuelles difficultés. Cela permet aux encadrants de se concentrer sur des missions à plus forte valeur ajoutée, comme l'accompagnement personnalisé ou le coaching ciblé.

3. *Les établissements de formation* : À une échelle plus large, les données agrégées permettent aux institutions d'ajuster leurs programmes en fonction des évolutions du marché du travail. Cette approche favorise l'adaptation continue des cursus pour répondre aux nouvelles compétences demandées par les entreprises.

En combinant formation théorique et expérience professionnelle, les programmes en alternance jouent un rôle clé dans l'insertion et la montée en compétences des apprenants. L'usage d'outils numériques de suivi transforme ces parcours en rendant le suivi plus efficace, en personnalisant les recommandations et en facilitant l'évaluation des compétences. Cette approche innovante allège la charge administrative tout en renforçant la qualité de l'accompagnement pédagogique, au bénéfice de tous les acteurs de l'alternance.

# 3 Architecture Technique du Système Conversationnel

Cette section décrit les trois principaux composants de notre outil conversationnel : un graphe de connaissances (GC) modélisant le livret de formation numérique, des modèles de langage étendus (LLMs) pour l'analyse des requêtes utilisateurs, et un modèle BERT ajusté pour la génération de réponses.

## 3.1 Livret de Formation Numérique et Graphe de Connaissances

Le livret de formation numérique est un système dématérialisé de suivi des progrès des apprentis. Il automatise la collecte et l'organisation des données liées à la formation. Nous modélisons ce livret sous la forme d'un graphe de connaissances (GC) (Hogan et al., 2022; Qu et al., 2024) construit à partir de deux sources de données principales :

1. Données de suivi des progrès des apprentis issues de notre système de livret numérique.

2. Données de la plateforme France Compétences sur les compétences, qualifications et unités de formation.

Notre GC est composé d'entités/nœuds interconnectés représentant différents aspects du processus d'apprentissage :

- **Compétences** (5 020 nœuds) : Chaque compétence validée au sein du programme de formation est représentée comme un nœud, contenant des attributs tels que l'identifiant de la compétence, le niveau de compétence (aligné sur le cadre RNCP) et les critères d'évaluation.
- RNCP (188 nœuds) : Nœuds représentant les certifications reconnues par le Répertoire National des Certifications Professionnelles (RNCP).

- Catégories de Formation (170 nœuds) : Classifications générales regroupant des programmes connexes, comme "Informatique et Développement Logiciel."

- Cours de Formation (508 nœuds) : Programmes de formation spécifiques liés aux qualifications du RNCP.

- Apprentis (2 691 nœuds) : Chaque apprenti est un nœud avec des attributs suivant leurs progrès, les compétences validées et les dates d'acquisition.

- Formateurs/Tuteurs (2 010 nœuds) : Les formateurs des établissements éducatifs et des entreprises sont modélisés sous forme de nœuds liés aux apprentis.

- Écoles (46 nœuds) : Institutions offrant des programmes de formation liés aux compétences validées.

- Unités de Formation en Apprentissage (UFA) (413 nœuds) : Divisions spécialisées des écoles dédiées aux apprentissages.

Le KG capture les relations entre ces entités à travers des arêtes, notamment :

- HAS_SKILL (50 738 arêtes) : Relie les apprentis aux compétences acquises;

- ATTENDS (2 903 arêtes) : Relie les apprentis aux cours de formation suivis;

- HAS_RNCP (226 arêtes) : Relie les écoles aux certifications RNCP correspondantes.

Nous avons implémenté le GC en utilisant Neo4J, ce qui nous permet de suivre les parcours d'acquisition des compétences et de surveiller la progression des apprentis. Par exemple, lorsqu'un utilisateur demande : "Quelles compétences l'apprenti Jean devrait-il prioriser ensuite ?", le système suit les chemins de relation pour identifier les compétences non validées pertinentes pour le programme de Jean.

## 3.2 LLMs pour l'Interprétation des Requêtes et la Reconnaissance d'Intentions

Nous exploitons des modèles de langage étendus (LLMs) comme GPT-4 pour l'interprétation des requêtes et la reconnaissance d'intentions (Wan et al., 2024; Kumar, 2024). Bien que les LLMs excellent dans la compréhension du langage naturel, ils peuvent produire des affirmations factuellement incorrectes (Wang et al., 2024). Pour pallier ce problème, notre système intègre le raisonnement des LLMs avec le GC en utilisant un cadre Planification-Récupération-Raisonnement inspiré de Luo et al. (Luo et al., 2023).

Le traitement des requêtes utilisateur se fait en plusieurs étapes. D'abord, lors de la phase de planification, le modèle de langage large (LLM) identifie l'intention de l'utilisateur et génère des chemins de relation qui serviront de base pour la récupération des informations. Ensuite, durant la phase de récupération, les données pertinentes sont extraites du GC en suivant ces chemins de relation définis précédemment. Une fois les informations nécessaires récupérées, un modèle BERT ajusté intervient lors de la phase de raisonnement pour générer des réponses contextuelles et adaptées à la requête. Enfin, dans la phase de génération de réponse, le LLM produit une réponse finale en langage naturel, fluide et compréhensible pour l'utilisateur, tout en restant fidèle aux données extraites du GC.

Dans notre étude, nous avons évalué sept modèles de langage étendu (LLMs), à savoir GPT-4 (Achiam et al., 2023), LLaMA-2 7B (Touvron et al., 2023), GPT-J-6B (Wang, 2021), Falcon 7B (Almazrouei et al., 2023), BLOOM (Workshop et al., 2022) et Mistral 7B (Jiang, 2024), en fonction de plusieurs critères tels que la disponibilité, la précision et le score F1. Cette évaluation s'est basée
sur trois ensembles de données distincts : le premier, Sc1 : Open SQuAD (https://tinyurl.com/2yup27s8), qui comprend 27 713 requêtes; le deuxième, Sc2 (https://tinyurl.com/muw7vm96) : Ensemble de Données sur les Carrières; et le troisième, Sc3 (https://tinyurl.com/bdh23acu) : Ensemble de Données ASSISTments 2012-2013. Ces évaluations nous ont permis de comparer les performances des modèles dans des contextes variés et de choisir celui qui répondait le mieux à nos besoins en termes de précision et d'efficacité.

<table><caption>TABLE 1 – LLM comparaison</caption><thead><tr><th>Modèle</th><th>GPT-4</th><th>LLaMA-2 7B</th><th>GPT-J-6B</th><th>Falcon 7B</th><th>BLOOM</th><th>Mistral 7B</th></tr></thead><tbody><tr><th>Disponibilité</th><td><strong>Payant</strong></td><td>Gratuit</td><td>Gratuit</td><td>Gratuit</td><td>Gratuit</td><td>Gratuit</td></tr><tr><th>Précision (%)</th><td><strong>84</strong></td><td>82</td><td>81</td><td>78</td><td>73</td><td>72</td></tr><tr><th>Score F1 (%)</th><td><strong>81</strong></td><td>80</td><td>77</td><td>77</td><td>71</td><td>71</td></tr></tbody></table>

GPT-4 a obtenu la meilleure précision (84%) et le meilleur score F1 (81%), ce qui en fait le choix optimal pour notre implémentation. Sa capacité à structurer des réponses basées sur des données interconnectées s'aligne parfaitement avec notre GC.

## 3.3 Modèle de Raffinement basé sur BERT

Nous utilisons un modèle BERT (Devlin et al., 2019) ajusté pour la génération de réponses et la reconnaissance d'intentions. Bien que les LLMs excellent dans la compréhension des requêtes, BERT garantit des réponses concises, précises et ancrées dans le GC.

Le modèle BERT est ajusté à l'aide de trois principales sources de données. La première source provient des données anonymisées du Livret de Formation Numérique qui sont issues de notre GC. La deuxième source est la documentation sur la Formation Professionnelle fournie par France Compétences, qui contient des informations essentielles sur les compétences et les parcours de formation. Enfin, la troisième source, EdNet, est une base de données éducatives à grande échelle qui inclut des interactions entre les étudiants et les plateformes d'apprentissage (Choi et al., 2020).

Ce processus d'ajustement vise à améliorer les performances de BERT dans deux domaines clés, en affinant ses capacités de compréhension et de génération de réponses.

D'une part, il optimise la génération de réponses, permettant au modèle de produire des réponses plus précises, contextualisées et adaptées aux besoins des utilisateurs. Grâce à un entraînement sur les données du GC, BERT devient plus apte à identifier les informations pertinentes et à formuler des réponses cohérentes, en tenant compte du contexte et des nuances du langage. Cette optimisation contribue à une meilleure expérience utilisateur en réduisant les ambiguïtés et en améliorant la fluidité des échanges.

D'autre part, le processus améliore significativement la reconnaissance des intentions en permettant au modèle de classifier les requêtes avec une grande précision. Plus précisément, BERT est capable d'identifier et de catégoriser les intentions des utilisateurs dans les scénarios Sc1 à Sc3 avec une précision de 92 %) sur notre ensemble de test 1. Cette amélioration est cruciale pour affiner la compréhension du langage naturel et assurer une meilleure adéquation entre la demande de l'utilisateur et la réponse fournie.
Grâce à cet affinage, BERT devient plus performant et mieux adapté aux spécificités du domaine de la formation professionnelle. Il offre ainsi des interactions plus fluides, une meilleure compréhension des requêtes et une capacité accrue à répondre avec pertinence, contribuant à une optimisation globale de son utilisation dans ce contexte particulier.

# 4 Méthodologie

Notre approche repose sur l'intégration de trois composants complémentaires : notre GC pour la représentation structurée des données, GPT-4 pour la compréhension du langage naturel, et un modèle BERT affiné pour la génération des réponses. Cela permet une surveillance intelligente et un accompagnement personnalisé des apprentis, tout en garantissant la précision des informations et la pertinence contextuelle. Notre outil suit une architecture modulaire en pipeline (voir Figure 1), séparant l'analyse de la requête, la récupération d'informations et la génération des réponses. Cette conception modulaire assure une flexibilité accrue et permet une adaptation rapide aux évolutions technologiques. Grâce à cette approche, nous pouvons facilement intégrer de nouvelles fonctionnalités et affiner les modèles en fonction des besoins spécifiques des utilisateurs. De plus, l'architecture en pipeline favorise une meilleure gestion des ressources, optimisant ainsi les performances du système. Cela se traduit par une plus grande réactivité et une amélioration continue de la qualité des réponses fournies. Enfin, cette structure facilite l'évolutivité du système, permettant son déploiement à grande échelle sans compromettre son efficacité et sa précision.

1. **Analyse de la requête (GPT-4)** : lorsqu'un utilisateur soumet une requête, GPT-4 s'occupe d'extraire les entités clés (comme les noms des apprentis, les références de compétences), de déterminer l'intention et d'identifier les paramètres contextuels. Grâce aux capacités de compréhension contextuelle de GPT-4, nous obtenons un taux de précision de 84% dans l'interprétation des intentions des utilisateurs. Cette étape permet de comprendre clairement ce que l'utilisateur recherche, ce qui permet de fournir une réponse plus précise et pertinente.

2. **Raisonnement sur le GC** : la requête traitée est ensuite transformée en une requête Cypher pour récupérer des données structurées à partir du Graph de Connaissances. Cela permet de tirer parti de la structure du graphe pour effectuer des raisonnements complexes, tels que l'analyse des dépendances entre compétences, l'identification des lacunes, la proposition de recommandations personnalisées et des raisonnements basés sur les cohortes. Ce processus garantit que les réponses sont basées sur des données fiables et adaptées à chaque apprenti.

3. **Génération de la réponse (BERT)** : le modèle BERT, préalablement affiné, prend les données structurées extraites du GC et les transforme en une réponse en langage naturel. Ce processus permet de fournir des réponses cohérentes, faciles à comprendre et adaptées au contexte de l'utilisateur. Ainsi, l'outil offre des réponses qui sont à la fois précises et compréhensibles, tout en restant factuellement correcte.

4. **Intégration des retours** : les interactions des utilisateurs sont constamment surveillées pour améliorer la performance du système. Cette intégration des retours permet à l'outil de s'adapter et de se perfectionner au fur et à mesure des échanges, garantissant ainsi une amélioration continue de la qualité des réponses. De plus, un système d'apprentissage automatique permet d'ajuster dynamiquement les modèles en fonction des tendances émergentes et des besoins spécifiques des utilisateurs.

5. **Sécurité et éthique** : un volet essentiel de notre approche repose sur la sécurité et l'éthique dans l'utilisation des données. Nous mettons en place des protocoles stricts de protection des
données personnelles et assurons une conformité avec les réglementations en vigueur. Cela permet de garantir un usage responsable et transparent de l'intelligence artificielle, tout en préservant la confidentialité et l'intégrité des informations traitées.

Ainsi, notre approche modulaire et évolutive permet d'allier performance, adaptabilité et rigueur dans l'accompagnement des apprentis, tout en offrant des solutions adaptées aux défis de l'apprentissage et de la formation continue.

<figure><img src="image_49.png" /><figcaption>FIGURE 1 – Architecture système</figcaption></figure>

# 5 Expérimentations et résultats

L'objectif de cette expérience était d'évaluer la performance technique d'un outil de conversation. Pour cela, un jeu de données de test composé de 1 500 requêtes a été élaboré, couvrant trois scénarios différents : surveillance des compétences, recommandation de compétences et suivi personnalisé. Les requêtes ont été collectées à partir de trois sources : Open SQuAD (https://tinyurl.com/2yup27s8), le Career Dataset (https://tinyurl.com/muw7vm96) et l'ASSISTments Data Set (https://tinyurl.com/bdh23acu). Quatre configurations ont été comparées pour déterminer l'approche optimale de performance :

1. LLM uniquement : Utilisation de GPT-4 pour comprendre les requêtes et générer des réponses.

2. BERT uniquement : Utilisation de BERT pour comprendre les requêtes et générer des réponses.

3. LLM+BERT : Utilisation de GPT-4 pour comprendre les requêtes et de BERT pour générer les réponses.
4. LLM+BERT+GC : Approche intégrée, combinant GPT-4, BERT et raisonnement basé sur notre GC.

Le tableau 2 ci-dessous montre que les performances des systèmes ont été évaluées en termes de précision et de score F1. L'approche LLM+BERT+GC s'est révélée bien plus performante que les autres configurations sur tous les indicateurs. En particulier, elle a atteint une précision de 93 % dans le scénario de surveillance des compétences.

<table><caption>TABLE 2 – Résultats comparatifs</caption><thead><tr><th>Method</th><th>LLM-only</th><th>BERT-only</th><th>LLM+BERT</th><th>LLM+BERT+GC</th></tr></thead><tbody><tr><td>Précision (%)</td><td>84</td><td>83</td><td>88</td><td><strong>93</strong></td></tr><tr><td>Score F1 (%)</td><td>81</td><td>80</td><td>85</td><td><strong>92</strong></td></tr></tbody></table>

L'approche intégrée a montré une grande efficacité dans les situations nécessitant un raisonnement complexe, telles que le recoupement des dépendances entre les compétences, les données de progression individuelles et les performances des groupes.

# 6 Défis et perspectives

Notre solution a permis de mettre en lumière plusieurs considérations clés pour l'intégration d'outils conversationnels basés sur l'IA dans la formation professionnelle. Parmi les défis principaux, on retrouve les problèmes de qualité et de cohérence des données, qui impactent fortement la fiabilité des réponses. Il est également nécessaire d'effectuer un ajustement continu des modèles d'IA afin de suivre l'évolution des programmes de formation. Un autre obstacle majeur réside dans les limitations d'interprétabilité des modèles de langage, ce qui nécessite des mécanismes pour expliquer les recommandations faites aux utilisateurs. L'adoption de ces outils par les utilisateurs pourrait être freinée par la résistance à l'IA ou une maîtrise limitée des outils numériques. De plus, la question de l'atténuation des biais reste primordiale pour garantir des évaluations de compétences justes et équitables.

Malgré ces défis, l'intégration d'outils basés sur l'IA offre des opportunités significatives. Grâce à l'utilisation des modèles de LLM et des GC, notre solution permet de proposer des recommandations personnalisées pour le développement des compétences ainsi qu'un feedback adapté. De plus, elle offre aux formateurs la possibilité d'ajuster leurs stratégies en temps réel en se basant sur des informations précises. Le système automatise le suivi des progrès et la génération de retours, ce qui permet une mise en œuvre à grande échelle et réduit la charge administrative. L'intégration avec des carnets de formation numériques permet de suivre les compétences en temps réel et de suggérer des parcours d'apprentissage optimaux, tout en facilitant la communication entre les différentes parties prenantes. Cette approche hybride de l'IA a un potentiel d'extension au-delà de la formation professionnelle, en s'appliquant également à l'enseignement supérieur, à la formation en entreprise et aux programmes de certification.
# 7 Travaux futurs et conclusion

L'intégration des graphes de connaissances, des Modèles de LLMs et de la génération de réponses basée sur BERT représente une avancée significative dans le soutien aux programmes d'alternance en France. Cette approche combine efficacement des connaissances structurées avec des capacités de traitement du langage naturel, ce qui permet d'obtenir une précision impressionnante de 93%, bien supérieure à celle des composants individuels.

Cependant, malgré ces résultats prometteurs, plusieurs défis demeurent. Tout d'abord, il y a la normalisation des données, un enjeu essentiel pour assurer la cohérence et l'interopérabilité des différentes sources de données. Ensuite, la question de l'adoption par les utilisateurs se pose, car il est crucial d'encourager les étudiants, formateurs et administrateurs à adopter cette technologie, malgré leur familiarité potentiellement limitée avec les outils basés sur l'intelligence artificielle. Enfin, la compréhensibilité du modèle reste un défi important, car il est nécessaire de garantir la transparence des décisions et recommandations produites par le système.

Les opportunités offertes par cette approche sont nombreuses, notamment en matière de parcours d'apprentissage personnalisés. Cela permettrait d'adapter les formations en fonction des besoins et des progrès de chaque apprenant. De plus, cette technologie pourrait grandement améliorer l'efficacité administrative, en facilitant le suivi et l'évaluation des compétences tout au long du programme de formation.

Pour les travaux futurs, nous prévoyons de mener une étude qualitative dans les centres de formation professionnelle afin de recueillir les retours des parties prenantes, d'évaluer leur satisfaction et de mesurer l'impact du système sur les résultats d'apprentissage. Nous souhaitons également intégrer des techniques d'IA explicable (XAI), afin de rendre le système plus transparent en offrant des visualisations du progrès des compétences et des justifications des recommandations proposées. Par ailleurs, nous prévoyons d'étendre les fonctionnalités de notre outil en y intégrant la reconnaissance vocale et en mettant en place un apprentissage par renforcement, permettant d'ajuster dynamiquement les parcours d'apprentissage en fonction des performances des apprenants.

À mesure que les programmes d'alternance gagnent en popularité à l'échelle mondiale, les outils alimentés par l'intelligence artificielle, permettant de personnaliser et de suivre les parcours d'apprentissage, deviendront de plus en plus précieux. Notre travail contribue au domaine de l'IA appliquée à l'éducation, en proposant une mise en œuvre concrète répondant aux défis spécifiques de la formation professionnelle, avec des applications potentielles dans l'enseignement supérieur, la formation en entreprise et les programmes de certification.

# Références

ACHIAM J., ADLER S., AGARWAL S., AHMAD L., AKKAYA I., ALEMAN F. L., ALMEIDA D., ALTENSCHMIDT J., ALTMAN S., ANADKAT S. *et al*. (2023). Gpt-4 technical report. *arXiv preprint arXiv:2303.08774*.

ALFEHAID A. & HAMMAMI M. A. (2023). Artificial Intelligence in Education : Literature Review on The Role of Conversational Agents in Improving Learning Experience. *International Journal of Membrane Science and Technology, 10*(3), 3121-3129. DOI : 10.15379/ijmst.v10i3.3045.
ALMAZROUEI E., ALOBEIDLI H., ALSHAMSI A., CAPPELLI A., COJOCARU R., DEBBAH M., GOFFINET É., HESSLOW D., LAUNAY J., MALARTIC Q. *et al.* (2023). The falcon series of open language models. *arXiv preprint arXiv:2311.16867*.

ASSEMBLÉE-NATIONALE (2018). Etude d'impact sur le texte, n° 904.

CHAMORRO-ATALAYA O., HUARCAYA-GODOY M., DURÁN-HERRERA V., NIEVES-BARRETO C., SUAREZ-BAZALAR R., CRUZ-TELADA Y., ALARCÓN-ANCO R., HUAYHUA-MAMANI H., VARGAS-DIAZ A. & BALAREZO-MARES D. (2023). Application of the Chatbot in University Education: A Systematic Review on the Acceptance and Impact on Learning. *International Journal of Learning, Teaching and Educational Research, 22*(9), 156-178. DOI: 10.26803/ijlter.22.9.9.

CHOI Y., LEE Y., SHIN D., CHO J., PARK S., LEE S., BAEK J., BAE C., KIM B. & HEO J. (2020). EdNet: A Large-Scale Hierarchical Dataset in Education. In I. I. BITTENCOURT, M. CUKUROVA, K. MULDNER, R. LUCKIN & E. MILLÁN, Éds., *Artificial Intelligence in Education*, volume 12164, p. 69-73. Cham: Springer International Publishing. DOI: 10.1007/978-3-030-52240-7_13.

DEVLIN J., CHANG M.-W., LEE K. & TOUTANOVA K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In *Proceedings of the 2019 Conference of the North*, p. 4171-4186, Minneapolis, Minnesota: Association for Computational Linguistics. DOI: 10.18653/v1/N19-1423.

GEORGESCU A. A. (2018). CHATBOTS FOR EDUCATION - TRENDS, BENEFITS AND CHALLENGES. p. 195-200, Bucharest, RO. DOI: 10.12753/2066-026X-18-097.

HOGAN A., BLOMQVIST E., COCHEZ M., D'AMATO C., MELO G. D., GUTIERREZ C., KIRRANE S., GAYO J. E. L., NAVIGLI R., NEUMAIER S., NGOMO A.-C. N., POLLERES A., RASHID S. M., RULA A., SCHMELZEISEN L., SEQUEDA J., STAAB S. & ZIMMERMANN A. (2022). Knowledge Graphs. *ACM Computing Surveys*, **54**(4), 1-37. DOI: 10.1145/3447772.

JIANG F. (2024). Identifying and mitigating vulnerabilities in llm-integrated applications. Mémoire de master, University of Washington.

KUMAR P. (2024). Large language models (LLMs) : survey, technical frameworks, and future challenges. *Artificial Intelligence Review*, **57**(10), 260. DOI: 10.1007/s10462-024-10888-y.

LE THUAUT M. (2005). Le boom des formations en alternance.

LUO L., LI Y.-F., HAFFARI G. & PAN S. (2023). Reasoning on graphs : Faithful and interpretable large language model reasoning. *arXiv preprint arXiv:2310.01061*.

MINISTÈRE DU TRAVAIL, DE LA SANTÉ D. S. E. D. F. (2024). Les chiffres de l'apprentissage en 2022.

PÉREZ J. Q., DARADOUMIS T. & PUIG J. M. M. (2020). Rediscovering the use of chatbots in education : A systematic literature review. *Computer Applications in Engineering Education, 28*(6), 1549-1565. DOI: 10.1002/cae.22326.

QU K., LI K. C., WONG B. T. M., WU M. M. F. & LIU M. (2024). A Survey of Knowledge Graph Approaches and Applications in Education. *Electronics, 13*(13), 2537. DOI: 10.3390/electronics13132537.

RAMANDANIS D. & XINOGALOS S. (2023). Investigating the Support Provided by Chatbots to Educational Institutions and Their Students : A Systematic Literature Review. *Multimodal Technologies and Interaction, 7*(11), 103. DOI: 10.3390/mti7110103.

STANLEY T. & XU J. (2019). Work-Integrated Learning in accountancy at Australian universities - forms, future role and challenges. *Accounting Education, 28*(1), 1-24. DOI: 10.1080/09639284.2018.1454333.
TOUVRON H., MARTIN L., STONE K., ALBERT P., ALMAHAIRI A., BABAEI Y., BASHLYKOV N., BATRA S., BHARGAVA P., BHOSALE S. et al. (2023). Llama 2: Open foundation and fine-tuned chat models. *arXiv preprint arXiv:2307.09288*.

UCLARAY A., MAGDASOC T. M., NOORA A. J. & SALES M. V. T. (2023). Social Work Students' Challenges in Flexible Learning and Implications for Social Work Education: A Study in Bicol, Philippines. *Asean Social Work Journal, 11*(1), 13-27. DOI: 10.58671/aswj.v11i1.36.

UNIVERSITY OF NOTRE DAME, AUSTRALIA, DOOLAN M., PIGGOTT B., UNIVERSITY OF NOTRE DAME, AUSTRALIA, CHAPMAN S., UNIVERSITY OF NOTRE DAME, AUSTRALIA, RYCROFT P. & UNIVERSITY OF NOTRE DAME, AUSTRALIA (2019). The Benefits and Challenges of Embedding Work Integrated Learning: A Case Study in a University Education Degree Program. *Australian Journal of Teacher Education, 44*(6), 91-108. DOI: 10.14221/ajte.2018v44n6.6.

WAN Z., WANG X., LIU C., ALAM S., ZHENG Y., LIU J., QU Z., YAN S., ZHU Y., ZHANG Q., CHOWDHURY M. & ZHANG M. (2024). Efficient Large Language Models: A Survey. *arXiv:2312.03863*, DOI: 10.48550/arXiv:2312.03863.

WANG B. (2021). Mesh-Transformer-JAX: Model-Parallel Implementation of Transformer Language Model with JAX. https://github.com/kingoflolz/mesh-transformer-jax.

WANG Y., WANG M., MANZOOR M. A., LIU F., GEORGIEV G. N., DAS R. J. & NAKOV P. (2024). Factuality of Large Language Models: A Survey. In *Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing*, p. 19519-19529, Miami, Florida, USA: Association for Computational Linguistics. DOI: 10.18653/v1/2024.emnlp-main.1088.

WOLLNY S., SCHNEIDER J., DI MITRI D., WEIDLICH J., RITTBERGER M. & DRACHSLER H. (2021). Are we there yet? -a systematic literature review on chatbots in education. *Frontiers in artificial intelligence, 4*, 654924.

WORKSHOP B., SCAO T. L., FAN A., AKIKI C., PAVLICK E., ILIĆ S., HESSLOW D., CASTAGNÉ R., LUCCIONI A. S., YVON F. et al. (2022). Bloom: A 176b-parameter open-access multilingual language model. *arXiv preprint arXiv:2211.05100*.
# Une approche hybride de l'IA pour les technologies éducatives : augmenter les STI avec l'IA générative

Sofiya Kobylyanskaya¹

Catherine de Vulpillières¹

Pierre-Yves Oudeyer¹, ²

(1) EvidenceB, Paris, France

(2) Inria, Bordeaux, France

sofiya-k@evidenceb.org catherine-d@evidenceb.com

pierre-yves.oudeyer@inria.fr

## RÉSUMÉ

Nous proposons une approche hybride de l'IA au service de l'éducation, en combinant la personalisation offerte par les Systèmes de Tutorat Intelligents (STI) avec de l'IA générative permettant de générer un grand nombre de contenus éducatifs de qualité, tout en respectant les contraintes pédagogiques et cognitives.

## ABSTRACT

A hybrid AI approach to educational technologies : augmenting ITS with generative AI

We propose a hybrid approach to AI for education, combining the personalization offered by Intelligent Tutoring Systems (ITS) with generative AI to generate a large number of high-quality educational contents, while respecting pedagogical and cognitive constraints.

MOTS-CLÉS : STI, personnalisation, approche hybride, IA générative.

KEYWORDS: ITS, personnalization, hybrid approach, generative AI.

ARTICLE : Accepté à IA-ÉDU@CORIA-TALN 2025.

## 1 Contexte du projet

Le déclin des performances scolaires, mis en évidence par les évaluations PISA (Programme for International Student Assessment) et TIMSS (Trends in Mathematics and Science Study), souligne l'urgence de solutions éducatives efficaces, notamment pour les élèves défavorisés. Les outils numériques, et en particulier les systèmes d'apprentissage adaptatif, offrent des perspectives prometteuses en personnalisant l'enseignement selon les profils des apprenants. Les Systèmes de Tutorat Intelligents (STI), fondés sur des recherches en sciences cognitives, ont prouvé leur efficacité pour l'apprentissage de concepts complexes comme les mathématiques. Toutefois, la plupart de ces systèmes n'exploitent pas encore pleinement les possibilités offertes par l'IA générative.

En même temps, l'essor des modèles de langage de grande taille (LLM) transforme les pratiques éducatives, avec une adoption massive par les jeunes. Bien que les LLMs montrent un potentiel pour le tutorat, leur usage reste limité par des lacunes pédagogiques, une personnalisation insuffisante et l'absence de jeux de données éducatifs adaptés (Jurenka et al., 2024; Tack & Piech, 2022). En plus, l'usage massif de tuteurs basés entièrement sur l'IA générative pose des questions d'impact
environnemental. Certains projets, comme LearnLM<fnref n="1" /> (Google) ou MathDIAL (ETH Zurich) (Macina et al., 2023), explorent l'usage de l'IA générative sur des données éducatives, mais soulignent le manque d'ensembles de données ouvertes sur les interactions élèves-enseignants. Quant aux STIs, bien que leur efficacité soit bien établie quand ils sont utilisés de manière adéquate (Clément et al., 2015, 2025; Kulik & Fletcher, 2016; Létourneau et al., 2025), elle repose sur une production manuelle coûteuse de contenus.

Nous proposons une approche hybride, combinant la génération automatique de ressources pédagogiques par les LLMs avec l'orchestration fine des STIs, et l'utilisation future de modèles de petite taille (SLM) pour une adaptation en temps réel aux besoins des élèves.

## 2 Méthodologie

EvidenceB propose des STIs visant l'apprentissage de la littératie et de la numératie, tels qu'Adaptiv'Math<fnref n="2" /> et Adaptiv'Langue<fnref n="3" />. Notre méthodologie repose sur une combinaison de plusieurs formes d'intelligence artificielle ayant pour objectif de renforcer l'apprentissage. L'architecture des STIs d'EvidenceB s'appuie sur un graphe d'exercices structuré par des experts pédagogiques (Clément et al., 2015, 2025). Ce graphe est le support d'algorithmes de personnalisation qui orchestrent des parcours adaptés aux besoins des élèves. Une fois ces parcours réalisés, les élèves sont regroupés à l'aide d'un algorithme de clustering, permettant aux enseignants de visualiser des profils d'apprentissage dans un tableau de bord.

Notre objectif est d'enrichir cette architecture en y intégrant l'IA générative pour produire automatiquement une diversité d'exercices respectant à la fois la structure du graphe et les contraintes pédagogiques et cognitives. À chaque étape — conception, validation, déploiement — l'expertise humaine demeure centrale pour assurer la qualité des contenus.

La première phase consiste à concevoir les exercices à l'aide de LLM et d'experts. Des spécialistes en sciences cognitives et pédagogues conçoivent des exercices-types et définissent les contraintes (objectifs, difficulté, compétences) qui servent de référence aux LLMs pour générer des exercices conformes aux exigences pédagogiques.

La deuxième phase porte sur la validation des contenus générés, selon des critères tels que clarté, validité pédagogique, difficulté, cohérence et vraisemblance. Cette validation est réalisée à la fois par des experts humains et par le LLM lui-même en tant qu'évaluateur automatisé (LLM-as-judge). La fiabilité du LLM est évaluée via l'alt-test (Calderon et al., 2025), en comparant ses jugements à ceux des experts. Le LLM a pour rôle d'effectuer un premier filtrage des exercices générés sur la base des critères établis, tandis que les annotateurs humains valident ces exercices selon les mêmes critères, tout en ajustant les contraintes pédagogiques et cognitives à prendre en compte par le LLM afin d'améliorer la pertinence et la fiabilité des afin d'améliorer la pertinence et la fiabilité des futures générations et évaluations futures générations et évaluations.

Les exercices validés sont ensuite organisés sous forme de graphes et intégrés dans le STI. Ce système repose sur un algorithme d'apprentissage par renforcement (ZPDES, un bandit multi-bras (Clément et al., 2015)) — conçu pour personnaliser le parcours d'apprentissage des élèves. L'algorithme ajuste dynamiquement le parcours de chaque élève dans le graphe en fonction de ses performances

<footnote n="1">1. https://ai.google.dev/gemini-api/docs/learnlm?hl=fr</footnote>

<footnote n="2">2. https://evidenceb.fr/produits/adaptiv-math/</footnote>

<footnote n="3">3. https://evidenceb.fr/produits/adaptiv-langue/</footnote>
dans le but de maximiser le progrès d'apprentissage (Gottlieb & Oudeyer, 2018). En proposant des exercices adaptés au niveau et à l'évolution de chaque élève, il construit ainsi un parcours personnalisé, continuellement mis à jour pour refléter les besoins et les acquis de l'élève.

Au fur et à mesure de la progression, un algorithme de clustering (K-means) regroupe les élèves selon plusieurs critères : les scores obtenus à chaque exercice, le nombre d'exercices réalisés par module, le nombre d'objectifs ouverts par module, ainsi que le temps de réponse. Ces regroupements, mis à jour dynamiquement à chaque avancée des élèves dans leur parcours, sont affichés dans le tableau de bord enseignant (mais restent invisibles pour les élèves). Ils permettent de faciliter le suivi individualisé, de repérer plus facilement les difficultés, et d'organiser, si besoin, des groupes de remédiation. Les groupes sont indicatifs et non définitifs. Ils ne sont pas labellisés, car ils ne reflètent pas directement un niveau (plus ou moins fort) mais regroupent des élèves dont les parcours présentent des similarités.

Cette approche hybride exploite les complémentarités entre plusieurs formes d'IA : elle combine la robustesse des STIs pour personnaliser les parcours d'apprentissage, avec la capacité de l'IA générative à produire un grand volume d'exercices, tout en maintenant l'intervention humaine afin de garantir l'efficacité et la fiabilité. Par ailleurs, cette méthode se révèle plus économe en consommation énergétique par rapport aux méthodes reposant exclusivement sur des LLMs.

La pertinence de cette approche sera évaluée en deux temps : (1) une validation de la qualité des exercices générés, par des experts et via le *LLM-as-judge* ; (2) une étude d'impact sur le terrain, sous forme d'un essai randomisé contrôlé (RCT) (Roell *et al.*, 2025a,b), mesurant les effets sur les compétences (pré/post-tests), ainsi que sur la motivation et l'engagement via l'analyse des retours utilisateurs.

# 3 Limites et discussion

Nous proposons une approche hybride combinant différents types d'intelligence artificielle, dont les LLMs, afin de générer automatiquement un grand nombre d'exercices répondant à des spécifications pédagogiques précises. Ces exercices sont ensuite utilisés pour la personnalisation de l'apprentissage.

Cette démarche nécessite toutefois une prise en compte rigoureuse des limites actuelles des LLMs. N'étant pas spécifiquement entraînés sur des corpus éducatifs, ces modèles peuvent produire des exercices qui ne correspondent pas aux objectifs pédagogiques visés, sont inadaptés au niveau attendu, ou encore comportent des erreurs factuelles (par exemple, une mauvaise application de formule), des formulations ambiguës, ou des contextes peu pertinents sur le plan didactique. En particulier, les LLMs peinent notamment à structurer des questions selon les exigences pédagogiques, et à proposer une correction à la fois juste, explicite et didactique.

Pour garantir la qualité des contenus générés, l'intervention humaine reste essentielle à plusieurs niveaux. L'usage des LLMs est strictement encadré : ils interviennent uniquement pour la génération de contenu, selon des contraintes formulées par des experts. Ils n'interviennent ni dans la conception pédagogique (choix des objectifs, des sujets, etc.), ni dans la personnalisation des parcours des élèves. Enfin, tous les exercices produits sont systématiquement validés par des experts avant leur intégration dans le STI.

# Références

CALDERON N., REICHART R. & DROR R. (2025). The alternative annotator test for LLM-as-a-
judge: How to statistically justify replacing human annotators with llms. arXiv: 2501.10970.

CLÉMENT B., ROY D., OUDEYER P.-Y. & LOPES M. (2015). Multi-armed bandits for intelligent tutoring systems. *Journal of Educational Data Mining*, **7**(2). arXiv: 1310.3174, DOI: 10.5281/zenodo.3554667.

CLÉMENT B., SAUZÉON H., ROY D. & OUDEYER P.-Y. (2025). Improved performances and motivation in intelligent tutoring systems: Combining machine learning and learner choice. arXiv: 2402.01669.

GOTTLIEB J. & OUDEYER P.-Y. (2018). Towards a neuroscience of active sampling and curiosity. *Nature Reviews Neuroscience*, **19**(12), 758-770. DOI: 10.1038/s41583-018-0078-0.

JURENKA I., KUNESCH M., MCKEE K. R., GILLICK D., ZHU S., WILTBERGER S., PHAL S. M., HERMANN K., KASENBERG D., BHOOPCHAND A., ANAND A., PÎSLAR M., CHAN S., WANG L., SHE J., MAHMOUDIEH P., RYSBEK A., KO W.-J., HUBER A., WILTSHIRE B., ELIDAN G., RABIN R., RUBINOVITZ J., PITARU A., MCALLISTER M., WILKOWSKI J., CHOI D., ENGELBERG R., HACKMON L., LEVIN A., GRIFFIN R., SEARS M., BAR F., MESAR M., JABBOUR M., CHAUDHRY A., COHAN J., THIAGARAJAN S., LEVINE N., BROWN B., GORUR D., GRANT S., HASHIMSHONI R., WEIDINGER L., HU J., CHEN D., DOLECKI K., AKBULUT C., BILESCHI M., CULP L., DONG W.-X., MARCHAL N., DEMAN K. V., MISRA H. B., DUAH M., AMBAR M., CACIULARU A., LEFDAL S., SUMMERFIELD C., AN J., KAMIENNY P.-A., MOHDI A., STRINOPOULOUS T., HALE A., ANDERSON W., COBO L. C., EFRON N., ANANDA M., MOHAMED S., HEYMANS M., GHAHRAMANI Z., MATIAS Y., GOMES B. & IBRAHIM L. (2024). Towards responsible development of generative ai for education: An evaluation-driven approach. arXiv: 2407.12687.

KULIK J. A. & FLETCHER J. D. (2016). Effectiveness of intelligent tutoring systems: a meta-analytic review. *Review of educational research*, **86**(1), 42-78. DOI: 10.3102/0034654315581420.

LÉTOURNEAU A., DESLANDES MARTINEAU M., CHARLAND P., KARRAN J. A., BOASEN J. & LÉGER P. M. (2025). A systematic review of AI-driven intelligent tutoring systems (ITS) in K-12 education. *npj Science of Learning*, **10**(1), 1-13. DOI: 10.1038/s41539-025-00320-7.

MACINA J., DAHEIM N., CHOWDHURY S., SINHA T., KAPUR M., GUREVYCH I. & SACHAN M. (2023). MathDial: A dialogue tutoring dataset with rich pedagogical properties grounded in math reasoning problems. In *Findings of the Association for Computational Linguistics : EMNLP 2023*, p. 5602-5621, Singapore : Association for Computational Linguistics.

ROELL M., DE VULPILLIÈRES C., KNOPS A. & VAGHARCHAKIAN L. (2025a). From intuition to abstraction: Supporting the transition to formal fraction understanding with AI-powered tools. In *The Mathematical Cognition and Learning Society (MCLS)*, Hong Kong. In I. Resnick (Chair), The malleability and utility of informal fraction knowledge from early years contexts through formal schooling.

ROELL M., DE VULPILLIÈRES C., KNOPS A. & VAGHARCHAKIAN L. (2025b). Leveraging adaptive digital tools to enhance early mathematics learning: Insights from randomized controlled trials. In *Conference for Research in Early Childhood Education (CRECE 2025)*, Hong Kong. In V. Simms (Chair), Unlocking Math Potential: Breakthrough Strategies for All Ages.

TACK A. & PIECH C. (2022). The AI teacher test: Measuring the pedagogical ability of Blender and GPT-3 in educational dialogues. In A. MITROVIC & N. BOSCH, Éds., *Proceedings of the 15th International Conference on Educational Data Mining*, p. 522-529, Durham, United Kingdom : International Educational Data Mining Society. DOI: 10.5281/zenodo.6853187.
# Vers des RAGs intégrant véracité, subjectivité et explicabilité

Alae Bouchiba¹ Adrian-Gabriel Chifu¹ Sébastien Fournier¹ Lorraine Goeuriot²
Philippe Mulhem²

(1) Aix Marseille Univ, CNRS, LIS, Marseille, France

(2) Univ. Grenoble Alpes, CNRS, Inria, Grenoble INP, LIG, 38000 Grenoble, France

(1) {prénom}.{nom}@lis-lab.fr, (2) {prénom}.{nom}@univ-grenoble-alpes.fr

## RÉSUMÉ

Cet article introduit X-RAG-VS, un cadre pour intégrer véracité, subjectivité et explicabilité dans les systèmes RAG, en réponse aux besoins éducatifs. À travers des cas d'usage et l'analyse de modèles existants, nous montrons que ces dimensions restent insuffisamment prises en compte. Nous proposons une approche unifiée pour des réponses plus fiables, nuancées et explicables.

## ABSTRACT

### Towards RAGs Integrating Veracity, Subjectivity, and Explainability

We introduce X-RAG-VS, a framework aiming to integrate veracity, subjectivity, and explainability within retrieval-augmented generation systems for educational use. Based on concrete use cases and an analysis of current large language models, we show that these critical dimensions are often addressed separately or insufficiently. We propose a unified approach to support more reliable, nuanced, and transparent AI-generated content.

**MOTS-CLÉS** : RAG, éducation, véracité, subjectivité, pensée critique, explicabilité.

**KEYWORDS** : RAG, education, veracity, subjectivity, critical thinking, explainability.

**ARTICLE** : Accepté à IA-ÉDU@CORIA-TALN 2025.

## 1 Introduction

Cet article propose l'étude des systèmes de génération augmentée par récupération (RAG) (Lewis et al., 2020) adaptés aux besoins éducatifs, ayant pour objectif de favoriser l'esprit critique, la transparence et la pluralité des points de vue. Nous articulons nos travaux au travers des trois dimensions clés suivantes : **véracité, subjectivité et explicabilité**. Nous nous concentrons sur ces trois dimensions, nécessaires pour garantir des réponses à la fois fiables, nuancées et accessibles.

Nous proposons ainsi les fondements d'un cadre méthodologique, que nous appelons X-RAG-VS, visant à explorer comment ces dimensions, souvent traitées séparément dans la littérature, peuvent être combinées de manière cohérente pour répondre à des enjeux pédagogiques concrets : aider les apprenants à juger de la fiabilité d'une information, à confronter des opinions divergentes et à saisir les mécanismes de raisonnement d'un système d'intelligence artificielle (IA).

<footnote>∗. Institute of Engineering Univ. Grenoble Alpes</footnote>
Cette contribution s'inscrit en tant que réflexion structurée sur les conditions d'un usage responsable de l'IA générative en contexte éducatif. Elle se positionne comme un travail exploratoire, à la croisée entre cadre théorique et mise en perspective empirique, destiné à nourrir les discussions sur la formation à l'esprit critique à l'ère des grands modèles de langage.

L'analyse qui suit est décomposée en 3 étapes : tout d'abord nous allons décrire un exemple lié au domaine de l'éducation, pour lequel les 3 dimensions sont nécessaires conjointement. Tout comme dans (Chen et al., 2023), on peut se poser la question de savoir dans quelle direction faire porter le travail de recherche : étudier les prompts ou bien modifier les modèles LLMs. Dans un second temps, nous allons montrer que ces dimensions sont grandement absentes dans les réponses générées par deux modèles de chat connus, au travers de prompts simples. Nous allons ensuite explorer dans quelle mesure les approches de la littérature sont capables d'intégrer tous ces éléments. Nous proposerons ensuite un plan de travail pour proposer de dépasser les limites existantes.

## 2 Cas d'usage et axes d'analyse

Afin d'analyser les besoins et l'existant pour nos trois dimensions d'étude, nous définissons dans la suite un cadre d'analyse basé sur des cas d'usage.

Les cas d'usage sont, pour nous, définis : i) par des étudiants ou des écoliers, ii) dans le cadre de la recherche d'un panorama d'avis sur un sujet de société. Ces cas d'usage se situent plus globalement dans l"éducation à la pensée critique" : cette dernière repose sur des arguments et des faits et sur leur mise en perspective argumentée, qui eux-mêmes reposent donc sur des éléments pour lesquels la véracité est caractérisée (est-ce que les arguments sont vrais), pour lesquels la subjectivité/objectivité est estimée (est-ce que les éléments sont objectifs ou subjectifs), et enfin pour lesquels des explications sur les raisons de la présentation des éléments sont fournies (pourquoi ces arguments sont présentés).

Plus précisément :

- la véracité est entendue comme la capacité à produire des informations exactes (Hwang et al., 2024) et fondées sur des sources fiables (Zhou et al., 2024b);

- la subjectivité, qui renvoie à la prise en compte de points de vue divergents (Wan & McAuley, 2016), d'opinions ou de jugements de valeur (Balayn & Bozzon, 2019);

- l'explicabilité, c'est-à-dire la faculté pour le système d'expliquer de manière intelligible les choix réalisés, les sources mobilisées ou les raisonnements suivis (Arrieta et al., 2020).

Ces dimensions sont aujourd'hui considérées comme essentielles pour concevoir des systèmes d'IA plus transparents, nuancés et pédagogiquement adaptés (Maity & Deroy, 2024) et (Karran et al., 2024).

> Le succès des LLMs pour nos cas d'usage pourraient grandement bénéficier de la prise en compte **conjointement** de ces trois dimensions : les textes générés seraient alors par exemple capables d'expliquer pourquoi (explicabilité) un point de vue qui est supporté par des informations vraies (véracité) mais supportées par des sources d'information subjectives (subjectivité) est choisi pour être présenté dans l'argumentaire de la réponse, car ce point de vue est l'un des éléments qui permet d'expliquer la complexité d'un sujet.
# 3 Utilisation de prompts pour les trois dimensions explorées

Cette section a pour objectif d'estimer dans quelle mesure certains LLMs de chat intègrent par défaut certains éléments des dimensions de véracité, de subjectivité et d'explicabilité.

L'idée d'explorer comment les prompts seraient capables d'intégrer la prise en compte de ces trois dimensions vient immédiatement à l'esprit, car il a été montré (Zhou et al., 2024a) que le prompt-tuning a un impact important sur la qualité des réponses de ces modèles sans nécessiter d'apprentissage. Afin d'évaluer empiriquement cette hypothèse, cette étude propose une expérimentation originale utilisant deux LLMs dédiés aux *chat*, ChatGPT 4.0 en mode "recherche web" et Gemini 2.5 Pro. Bien qu'ils ne soient pas des RAG, ils sont capables de sourceur (i.e., indiquer des références) leur réponse, ce qui nous permet d'étudier leur comportement par rapport à nos dimensions d'intérêt. Notre étude vise à analyser, pour un contexte d'utilisation spécifique en se basant sur des prompts simples, si et comment ces systèmes sont capables d'intégrer ces trois dimensions de manière satisfaisante.

Les deux requêtes soumises dans cette étude correspondent au niveau 1 de la taxonomie TELER (Santu & Feng, 2023), le choix de celles-ci s'est basé sur le choix de l'utilisateur, pour délibérément imiter ce qu'un collégien ou un lycéen les formuleraient. Nous testons la capacité du système à explorer les dimensions naturellement sans pour autant complexifier la requête. Le choix des deux requêtes était : « Faut-il interdire les devoirs à la maison ?» et «Faut-il raccourcir les vacances d'été ?».

Dans cette perspective, nous avons analysé les réponses générées par ces deux grands modèles de langues.

Les deux modèles de langues utilisés présentent une analogie structurée dans leur manière d'aborder le sujet; ils adoptent la même posture argumentative, exposant de façon équilibrée les points favorables et défavorables à la question posée.

L'analyse détaillée exhibe cependant les éléments suivants :

- La symétrie des arguments dans la présentation des idées donne l'illusion d'une neutralité, mais masque en réalité une absence d'engagement critique et ne laisse pas la place à une véritable pluralité de points de vue vécus, ni à l'expression des différentes positions incarnées.

- Le choix des références mobilisées, souvent issues de blogs ou de sites web non académiques, renforce cette impression de surface argumentative : les contenus sont illustratifs, mais ne s'appuient pas sur des sources clairement identifiées comme fiables.

- Le raisonnement sous-jacent et le processus de sélection des sources sont peu ou pas explicités dans les réponses générées. Cette opacité rend difficile l'identification des parties du texte sur lesquelles le modèle s'appuie réellement pour construire son argumentation, et empêche de comprendre comment il réagit, structure sa réflexion, ou mobilise des connaissances face à la question posée. On a donc aucune information d'explication fournie par ces modèles.

Aucun des deux modèles testés ne parvient à intégrer de manière cohérente et satisfaisante l'ensemble des dimensions ciblées. Si certains éléments, comme la structuration explicative ou la présence d'arguments opposés, sont prometteurs, ils restent insuffisants en l'absence de vérification documentaire rigoureuse et de véritable diversité argumentative.

On pourrait arguer que des prompts plus complexes seraient peut-être à même d'améliorer la prise en compte de nos dimensions d'analyse. IL a cependant été montré récemment (Zou et al., 2023).
la forte sensibilité des LLMs à la formulation des prompts, ainsi que les risques d'hallucinations persistantes dans des contextes sensibles (Dahl et al., 2024). Ces observations confirment selon nous que le prompt-tuning<fnref n="1" /> seul ne constitue pas une solution robuste pour les enjeux complexes que nous visons.

Ces résultats confirment alors, dans notre cas d'usage, que les trois dimensions identifiées comme essentielles à la pensée critique sont très inégalement prises en compte dans les modèles actuels. Cela rejoint les constats établis dans la littérature scientifique, que nous présentons dans la section suivante.

# 4 Les dimensions d'analyse dans la littérature

Dans cette section, nous examinons dans quelle mesure la littérature scientifique actuelle propose des réponses à notre problématique, en explorant des travaux portant explicitement sur la véracité, la subjectivité ou l'explicabilité dans des systèmes similaires.

## 4.1 Véracité

La véracité ne se réduit pas à la cohérence interne des réponses générées : elle implique la capacité du système à produire une information exacte, fondée sur des sources identifiables. Cette exigence est d'autant plus cruciale dans un cadre éducatif, où le développement de la pensée critique suppose que l'apprenant puisse évaluer la qualité des connaissances mobilisées. tout comme l'étude VeraCT (Chen et al., 2024) qui affirme cette nécessité et propose une approche de vérification des faits par récupération et génération, dans laquelle chaque affirmation est confrontée à des sources externes crédibles, accompagnées d'un raisonnement structuré. Dans une perspective plus large, la synthèse (Zhao et al., 2024) met en évidence les différentes stratégies de vérification de revendications intégrées aux LLMs, soulignant que la véracité constitue un pilier fondamental pour juger de la robustesse d'un système. Ce principe reste le même pour d'autres travaux, tout en évaluant la fiabilité des sources web à partir de la qualité factuelle des informations qu'elles véhiculent (Dong et al., 2015). Ces approches convergent vers une même conclusion : pour qu'un système RAG contribue réellement à l'apprentissage, il doit offrir un accès structuré à une information vérifiée, bien que traçable.

## 4.2 Subjectivité

Dans un contexte éducatif et de formation à l'esprit critique, il est essentiel que les systèmes soient capables de restituer non seulement des faits vérifiés, mais aussi la diversité des points de vue présents sur un sujet. La capacité à exposer des opinions divergentes est particulièrement cruciale dans les situations de débat ou d'analyse de controverses, où il n'existe pas une vérité unique mais plusieurs interprétations légitimes. Pourtant, cette dimension de subjectivité reste largement absente des architectures RAG actuelles. Des travaux récents, comme pour (Chen et al., 2024), mettent en évidence la nécessité d'intégrer des perspectives multiples pour enrichir la génération de contenu. De même, l'approche Vendi-RAG proposée (Rezaei & Dieng, 2025) introduit un mécanisme d'optimisation adaptative entre diversité et qualité, permettant de générer des réponses plus nuancées et représentatives de la pluralité des opinions. Dans le cadre éducatif, intégrer la subjectivité aux côtés de la véracité et de l'explicabilité est indispensable pour développer des outils qui ne se contentent

<footnote n="1">1. Le fait de modifier les prompts pour affiner la réponse, de manière experte.</footnote>
pas de transmettre une information correcte, mais qui permettent aux apprenants de comprendre la complexité des débats, de comparer les arguments, et de forger leur propre jugement critique.

## 4.3 Explicabilité

l'explicabilité ne se limite pas à exposer les documents utilisés, mais implique la capacité du système RAG à articuler de manière intelligible le raisonnement qui relie ces sources à la réponse générée, cette forme d'explicabilité est particulièrement précieuse dans le cadre éducatif, où la compréhension du raisonnement importe autant que le résultat produit. Dans ce sens, (Xu et al., 2023) proposent une approche de RAG interprétable, dans laquelle chaque segment de réponse est justifié par un élément explicite du document source, renforçant ainsi la traçabilité et la vérifiabilité de l'information générée. De manière complémentaire, (Tian et al., 2023) introduisent un pipeline de génération structuré où les sources récupérées sont non seulement affichées, mais réorganisées dans un graphe d'argumentation destiné à expliciter la logique suivie par le modèle. Ces efforts montrent que l'explicabilité dans RAG ne peut être atteinte uniquement par la transparence des sources, mais nécessite également une mise en forme narrative et rationnelle de l'information.

D'autres travaux visent également à combiner plusieurs de nos dimensions clés, comme pour (Abolghasemi et al., 2024) qui s'intéressent à la manière dont les biais d'attribution influencent à la fois la fiabilité des sources mobilisées et la pluralité des perspectives exposées, articulant ainsi véracité et subjectivité. Par ailleurs, (Rezaei & Dieng, 2025) propose un cadre adaptatif qui équilibre diversité argumentative et cohérence des réponses générées, contribuant à une meilleure structuration du contenu et à une forme d'explicabilité implicite, sans pour autant rassembler les trois.

- Notre analyse ci-dessus révèle ainsi des propositions qui sont fragmentées, car chacune des dimensions qui nous intéressent sont traitées de manière indépendante, ou dépendante mais incomplète. Nous défendons le point de vue qu'une approche unifiée serait plus à même d'être capable d'articuler conjointement les dimensions de véracité, d'explicabilité et de subjectivité dans une même architecture.

- Il convient de noter que bien que les trois dimensions de véracité, subjectivité et explicabilité puissent présenter des interdépendances. Par exemple, l'explicabilité peut contribuer à éclairer la fiabilité des sources (véracité) ou la diversité des perspectives présentées (subjectivité). Cette analyse les considère comme des dimensions distinctes et autonomes. Cette approche méthodologique permet d'identifier plus précisément les lacunes spécifiques à chaque dimension dans les systèmes actuels et de concevoir des solutions ciblées pour chacune d'entre elles, avant d'envisager leur intégration cohérente dans un cadre unifié. De plus, cette distinction analytique facilite l'évaluation comparative des différentes approches de la littérature et permet de mieux cerner les contributions spécifiques de chaque travail par rapport aux trois dimensions considérées. C'est précisément cette analyse différenciée qui révèle la nécessité d'un cadre comme X-RAG-VS, capable d'orchestrer ces dimensions de manière synergique plutôt que de les traiter comme des éléments isolés ou faiblement articulés.

# 5 Vers une intégration de la véracité, la subjectivité et l'explicabilité

Il apparaît, sans pour autant être des preuves définitives, d'après les quelques expérimentations menées, que ni la simple ingénierie de prompts, ni les approches existantes dans la littérature ne
permettent, à ce jour, de prendre en compte de manière intégrée les trois dimensions qui nous intéressent.

L'approche X-RAG-VS que nous proposons repose sur deux axes complémentaires. D'une part, elle intègre les dimensions de véracité, subjectivité et explicabilité directement dans le processus de génération, en agissant à un niveau sémantique fin. D'autre part, elle s'inspire de mécanismes tels que SELF-RAG (Liu, 2023), qui déclenchent dynamiquement la recherche documentaire, adaptés ici à des finalités éducatives.

Une telle prend tout son sens dans des contextes d'apprentissage concrets. Par exemple, lorsqu'un élève cherche à se forger une opinion sur une question de société, la génération ne se limite pas à structurer une réponse : elle articule des informations vérifiables, présente une diversité de points de vue et explicite le raisonnement suivi. Le système devient alors un véritable support au développement de la pensée critique, en phase avec les cas d'usage identifiés.

## Remerciements

Cette recherche a été financée en partie par l'Agence nationale de la recherche (ANR) au titre du projet GUIDANCE, ANR-23-IAS1-0003.

## Références

ABOLGHASEMI A., AZZOPARDI L., HASHEMI S. H. *et al.* (2024). Evaluation of attribution bias in retrieval-augmented large language models. *arXiv preprint arXiv:2410.12380*.

ARRIETA A. B., DÍAZ-RODRÍGUEZ N., SER J. D., BENNETOT A., TABIK S., BARBADO A., GARCIA S., GIL-LOPEZ S., MOLINA D., BENJAMINS R., CHATILA R. & HERRERA F. (2020). Explainable artificial intelligence (xai) : Concepts, taxonomies, opportunities and challenges toward responsible ai. *Information Fusion, 58*, 82–115. arXiv:1910.10045.

BALAYN A. & BOZZON A. (2019). Designing evaluations of machine learning models for subjective inference : The case of sentence toxicity. arXiv preprint arXiv:1911.02471.

CHEN B., YI F. & VARRÓ D. (2023). Prompting or fine-tuning? a comparative study of large language models for taxonomy construction. arXiv:2309.01715.

CHEN T., SORENSEN J., ZIEMS C. *et al.* (2024). Retrieval-augmented generation with diverse perspectives. *arXiv preprint arXiv:2409.18110*.

DAHL M., MAGESH V., SUZGUN M. & HO D. E. (2024). Large legal fictions : Profiling legal hallucinations in large language models. arXiv preprint arXiv:2401.01301.

DONG X. L., GABRILOVICH E., MURPHY K., DANG V., HORN W., LUGARESI C., SUN S. & ZHANG W. (2015). Knowledge-based trust : estimating the trustworthiness of web sources. *Proc. VLDB Endow.*, 8(9), 938–949. DOI: 10.14778/2777598.2777603.

HWANG S., BAEK J., PARK J. & KANG J. (2024). Retrieval-augmented generation with estimation of source reliability. https://arxiv.org/abs/2410.22954. arXiv:2410.22954.

KARRAN T., HALL M. & NUNAN T. (2024). Multi-stakeholder perspective on responsible artificial intelligence and acceptability in education. *arXiv preprint arXiv:2402.15027*.

LEWIS P., PEREZ E., PIKTUS A., PETRONI F., KARPUKHIN V., GOYAL N., KÜTTLER H., LEWIS M., TAU YIH W., ROCKTÄSCHEL T., RIEDEL S. & KIELA D. (2020). Retrieval-augmented generation for knowledge-intensive nlp tasks. NeurIPS 2020.
LIU Z. E. A. (2023). Self-rag: Retrieval-augmented generation via self-retrieval. https://arxiv.org/abs/2310.11511. arXiv preprint arXiv:2310.11511v1.

MAITY D. & DEROY Y. (2024). Human-centric explainable ai in education. arXiv preprint arXiv:2410.19822.

REZAEI M. R. & DIENG A. B. (2025). Vendi-rag: Adaptively trading-off diversity and quality significantly improves retrieval augmented generation with llms. arXiv preprint arXiv:2502.11228.

SANTU S. K. K. & FENG D. (2023). Teler: A general taxonomy of llm prompts for benchmarking complex tasks. arXiv preprint arXiv:2305.11430.

TIAN Y., YE D., LIN Y., LIU Z. & SUN M. (2023). Explanation graph generation via pre-trained language models. arXiv preprint arXiv:2305.14277.

WAN M. & McAULEY J. (2016). Modeling ambiguity, subjectivity, and diverging viewpoints in opinion question answering systems. In 2016 IEEE 16th International Conference on Data Mining (ICDM), p. 489–498: IEEE. DOI: 10.1109/ICDM.2016.0060.

XU C., YU M., GAO J., GAO Z., LIN J. & CALLAN J. (2023). Towards interpretable retrieval-augmented generation: A case study on explainable qa. arXiv preprint arXiv:2310.03667.

ZHAO L., LIU X. & LIU Q. (2024). Claim verification in the age of large language models: A survey. arXiv preprint arXiv:2408.14317.

ZHOU X., BEHROOZ M., DEHGHANI M. & REN X. (2024a). The prompt report: A systematic survey of prompting techniques. arXiv preprint arXiv:2406.06608v2.

ZHOU Y., LIU Y., LI X., JIN J., QIAN H., LIU Z., LI C., DOU Z., HO T.-Y. & YU P. S. (2024b). Trustworthiness in retrieval-augmented generation systems: A survey. arXiv:2409.10102.

ZOU A., WANG Z., CARLINI N., NASR M., KOLTER J. Z. & FREDRIKSON M. (2023). Universal and transferable adversarial attacks on aligned language models. arXiv preprint arXiv:2307.15043.