Apprentissage par renforcement contraint guidé par un graphe de connaissances pour personnaliser les parcours d’apprentissage (2025)

Abstract: Ce travail présente une architecture d’apprentissage adaptatif combinant graphes de connaissances enrichis et contraintes pédagogiques dans un cadre d’apprentissage par renforcement. Le graphe est construit à partir de ressources expertes (ex. manuel scolaire) et enrichi automatiquement par un modèle de langage pour compléter les relations et inférer des contraintes. Un module de knowledge tracing estime la progression de l’apprenant vers un objectif pédagogique donné. Un agent de renforcement, entraîné en environnement simulé, recommande des activités en maximisant la progression attendue tout en respectant les contraintes. Cette approche vise à renforcer la pertinence, la diversité et l’explicabilité des parcours proposés. Une évaluation sur des jeux de données réels est prévue en travaux futurs.

## introduction l'émergence des plateformes d'apprentissage en ligne a profondément modifié les pratiques éducatives, en ouvrant la voie à une personnalisation des parcours d'apprentissage. le knowledge tracing (kt) est un levier central de cette personnalisation @xcite . il modélise l'évolution du niveau de maîtrise des concepts à partir des traces d'apprentissage. les premières approches bayésiennes @xcite adoptent une approche probabiliste. le deep kt @xcite a ensuite introduit des réseaux neuronaux récurrents pour capturer des dépendances complexes au sein des séquences d'interactions. plus récemment, le self-attentive kt @xcite utilise des mécanismes d'attention pour pondérer l'importance des interactions passées. toutefois, ces modèles restent limités par leur faible interprétabilité et par une prise en compte partielle du contexte. le graph-based kt (gkt) proposé par @xcite adresse ce point en apprenant une structure sémantique implicite, c'est-à-dire à partir des interactions, tout en prédisant le niveau de maîtrise grâce aux graph neural network (gnn). en parallèle, la modélisation explicite du domaine d'apprentissage via des graphes de connaissance (knowledge graphs-kg) s'est imposée comme une solution pour représenter les concepts, les compétences, les activités, leurs relations et leurs dépendances @xcite . ces graphes, en apportant une connaissance experte structurée, guident les modèles prédictifs et renforcent à la fois leurs performances et leur explicabilité @xcite . des travaux récents mobilisent aussi les large language models (llms) pour construire ou enrichir des kg éducatifs. ainsi, @xcite utilisent gpt-4 pour générer des edukg alignés sur des objectifs pédagogiques, et (abu-rasheed et al., 2025) utilisent un llm pour la complétion de graphes de parcours universitaires. enfin, l'élément clé de la personnalisation est l'algorithme dit d'adaptive learning chargé d'identifier l'activité à proposer à l'apprenant à chaque étape de son parcours. plusieurs approches sont explorées : bandits multi-bras @xcite , classification non supervisée (chen & huang, 2023), ou systèmes à base de règles @xcite . toutefois, le reinforcement learning (rl) est privilégié grâce à sa capacité à optimiser séquentiellement les décisions sur le long terme selon l'évolution de l'état de l'apprenant. des architectures hybrides combinant kg, kt et rl ont récemment vu le jour. par exemple, tgkt-rl (chen et al., 2023) s'appuie sur un graphe question-compétence et un module kt fondé sur gat+tcn pour guider l'apprenant vers une maîtrise ciblée. ces approches présentent deux limites majeures : une sémantique des graphes de connaissances pauvre, et l'absence de contraintes pédagogiques encadrant l'apprentissage par renforcement. pour y répondre, nous proposons (i) d'exploiter un kg, issu d'une expertise humaine et enrichi sémantiquement par llm et (ii) d'intégrer des contraintes pédagogiques pour guider l'exploration dans le processus rl. ## contribution l'architecture proposée dans ce projet de recherche repose sur trois étapes, présentées figure 1 : l'étape 1 vise à une représentation sémantique riche du domaine pour adapter l'apprentissage de manière pertinente. elle repose sur la construction d'un kg à partir d'une source experte, comme un manuel scolaire. ce choix limite l'intervention d'experts humains, souvent coûteuse et chronophage @xcite . les éléments pédagogiques clés ainsi que leurs relations de précédence sont extraits via des techniques de tal en suivant la structure hiérarchique du manuel. les traces d'apprentissage issues d'une plateforme e-learning structurée selon le manuel, sont intégrées au kg. de façon optionnelle, pour pallier d'éventuelles insuffisances dans les connaissances extraites du manuel, un llm est utilisé pour ajouter des relations sémantiques entre concepts. en complément, le llm est mobilisé pour inférer automatiquement des contraintes pédagogiques à partir du kg et de l'objectif visé par l'apprenant. ces contraintes peuvent inclure, par exemple, une modulation des prérequis en fonction du niveau actuel de l'apprenant. elles sont ensuite intégrées au graphe pour guider plus finement la personnalisation du parcours d'apprentissage. l'étape 2 est un module de kt, adapté pour aller au-delà de l'évaluation du niveau de connaissance d'une activité, il permet également d'évaluer le niveau de connaissance d'un objectif pédagogique (par exemple les dérivées). le contexte ici est plus riche que dans @xcite : l'identifiant de l'apprenant, le kg enrichi, et l'objectif pédagogique. le défi ici sera d'adapter les méthodes de kt sur des objectifs qui ne sont pas des activités. l'étape 3 repose sur un agent d'apprentissage par renforcement (rl) entraîné de façon classique en deux temps. dans un premier temps, l'agent interagit avec un environnement simulé, représenté par un module de graph-based knowledge tracing (gkt) @xcite . ce dernier utilise la structure du graphe de connaissances enrichi pour estimer, à chaque étape, l'évolution du niveau de maîtrise de l'apprenant en réponse à une activité donnée. le gkt joue donc ici le rôle d'environnement simulé, dans lequel les conséquences pédagogiques des actions peuvent être prédites avant d'être proposées à l'apprenant réel. la politique de l'agent d'apprentissage par renforcement (rl) vise à sélectionner l'activité pédagogique la plus pertinente en s'appuyant sur un réseau de neurones à graphes (gnn), exploité à partir de la structure sémantique du graphe de connaissances (kg) et des contraintes pédagogiques inférées. il est prévu de formaliser les contraintes (étape 1) de manière explicite. d'une part, les contraintes fortes, telles que le respect des prérequis, doivent être directement intégrées à la politique de l'agent en restreignant l'espace des actions admissibles. d'autre part, les contraintes faibles, comme la promotion de la diversité des types d'activités, interviennent dans la fonction de récompense, via une modulation de sa valeur. cette récompense est définie comme la variation estimée du niveau de maîtrise de l'objectif d'apprentissage, évaluée suite à l'exécution simulée d'une activité par l'agent. dans un second temps, l'agent communique l'activité choisie à l'apprenant réel. une fois l'activité réalisée, la nouvelle trace d'apprentissage est intégrée au kg. ce dernier évolue dynamiquement en intégrant les nouvelles connaissances observées chez l'apprenant, ce qui lui permet de jouer un double rôle : à la fois représentation du domaine et le suivi temporel de la progression individuelle de l'apprenant. un nouveau cycle d'interaction est alors relancé jusqu'à atteinte de l'objectif pédagogique. ## conclusion les prochaines étapes concerneront l'implémentation et l'évaluation de l'architecture à partir de jeux de données comme assistments. les performances seront évaluées selon trois critères : (1) l'amélioration du niveau de maîtrise, mesurée par l'auc et le rmse entre les prédictions du module de knowledge tracing et les réponses réelles des apprenants ; (2) la diversité des parcours recommandés, évaluée par l'entropie moyenne des types d'activités proposées et la distance de jaccard entre séquences d'apprenants ; (3) l'explicabilité des recommandations, analysée qualitativement par des experts et quantitativement via la longueur moyenne des chaînes de raisonnement extraites du graphe.