The Analysis of Student Traces for Q-Matrix Refinement and Knowledge Tracing

Nous assistons a une effervescense de l’auto-apprentissage rendue possible par l’Internet et les environnements d’apprentissage. L’accessibilite des MOOCS et des environnements d’apprentissage informatises en est une manifestation. En contrepartie, l’apprenant perd leguidage personnalise d’un tuteur humain et le developpement d’environnements d’apprentissage adaptatifs vise a combler cette lacune. Afin d’offrir guidage et personnalisation au long du processus d’apprentissage, il est essentiel de bien evaluer les connaissances acquises de l’apprenant et d’adapter le materiel didactique en consequence. Les recherches dans les domaines des tutoriels intelligents et de l’analytique des donnees educationnelles visent essentiellement a developper des modeles de connaissances pouvant offrir le support a la personnalisation de l’apprentissage. Je propose dans cette these de nouvelles approches a la modelisation des connaissances apprenants autour de deux axes. Le premier porte sur l’objectif de valider les connaissances et competences sous-jacentes ades tâches a partir de donnees. La classification de questions et exercices en une taxonomie d’objectifs d’apprentissage est un exemple pratique d’identification de competences sousjacentes que les enseignants et pedagogues font couramment. Les chercheurs du domaine de lamodelisation cognitive (Cognitive Diagnostic Modeling) vont plus loin en identifiant plusieurs connaissances et competences derriere un seul probleme a resoudre par exemple. Cet exercice est intrinsequemet difficile et sujet aux erreurs. Les recherches pour faciliter la validationdes connaissances sous-jacentes sont connues sous le nom du raffinement d’une Q-matrice qui represente l’alignement des tâches aux connaissances requises. La derniere decennie aete temoin de developpements importants autour des approches basees sur les donnees pour effectuer le raffinement de Q-matrices. Ce processus de raffinement peut etre considere comme un probleme de classification : pour chaque alignement tâche-connaissance defini par l’expert, l’algorithme de classification doit decider s’il est correct ou incorrect. Alors que la majorite des algorithmes portent sur une decision par alignement individuel, nous proposons une approche de classification basee sur des algorithme multi-classe ou l’ensemble des connaissances requises par une tâche est soumises, plutot que chaque connaissance individuellement. Les resultats de l’approche demontrent que le raffinement est generalement de meilleur qualite que lestechniques de l’etat de l’art. Le second axe vise a ameliorer les modeles d’apprentissage profond pour l’evaluation des connaissances de l’apprenant a partir de traces sequentielles du succes ou echecs aux tâches.Nous tablons sur un modele d’evaluation de connaissances capable de capturer l’evolution temporelle du profil de connaissance qui evolue au long du processus d’apprentissage de l’apprenant. Les algorithmes d’apprentissage profond utilisant une architecture LSTM (Long Short-Term Memory) aspirent a cet objectif de memoriser les informations temporelles et reussissent effectivement a mieux predire les performances des apprenants. Mais le profil de connaissance constitue un mecanisme plus explicite de l’etat de connaissance atteint et plus efficace pour synthetiser cet etat. Nous integrons donc ce mecanisme a une architectureLSTM et a une architecture de reseau de memoires (memory networks) afin de valider cette hypothese. Le profil de connaissance est modelise sous forme de classes et cette information est encodee par un vecteur binaire de longueur unitaire (one-hot) qui est fourni en entree aux modeles d’apprentissage profond.----------ABSTRACT: The growth of self-learning, enabled by the availability on the Internet of different forms of didactic material such as MOOCs and tutoring systems, increases in turn the relevance of personalized instructions for students in adaptive learning environment. For providing adaptive and personalized learning instructions, the assessment of student’s mastery of a topic and the estimation of when she actually knows how to answer problems correctly is recognized as paramount in the fields of learning analytics and educational data miningcommunity. In this dissertation, I propose novel approaches for building skills and student learning models along two axes. The first axis is to recover and ensure the quality of skills sets behind problems in learning system. The second axis is on improving the predictive accuracy of students’ performance based on student ability profile on skills and considering of difficulty of the problem dynamically. Both of these axes are complementary and essential in knowledgeassessment of future educational learning systems for equipping intelligent agents to provide adaptive instructions and independent learning environment for students. The first axis is referred to as the Q-matrix refinement problem and consists in validating an expert-defined mapping of exercises and tasks to underlying skills. The last decade has witnessed a wealth of data driven approaches aiming to refine expert-defined mappings.This refinement can be seen as a classification problem: for each possible mapping of task to skill, the classifier has to decide whether the expert’s advice is correct, or incorrect. Whereas most algorithms are working at the level of individual mappings, we introduce an approach based on a multi-label classification algorithm that is trained on the mapping of a task to all skills simultaneously. This approach improves Q-matrix validation methods by using supervised multi-label classifier. Results show it outperforms the existing Q-matrix refinement techniques.The second axis aims to improve deep learning models of skills assessment based on sequential data. The student skills model needs to capture the temporal nature of student knowledge, changing over time, based on the learning transferred from previous practice. Deep learninghas achieved a large amount of success in student performance prediction with models relying on Long short-term memory (LSTM). We proposed two approaches called Deep Knowledge Tracing and Dynamic Student Classification (DKT-DSC) and Dynamic Student Classification on Memory Networks (DSCMN) based on LSTM and key-value memory networks. We apply k-means clustering to capture students’ temporal ability profile at each time interval, which serves as a transfer learning mechanism across student’s long-term learning process. DKT DSC can capture temporal ability profile, utilize ability profile in assessment of knowledgemastery state simultaneously. The second approach, DSCMN, utilizes problem difficulty in prediction of student performance. According to experimental results, these approaches show improvements in student performance prediction over other state-of-the-art methods (suchas BKT, PFA, etc.).