SEPT : Détecter les difficultés des étudiants à travers le clustering de leurs trajectoires émotionnelles et physique lors d’évaluations en ligne sur M oodle (2025)

Abstract: Imaginez une salle de classe où les difficultés et réussites des étudiants s’expriment non par des mots, mais par l’expression de leurs visages et mouvements, captés en temps réel pendant un quiz. Les méthodes d’enseignement dans le supérieur se font de plus en plus hybride et à distance. Les interactions directes sont réduites, rendant difficile la détection des moments de décrochage. Pour y remédier, nous introduisons le concept de Trajectoires Émotionnelles et Physiques Étudiantes (SEPT). Grâce aux webcams de 89 étudiants de première année de Master, nous avons enregistré et analysé chaque seconde leurs expressions faciales (valence, arousal selon le modèle de Russell) et états physiques (orientation de la tête, distance à l’écran). Les séries temporelles ainsi obtenues révèlent des motifs distincts selon que les difficultés soient individuelles ou liées aux questions. SEPT offres des perspectives pour des systèmes intelligents de suivi affectif en contexte éducatif numérique.

## introduction les interactions traditionnelles en présentiel entre enseignants et étudiants deviennent moins fréquentes à l'ère de l'enseignement hybride et à distance @xcite . cette évolution offre certes une flexibilité accrue et un accès plus large à l'apprentissage, mais soulève une préoccupation majeure : comment prévenir l'abandon scolaire lorsque les enseignants ne peuvent pas directement observer les signes de difficultés chez les étudiants ? sans indices visuels et interpersonnels immédiats, il devient difficile pour les enseignants de détecter lorsque les étudiants sont confus, frustrés ou désengagés @xcite . des recherches antérieures ont établi que les difficultés académiques sont souvent liées aux états émotionnels des étudiants @xcite . notre approche s'appuie sur des travaux précédents qui soulignent les limites des mesures émotionnelles statiques et agrégées pour prédire les résultats académiques @xcite . nous proposons une nouvelle approche nommée « trajectoires émotionnelles et physiques des étudiants (sept) », afin de surveiller continuellement les signaux émotionnels et comportementaux des étudiants durant les activités d'apprentissage. l'objectif est de réintroduire une forme de rétroaction « visuelle » pour les enseignants dans les environnements d'apprentissage à distance, permettant ainsi d'identifier rapidement les difficultés des étudiants et d'offrir un soutien en temps opportun. à partir de ces motivations, nous formulons les hypothèses clés suivantes : h1. la valence et l'arousal seuls sont insuffisants : bien que la valence et l'arousal offrent une mesure basique de l'affect, elles ne capturent pas complètement l'état émotionnel de l'étudiant. nous supposons que l'intégration d'états physiques additionnels (comme les mouvements physiques, faciaux et la direction du regard) améliore la précision et la richesse de l'évaluation émotionnelle. h2. les émotions varient à l'échelle des questions individuelles : l'état émotionnel n'est pas statique tout au long d'une évaluation, mais fluctue dynamiquement au sein de chaque question du quiz. capturer ces variations fines est essentiel pour comprendre en temps réel la frustration et l'état mental des étudiants. h3. les trajectoires émotionnelles dépendent du contexte, et ne sont pas constantes pour un étudiant donné : nous faisons l'hypothèse qu'un même étudiant peut présenter des réponses émotionnelles très différentes selon la charge cognitive de chaque question. cela remet en question l'idée d'un état émotionnel stable propre à l'étudiant, suggérant ainsi la nécessité de considérer le contexte. h4. existence de modèles communs pour les questions difficiles : certains modèles sept pourraient réapparaître chez différents étudiants confrontés à une même question difficile. autrement dit, des défis cognitifs similaires pourraient provoquer des trajectoires sept comparables chez plusieurs étudiants, révélant ainsi des points de difficulté communs. pour tester ces hypothèses, nous avons développé une approche capturant continuellement les expressions faciales et les mouvements physiques et faciaux des étudiants via leurs webcams durant les quiz. notre système suit les états émotionnels via les métriques de valence et d'arousal, et intègre des indicateurs physiques afin d'offrir un portrait complet et temporellement détaillé du comportement des étudiants. en examinant les émotions et les comportements au niveau granulaire des questions individuelles, nous cherchons à identifier les moments critiques de difficulté, fournissant ainsi des informations susceptibles de permettre des interventions pédagogiques opportunes. finalement, notre approche réintroduit un élément crucial de l'expérience en classe : la rétroaction émotionnelle en temps réel dans les contextes d'apprentissage hybrides et à distance en exploitant les progrès de l'informatique affective. ce travail rapproche l'informatique affective de la pédagogie, offrant aux enseignants des outils pour comprendre et soutenir les apprenants d'une manière jusqu'alors impossible dans les environnements distants. la suite de l'article est organisée comme suit : la section 2 présente les travaux connexes, la section 3 décrit notre méthodologie, la section 4 expose les résultats obtenus, et enfin la conclusion traite les limites de notre approche et propose des pistes pour des recherches futures. ## travaux connexes au cours des dernières années, les interactions entre les émotions des étudiants, leurs indicateurs physiques et leurs performances académiques ont suscité un intérêt croissant, notamment en raison du passage des salles de classe traditionnelles vers des environnements d'apprentissage en ligne et hybrides @xcite . évolution des environnements d'apprentissage : l'expansion rapide des plateformes d'apprentissage numérique, particulièrement accélérée par la pandémie de covid-19, a considérablement remodelé l'enseignement supérieur @xcite . @xcite soulignent qu'un apprentissage efficace nécessite la présence cognitive, pédagogique et sociale ; cette dernière étant souvent réduite dans les contextes à distance. cette perte d'interaction directe peut créer une « distance émotionnelle » entre enseignants et étudiants, rendant plus difficile pour les enseignants la détection des difficultés rencontrées par les étudiants. blikstein et worsley @xcite précisent que ce manque de rétroaction est particulièrement problématique lors des évaluations, où les possibilités d'intervention pédagogique en temps réel sont limitées. ces défis ont encouragé les chercheurs à explorer des méthodes technologiques permettant de combler l'écart entre la perception des enseignants et le soutien aux étudiants. émotions et résultats d'apprentissage : de nombreuses preuves démontrent que les émotions jouent un rôle central dans les résultats d'apprentissage. par exemple, d'mello et graesser @xcite ont montré que les états affectifs transitoires tels que l'engagement, la confusion et la frustration peuvent influencer directement le traitement cognitif et la rétention des connaissances. les états émotionnels positifs sont associés à une plus grande motivation et au plaisir d'apprendre @xcite , alors que les états négatifs comme l'ennui ou l'anxiété peuvent entraver les progrès d'apprentissage @xcite . ces observations ont encouragé l'intégration de l'informatique affective dans les environnements éducatifs, dans le but de suivre les expériences émotionnelles des étudiants et d'y répondre de manière à améliorer l'apprentissage. détection des émotions et trajectoires en contexte éducatif : les premières méthodes de détection des émotions des étudiants reposaient sur des auto-évaluations ou des évaluations par des observateurs @xcite . ces méthodes ont été critiquées en raison de leur subjectivité et du risque de perturber le processus d'apprentissage. les progrès dans la détection sensorielle et la vision par ordinateur ont permis d'adopter des approches plus objectives. des capteurs physiologiques (par exemple, des moniteurs de fréquence cardiaque ou des dispositifs de conductance cutanée) ont été utilisés pour mesurer l'arousal et les niveaux de stress @xcite , et des techniques basées sur des caméras peuvent suivre le regard et les expressions faciales pour inférer l'attention et les émotions @xcite . cependant, beaucoup de ces approches nécessitent un équipement spécialisé ou des conditions contrôlées, limitant ainsi leur extensibilité dans des salles de classe réelles @xcite . pour modéliser les émotions détectées, la plupart des études précédentes utilisaient soit les catégories émotionnelles discrètes d'ekman (perry, 2014), soit traitaient l'affect selon des dimensions continues moyennées sur une activité (par exemple, valence et arousal moyens) @xcite . (la valence réfère au caractère positif ou négatif de l'émotion, et l'arousal correspond au niveau d'activation ou d'alerte.) des recherches récentes par harley et al. @xcite et @xcite affirment que ces représentations statiques ne parviennent pas à capturer les fluctuations rapides et contextuelles des émotions pendant les tâches d'apprentissage. ceci a conduit à un intérêt croissant pour l'analyse temporelle des données affectives, examinant comment les émotions évoluent au fil du temps plutôt qu'en considérant seulement des moyennes globales. dans une étude antérieure @xcite , une émotion par question, représentant le centroïde de toutes les valeurs émotionnelles enregistrées pendant la réponse à cette question, a été calculée. ces centroïdes ont été connectés pour former des trajectoires tout au long du quiz. les auteurs avaient émis l'hypothèse que des notes faibles correspondraient à des centroïdes émotionnels négatifs, mais cette méthode n'a pas montré de corrélation significative entre les états émotionnels moyennés et les performances. intégration d'indicateurs physiques : les expressions faciales seules offrent une vue partielle de l'état des étudiants. les états physiques tels que la posture et les mouvements reflètent également l'effort cognitif @xcite , et leur intégration avec les données faciales peut améliorer la prédiction de la frustration et des performances @xcite . les systèmes multimodaux surpassent systématiquement les approches unimodales (d'mello & kory, 2015), bien que la fusion temporelle de ces signaux reste difficile en raison de leur asynchronisme. techniques avancées d'analyse temporelle : des études récentes ont appliqué des méthodes analytiques basées sur les séquences aux données étudiantes, révélant des modèles comportementaux nuancés. par exemple, moreno-marcos et al. @xcite ont utilisé le clustering pour identifier des trajectoires distinctes d'engagement dans des cours en ligne, constatant que certaines trajectoires temporelles d'interaction sont associées à de meilleurs taux d'achèvement. rodrigo et al. @xcite ont utilisé l'analyse de séquences sur les états affectifs des étudiants (par exemple, @xmath0, et ont associé des séquences émotionnelles spécifiques à des gains d'apprentissage ou au désengagement. piot et al. @xcite explorent « l'effet eureka » (@xmath1. zhou et al. @xcite ont introduit l'utilisation du dynamic time warping (dtw) pour aligner et comparer les séquences temporelles des comportements des apprenants, en tenant compte des différences individuelles de rythme. malgré ces progrès, des lacunes importantes subsistent. paquette et al. @xcite ont noté que peu d'efforts intégraient les indicateurs physiques (comme la posture corporelle ou le regard) avec les données émotionnelles en une trajectoire multidimensionnelle unique. en s'appuyant sur une première exploration des trajectoires émotionnelles @xcite , cet article présente les sept comme un avancement complet. les sept étendent le modèle bidimensionnel valence-arousal à un cadre à sept dimensions, incorporant des indicateurs physiques (orientation de la tête, distance du visage à l'écran) en complément des caractéristiques émotionnelles. les sept capturent des fluctuations continues, seconde par seconde, en exploitant le dtw et le clustering afin d'identifier des motifs parmi les trajectoires à un niveau de granularité fin. ## méthodologie pour tester nos hypothèses, nous avons mené une expérimentation contrôlée en plusieurs phases. nous décrivons ci-dessous précisément le cadre expérimental et chaque étape de notre méthodologie.