orientation/lintelligence-artificielle-generative-itsap00041.

CHAN C. K. Y. & HU W. (2023). Students' voices on generative ai: perceptions, benefits, and challenges in higher education. *International Journal of Educational Technology in Higher Education*, **20**(1), 43. DOI: 10.1186/s41239-023-00411-8.

CHAN C. K. Y. & LEE K. K. W. (2023). The ai generation gap: Are gen z students more interested in adopting generative ai such as chatgpt in teaching and learning than their gen x and millennial generation teachers? *Smart Learning Environments*, **10**(1), 60. DOI: 10.1186/s40561-023-00269-3.

COMITÉ PATRONAL DE NÉGOCIATION DES COLLÈGES (CPNC) (2024). Fneeq-csn convention collective 2023-2028. Consulté à l'adresse : https://fneeq.qc.ca/wp-content/uploads/CC_FNEEQ_2023-2028.pdf.

CONSEIL SUPÉRIEUR DE L'ÉDUCATION (2019). Les collèges après 50 ans : regard historique et perspectives. Gouvernement du Québec. Consulté à l'adresse : https://www.cse.gouv.qc.ca/wp-content/uploads/2019/05/50-0510-AV-colleges-apres-50-ans.pdf.

CONSEIL SUPÉRIEUR DE L'ÉDUCATION & COMMISSION DE L'ÉTHIQUE EN SCIENCE ET EN TECHNOLOGIE (2024). Intelligence artificielle générative en enseignement supérieur : enjeux pédagogiques et éthiques. Le Conseil; La Commission. Consulté à l'adresse : https://www.cse.gouv.qc.ca/wp-content/uploads/2024/04/50-0566-RP-IA-generative-enseignement-superieur-enjeux-ethiques.pdf.

CÉGEP DE SAINT-LAURENT (2022a). 360-reu-01 réussir au collégial. Cégep de Saint-Laurent. 26 avril.

CÉGEP DE SAINT-LAURENT (2022b). Nouveau cours complémentaire au sujet de l'intelligence artificielle. Cégep de Saint-Laurent (Nouvelles). 25 mars. Consulté à l'adresse : https://www.cegepsl.qc.ca/nouvelle/nouveau-cours-complementaire-au-sujet-de-l-intelligence-artificielle.

CÉGEP DE SAINT-LAURENT (2024). Politique institutionnelle de gestion et d'évaluation des programmes d'études (pigep). 12 juin. Consulté à l'adresse : https://www.cegepsl.qc.ca/documents/pigep.pdf.

DUFOUR I. (2023). Bilan du cours *Réussir au collégial* automne 2022-hiver 2023. Communication présentée au Rencontre du comité de la réussite. Communication orale.

DUFOUR I. & TARDIF I. (2023). Le cours *Réussir au collégial* : une mesure de soutien pour la transition secondaire-collégial. Communication présentée au Colloque de l'AQPC. Communication orale.

FENGCHUN M. & SHIOHIRA K. (2024). Ai competency framework for students. UNESCO. Consulté à l'adresse : https://doi.org/10.54675/JKJB9835, DOI: 10.54675/JKJB9835.

FENGCHUN M. & WAYNE H. (2024). Orientations pour l'intelligence artificielle générative dans l'éducation et la recherche. UNESCO. Consulté à l'adresse : https://doi.org/10.54675/HBCX3851, DOI: 10.54675/HBCX3851.

GOSSELIN P.-M., JEAN M. & JOUSSEMET F. (2024). Recommandations à la direction des Études et à la direction des ressources technologiques. Document interne, Cégep de Saint-Laurent. Document non publié.

GOSSELIN S. (2021). Formation ordinaire : Portrait de la formation collégiale. Conseil supérieur de l'éducation. Consulté à l'adresse : https://www.cse.gouv.qc.ca/wp-content/uploads/2021/02/50-2115-ER-Formation-collegiale-portrait.pdf.

GROUPE DE TRAVAIL SUR LA SENSIBILISATION DU PUBLIC (2022). Apprendre ensemble pour une intelligence artificielle responsable. Innovation, Sciences et Dévelop-
pement économique Canada. Consulté à l'adresse : https://ised-isde.canada.ca/site/advisory-council-artificial-intelligence/sites/default/files/attachments/2023/apprendre_ensemble_pour_une_intelligence_artificielle_responsable_minisi approved.pdf.

JABAGI N. & CROTEAU A.-M. (2025). L'intelligence artificielle (ia) : amie ou ennemie de la motivation des étudiants et étudiantes universitaires ? *Revue internationale des technologies en pédagogie universitaire*, **22**(1), 4. DOI: 10.18162/ritpu-2025-v22n1-04.

JOUSSEMET F. (2025). Bilan d'usage de la trousse pilote initiation a24-h25. Cégep de Saint-Laurent. Document interne.

JOUSSEMET F., DUPLESSIS V., JEAN M. & GOSSELIN P.-M. (2024a). Outils d'intelligence artificielle générative intéressants pour la recherche. Cégep de Saint-Laurent. Document interne.

JOUSSEMET F., JEAN M. & GOSSELIN P.-M. (2023). Utilisation et intérêt pour les modèles de langages (ex : Chatgpt) en contexte scolaire. résultats de la consultation des enseignant.es du cégep de saint-laurent. Cégep de Saint-Laurent. Document interne.

JOUSSEMET F., JEAN M. & GOSSELIN P.-M. (2024b). Trousse de formation initiation (version préliminaire). Cégep de Saint-Laurent. Document interne.

JOUSSEMET F., JEAN M. & GOSSELIN P.-M. (2024c). Utilisation et intérêt pour les modèles de langages (ex : Chatgpt) en contexte scolaire. résultats de la consultation des étudiants.es du cégep de saint-laurent. Cégep de Saint-Laurent. Document interne.

JOUSSEMET F. & MEURS M.-J. (2024). L'ia générative en enseignement : des pistes de réflexion. Conférence d'ouverture présentée au colloque « Les opportunités pédagogiques de l'IA générative en enseignement supérieur : mirages et réalités ». [Conférence d'ouverture].

KPMG (2024). Les étudiants qui utilisent l'ia générative avouent qu'ils n'apprennent pas autant. KPMG. Consulté le 2 juin 2025.

LAFLEUR T. (2019). Le spec, un levier pour la réussite. Portail du réseau collégial du Québec. Consulté le 2 juin 2025.

MINISTÈRE DE L'ÉDUCATION (2024). L'utilisation pédagogique, éthique et légale de l'intelligence artificielle générative — guide destiné au personnel enseignant — 2024-2025. Gouvernement du Québec. Document officiel.

MINISTÈRE DE L'ÉDUCATION ET DE L'ENSEIGNEMENT SUPÉRIEUR (2018). Activités de mise à niveau et activités favorisant la réussite — Établissements d'enseignement collégial francophones. Gouvernement du Québec. Rapport officiel.

ORES (2024). Intelligence artificielle générative : qu'en disent les étudiantes et étudiants ? Observatoire sur la réussite en enseignement supérieur. Consulté le 2 juin 2025.

OUDEYER P.-Y. (2024). Ia générative, société et éducation : En quoi l'ia générative représente-elle un enjeu dans la formation des citoyens ? Conférence de consensus « Nouveaux savoirs et nouvelles compétences des jeunes » du Cnesco. Consulté le 2 juin 2025.

PETERS M. (2023). Note éditoriale : Intelligence artificielle et intégrité académique peuvent-elles faire bon ménage ? *Revue des sciences de l'éducation*, **49**(1), 1107846ar. DOI: 10.7202/1107846ar.

PÔLE INTERORDRES DE MONTRÉAL (2024). Invitation — manifestation d'intérêt. activités et outils pour l'utilisation judicieuse de l'ia générative en enseignement supérieur. Consulté le 2 juin 2025.

ROY N., PROUST-ANDROWKHA S., GRUSLIN E., VALLERAND V. & CHARLES E. (2025). L'intelligence artificielle au postsecondaire : entre enthousiasme et méfiance — introduction au numéro thématique. *Revue internationale des technologies en pédagogie universitaire*, **22**(1), 1. DOI : 10.18162/ritpu-2025-v22n1-01.
RÉGIS M. (2024). Bilan du cours réussir au collégial automne 2023-hiver 2024. Communication présentée à la Rencontre de la communauté du cours 360-RÉU.

VERCHÈRE C. (2024). Impacts et enjeux éthiques et sociaux des ia (dont chat gpt) [conférence d'ouverture]. Conférence d'ouverture communication présentée à Journée pédagogique Apprivoiser les IA depuis un an... et la suite ? Conférence d'ouverture.

WILSON L. O. (2016). Anderson and krathwohl bloom's taxonomy revised. Quincy College. Consulté le 2 juin 2025.
# Annexe 1 : Objectifs d’apprentissage des trois modules InitIAtion et matériel de conception

## Module 1 — Comprendre les fondements de l’IA générative (1h30)

### Objectifs d’apprentissage

À la fin de ce module, les personnes étudiantes seront en mesure de :

- Identifier des outils d'IA utilisés dans leur quotidien.

- Reconnaître les caractéristiques qui distinguent l'IAg des autres formes d'IA.

- Expliquer ce que sont les grands modèles de langage (GML) et le rôle des données dans leur entraînement.

- Comprendre le fonctionnement de base d'un agent conversationnel et la logique probabiliste qui sous-tend ses réponses.

- Nommer les types de données récoltées par les IAg et réfléchir aux enjeux de confidentialité liés à leur usage.

- Prendre conscience des questions d’intégrité intellectuelle soulevées par l’usage des agents conversationnels.

- Discuter des limites acceptables dans l’usage de l’IAg en contexte scolaire, en lien avec les attentes en matière d’intégrité intellectuelle.

### Matériel de conception du module 1 :

- Artificial Analysis. (2024, 15 septembre). AI Chatbot Comparison. Language Models.

- Artificial Analysis. (s. d.). Price USD per 1M Tokens. Comparison of Models: Intelligence, Performance & Price Analysis.

- Burnett, G. D. (2025, 26 avril). Will the humanities survive artificial intelligence? *The New Yorker*.

- Cégep de Saint-Laurent. (2023, 25 janvier). Politique institutionnelle d'évaluation des apprentissages (PIÉA).

- Centre canadien pour la cybersécurité. (2023, juillet). L'intelligence artificielle générative. Gouvernement du Canada.

- Cherrayil, N. K. (2025, 20 février). Which AI chatbot shares most data with third parties?

- Commission Nationale de l'Informatique et des Libertés. (s. d.a). Apprentissage par renforcement et rétroaction humaine. CNIL.

- Commission Nationale de l'Informatique et des Libertés. (s. d.b). Entraînement (ou apprentissage). CNIL.

- Elements of AI. (s. d.). Comment définir l'IA?

- International Center for Academic Integrity. (2021). *Fundamental Values of Academic Integrity* (3rd ed.).

- Jakhar, D. et Kaur, I. (2020). Artificial intelligence, machine learning and deep learning: Definitions and differences. *Clinical and Experimental Dermatology*, 45(1), 131–132.

- Joussemet, F., Jean, M. et Gosselin, P.-M. (2022). IA au quotidien : matériel d'implantation d'un nouveau cours complémentaire [moodle].

- Joussemet, F., Jean, M. et Gosselin, P.-M. (2024). *Trousse de formation InitIAtion* (version préliminaire). Cégep de Saint-Laurent.

- Joussemet, F. et Meurs, M.-J. (2024, 24 avril). L'IA générative en enseignement : des pistes
de réflexion [conférence d'ouverture]. Communication présentée à Les opportunités pédagogiques de l'IA générative en enseignement supérieur : mirages et réalités.

— OBVIA. (2025, janvier). Glossaire de l'OBVIA.

— Office québécois de la langue française. (2025). Agent conversationnel. Gouvernement du Québec.

— Russel, S., Perset, K. et Grobelnik, M. (2023, 29 novembre). Updates to the OECD's definition of an AI system explained. OECD.AI.

— Postel-Vinay (dir.). (2025). Pour une IA responsable et éthique. Les Annales des Mines, (29), 187.

— Raspberry Pi Foundation. (2024). Grands modèles de langage (GML). Experience AI.

— Thienot, É. (2024). ChatGPT — Decryptage [sketchnote].

— Tremblay, A. (2025). WordFlow AI.

— Université de Genève. (2024). Guide à l'intention de la communauté universitaire. Intelligence artificielle générative.

— Université de Montréal. (2018). La Déclaration de Montréal pour un développement responsable de l'intelligence artificielle.

— Vangrunderbeeck (dir.), P. (2024, octobre). Intégrer l'IA générative dans les stratégies pédagogiques. UCLouvain.

# Module 2 — Développer une posture critique avec la démarche CRISTAL (3 h)

## Objectifs d'apprentissage

À la fin de ce module, les personnes étudiantes seront en mesure de :

— Distinguer une information factuelle d'une fabulation dans les réponses générées par un agent conversationnel;

— Évaluer la neutralité d'un contenu généré et repérer les biais, stéréotypes ou normes sociales implicites qui y sont véhiculés;

— Nommer les risques d'un usage non déclaré ou excessif de l'IAg en contexte scolaire, et appliquer les principes d'intégrité intellectuelle associés à son utilisation;

— Expliquer les impacts environnementaux associés aux outils d'IAg et discuter des pratiques favorisant une utilisation numérique sobre et responsable;

— Reconnaître les enjeux de vie privée liés au partage de données avec un agent conversationnel, et adopter les précautions nécessaires pour protéger les informations sensibles;

— Décrire les mécanismes d'imitation du langage humain par les agents conversationnels (effet d'anthropomorphisme) et maintenir une distance critique face à ces interactions;

— Explorer les possibilités créatives offertes par l'IAg tout en restant libre dans sa pensée, capable de juger, de sélectionner et de transformer les contenus proposés;

— Mettre en pratique les principes de la démarche CRISTAL pour adopter un usage éthique, critique, autonome et réfléchi de l'IAg.

## Matériel de conception du module 2 :

— Abdelghani, R., Sauzéon, H. et Oudeyer, P.-Y. (2023, 10 novembre). *Generative AI in the Classroom: Can Students Remain Active Learners?* arXiv.

— Audran, J. (2024). *Cinq enjeux d'évaluation face à l'émergence des IA génératives en éducation*. Mesure et évaluation en éducation, 47(1), 6-26.
— BBC Media Centre. (2025). *Representation of BBC News content in AI Assistants*.

— Borji, A. (2023, 3 avril). *A Categorical Archive of ChatGPT Failures*. arXiv.

— Bureau du droit d'auteur. (2025). *Intelligence artificielle*. Université Laval — Bibliothèque.

— Cégep de Saint-Laurent. (2023, 25 janvier). *Politique institutionnelle d'évaluation des ap-
prentissages (PIÉA)*.

— Chan, C. K. Y. et Hu, W. (2023). *Students' voices on generative AI: perceptions, benefits, and challenges in higher education*. International Journal of Educational Technology in Higher Education, 20(1), 43.

— Chen, S. (2025). *How much energy will AI really consume? The good, the bad and the unknown*. Nature, 639(8053), 22–24.

— Commission de l'éthique en science et en technologie. (2021, 26 février). *L'effet rebond : la face cachée du bilan environnemental des technologies numériques*. Gouvernement du Québec.

— Commission de l'éthique en science et en technologie. (2025, 30 janvier). *IA générative : à quels coûts pour la planète?* Gouvernement du Québec.

— Conseil supérieur de l'éducation et Commission de l'éthique en science et en technologie. (2024). *Intelligence artificielle générative en enseignement supérieur : enjeux pédagogiques et éthiques*.

— Creely, E. et Blannin, J. (2025). *Creative partnerships with generative AI. Possibilities for education and beyond*. Thinking Skills and Creativity, 56, 101727.

— Curiale, T., Acquatella, F., Gros, L., Cosquer, M. et Tisseron, S. (2022). *L'anthropomorphisme, enjeu de performance pour les chatbots*. Revue internationale de psychosociologie et de gestion des comportements organisationnels, 28(72), 101–123.

— Deng, R., Jiang, M., Yu, X., Lu, Y. et Liu, S. (2025). *Does ChatGPT enhance student learning? A systematic review and meta-analysis of experimental studies*. Computers & Education, 227, 105224.

— Doshi, A. R. et Hauser, O. P. (2024). *Generative AI enhances individual creativity but reduces the collective diversity of novel content*. Science Advances, 10(28), eadn5290.

— Fan, Y. et al. (2024). *Beware of metacognitive laziness: Effects of generative artificial intelli-
gence on learning motivation, processes, and performance*. British Journal of Educational
Technology.

— Fengchun, M. et Wayne, H. (2024). *Orientations pour l'intelligence artificielle générative dans l'éducation et la recherche*. UNESCO.

— Fournier-Tombs, E. et Castets-Renard, C. (2024). *Algorithmes et propagation de normes culturelles sexospécifiques*. Dans C. Brin & V. Guèvremont (dir.), *Intelligence artificielle, culture et médias* (pp. 429–448). PUL.

— Hwang, Y. et Wu, Y. (2025). *The influence of generative artificial intelligence on creative cognition of design students*. Frontiers in Psychology, 15, 1455015.

— International Center for Academic Integrity. (2021). *Fundamental Values of Academic Integrity* (3rd ed.).

— Jabagi, N. et Croteau, A.-M. (2025). *L'intelligence artificielle (IA) : amie ou ennemie de la motivation des étudiants et étudiantes universitaires ?* Revue internationale des technologies en pédagogie universitaire, 22(1), 4.

— Jaźwińska, K. et Chandrasekar, A. (2024, 27 novembre). *How ChatGPT Search (Mis)represents Publisher Content*. Columbia Journalism Review.

— KPMG. (2024, 21 octobre). *Les étudiants qui utilisent l'IA générative avouent qu'ils n'ap-
prennent pas autant*. KPMG.
— Ministère de l'Éducation et de l'Enseignement supérieur. (2017). *Composantes de la formation générale*. Gouvernement du Québec.

— Office québécois de la langue française. (2004). *Effet de halo*. Gouvernement du Québec.

— Oudeyer, P.-Y. (2024, octobre). *IA générative, société et éducation : En quoi l'IA générative représente-elle un enjeu dans la formation des citoyens?* Conférence du Cnesco.

— Perrin, N., Piot, D., Vita, L., Bationo-Tillon, A. et Guibourdenche, J. (2025). *Des hypothèses pour concevoir des tâches permettant aux étudiants et étudiantes d'évaluer la pertinence des textes générés par les IA*. Revue internationale des technologies en pédagogie universitaire, 22(1), 6.

— Phare. (2025, 14 avril). *Phare LLM Benchmark*. Phare.

— Seeger, A.-M., Pfeiffer, J. et Heinzl, A. (2021). *Texting with Humanlike Conversational Agents: Designing for Anthropomorphism*. Journal of the Association for Information Systems, 22(4), 931–967.

— UQÀM. (s.d.). *ChatGPT et intelligence artificielle générative*. Service des bibliothèques.

— Wei, J., Karina, N., Chung, H. W., Jiao, Y. J., Papay, S., Glaese, A., Schulman, J. et Fedus, W. (2024, 7 novembre). *Measuring short-form factuality in large language models*. arXiv.

— You, J. (2025, 7 février). *How much energy does ChatGPT use?* Epoch AI.

— Yusuf, A., Pervin, N. et Román-González, M. (2024). *Generative AI and the future of higher education: a threat to academic integrity or reformation?* International Journal of Educational Technology in Higher Education, 21(1), 21.

# Module 3 — Formuler des requêtes et utiliser l'IAg avec discernement (1h30)

## Objectifs d'apprentissage

À la fin de ce module, les personnes étudiantes seront en mesure de :

— Appliquer des stratégies de rédactique alignées sur sa posture d'apprentissage, en s'appuyant sur les repères de la méthode CRISTAL pour formuler des requêtes ciblées, claires et efficaces;

— Utiliser un outil d'IAg basé sur la génération augmentée de récupération (RAG) en tenant compte de ses fonctionnalités;

— Élaborer une stratégie d'usage des agents conversationnels en fonction de ses besoins réels et des conditions d'usage;

— Créer un outil ou une ressource personnalisée à l'aide d'un agent conversationnel pour soutenir son apprentissage de façon autonome, critique et responsable.

## Matériel de conception du module 3 :

— Agentic AI : A Progression of Language Model Usage [youtube]. (2025, 24 janvier).

— Délégation Régionale Académique au Numérique Éducatif (DRANE). (2024, 7 novembre). *Quel est l'impact environnemental d'une IA générative? Région Académique Île-de-France.*

— Google. (2025a). *Découvrez comment NotebookLM protège vos données*. Aide NotebookLM.

— Google. (2025b). *Premiers pas avec NotebookLM et NotebookLM Plus*. Aide NotebookLM.

— Kojima, T., Gu, S. S., Reid, M., Matsuo, Y. et Iwasawa, Y. (2023, 29 janvier). *Large Language Models are Zero-Shot Reasoners*. arXiv.

— Le Collimateur. (2024, 23 janvier). *La « génération augmentée de récupération », vous connaissez?*
— Lepage, A. et Roy, N. (2025). *Le développement d'une échelle de mesure de la littératie de l'intelligence artificielle chez les enseignants et les enseignantes du postsecondaire*. Mesure et évaluation en éducation, 47(2), 39-69.

— Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., et al. (2021, 12 avril). *Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks*. arXiv.

— Lopez, C. (2024, 26 octobre). *Comment utiliser l'IA de manière plus douce pour le climat*. Le Devoir.

— Madaan, A., Tandon, N., Gupta, P., Hallinan, S., et al. (2023, 25 mai). *Self-Refine : Iterative Refinement with Self-Feedback*. arXiv.

— Ministère de la Culture. (s. d.). *Compar:ia*. Le comparateur d'IA conversationnelles.

— OpenAI. (s. d.a). *Reasoning best practices*. OpenAI Platform.

— OpenAI. (s. d.b). *Reasoning models*. OpenAI Platform.

— OpenAI. (s. d.c). *Text generation and prompting*. OpenAI Platform.

— Raiza, M. et Johnson, S. (2023, 12 juillet). *Introducing NotebookLM*.

— Schulhoff, S., Ilie, M., Balepur, N., Kahadze, K., et al. (2024, 30 décembre). *The Prompt Report: A Systematic Survey of Prompting Techniques*. arXiv.

— Si, C., Gan, Z., Yang, Z., Wang, S., et al. (2023, 15 février). *Prompting GPT-3 To Be Reliable*. arXiv.

— Université de Genève. (2024). *Guide à l'intention de la communauté universitaire. Intelligence artificielle générative*.

— Université de Sherbrooke. (2025, 6 mai). *Intelligences artificielles : Génération de texte enrichie d'information*. Bibliothèques et archives.
# Intégration encadrée de l'IA générative dans une activité d'apprentissage par problème en école d'ingénieur

Christophe Tilmant¹ Susan Arbon-Leahy²

(1) Université Clermont Auvergne, Clermont Auvergne INP, CNRS, Institut Pascal, F-63000 Clermont-Ferrand, France

(2) Université Clermont Auvergne, Clermont Auvergne INP, ISIMA, F-63000 Clermont-Ferrand, France
christophe.tilmant@uca.fr, susan.arbon-leahy@uca.fr

## RÉSUMÉ

Cet article présente une expérimentation pédagogique menée dans une école d'ingénieurs en informatique visant à encadrer l'usage de l'Intelligence Artificielle Générative (IAG) dans le cadre d'une activité d'apprentissage par problème. Intégrée à une Situation d'Apprentissage et d'Évaluation (SAÉ) de première année (niveau L3), l'activité proposée s'appuie sur l'analyse d'un brevet en anglais décrivant un algorithme de reconnaissance musicale de type Shazam. À partir de ce document, les étudiants sont amenés à produire un glossaire technique bilingue, en interaction réflexive avec une IAG. Le dispositif vise à développer conjointement des compétences disciplinaires (traitement du signal, mathématiques appliquées), linguistiques (anglais scientifique) et transversales (analyse distanciée, réflexivité sur l'usage des outils d'IAG). Les résultats observés montrent une forte implication des étudiants, une qualité linguistique et technique des productions, ainsi qu'une capacité à identifier et discuter les apports et limites de l'IAG. Cette activité constitue une première étape vers une intégration systémique et réfléchie des IAG dans les cursus d'ingénierie.

## ABSTRACT

### Structured Integration of Generative AI in a Problem-Based Learning Activity in Engineering Education

This paper presents a pedagogical experiment conducted in a computer engineering school to frame the use of generative artificial intelligence (GAI) in a problem-based learning activity. Embedded in a first-year project, students were asked to analyze a scientific patent written in English describing a music recognition algorithm (Shazam). Based on this reading, they produced a bilingual technical glossary, using GAI as a tool for feedback and reflection. The task was designed to foster disciplinary knowledge (signal processing, applied mathematics), linguistic skills (technical English), and critical thinking. Results indicate a strong engagement, improved quality of scientific writing, and the ability to evaluate GAI outputs. This activity serves as a foundation for future curricular integration of GAI in engineering education.

**MOTS-CLÉS** : IA générative, apprentissage par problème, traitement du signal, anglais scientifique, pédagogie critique, transformation curriculaire.

**KEYWORDS:** generative AI, problem-based learning, signal processing, scientific English, critical thinking, curriculum innovation.

**ARTICLE** : Accepté à IA-ÉDU@CORIA-TALN 2025.
# 1 Introduction

L'essor rapide des intelligences artificielles génératives (IAG) dans l'enseignement supérieur soulève de nouveaux enjeux pédagogiques majeurs. Comment former les étudiants à utiliser ces outils de manière éclairée et critique ? Comment éviter que leur usage ne vienne court-circuiter les apprentissages, en substituant à l'effort cognitif des réponses générées, souvent opaques ou approximatives ? Dans le cadre d'une formation d'ingénieur fondée sur une Approche Par Compétences (APC), ces interrogations prennent une dimension particulière. Les activités pédagogiques y reposent sur des situations authentiques, appelées Situations d'Apprentissage et d'Évaluation (SAÉ) (Tardif, 2006), qui placent les étudiants en position d'acteurs autonomes de leur apprentissage. Or, cette autonomie, sans cadre méthodologique explicite, peut conduire à un usage mécanique ou non critique des IAG, au détriment des objectifs d'apprentissage visés (Cao & Dede, 2023). Par « critique », nous entendons ici une capacité à interroger les outils numériques de manière argumentée, distanciée et contextualisée. Face à ces risques, nous avons conçu une activité pédagogique intégrée à une SAÉ disciplinaire, dans laquelle l'usage de l'IAG est structuré, encadré et réfléchi. L'ambition est claire : faire de l'IAG non une béquille automatisée, **mais un vecteur de réflexion, de clarification conceptuelle et de développement de la pensée critique**. Cette expérimentation vise ainsi à initier, dès la première année, une posture de dialogue raisonné avec les IAG, ancrée dans les enjeux cognitifs, techniques et linguistiques propres à une formation scientifique exigeante. Cet article rend compte d'un **retour d'expérience structuré**, visant à documenter la mise en œuvre d'un dispositif pédagogique mobilisant l'IAG, sans prétendre à une évaluation expérimentale contrôlée.

# 2 Contexte : une SAÉ centrée sur la reconnaissance musicale

L'activité expérimentale s'inscrit dans une SAÉ destinée à des étudiants de première année d'école d'ingénieur (niveau L3), au sein d'une formation en informatique. Cette SAÉ a pour objectif la modélisation d'un système de reconnaissance musicale automatique, fondé sur le principe du calcul d'empreintes acoustiques invariantes à des transformations sonores, et de leur recherche efficace dans une base de données. Le dispositif est directement inspiré du brevet de l'algorithme Shazam (Wang, 2003), utilisé comme support central de l'activité. L'un des principaux obstacles rencontrés par les étudiants est la lecture de ce brevet, rédigé en anglais scientifique dense et technique. Celui-ci mobilise un ensemble de concepts mathématiques et algorithmiques avancés : transformée de Fourier, spectrogrammes, corrélation d'empreintes, robustesse au bruit, etc. Cette lecture constitue un défi pédagogique significatif, sollicitant de manière transversale des compétences en mathématiques appliquées, en algorithmique et en anglais scientifique. Par son exigence conceptuelle et linguistique, cette tâche active plusieurs compétences au cœur de la formation : compréhension fine de documents techniques en langue étrangère, la mobilisation de modèles mathématiques pour le traitement du signal, ainsi que la capacité à formaliser une architecture logicielle à partir d'un document existant. Dans cette perspective, le dispositif expérimental s'inscrit dans une dynamique de montée en complexité cognitive, que l'on peut analyser au travers de la **taxonomie révisée de Bloom** (Anderson & Krathwohl, 2001). Les tâches proposées mobilisent plusieurs niveaux cognitifs : compréhension des concepts (niveau *Understand*) et leur application par la reformulation technique (niveau *Apply*).

C'est dans ce cadre que l'usage d'une IAG a été introduit, non pas comme un substitut à la compréhension, mais comme **outil d'accompagnement raisonné**. L'IAG a été pensée ici comme un **médiateur cognitif**, capable de soutenir l'explicitation des concepts clés (notamment autour des
notions de Fourier, d'invariance et de spectrogrammes), tout en facilitant une première analyse
linguistique du document source. Cependant, cette activité pédagogique doit être revisitée à la lumière
des propositions récentes visant à actualiser la **taxonomie de Bloom à l'ère de l'IA**<fnref n="1" />. Ces travaux
intègrent désormais des compétences supérieures telles que la régulation de la qualité des résultats
produits par l'IA, ainsi que la conscience éthique liée à l'usage algorithmique. Le glossaire argumenté,
proposé aux étudiants, les engage ainsi dans **un parcours d'apprentissage significatif** (*meaningful
learning*), soutenu par l'IAG sans s'y substituer. Cette démarche favorise le développement d'une
autonomie cognitive réflexive et informée.

<figure><img src="image_34.png" /><figcaption>FIGURE 1 – Consignes pédagogiques encadrant la production du glossaire argumenté</figcaption></figure>

3 Dispositif pédagogique : glossaire technique bilingue et inter-action avec l'IAG

Le livrable attendu (cf. Figure 1) prend la forme d'un **glossaire argumenté** portant sur 8 à 10 termes extraits du brevet Shazam, choisis pour leur pertinence dans les domaines du traitement du signal ou des mathématiques appliquées. L'activité est conçue selon une progression en trois étapes, visant à articuler production personnelle, interaction avec une IAG, et analyse distanciée.

1. **Définition initiale** : Les étudiants rédigent pour chaque terme deux définitions distinctes : une version vulgarisée (destinée à un public non spécialiste) et une version experte (destinée à un lecteur scientifique). Ces définitions s'appuient sur leurs acquis disciplinaires (mathématiques, traitement du signal) ainsi que sur les cours d'anglais technique.

2. **Interaction avec l'IAG** : Chaque paire de définitions est ensuite soumise à une IAG à l'aide d'un prompt prédéfini (Marvin et al., 2024), conçu pour solliciter une correction, amélioration et justification de la part du modèle (Walter, 2024). L'IAG propose alors une reformulation accompagnée d'explications sur les modifications suggérées.

<footnote n="1">1. https://ecampus.oregonstate.edu/faculty/artificial-intelligence-tools/blooms-taxonomy-revisited/</footnote>
3. **Analyse distanciée** : Les étudiants sont invités à comparer leurs définitions avec celles générées par l'IAG, et à en tirer une **analyse réflexive**. Quelles différences observe-t-on entre les deux versions ? Quels éléments apportés par l'IAG sont utiles ou, au contraire, discutables ? L'IAG a-t-elle commis des erreurs ou introduit des ambiguïtés ?

Cette étape engage les étudiants dans un véritable exercice de **métacognition**, les amenant à porter un regard distancié sur leurs productions et sur la pertinence des propositions générées. Ce dispositif suit une logique **tripartite** : **production** → **interaction** → **évaluation critique**, favorisant une posture active et réflexive vis-à-vis de l'outil. Il mobilise un large spectre de compétences : rédaction scientifique, maîtrise des concepts disciplinaires, expression en anglais technique et jugement réflexif face à une technologie algorithmique. L'ensemble s'inscrit dans une démarche d'apprentissage **encadrée, critique et contextualisée** de l'usage des IAG en contexte académique exigeant, en cohérence avec les recommandations récentes sur l'intégration pédagogique de ces technologies (Walter, 2024).

# 4 Résultats qualitatifs observés : apprentissages disciplinaires, linguistiques et réflexifs

Les productions des étudiants ont été évaluées de manière qualitative selon une méthode croisée, par deux enseignants (l'un en mathématiques appliquées, l'autre en anglais scientifique), à partir des **attendus pédagogiques définis dans la SAÉ** et donc du **référentiel de compétences** associé. Cette évaluation a porté sur la qualité technique, linguistique et réflexive des productions. Plusieurs constats significatifs se dégagent de cette analyse croisée, illustrant les effets pédagogiques du dispositif.

- **Appropriation conceptuelle** : les définitions rédigées par les étudiants révèlent une bonne compréhension des notions fondamentales, telles que spectrogram, fingerprint ou cepstral coefficient. La confrontation avec les propositions de l'IAG permet souvent d'enrichir ou de préciser ces notions, tout en identifiant d'éventuelles erreurs.

- **Progression linguistique** : les définitions en anglais gagnent en précision, en fluidité syntaxique et en cohérence lexicale, en particulier après l'étape d'interaction avec l'IAG. Les étudiants améliorent leur maîtrise des tournures spécifiques au discours scientifique.

- **Esprit critique** : les analyses produites montrent une capacité à évaluer la pertinence des réponses de l'IAG, à en identifier les limites, et à proposer des reformulations mieux adaptées au contexte.

Exemples illustratifs issus des productions étudiantes :

- **Exemple 1** - Terme “spectrogram” : Dans leur version initiale, les étudiants décrivent un spectrogramme comme une représentation graphique du contenu fréquentiel d'un signal audio au cours du temps. L'IAG propose une version enrichie incluant les notions de “sliding window” et de “frequency bins”. Les étudiants reconnaissent la pertinence de ces ajouts, tout en soulignant leur complexité pour une définition vulgarisée. Ils proposent en réponse un exemple imagé pour renforcer la compréhension, montrant ainsi leur capacité à adapter la définition au public visé.

- **Exemple 2** - Terme “cepstral coefficient” : L'IAG confond ici les coefficients cepstraux avec les MFCC (Mel Frequency Cepstral Coefficients), utilisés principalement en reconnaissance vocale. Les étudiants identifient cette erreur conceptuelle et reformulent leur définition en
précisant que, dans le contexte musical, le cepstre résulte de l'application de la transformée de Fourier inverse sur le logarithme du spectre. Ils soulignent que cette opération permet d'identifier des motifs périodiques correspondant aux harmoniques.

- **Exemple 3** - Travail sur le terme "pitch-corrected tempo variation" : L'IAG a proposé une définition correcte mais trop généraliste. L'étudiant a reformulé : "It refers to a technique allowing to change the speed of playback without altering the pitch, by adjusting the time domain while preserving frequency content". L'enseignante d'anglais a salué l'usage approprié de la terminologie ("playback", "frequency content").

- **Exemple 4** - Terme "fingerprint" : La définition initiale produite est : "A fingerprint is a condensed representation of the audio signal which preserves enough unique traits to allow identification." L'IAG y ajoute les notions de "hashing techniques" et de "robustness to noise". L'étudiant intègre ces éléments, tout en ajustant la formulation pour éviter la redondance. Il ajoute une clarification sur le terme "hash" : "a mathematical compression function", démontrant sa capacité à vulgariser un concept complexe sans le dénaturer.

- **Exemple 5** - Maîtrise de l'anglais scientifique : Plusieurs étudiants montrent des progrès no-tables dans l'utilisation de structures typiques du discours scientifique, telles que "It is defined as...", "This concept allows to...", ou "In the context of signal processing...". L'enseignante remarque également un meilleur usage des connecteurs logiques et des justifications de type "because it ensures time-invariance". Dans un cas, un étudiant corrige un emploi incorrect du mot "mean" (voulu au sens de "average"), non détecté par l'IAG, illustrant une vigilance linguistique autonome.

Ces exemples montrent que l'IAG, loin de court-circuiter l'apprentissage, joue ici un rôle de **catalyseur**. Elle permet aux étudiants d'exercer leur discernement, de formuler des choix argumentés, et de tester la robustesse d'un outil désormais omniprésent. Ce dispositif favorise ainsi un développement simultané des **compétences disciplinaires**, **langagières** et **réflexives**, dans une perspective d'usage distancié et éclairé des technologies d'IAG.

# 5 Discussion : originalité et transférabilité du dispositif

Les productions étudiantes ont été jugées de **très bonne qualité** par les deux enseignants évaluateurs. La structure tripartite du dispositif a **mis en lumière le raisonnement cognitif des apprenants** et leur capacité à identifier, commenter et corriger les erreurs de l'IAG. L'évaluation croisée a mis en évidence une double progression : sur le plan disciplinaire, une meilleure formalisation des concepts liés au traitement du signal ; sur le plan linguistique, une amélioration de la précision lexicale, de la structuration syntaxique et de l'adaptation du registre en fonction du destinataire. L'activité a également généré un **effet retour sur les pratiques pédagogiques** : l'enseignante d'anglais a pu repérer des erreurs récurrentes à partir des glossaires, qu'elle a réinvesties dans l'ajustement de son programme.

Le dispositif se distingue par son articulation explicite entre production humaine, intervention algorithmique et analyse distanciée ; son intégration fluide dans une SAÉ existante ; la production d'un livrable structuré et traçable ; et une initiation structurée à un usage raisonné, éthique et professionnel des IAG. Contrairement à des approches centrées sur la simple génération automatisée, l'IAG est ici interrogée, mise à l'épreuve et discutée. Elle devient un outil d'explicitation technique et un vecteur de clarification, conformément aux principes de la pédagogie critique du numérique (Walter, 2024) et
de l'AI Literacy (Ng et al., 2021). Ce type d'activité illustre également une **relecture pédagogique des objectifs d'apprentissage**. La taxonomie de Bloom revisitée dans le contexte des outils d'IA<fnref n="2" /> invite à considérer non seulement les niveaux cognitifs traditionnels, mais aussi la capacité à articuler savoirs et outils technologique. La capacité à interagir avec une IAG devient ainsi un marqueur de compétences.

Malgré ces résultats encourageants, nous reconnaissions que cette **première expérimentation n'a pas été instrumentée par des outils d'évaluation systématiques**, tels que des journaux de bord, des questionnaires ou des entretiens structurés. Cette limite méthodologique est assumée dans la mesure où l'objectif principal était l'exploration d'un usage encadré de l'IAG en situation authentique. Bien que cette activité repose sur une expérimentation locale, sa structure modulaire et son articulation claire entre production humaine, intervention algorithmique et analyse réflexive en font un **modèle transférable**. Elle pourrait être adaptée à d'autres domaines, notamment en formation technique, linguistique ou en sciences humaines. Il convient toutefois de signaler un **point de vigilance éthique et écologique** : si les étudiants utilisent aujourd'hui spontanément des outils d'IAG dans leurs travaux, y compris en dehors des temps d'encadrement pédagogique, l'impact environnemental de ces usages reste une question ouverte. Cet aspect, non traité dans la présente expérimentation, mérite d'être pris en compte dans une réflexion plus large. Ce type d'activité, à la fois formative, réflexive et facilement intégrable à des contextes existants, constitue une **entrée opérationnelle et évolutive** pour accompagner la transformation curriculaire de l'enseignement supérieur face aux enjeux éducatifs posés par l'essor des IAG.

# 6 Conclusion

L'activité présentée a permis d'atteindre plusieurs objectifs pédagogiques complémentaires. Les étudiants se sont approprié des notions complexes liées au traitement du signal, ont enrichi leur expression scientifique en anglais, et ont développé un regard distancié sur les réponses générées par une IAG. Les retours qualitatifs recueillis, tant du point de vue des enseignants que des productions rendues, confirment la pertinence de ce format structurant. Loin d'un usage passif ou délégatif de l'IAG, les étudiants sont ici engagés dans un véritable processus réflexif. Ils produisent, comparent, analysent, et justifient. La confrontation à l'IAG devient alors un levier pour penser plus précisément, formuler plus rigoureusement, et affirmer une posture d'auteur. Si des usages détournés restent théoriquement possibles, le contexte pédagogique dans lequel cette activité a été menée (promotion de taille restreinte, encadrement régulier, projet intégré) limite largement ce risque. Introduire dès la première année un usage critique et encadré des IAG constitue une première étape vers une intégration curriculaire raisonnée et progressive de ces outils. Cette expérimentation ouvre des perspectives concrètes pour la suite du parcours de formation. En deuxième année, les étudiants seront amenés à concevoir leurs propres prompts (Marvin et al., 2024), favorisant une montée en autonomie dans la maîtrise des IG. À plus long terme, l'extension de ce type d'approche à d'autres SAÉ ou modules disciplinaires est envisagée, tout comme une réflexion plus large à l'échelle de la composante sur l'évolution des référentiels de formation face aux enjeux sociotechniques portés par l'intelligence artificielle.

<footnote n="2">2. https://ecampus.oregonstate.edu/faculty/artificial-intelligence-tools/blooms-taxonomy-revisited/</footnote>
Références

ANDERSON L. W. & KRATHWOHL D. R. (2001). *A taxonomy for learning, teaching, and assessing : A revision of Bloom's taxonomy of educational objectives : complete edition*. Addison Wesley Longman, Inc.

CAO L. & DEDE C. (2023). Navigating a world of generative ai : Suggestions for educators. *The next level lab at harvard graduate school of education, 5*(2).

MARVIN G., HELLEN N., JJINGO D. & NAKATUMBA-NABENDE J. (2024). Prompt engineering in large language models. In I. J. JACOB, S. PIRAMUTHU & P. FALKOWSKI-GILSKI, Éds., *Data Intelligence and Cognitive Informatics*, p. 387–402, Singapore : Springer Nature Singapore. DOI : 10.1007/978-981-99-7962-2_30.

NG D. T. K., LEUNG J. K. L., CHU S. K. W. & QIAO M. S. (2021). Conceptualizing ai literacy : An exploratory review. *Computers and Education : Artificial Intelligence, 2*, 100041. DOI : 10.1016/j.caeai.2021.100041.

TARDIF J. (2006). *L'évaluation des compétences : documenter le parcours de développement*. Chenelière éducation,.

WALTER Y. (2024). Embracing the future of artificial intelligence in the classroom : the relevance of ai literacy, prompt engineering, and critical thinking in modern education. *International Journal of Educational Technology in Higher Education, 21*(1), 15. DOI : 10.1186/s41239-024-00448-3.

WANG A. (2003). An industrial strength audio search algorithm. In *Ismir*, volume 2003, p. 7–13 : Washington, DC.
# L'émergence de l'IA conversationnelle comme autorité cognitive : perspectives éducatives et éthiques à l'ère de Grok

Amélie Raoul

LERASS, 1186 Rte de Mende 1092, 34090 Montpellier, France

amelie.raoul@etu.univ-montp3.fr

## RÉSUMÉ

Cet article analyse l'émergence d'une nouvelle autorité cognitive incarnée par les intelligences artificielles conversationnelles, en se concentrant sur le cas de Grok. Positionnée comme alternative idéologique aux modèles existants, cette IA illustre comment nous déléguons de plus en plus notre jugement à des algorithmes perçus comme objectifs ou omniscients. En interrogeant les implications éducatives, éthiques et épistémologiques de cette évolution, l'article met en lumière les risques d'une dépendance envers des systèmes dont le fonctionnement reste obscur. Il plaide en faveur d'une littératie algorithmique appliquée, d'une pédagogie de l'incertitude algorithmique et d'un outillage critique capable d'outrepasser la fascination technologique pour favoriser une réflexion autonome face aux technologies d'IA.

## ABSTRACT

### The Emergence of Conversational AI as Cognitive Authority : Educational and Ethical Perspectives in the Age of Grok

This article analyzes the emergence of a new form of cognitive authority embodied by conversational artificial intelligences, focusing on the case of Grok. Positioned as an ideological alternative to existing models, this AI illustrates how we increasingly delegate our judgment to algorithms perceived as objective or omniscient. By examining the educational, ethical, and epistemological implications of this shift, the article highlights the risks of becoming dependent on systems whose inner workings remain opaque. It advocates for an applied algorithmic literacy, a pedagogy of algorithmic uncertainty, and a critical toolkit capable of moving beyond technological fascination to foster autonomous reflection in the face of AI technologies.

**MOTS-CLÉS** : intelligence artificielle conversationnelle, Grok, autorité cognitive, littératie algorithmique, pédagogie critique, éthique de l'IA, incertitude algorithmique, espace public numérique, plateformes numériques, éducation critique.

**KEYWORDS:** conversational artificial intelligence, Grok, cognitive authority, algorithmic literacy, critical pedagogy, AI ethics, algorithmic uncertainty, digital public sphere, digital platforms, critical education.

**ARTICLE** : Accepté à IA-ÉDU@CORIA-TALN 2025.
# 1 Introduction

Lancée en 2023 par xAI<fnref n="1" />, la startup d'intelligence artificielle fondée par Elon Musk<fnref n="2" />, Grok<fnref n="3" /> représente une nouvelle génération d'Intelligence Artificielle (IA) conversationnelle conçue explicitement comme une alternative aux modèles dominants comme ChatGPT. Sa particularité réside dans son positionnement idéologique assumé : contrairement à d'autres IA qui affichent une neutralité de façade, Grok a été développée selon les principes défendus par Musk d'une IA « moins politiquement correcte » et « moins censurée ». Cette orientation s'inscrit dans une stratégie plus large d'influence sur le débat public concernant la régulation des intelligences artificielles et leur rôle dans la société.

Cet article propose une analyse critique de cette mutation, menée depuis une perspective ancrée en sciences de l'information et de la communication. Il mobilise une démarche interdisciplinaire croisant les apports de la sociologie des usages numériques et de la philosophie de la technique, tout en adoptant une posture critique caractéristique des SIC, attentive aux processus de médiation, aux régimes de légitimation du savoir et aux enjeux de pouvoir liés aux technologies de l'information.

L'étude de Grok présente un intérêt particulier dans le contexte actuel pour trois raisons majeures. Premièrement, son déploiement sur la plateforme X (anciennement Twitter), également propriété de Musk, lui confère une visibilité et une accessibilité sans précédent, l'intégrant directement dans un espace de débat public déjà polarisé. Deuxièmement, l'autorité symbolique dont jouit son créateur dans le champ technologique tend à conférer à cette IA une légitimité particulière auprès de certains publics. Troisièmement, la centralité des questions d'autorité cognitive et de vérité dans le projet même de Grok en fait un cas d'étude privilégié pour analyser les transformations de notre rapport au savoir à l'ère numérique.

Trois axes structurent notre réflexion : l'émergence d'une autorité cognitive automatisée, les enjeux pédagogiques associés à ce phénomène, et les pistes éducatives permettant d'en limiter les effets potentiellement délétères. Cette analyse s'inscrit dans une continuité théorique avec les travaux de (Gillespie, 2014; Eubanks, 2018; Livingstone, 2004), et prend acte des évolutions récentes en matière de littératie algorithmique (Frau-Meigs, 2024; Le Deuff & Roumanos, 2022).

# 2 Une figure d'autorité inédite

Ce phénomène manifeste l'émergence d'une nouvelle forme d'autorité cognitive, non plus fondée sur des figures incarnées (enseignants, journalistes, chercheurs), mais sur un dispositif automatisé intégré à l'espace numérique. Pour certains utilisateurs, l'IA dépasse désormais le simple rôle d'outil d'appui à la recherche pour devenir un acteur discursif autonome, un médiateur symbolique investi d'un pouvoir de validation, à la manière d'un arbitre suprême (Gillespie, 2014). Ainsi, lorsqu'un de ces utilisateurs interpelle Grok pour valider ou réfuter une information circulant en ligne, la réponse algorithmique intervient comme un verdict final. Le jugement humain se voit alors supplanté par une décision computationnelle, révélant ainsi une délégation progressive de l'esprit critique à des dispositifs automatisés (Eubanks, 2018).

Cette nouvelle pratique révèle un déplacement notable dans les mécanismes de validation des informations. On ne questionne plus, on invoque. La vérité n'est plus débattue, mais elle est délivrée. Le succès grandissant des IA génératives en général révèle une certaine fatigue cognitive face à

<footnote n="1">1. https://x.ai/</footnote>

<footnote n="2">2. https://fr.wikipedia.org/wiki/Elon_Musk</footnote>

<footnote n="3">3. https://grok.com/</footnote>
la complexité du flot informationnel et d'une certaine injonction sociale qui pousse les individus à donner une réponse immédiate sur tout sujet. Cette dynamique s'appuie aussi sur un imaginaire collectif de la neutralité algorithmique, ce qui est particulièrement paradoxal dans le cas de Grok dont les biais sont à la fois reconnus et revendiqués. Pourtant, même avec cette transparence apparente, les processus exacts par lesquels Grok formule ses réponses restent opaques pour l'utilisateur moyen.

Le contexte spécifique de Grok, avec son positionnement « anti-woke »<fnref n="4" /> revendiqué, crée une situation particulièrement préoccupante : une IA ouvertement non-neutre peut être perçue comme plus objective que ses concurrentes précisément parce qu'elle admet sa non-neutralité. Ce paradoxe renforce la légitimation des réponses proposées par le système et approfondit la dépendance cognitive des utilisateurs.

Il importe ici de rappeler que Grok, comme ses concurrentes, évolue rapidement. Si certaines de ses versions intègrent désormais des fonctions de recherche enrichie, avec liens vers les sources, cela ne garantit ni la qualité ni la diversité des références mobilisées. Une veille critique permanente s'impose pour évaluer l'évolution de ces dispositifs, dans la mesure où leur autorité repose autant sur des perceptions sociales que sur des capacités techniques réelles.

En définitive, la figure d'autorité que représente Grok ne se comprend ni comme neutre ni comme transparente. Elle se situe dans une zone d'ambiguïté cognitive et politique, entre performance technologique, stratégie de communication et influence idéologique. Ce constat invite à repenser de manière urgente les outils éducatifs permettant de réintroduire du doute et de la réflexivité dans l'approche des savoirs produits ou relayés par les IA conversationnelles.

## 3 Un prisme cognitif invisible

L'originalité de l'expérience Grok réside moins dans l'existence même d'une IA que dans la fonction désormais occupée par cette technologie dans l'espace public numérique. Contrairement à Google, qui propose une hiérarchie des sources, Grok présente une synthèse immédiate, et souvent univoque, sans visibilité sur ses fondements, agissant comme un prisme invisible structurant la perception du réel. Cette réponse est souvent reçue sans recul critique, car elle s'inscrit dans un contexte numérique caractérisé par l'urgence cognitive et la surcharge informationnelle (Metzger & Flanagin, 2013).

Ce phénomène s'inscrit dans un prolongement des logiques d'éditorialisation algorithmique déjà observées dans d'autres environnements numériques (Gillespie, 2014; Dominique, 2015). Mais là où les moteurs de recherche ou les fils d'actualité personnalisés suggèrent des contenus, Grok affirme directement une version synthétique d'un savoir présumé stable. L'interaction avec l'IA ne passe pas par une pluralité d'entrées, mais par une réponse unique à une requête souvent implicite, ce qui accentue le risque d'une clôture discursive précoce.

Dans cette culture numérique, les usagers cherchent des raccourcis cognitifs (Kahneman, 2011), auxquels Grok répond parfaitement par sa posture autoritaire et rassurante. Cette pratique crée un effet de clôture discursive : l'IA, avec son autorité présumée, clôt le débat avant même qu'il ne débute véritablement. Ce phénomène induit une modification structurelle majeure : le savoir cesse d'être produit par confrontation argumentée pour devenir une réponse automatique générée par un système algorithmique. Comme le montrent les travaux de (Metzger & Flanagin, 2013), les utilisateurs

<footnote n="4">4. Herrman, John. «What Does It Mean That Elon Musk's New AI Chatbot Is 'Anti-Woke'?». Intelligencer par New York Magazine. 7 novembre 2023. En ligne : https://nymag.com/intelligencer/2023/11/elon-musks-grok-ai-bot-is-anti-woke-what-does-that-mean.html [consulté le 17 avril 2025]</footnote>
mobilisent des heuristiques pour juger de la crédibilité d'une information : la fluidité de l'interface, la rapidité de la réponse ou encore le style d'énonciation peuvent suffire à établir un crédit de vérité. Or, Grok répond à ces critères en s'adossant à une posture d'autorité implicite, renforcée par son ton affirmatif et par l'absence de signalement des zones d'incertitude.

Cette pratique de clôture discursive est également favorisée par la culture numérique contemporaine, qui valorise l'efficacité, la certitude et la réactivité. Les travaux de Daniel (Kahneman, 2011) sur la pensée intuitive montrent que les individus privilégient souvent des réponses rapides et intuitives, au détriment de démarches analytiques plus lentes et réflexives. Grok s'insère parfaitement dans cette logique : en offrant des réponses rapides, souvent formulées de manière assertive, elle favorise une réception passive de l'information.

Ce qui rend également le cas Grok particulièrement significatif est son intégration à la plateforme X, au sein même d'un espace de débat public numérisé. Cette insertion dans des échanges sociaux directs, notamment à travers les threads ou les réponses à des publications controversées, renforce la performativité de ses interventions. L'IA ne se contente pas de fournir une information, elle s'inscrit dans une dynamique de validation sociale, où sa réponse est immédiatement réappropriée, likée, partagée, voire instrumentalisée dans le cadre de controverses.

Cette capacité à intervenir dans des échanges interpersonnels, avec une autorité présumée mais non questionnée, place Grok dans une position inédite. L'utilisateur peut ainsi interpeller l'IA directement au sein d'une conversation ou d'un débat public, lui conférant un statut d'arbitre de la vérité dans des interactions sociales complexes. Cette contextualisation de l'autorité algorithmique dans un espace de sociabilité numérique représente une évolution majeure aux implications multiples et profondes. Ce processus renforce l'effet de naturalisation de l'autorité algorithmique, déjà identifié dans les travaux sur la médiation automatisée de l'information (Haider & Sundin, 2022).

Il convient toutefois de nuancer cette lecture. Depuis 2024, certaines versions de Grok, à l'instar de modèles comme Claude, Perplexity ou ChatGPT dans ses déclinaisons « avec navigation web », intègrent des mécanismes de référencement explicite. Des liens vers des sources sont parfois proposés, dans une logique de « recherche générative » (Butler et al., 2023). Toutefois, ces liens restent souvent limités, parfois biaisés dans leur sélection, et ne permettent pas de reconstituer le cheminement exact du raisonnement algorithmique. La fonction de synthèse prime toujours sur la transparence des sources, ce qui maintient une forme de clôture épistémique.

Ainsi, Grok illustre une mutation dans la production du savoir en ligne : ce dernier tend à devenir une réponse plutôt qu'un processus, une évidence plutôt qu'une élaboration, une certitude immédiate plutôt qu'un objet de discussion. Cette évolution appelle une révision profonde des cadres éducatifs, notamment en matière de littératie algorithmique. Comprendre le rôle des IA dans la structuration cognitive du réel devient une compétence essentielle, qui dépasse largement la seule maîtrise technique des outils pour embrasser les enjeux sociopolitiques de l'information numérique.

## 4 Enjeux éducatifs et éthiques

Ces évolutions que nous avons évoquées plus haut posent un défi crucial aux éducateurs. Si l'acte même de douter se délègue à une IA, comment préserver chez les jeunes la capacité critique d'interroger méthodologiquement et épistémologiquement l'information ? Comme le souligne (Livingstone, 2004), les compétences numériques dépassent largement la maîtrise technique et incluent l'aptitude à analyser les dispositifs sociotechniques qui régulent l'accès à l'information.
Former à la littératie informationnelle aujourd'hui signifie enseigner aux apprenants à poser les bonnes questions à une IA, à trianguler les sources, à contextualiser et argumenter face aux réponses reçues (Zawacki-Richter et al., 2019). Ce processus ne relève pas uniquement d'une instruction méthodologique; il implique une acculturation critique aux logiques techniques et éditoriales des agents conversationnels. Cette formation implique une évolution des méthodologies pédagogiques vers une pédagogie du doute et de la métacognition, capable de décrypter les biais implicites des algorithmes. À titre d'exemple, une expérimentation menée en 2024 dans une université européenne montre que les étudiants formés spécifiquement à l'usage critique des IA conversationnelles développent une meilleure compréhension des biais algorithmiques et un esprit critique renforcé face aux réponses automatisées (Karsenti, 2018). Les travaux de (Frau-Meigs, 2024) apportent également une perspective pertinente en mettant l'accent sur la résilience face à la désinformation à travers la littératie médiatique et informationnelle. Leur étude explore comment des programmes éducatifs peuvent efficacement aider les étudiants à déceler les fausses informations, ce qui est particulièrement pertinent dans le contexte des IA génératives où la véracité et la crédibilité des sources sont souvent remises en question.

Dans le cas spécifique de Grok, l'enjeu éducatif est double. D'une part, il s'agit de sensibiliser les apprenants aux biais explicites revendiqués par ses concepteurs. D'autre part, il faut développer chez eux la capacité à identifier les biais implicites qui, précisément parce que certains biais sont admis ouvertement, peuvent passer inaperçus. Cette situation inédite réclame le développement d'une méta-critique des IA : apprendre à discerner non seulement les biais d'un système, mais aussi la manière dont la présentation de ces biais peut elle-même constituer une stratégie rhétorique.

Ce type de réflexivité suppose une approche pédagogique différenciée selon les publics. Dans le secondaire, par exemple, des dispositifs d'analyse comparative entre moteurs de recherche, IA conversationnelles et encyclopédies numériques peuvent initier une première prise de distance critique. Dans l'enseignement supérieur, des études de cas problématisées autour de réponses contradictoires fournies par différentes IA permettent d'introduire les notions d'autorité, de sourcing et de conflictualité informationnelle. Cette contextualisation pédagogique apparaît essentielle pour intégrer pleinement les enjeux de l'IA dans une perspective éducative.

Enfin, une réflexion éthique s'impose. L'introduction massive des IA dans les contextes d'apprentissage soulève la question du coût écologique et infrastructurel d'un recours systématisé à ces outils. Si l'on encourage les usages critiques des IA dans les formations, encore faut-il s'interroger sur leur soutenabilité, tant du point de vue énergétique que du point de vue des inégalités d'accès. Ces considérations doivent désormais être articulées aux projets pédagogiques, notamment dans le cadre d'une éducation au numérique responsable.

# 5 Pour une littératie algorithmique appliquée

Dans le but précédemment évoqué, le concept de littératie algorithmique constitue un fondement essentiel pour développer une posture critique face aux systèmes tels que Grok (Le Deuff & Roumanos, 2022). Cette compétence transcende la simple analyse de contenus pour englober la compréhension des mécanismes algorithmiques sous-jacents, leurs contraintes inhérentes, leurs paradigmes conceptuels et leurs implications socio-cognitives. Des recherches récentes (Haider & Sundin, 2022) soulignent aussi la pertinence de la translittératie, notion complémentaire, définie comme l'aptitude à naviguer entre différents écosystèmes informationnels en modulant ses stratégies cognitives. Ces compétences deviennent crucales face à des agents conversationnels qui agrègent l'information sans
en expliciter les sources. Elles permettent également de situer le fonctionnement de l'IA dans un continuum de pratiques médiatiques, entre automatisation de la hiérarchisation de l'information et invisibilisation des logiques éditoriales. Former à la littératie algorithmique appliquée consiste donc à doter les individus de la capacité à interroger la validité généralisée d'une réponse, à repérer les simplifications excessives et à resituer l'information dans des contextes plus vastes. De ce point de vue, la littératie algorithmique relève à la fois de l'analyse critique et de l'auto-régulation cognitive.

Cela implique une redéfinition des apprentissages numériques, qui doivent aller au-delà des compétences procédurales. Il ne s'agit plus simplement d'apprendre à manipuler une intelligence artificielle, mais de développer la capacité à en analyser les logiques sous-jacentes, à décrypter les intentions implicites, les arbitrages de conception et les modèles cognitifs intégrés.

L'enjeu éthique revêt ici une importance fondamentale : il s'agit de former des citoyens aptes à dissocier autorité algorithmique et vérité, et à cultiver une autonomie cognitive ancrée dans le doute méthodique. Cette orientation s'aligne d'ailleurs avec les recommandations de l'UNESCO (UNESCO, 2023) pour une éducation critique aux médias et à l'information à l'ère des intelligences artificielles. Celles-ci mettent en évidence la nécessité d'intégrer ces compétences dans les cursus tout au long de la vie, depuis l'enseignement secondaire jusqu'à la formation continue. Dans un environnement pédagogique, cette approche nécessite l'élaboration de dispositifs d'apprentissage hybrides où les apprenants sont exposés à des études de cas concrets d'interaction avec diverses intelligences artificielles conversationnelles. L'usage d'ateliers d'analyse critique, de jeux de rôle ou de débats argumentés autour de réponses divergentes entre IA permet de matérialiser les biais et d'entraîner à la vérification des contenus. De tels dispositifs permettent non seulement de rendre visibles les mécanismes algorithmiques mais aussi de revaloriser le rôle de l'incertitude comme moteur du raisonnement critique.

# 6 Vers une pédagogie de l'incertitude algorithmique

Pour répondre aux défis posés par l'émergence de cette nouvelle autorité cognitive, nous proposons le développement d'une « pédagogie de l'incertitude algorithmique » particulièrement adaptée au cas de Grok. Cette approche vise à transformer l'incertitude inhérente aux systèmes d'IA en ressources pédagogiques plutôt qu'en obstacles à surmonter.

Cette pédagogie s'articule autour de trois principes applicables immédiatement dans les contextes éducatifs :

1. La confrontation systématique : Encourager les apprenants à soumettre une même question à différentes IA (Grok, mais aussi ses concurrents) pour comparer leurs réponses et analyser les divergences. Cette méthode simple permet de révéler concrètement la non-neutralité des algorithmes et d'initier une réflexion critique sur leurs présupposés.

2. L'analyse des sources dissimulées : Développer des exercices où les apprenants tentent de reconstituer les sources probables mobilisées par l'IA pour construire sa réponse. Ce travail d'archéologie informationnelle renforce la conscience des processus de médiation à l'œuvre dans la production algorithmique du savoir.

3. La réhabilitation de l'incertitude : Valoriser explicitement dans l'évaluation scolaire la capacité à formuler des doutes méthodiques et à suspendre son jugement face à des questions complexes, plutôt que de privilégier systématiquement les réponses assertives que proposent les IA comme Grok.
Ces approches pourraient contribuer à développer chez l'usager une relation plus critique et réflexive aux IA conversationnelles. Cette hypothèse s'appuie sur des travaux antérieurs dans le domaine de l'éducation aux médias numériques. En effet, (Buckingham, 2019) a démontré que l'exposition des élèves à des informations contradictoires renforce leur capacité à exercer un jugement critique. Ainsi, une pédagogie de l'incertitude algorithmique pourrait être particulièrement pertinente face à des technologies comme Grok.

À cela s'ajoute une exigence méthodologique : il ne s'agit pas seulement d'entraîner au doute, mais de structurer des cadres d'analyse permettant de questionner la forme même des réponses produites. Les enseignants peuvent, par exemple, intégrer des grilles de lecture inspirées des travaux en didactique de l'information, afin de faire émerger les implicites narratifs, les effets d'autorité syntaxique et les procédés de clôture discursive utilisés par l'IA. Ce type de décodage s'avère particulièrement utile dans les formations supérieures, où l'enjeu n'est plus seulement de comprendre l'IA, mais de produire un savoir informé sur son fonctionnement.

Par ailleurs, cette pédagogie n'est pas réservée à l'enseignement formel. Elle peut s'inscrire dans des initiatives de médiation scientifique, de formation professionnelle ou de sensibilisation citoyenne. Des campagnes éducatives à destination des parents, des salariés ou des publics éloignés du numérique permettraient d'élargir le champ d'action de cette approche critique. Ainsi, divers dispositifs pourraient être mis en œuvre, tant dans un cadre scolaire que chez l'adulte (campagnes de sensibilisation, formations au sein des entreprises, etc.)

# 7 Conclusion

La tendance grandissante des usagers à considérer que Grok incarne la vérité, telle une autorité omnisciente, témoigne d'une fascination pour les IA, qui n'est pas nouvelle mais prend aujourd'hui des dimensions et des aspects inédits. Le modèle conversationnel s'est tellement intégré aux usages qu'il est devenu naturel de lui déléguer son discernement. Or, cette banalisation est précisément le danger : si le recours à Grok devient une évidence pour les utilisateurs, l'incidence du jugement humain risque de drastiquement diminuer dans de nombreux aspects de notre quotidien, si bien que les conséquences de cette tendance seraient quasi impossibles à anticiper. La production du savoir ne doit pas devenir une interaction individuelle sans recul critique avec une interface opaque, mais rester un processus collectif critique et réflexif (Floridi, 2019). Face à cette IA dont la particularité est d'assumer explicitement une forme de subjectivité algorithmique, une réponse éducative appropriée devrait permettre aux utilisateurs de développer non seulement des compétences critiques générales, mais aussi une compréhension fine des dynamiques de pouvoir et d'influence qui traversent le champ technologique.

Cette reconfiguration de l'autorité cognitive s'inscrit dans une transformation plus large des régimes de vérité contemporains. Comme le montre l'étude menée par (Butler *et al.*, 2023), une part significative des jeunes utilisateurs de plateformes sociales exprime une confiance croissante envers les IA génératives pour obtenir des informations, parfois même plus élevée que celle accordée aux médias traditionnels. Ce glissement perceptif, s'il reste à stabiliser empiriquement sur le long terme, mérite une attention soutenue de la recherche en sciences de l'information et de la communication.

À mesure que les intelligences artificielles conversationnelles acquièrent un statut d'interlocuteurs légitimes au sein de l'espace public numérique, une interrogation essentielle émerge : sous quelles conditions sommes-nous prêts à confier notre faculté de jugement à ces systèmes algorithmiques ? L'exemple de Grok, tant représentatif qu'unique en son genre, nous conduit à examiner de façon
critique les manifestations contemporaines de l'autorité cognitive ainsi que les processus d'élabo-
ration des connaissances dans notre ère numérique. Il ouvre également un chantier de recherche
interdisciplinaire sur les formes émergentes de légitimation du savoir algorithmique, qui mobilise à la
fois les outils des sciences sociales, de l'éducation critique, de l'éthique appliquée et de la philosophie
politique. La pédagogie de l'incertitude algorithmique n'est pas un simple correctif temporaire, mais
un levier conceptuel et méthodologique pour réinscrire le doute, la pluralité et la réflexivité au cœur
de notre rapport aux technologies intelligentes. Plus que jamais, la formation au numérique implique
une sensibilisation aux enjeux économiques, politiques et éthiques des technologies d'IA, au-delà de
leurs seules dimensions techniques.

Références

BUCKINGHAM D. (2019). *The media education manifesto*. John Wiley & Sons.

BUTLER J., JAFFE S., BAYM N., CZERWINSKI M., IQBAL S., NOWAK K., RINTEL S., SELLEN A., VORVOREANU M., ABDULHAMID N. G., AMORES J., ANDERSEN R., AWORI K., AXMED M., BOYD D., BRAND J., BUSCHER G., CARIGNAN D., CHAN M., COLEMAN A., COUNTS S., DAEPP M., FOURNEY A., GOLDSTEIN D. G., GORDON A., HALFAKER A. L., HERNANDEZ J., HOFMAN J., LAY-FLURRIE J., LIAO V., LINDLEY S., MANIVANNAN S., MCILWAIN C., NEPAL S., NEVILLE J., NYAIRO S., O'NEILL J., POZNANSKI V., RAMOS G., RANGAN N., ROSEDALE L., ROTHSCHILD D., SAFAVI T., SARKAR A., SCOTT A., SHAH C., SHAH N. P., SHAPIRO T., SHAW R., SIMKUTE A., SUH J., SURI S., TANASE I., TANKELEVITCH L., TROY A., WAN M., WHITE R. W., YANG L., HECHT B. & TEEVAN J. (2023). *Microsoft New Future of Work Report 2023*. Rapport interne MSR-TR-2023-34, Microsoft.

DOMINIQUE C. (2015). À quoi rêvent les algorithmes. nos vies à l'heure des big data. *Paris, Éditions du Seuil & La république des idées*.

EUBANKS V. (2018). *Automating inequality : How high-tech tools profile, police, and punish the poor*. St. Martin's Press.

FLORIDI L. (2019). *The logic of information : A theory of philosophy as conceptual design*. Oxford University Press.

FRAU-MEIGS D. (2024). Algorithm literacy as a subset of media and information literacy : Competences and design considerations. *Digital, 4*(2), 512–528. DOI : 10.3390/digital4020026.

GILLESPIE T. (2014). The relevance of algorithms. *Media technologies : Essays on communication, materiality, and society, 167*(2014), 167.

HAIDER J. & SUNDIN O. (2022). *Paradoxes of media and information literacy : The crisis of information*. Taylor & Francis. DOI : 10.4324/9781003163237.

KAHNEMAN D. (2011). Thinking, fast and slow. *Farrar, Straus and Giroux*.

KARSENTI T. (2018). Intelligence artificielle en éducation : L'urgence de préparer les futurs enseignants aujourd'hui pour l'école de demain. *Formation et profession, 26*(3), 112-119.

LE DEUFF O. & ROUMANOS R. (2022). Enjeux définitionnels et scientifiques de la littératie algorithmique : entre mécanologie et rétro-ingénierie documentaire. *tic&société, 15*(2-3| 2ème semestre 2021-1er semestre 2022), 325-360. DOI : 10.4000/ticetsociete.7105.

LIVINGSTONE S. (2004). Media literacy and the challenge of new information and communication technologies. *The communication review, 7*(1), 3–14.
METZGER M. J. & FLANAGIN A. J. (2013). Credibility and trust of information in on-line environments : The use of cognitive heuristics. *Journal of Pragmatics*, **59**, 210–220.
Biases and constraints in communication : Argumentation, persuasion and manipulation, DOI : https://doi.org/10.1016/j.pragma.2013.07.012.

UNESCO (2023). *Guidelines for the governance of digital platforms : safeguarding freedom of expression and access to information through a multi-stakeholder approach*. Paris, France :
UNESCO. Foreword by the Director-General of UNESCO, Audrey Azoulay. Includes bibliography.
Available in multiple languages. Licensed under CC BY-SA 3.0 IGO.

ZAWACKI-RICHTER O., MARÍN V. I., BOND M. & GOUVERNEUR F. (2019). Systematic review of research on artificial intelligence applications in higher education—where are the educators? *International journal of educational technology in higher education, 16*(1), 1–27. DOI : 10.1186/s41239-019-0171-0.
# MALIN : Manuels scoLaires INclusifs

Elise Lincker¹ Léa Pacini¹,² Mohamed Amine Lasheb¹

Olivier Pons¹ Jérôme Dupire¹ Camille Guinaudeau³ Céline Hudelot⁴

Vincent Mousseau⁴ Isabelle Barbet¹ Caroline Huron²,⁵

(1) Cedric, CNAM, Paris, France

(2) SEED, Inserm, Paris, France

(3) LISN, Université Paris-Saclay, CNRS, Orsay, France

(4) MICS, CentraleSupélec, Université Paris-Saclay, Orsay, France

(5) Learning Planet Institute, Paris, France

elise.lincker@lecnam.net, lea.pacini@lecnam.net,
mohamed-amine.lasheb@lecnam.net, olivier.pons@lecnam.net,
jerome.dupire@lecnam.net, guinaudeau@universite-paris-saclay.fr,
celine.hudelot@centralesupelec.fr, vincent.mousseau@centralesupelec.fr,
isabelle.barbet@lecnam.net, caroline.huron@learningplanetinstitute.org

## RÉSUMÉ

L'accès aux manuels scolaires constitue un enjeu majeur pour l'éducation inclusive. Le projet MALIN vise à automatiser l'adaptation des manuels scolaires, convertissant un manuel numérique au format PDF en une version structurée, puis en une version accessible. Le projet cible en priorité la dyspraxie, tout en posant les bases d'adaptations pour d'autres handicaps. Les adaptations proposées, conçues avec des experts de l'accessibilité, sont évaluées auprès d'enfants en situation de handicap.

## ABSTRACT

### Inclusive Textbooks

Ensuring access to textbooks is crucial for inclusive education. The MALIN project aims to automate textbook adaptation from PDF files by converting them into structured and accessible versions. The project focuses on Developmental Coordination Disorder, while also offering solutions that can benefit learners with other disabilities. The adaptations are designed in collaboration with experts and evaluated with the target audience.

**MOTS-CLÉS** : Education inclusive, manuels scolaires, dyspraxie.

**KEYWORDS** : Inclusive education, textbooks, developmental coordination disorder.

**ARTICLE** : **Accepté à IA-ÉDU@CORIA-TALN 2025.**

## 1 Contexte

Les manuels scolaires sont un outil pédagogique essentiel, quasi systématiquement utilisé à l'école en France. Pourtant, leurs versions numériques ne sont pas accessibles aux élèves en situation de handicap, freinant leur apprentissage. Le projet MALIN vise à automatiser l'adaptation de ces manuels pour les rendre accessibles. Nous concevons des adaptations et développons une chaîne de traitement
permettant de convertir un manuel au format PDF en une version adaptée. Un manuel adapté conserve le même contenu et les mêmes intentions pédagogiques que le manuel original, mais propose un mode d'interaction compatible avec les besoins de l'élève. Nous ciblons la dyspraxie : pour les élèves dyspraxiques, les activités sont rendues interactives pour compenser les difficultés d'écriture manuscrite, et la présentation est adaptée pour prendre en compte les troubles d'organisation du regard. Ces adaptations résolvent les problématiques liées au geste moteur, à l'écriture manuscrite et à l'organisation visuospatiale. Elles peuvent également bénéficier aux élèves présentant des troubles moteurs, des troubles de l'attention, des troubles du spectre de l'autisme ou encore une déficience visuelle.

# 2 Méthodologie

## 2.1 Conception et évaluation des adaptations

Les adaptations sont conçues par l'association Cartable Fantastique<fnref n="1" /> en croisant le regard de chercheurs en sciences cognitives spécialistes de la dyspraxie, d'enseignants habitués à adapter pour inclure et de personnes dyspraxiques. Elles sont centrées sur les besoins des utilisateurs finaux et tiennent compte des difficultés d'écriture manuscrite et d'organisation du regard de ces enfants. Par exemple, un exercice de type « Recopie les phrases et souligne les verbes » est remplacé par un exercice numérique de type « Dans ces phrases, cliquer sur les verbes ».

Une étude en Single Case Experimental Design est actuellement menée auprès d'enfants dyspraxiques. Cette étude a pour objectif de comparer différentes présentations d'exercices (présentation typique de manuel scolaire vs deux présentations type Cartable Fantastique) afin de déterminer laquelle ou lesquelles amélioreront les performances des enfants en termes de temps de réaction et de nombre d'erreurs (Pacini et al., 2023).

## 2.2 Automatisation

<figure><img src="image_35.png" /><figcaption>FIGURE 1 – Chaîne de traitement : du manuel PDF au manuel adapté</figcaption></figure>

<footnote n="1">1. https://www.cartablefantastique.fr/</footnote>
La chaîne de traitement développée est illustrée en Figure 1. Elle permet de convertir un manuel scolaire au format PDF en une version accessible. Elle se compose de plusieurs étapes :

**1. Structuration du contenu.**

Nous avons défini un modèle de manuel scolaire, permettant une représentation normalisée et structurée des contenus à l'échelle du document et de la page (Lincker et al., 2023b). L'étape d'extraction et de structuration automatique du contenu repose sur une approche textuelle (Lincker et al., 2023b) ou visuelle (Lasheb et al., 2025).

**2. Classification des exercices.**

Les exercices extraits sont ensuite classés à l'aide de modèles transformers multimodaux. La classification s'effectue selon deux axes : la nature de la tâche pédagogique sollicitée, et le type d'adaptation appliqué dans le cadre de la dyspraxie (Lincker et al., 2023a).

**3. Gestion des images.**

Lorsque les activités pédagogiques contiennent des illustrations, celles-ci sont classées selon leur fonction (essentielle, informative, décorative) (Yadav et al., 2024). Cette classification détermine si l'image est conservée dans l'adaptation, et guide la génération de texte alternatif.

**4. Génération des adaptations.**

Enfin, les exercices sont transformés en fichiers HTML interactifs, tenant compte des déficits moteurs, des troubles de l'écriture manuscrite et des aspects de présentation visuelle. Pour garantir la conformité aux originaux et l'accessibilité des contenus, une vérification manuelle systématique reste indispensable.

**2.3 Limites**

En l'absence de jeux de données librement exploitables, nous n'avons accès qu'à un nombre restreint de données utilisables. Une exception aux droits d'auteur permet l'adaptation des ouvrages pour les personnes en situation de handicap. Dans le cadre de cette exception, l'association Cartable Fantastique est agréée pour pouvoir adapter les manuels scolaires. Toutefois, les corpus annotés que nous avons constitués ne peuvent pas être partagés en raison de restrictions liées aux droits d'auteur.

Par ailleurs, nos méthodes visent à adapter des modèles existants à un contexte spécifique : des données scolaires francophones, en faible quantité, bruitées et déséquilibrées.

**2.4 Ouverture**

Afin d'accélérer l'adaptation des manuels scolaires, nous développons une plateforme numérique utilisable par les personnes en charge de l'adaptation. Elle intégrera l'ensemble des étapes automatiques du processus tout en permettant aux utilisateurs d'intervenir à chaque phase pour corriger, valider ou modifier les adaptations générées, et assurer un contrôle qualité. La plateforme est conçue en co-construction avec les utilisateurs finaux.

Enfin, si nos premiers travaux ciblent la dyspraxie, les adaptations proposées bénéficieront plus largement à tous les élèves qui ont des besoins de compensation de difficultés visuelles ou motrices. De plus, la structuration fine du contenu permet d'envisager des adaptations alternatives au HTML, notamment pour les braillistes ou compatibles avec les lecteurs d'écran.
# Remerciements

Le projet MALIN a reçu un soutien de l'Agence Nationale de la Recherche (convention ANR-21-CE38-0014). Ce travail a été financé par le LISN.

# Références

LASHEB M. A., PONS O., BEKKOUCHE M., LINCKER E., BARBET I. & HURON C. (2025). Extracting and structuring textbooks for inclusive education : A computer vision approach. In *Proceedings of the 25th IEEE International Conference on Advanced Learning Technologies (ICALT 2025)*. A paraître.

LINCKER E., GUINAUDEAU C., PONS O., DUPIRE J., HUDELOT C., MOUSSEAU V., BARBET I. & HURON C. (2023a). Noisy and unbalanced multimodal document classification : Textbook exercises as a use case. In *Proceedings of the 20th International Conference on Content-based Multimedia Indexing (CBMI 2023)*, Orléans, France.

LINCKER E., PONS O., GUINAUDEAU C., BARBET I., DUPIRE J., HUDELOT C., MOUSSEAU V. & HURON C. (2023b). Layout and activity-based textbook modeling for automatic pdf textbook extraction. In *Proceedings of the 5th International Workshop on Intelligent Textbooks, 24th International Conference on Artificial Intelligence in Education (AIED 2023)*, Tokyo, Japan.

PACINI L., DUPIRE J., BARBET I., PONS O., GUINAUDEAU C., MOUSSEAU V., HUDELOT C. & HURON C. (2023). Textbook's accessibility for children with dyspraxia and visual disability. In *17th International Conference of the Association for the Advancement of Assistive Technology in Europe (AAATE 2023)*.

YADAV S., LINCKER E., HURON C., MARTIN S., GUINAUDEAU C., SATOH S. & SHUKLA J. (2024). Towards inclusive education : Multimodal classification of textbook images for accessibility. In *Proceedings of the 31st Conference on Multimedia Modeling (MMM 2025)*.
# Profilage comportemental dans les jeux vidéo éducatifs via des réseaux convolutifs graphiques : le cas de GraphoGameFrançais

Emna Ammari¹

Patrice Bellot¹

Ambre Denis-Noël²

Johannes C.Ziegler²

(1) Aix Marseille Univ, CNRS, LIS, Marseille, France

(2) Aix Marseille Univ, CNRS, CRPN, Marseille, France

emna.ammari@lis-lab.fr, patrice.bellot@univ-amu.fr,

johannes.ziegler@univ-amu.fr, ambre.denis@univ-amu.fr

## RÉSUMÉ

Les données comportementales des jeux vidéo ainsi que les traces de joueurs suscitent un intérêt croissant, tant pour la recherche que pour l'industrie du jeu. Ces données peuvent notamment enrichir l'expérience de jeu et améliorer l'identification automatique des profils des joueurs. Dans cet article, nous nous intéressons principalement aux données du jeu sérieux GraphoGame, un outil innovant d'aide à l'apprentissage de la lecture, offrant un environnement interactif pour les apprenants. Nous cherchons notamment à évaluer l'impact de ce jeu sur la performance des élèves en lecture via le profilage comportemental des joueurs et un apprentissage à base de graphes. Ainsi, deux techniques d'intégration basées sur des réseaux convolutifs, GraphSAGE et ECCConv, sont mises à profit pour classifier les graphes d'interactions des joueurs. Les résultats montrent qu'ECCConv surpasse GraphSAGE, mais que leurs prédictions combinées peuvent améliorer la classification, confirmant l'impact éducatif de GraphoGame même chez les élèves les plus avancés.

## ABSTRACT

**Behavioral profiling in educational video games through graph convolutional networks : GraphoGameFrançais use case.**

Recently, behavioral data of computer games and players actions have turned to be a pivotal interest for both researchers and game industry. These data could substantially enhance the gaming experience and machine learning tasks to build more actionable groups of players. In this paper, we're more interested in a serious learning game data GraphoGame, an advanced tool providing learners with a dynamic educational environment. In light of this, the study focuses on revealing the true impact of GraphoGame on students' reading performance through behavior profiling and graph representation learning. Accordingly, two convolutional network-based embedding techniques, GraphSAGE and ECCConv, are leveraged to classify player interactions graphs. The results show that ECCConv can outperform GraphSAGE, yet their combined predictions enhance classification, underlining the educational impact of GraphoGame even among advanced students.

**MOTS-CLÉS** : Jeux vidéo sérieux – profilage des joueurs – réseaux convolutifs de graphes – intégrations de graphes.

**KEYWORDS:** Serious video games – players profiling – graph convolutional networks – graph embeddings.

**ARTICLE :** Accepté à IA-ÉDU@CORIA-TALN 2025.
# 1 Introduction

En quelques décennies, les jeux vidéo se sont imposés comme une source majeure de divertissement et de plaisir au niveau mondial. Devenu une tendance en plein essor, ce domaine attire des joueurs de tous âges et de tous horizons. Certains jeux se distinguent par un objectif « sérieux » et sont appréciés pour leur impact éducatif (Wong et al., 2007). Ces jeux proposent une approche interactive et diversifiée, à même de répondre à des objectifs de formation, de communication ou de sensibilisation plutôt que de simplement divertir. En France, l'industrie du jeu éducatif affiche une progression spectaculaire, entraînant plusieurs startups à cibler en priorité les établissements scolaires et les centres de formation. Selon (Lee & Peng, 2006), les jeux éducatifs s'adressent principalement aux enfants de moins de dix ans et visent à renforcer leurs compétences en lecture ainsi que leur expérience éducative enrichie par des activités ludiques. Ce type de jeux constitue un vecteur privilégié favorisant un apprentissage actif et contextualisé ainsi que l'engagement scolaire des élèves.

Dans le but d'assurer une expérience utilisateur enrichissante, les concepteurs de jeux manifestent un intérêt croissant pour l'analyse en temps réel des interactions des joueurs. Ces observations obtenues durant le gameplay améliorent la qualité des jeux et permettent une meilleure compréhension de l'implication des joueurs, tout en maintenant leur intérêt. Par conséquent, les indicateurs de gameplay, définis comme les traces numériques laissées par les joueurs (Drachen et al., 2013), constituent des éléments majeurs dans les processus de modélisation comportementale des joueurs.

Ce travail s'inscrit autour du jeu sérieux GraphoGameFrançais relevant d'une dynamique interdisciplinaire, combinant l'informatique, les sciences de l'éducation et la psychologie cognitive. Il est basé sur une version française du jeu finlandais GraphoGame, un outil numérique d'aide à l'apprentissage de la lecture. La version française de GraphoGame (GGF)<fnref n="1" /> propose un programme d'entraînement audiovisuel visant à renforcer les compétences fondamentales en lecture chez les enfants d'âge préscolaire et primaire, y compris ceux présentant des troubles spécifiques des apprentissages.

# 2 Analyse d'impact des jeux sérieux et identification de profils

Bien que de nombreuses recherches antérieures aient mis en lumière l'efficacité des jeux vidéo sérieux à visée éducative (Wong et al., 2007; Smith, 2008; Laamarti et al., 2014), la plupart se limitent à des revues de la littérature ou des analyses conceptuelles. En revanche, les recherches empiriques fondées sur des données issues du gameplay réel demeurent rares.

Deux études ciblées (Lassault et al., 2022; Ruiz et al., 2017) ont été menées afin d'évaluer l'efficacité de GGF en comparaison avec un autre outil d'entraînement des compétences mathématiques, FieteMath<fnref n="2" />. Bien que ces travaux aient confirmé l'apport distinct de GGF auprès d'enfants à risque de dyslexie scolarisés, leurs analyses reposaient exclusivement sur des données et des évaluations des activités de lecture en dehors du jeu ou sur quelques indicateurs tels que le pourcentage de bonnes réponses ou le nombre de niveaux complétés. Ainsi, les données séquentielles des traces d'interaction enregistrées durant le gameplay ont été exclues de ces analyses.

En outre, les jeux vidéo commerciaux non éducatifs ont fait l'objet de nombreuses analyses, reposant sur divers attributs et méthodes. Des caractéristiques dérivées à l'aide d'outils tels que des caméras

<footnote n="1">1. https://graphogame.com/le-jeu/</footnote>

<footnote n="2">2. https://www.ahoiii.com</footnote>
(Kim et al., 2015) ou des capteurs enregistrant les réactions des joueurs (Smerdov et al., 2023) ont été exploitées pour identifier des clusters de comportements distincts, comme le souligne également la revue de Hooshyar et al. (2018). D'autres études, en revanche, se sont appuyées sur les fichiers logs de gameplay comme source principale de données d'interactions (Sifa et al., 2014; Saas et al., 2016; Menéndez et al., 2014), en recourant à des méthodes non supervisées pour l'analyse des parcours des joueurs. Par ailleurs, plusieurs approches fondées sur des réseaux de neurones, telles que les architectures à mémoire longue à court terme LSTM (Shahzad Farooq et al., 2021), les modèles d'apprentissage par renforcement profond (Gharbi et al., 2024), et, plus récemment, le modèle Actionable Forecasting Network (Jagirdar et al., 2024), ont été mobilisées pour l'identification des profils d'utilisateurs. Les représentations vectorielles des interactions des joueurs se sont également révélées pertinentes pour la modélisation des comportements complexes, notamment à travers l'usage de techniques d'intégration de nœuds (node embedding) telles que Node2Vec et Large-scale Information Network Embedding (Shah & Thue, 2023), ou encore des encodeurs basés sur des réseaux de neurones (Sapienza et al., 2019) et des modèles de langue (Wang et al., 2024). Enfin, les réseaux de neurones graphiques (Graph Neural Networks, GNNs) se sont révélés particulièrement efficaces dans l'analyse du gameplay. Cependant, l'attention s'est majoritairement portée sur des représentations vectorielles au niveau des nœuds, en association avec d'autres méthodes d'apprentissage automatique ou techniques de partitionnement telles que les k-moyennes (Melo et al., 2020).

En complément de ces études, notre travail s'inscrit dans une direction peu explorée, en mettant l'accent sur les plongements (embeddings) au niveau des graphes pour la modélisation des joueurs. L'ensemble du graphe d'interaction est codé dans un espace latent, permettant un profilage direct, sans avoir recours à des classificateurs supplémentaires. Sur le plan applicatif, cet article a pour objectif de mettre en évidence et de valider l'impact éducatif du GGF sur l'amélioration des compétences en lecture, en exploitant les traces comportementales générées en jeu pour une caractérisation fine de profils d'apprenants à l'aide de techniques d'apprentissage automatique sur graphes.

# 3 GraphoGame : expérimentation et données

GraphoGame constitue un cadre méthodologique innovant favorisant une intégration effective des technologies numériques au sein des environnements d'apprentissage scolaires. Une expérimentation a été conduite auprès de plusieurs groupes d'élèves de niveau CP<fnref n="3" />, durant des cours de français durant l'année scolaire 2017-2018. Les sessions d'entraînement sur tablette étaient organisées à raison de quatre par semaine, chacune durant entre 15 et 20 minutes, selon le rythme et le taux d'erreurs de chaque élève. Au total, 451 élèves âgés de 5 à 8 ans ont pris part à l'expérimentation. Ces élèves ont ainsi été engagés, via l'application, dans une variété d'activités ludiques de lecture, conçues pour renforcer leurs compétences en décodage de lettres et de mots ainsi que le développement de la fluidité en lecture. Ces activités s'inscrivent dans une progression pédagogique structurée en 67 unités (séquences), chacune centrée sur un contenu spécifique (Lassault et al., 2022).

À titre d'exemple, la première unité introduit les voyelles orales simples (ex. : 'a', 'i', 'e', 'o'), les consonnes continues (ex. : 'f', 'j', 'l', 'r') et des mots monosyllabiques (ex. : 'ou', 'la', 'sol', 'four'). La quatrième, quant à elle, porte sur les voyelles nasales (ex. : 'an', 'on', 'in', 'un') tandis que la troisième propose des exercices de discrimination visuelle (ex. : 'u' vs 'n'), phonémique (ex. : 't' vs 'd') et combinée (ex. : 'p' vs 'b').

<footnote n="3">3. CP : Cours préparatoire, première année de l'école élémentaire</footnote>
Chaque unité pédagogique se compose d'environ 10 niveaux, proposant un exercice ludique distinct. La durée moyenne d'un niveau est de 2 à 3 minutes et comprend généralement entre 10 et 15 essais. Selon l'exercice, l'enfant, muni d'un casque, doit associer un stimulus auditif à l'élément visuel correspondant affiché à l'écran. Si le taux d'erreur dépasse 25 %, le niveau est automatiquement réinitialisé. Après cinq tentatives, l'élève peut néanmoins accéder au niveau suivant. L'application permet également à l'élève de revenir sur les niveaux non réussis ou d'ignorer ceux déjà maîtrisés.

Les interactions des élèves avec GraphoGameFrançais génèrent une séquence horodatée d'événements. Ces données, issues de 1 548 100 actions consignées, constituent la principale source des métriques de gameplay analysées dans le cadre de cet article, à partir desquelles quatre indicateurs clés sont sélectionnés (table 1).

<table><caption>TABLE 1 – Indicateurs comportementaux du gameplay.</caption><thead><tr><td>Indicateur</td><td>Description</td></tr></thead><tbody><tr><td>accuracy</td><td>Indique si la réponse du joueur est correcte (1) ou non (0)</td></tr><tr><td>RTclean</td><td>Temps de réaction du joueur pour donner des réponses correctes</td></tr><tr><td>nRepLevel</td><td>Nombre de répétitions d'un niveau donné par un joueur</td></tr><tr><td>abortedLevel</td><td>Indique si le joueur a quitté le niveau avant de le terminer (1) ou non (0)</td></tr></tbody></table>

À la suite du prétraitement des données, 440 joueurs ont été retenus pour la modélisation, soit 440 séquences de données détaillant l'intégralité de leurs actions dans le jeu. Les participants ont complété 49 unités pédagogiques, les premières étant les plus fréquemment jouées, comme l'illustre la figure 1. Au total, 579 niveaux ont été explorés. Toutefois, certaines des unités n'ont pas été entièrement parcourues par l'ensemble des élèves. L'unité pédagogique 4.1 représente, pour la majorité d'entre eux, la phase la plus avancée atteinte.

<figure><img src="image_36.png" /><figcaption>FIGURE 1 – Nombre d'élèves ayant joué à chaque unité pédagogique parmi les 440 joueurs retenus.</figcaption></figure>

Une série d'évaluations a été conduite, avant et après l'entraînement des élèves avec GGF, pour mesurer l'évolution des performances en lecture au fil du temps. Les pré-tests ont été effectués en
novembre 2017, suivis d'une session post-test en juin 2018, durant laquelle les mêmes exercices ont été reproduits afin d'évaluer les progrès réalisés. Les tests d'évaluation se sont principalement axés sur diverses compétences en lecture, telles que détaillées dans (Lassault et al., 2022).

Les évaluations pré- et post-intervention reposent principalement sur trois mesures : le nombre de mots correctement lus dans un texte dénué de sens lors du test de l'Alouette, les performances en décodage de pseudo-mots et de mots familiers issues du test "Lecture une Minute" LUM, ainsi que la capacité d'identification orthographique de mots, évaluée par le test TIME2.

Trois groupes d'élèves ont été identifiés sur la base de leurs performances initiales (lors des pré-tests) et le gain obtenu (post-pre) à la fin de l'année scolaire : 'les bons répondants' (cluster $C_1$), ayant enregistré des progrès supérieurs à la moyenne, 'les mauvais répondants' (cluster $C_2$), dont les performances sont demeurées significativement inférieures avec une progression limitée, et 'les bons élèves' (cluster $C_0$), qui présentaient déjà un niveau initial élevé et ont maintenu une progression continue, similaire à celle 'des bons répondants'.

L'enjeu applicatif principal de cet article 4 consiste alors à retrouver les trois groupes préalablement définis, en s'appuyant sur les indicateurs comportementaux du jeu plutôt que sur les résultats aux tests de lecture. L'identification rapide des élèves qui répondent ou pas à une intervention, telle que GGF, est capitale sur le plan pédagogique ou thérapeutique (Ziegler et al., 2020).

# 4 Méthodologie à base de réseaux neuronaux graphiques

Étant donné que les joueurs ont tendance à suivre des parcours d'apprentissage non linéaires, divers scénarios d'interaction peuvent être détectés et analysés. Ces données non structurées génèrent, pour chaque joueur, une séquence d'horodatages (*timestamp*) de taille variée. Les réseaux de neurones graphiques (GNNs) sont de bons candidats pour le traitement de telles structures de données du fait de leurs représentations sous forme de graphes. Les approches de modélisation associées ne reposent pas uniquement sur la topologie, mais intègrent également les attributs des nœuds.

## 4.1 Approche GraphSAGE

GraphSAGE (Graph Sample and Aggregation) constitue un modèle performant pour l'apprentissage sur les graphes, basé sur une agrégation récursive des informations issues des nœuds voisins (Hamilton et al., 2017). Cette approche permet de générer des représentations vectorielles (*embeddings*) pour des nœuds jamais observés durant l'apprentissage, et par conséquent pour des graphes de traces de joueurs entièrement nouveaux.

L'application d'une approche graphique pour la classification supervisée nécessite le recours à une bibliothèque d'implémentation adaptée. Spektral<fnref n="5" /> en fournit une version robuste, compatible avec les modèles convolutionnels inductifs. Son emploi implique, toutefois, un prétraitement des données, des matrices de caractéristiques des nœuds et des structures d'adjacence. Pour cela, les niveaux joués sont modélisés comme des nœuds du graphe, tandis que les arêtes traduisent les transitions entre ces niveaux. La figure 2 illustre un exemple de parcours d'un joueur, représenté par un sous-ensemble de

<footnote n="4">4. cette étude s'inscrit dans une démarche de science ouverte.</footnote>

<footnote n="5">5. https://graphneural.network</footnote>
niveaux joués, dont certains sont revisités à plusieurs reprises. Ces répétitions sont symbolisées par des boucles de nœuds, accentuées par des liens en gras, soulignant ainsi les aspects non linéaires du parcours.

À partir de cette modélisation, nous avons implémenté un modèle GraphSAGE dont l'architecture repose sur trois couches GraphSageConv suivies d'un GlobalAvgPool, permettant l'apprentissage de représentations vectorielles des graphes à partir des voisinages locaux des nœuds. Les deux premières couches convolutionnelles utilisent des embeddings intermédiaires de dimension 64, tandis que la dernière projette les représentations vers un espace aligné avec le nombre de classes cibles. Une couche dense softmax assure ensuite la prédiction des profils comportementaux à partir de ces représentations.

<figure><img src="image_37.png" /><figcaption>FIGURE 2 – Exemple des interactions d'un joueur pour certains niveaux joués.</figcaption></figure>

En entrée, l'architecture mobilise une matrice d'adjacence creuse, encodant uniquement les connexions effectives entre les entités, une matrice d'attributs de nœuds dérivée de métriques clés du *gameplay*, décrivant les interactions par niveau, ainsi que des labels de classes définis. Malheureusement, la couche GraphSageConv n'intègre pas les poids des arêtes et repose sur une matrice d'adjacence binaire, indiquant si un lien existe ou non entre les nœuds. Cette limitation réduit la capacité du modèle à refléter des informations structurelles fines, notamment lorsque certains niveaux font l'objet de multiples retours.

## 4.2 Approche ECCCConv

En réponse à cette contrainte, une seconde architecture a été développée reposant sur la couche ECC-Conv (*Edge-Conditioned Convolution*) (Simonovsky & Komodakis, 2017) de Spektral, permettant d'intégrer la fréquence des transitions entre niveaux en tant que caractéristiques portées par les arêtes. Ces attributs sont ensuite exploités par cette couche pour adapter dynamiquement le filtrage appliqué aux nœuds voisins, offrant ainsi une modélisation plus fine et contextuelle des relations au sein du graphe.
L'architecture adoptée reprend la structure de GraphSAGE, avec trois couches ECCConv successives, suivies d'une opération de *pooling* global moyen. Le modèle ECCConv adopte une structure hiérarchique avec des dimensions croissantes d'embeddings successives (32, 64, puis 128), reflétant l'approche classique d'augmentation progressive de la capacité représentative. En sortie, deux couches denses sont utilisées : la première (ReLU) pour l'apprentissage de représentations profondes et la seconde (Softmax) pour la classification multi-classe. L'entrée du modèle est similaire à l'approche précédente, enrichie des attributs d'arêtes.

# 5 Résultats

Pour la tâche de classification, consistant à reconnaître à quelle classe appartient un élève parmi $C_0$, $C_1$ et $C_2$ (voir section 3), la précision obtenue est de 66% pour GraphSAGE et de 68% pour ECCConv. En complément, le F1-score met en évidence la meilleure capacité du second à distinguer les classes minoritaires, tout en maintenant de bonnes performances globales. Cette tendance en faveur d'ECCConv est également observée lors de plusieurs exécutions indépendantes (moyennes de 67,2% vs 64,9%), avec une *p-value* de 0,089 (test *t* de Welch) suggérant qu'elle mérite d'être confirmée par des analyses complémentaires.

Une stratégie de fusion pondérée (50-50) des prédictions des deux modèles a ensuite été appliquée. Cette combinaison a permis d'accroître la robustesse de la classification, atteignant une précision de 71% et améliorant la détection des profils de joueurs, ce qui renforce l'hypothèse de l'impact éducatif positif de GGF.

Une analyse par classe (cf. table 2) montre que l'approche combinée capte plus finement les spécificités de chaque profil, notamment pour les élèves en difficulté (classe $C_2$) suggérant un besoin d'accompagnement ciblé et ouvrant la voie à des parcours d'apprentissage plus adaptés. L'identification de la classe $C_1$ (F1-score = 0,68) confirme que ces élèves ont bénéficié de l'entraînement avec GGF, bien que leur distinction avec la classe $C_0$ demeure plus subtile, en raison de comportements d'apprentissage similaires.

<table><caption>TABLE 2 – Résultats des deux approches GraphSAGE et ECCConv.</caption><thead><tr><th></th><th>GraphSAGE</th><th>ECCConv</th><th>Approche combinée</th></tr></thead><tbody><tr><td rowspan="3">Accuracy</td><td rowspan="3">66,25</td><td rowspan="3">68,75</td><td>0,65 C<sub>0</sub></td></tr><tr><td>0,71 C<sub>1</sub></td></tr><tr><td>0,77 C<sub>2</sub></td></tr><tr><td rowspan="3">F1-score</td><td rowspan="3">64,58</td><td rowspan="3">68,74</td><td>0,70 C<sub>0</sub></td></tr><tr><td>0,68 C<sub>1</sub></td></tr><tr><td>0,77 C<sub>2</sub></td></tr></tbody></table>

Les élèves de la classe $C_0$, ayant entamé l'expérimentation avec un bon niveau initial, obtiennent un F1-score de 0,70 indiquant une reconnaissance fiable. Ce résultat souligne que ces profils, bien qu'en minorité, sont correctement identifiés, renforçant l'utilité pédagogique du jeu pour tous les types d'élèves.
GGF permet également une analyse fine de la progression des élèves tout au long de l'expérimentation, comme l'illustre la figure 3. Celle-ci met en évidence l'évolution des traces comportementales des joueurs, segmentés en clusters, au fil du temps et selon divers indicateurs de gameplay.

<figure><img src="image_38.png" /><figcaption>FIGURE 3 – Analyse des parcours de jeu associés aux trois clusters.</figcaption></figure>

Les courbes révèlent une forte similarité de progression entre les clusters $C_0$ et $C_1$, en contraste avec les élèves en difficulté, marqués par un faible taux de bonnes réponses et des répétitions fréquentes de niveaux sans progrès notable. À l'inverse, certains niveaux, impliquant des temps de réponse plus élevés ou des abandons en cours de tâche chez les bons élèves, restent inaccessibles aux élèves en difficulté et partiellement explorés par les bons répondants. Cela suggère que ces niveaux, probablement plus exigeants sur le plan pédagogique, constituent des points de blocage pour les élèves, et justifieraient une attention particulière en classe ou une intégration plus progressive au sein du dispositif d'apprentissage.

# 6 Conclusion et perspectives

Cette étude visait à évaluer l'impact éducatif de GraphoGameFrançais (GGF) à travers une analyse comportementale fondée sur des représentations graphiques des parcours d'apprenants. En mobilisant deux modèles de réseaux de neurones graphiques, GraphSAGE et ECCConv, nous avons pu classifier les profils d'élèves à partir des dynamiques d'apprentissage extraites, mettant ainsi en évidence les bénéfices spécifiques de l'application dans le développement des compétences en lecture.

Au-delà de sa fonction d'entraînement à la lecture, GGF se révèle également être un dispositif de suivi pédagogique efficace, permettant d'identifier les élèves nécessitant un accompagnement éducatif particulier, ainsi que ceux qui tirent pleinement parti de l'entraînement. Ce potentiel de diagnostic
ouvre la voie vers une stratégie d'apprentissage différencié, durant laquelle des interventions et des parcours adaptés pourraient être construits selon les besoins spécifiques des élèves.

Bien que notre étude ait mis en évidence l'effet éducatif de GGF, son usage en parallèle des enseignements scolaires suggère qu'il pourrait constituer un outil complémentaire aux apprentissages en classe, plutôt qu'un vecteur d'acquisition autonome. Pour mieux isoler son impact propre, il serait pertinent de mener des expérimentations dans un cadre non scolaire, auprès de groupes d'élèves aux profils homogènes (notamment en termes d'environnement familial, ou de capacités cognitives) afin de valider de manière plus contrôlée l'efficacité du dispositif.

Une dimension supplémentaire concerne la modélisation des dynamiques d'apprentissage. Elle pourrait être affinée en remplaçant les nœuds actuels (niveaux joués) par des sous-niveaux, tels que les réponses cibles "targets" (réponses correctes), afin de mieux exploiter les données. Toutefois, ces éléments se répètent dans différents niveaux, ce qui pourrait diluer l'aspect chronologique. Une alternative consisterait à les concatener avec d'autres variables contextuelles, comme les options affichées à l'écran, créant ainsi des nœuds de graphes plus détaillés. Cela offrirait une représentation plus fine des parcours et permettrait de mieux capter la progression et les comportements des joueurs.

Un autre enjeu majeur porte sur la présence de variables binaires pour certains attributs. En adoptant un recodage approprié et en réservant une valeur spécifique au padding, il deviendrait possible d'exploiter des architectures séquentielles telles que les LSTM, offrant ainsi une modélisation plus affinée de la dimension temporelle.

# 7 Financement

Cette étude a été financée par le programme eFRAN (France 2030) soutenu par l'Agence Nationale de la Recherche (ANR-22-FRAN-0004), l'Institut de Convergences sur le Langage, la Communication et le Cerveau (ILCB, ANR-16-CONV-0002) et le Pôle pilote pour la recherche en éducation et la formation des enseignants (AMPIRIC).

# Références

DIAS G., Éd. (2015). *Actes de TALN 2015 (Traitement automatique des langues naturelles)*, Caen. ATALA, HULTECH.

DRACHEN A., CANOSSA A. & SØRENSEN J. R. M. (2013). Gameplay metrics in game user research : Examples from the trenches. In *Game analytics : Maximizing the value of player data*, p. 285–319. Springer.

GHARBI H., ELAACHAK L. & FENNAN A. (2024). Replicating video game players’behavior through deep reinforcement learning algorithms. *Journal of Theoretical and Applied Information Technology, 102*(15).

HAMILTON W., YING Z. & LESKOVEC J. (2017). Inductive representation learning on large graphs. *Advances in neural information processing systems*, **30**.

HOOSHYAR D., YOUSEFI M. & LIM H. (2018). Data-driven approaches to game player modeling : a systematic literature review. *ACM Computing Surveys (CSUR)*, **50**(6), 1–19.
JAGIRDAR H., TALWADKER R., PAREEK A., AGRAWAL P. & MUKHERJEE T. (2024). Explainable and interpretable forecasts on non-smooth multivariate time series for responsible gameplay. In *Proceedings of the 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining*, p. 5126–5137.

KIM Y. B., KANG S. J., LEE S. H., JUNG J. Y., KAM H. R., LEE J., KIM Y. S., LEE J. & KIM C. H. (2015). Efficiently detecting outlying behavior in video-game players. *PeerJ*, **3**, e1502.

LAAMARTI F., EID M. & EL SADDIK A. (2014). An overview of serious games. *International Journal of Computer Games Technology*, **2014**(1), 358152.

LASSAULT J., SPRENGER-CHAROLLES L., ALBRAND J.-P., ALAVOINE E., RICHARDSON U., LYYTINEN H. & ZIEGLER J. C. (2022). Testing the effects of graphgame against a computer-assisted math intervention in primary school. *Scientific Studies of Reading*, **26**(6), 449–468.

LEE K. M. & PENG W. (2006). What do we know about social and psychological effects of computer games? a comprehensive review of the current literature. *Playing video games : motives, responses, and consequences*.

MELO S. A., KOHWALTER T. C., CLUA E., PAES A. & MURTA L. (2020). Player behavior profiling through provenance graphs and representation learning. In *Proceedings of the 15th International Conference on the Foundations of Digital Games*, p. 1–11.

MENÉNDEZ H. D., VINDEL R. & CAMACHO D. (2014). Combining time series and clustering to extract gamer profile evolution. In *Computational Collective Intelligence. Technologies and Applications : 6th International Conference, ICCCI 2014, Seoul, Korea, September 24-26, 2014. Proceedings 6*, p. 262–271 : Springer.

RUIZ J.-P., LASSAULT J., SPRENGER-CHAROLLES L., RICHARDSON U., LYYTINEN H. & ZIEGLER J. C. (2017). Graphgame : un outil numérique pour enfants en difficultés d’apprentissage de la lecture. *ANAE Approche neuropsychologique des apprentissages chez l’enfant*.

SAAS A., GUITART A. & PERIÁNEZ A. (2016). Discovering playing patterns : Time series clustering of free-to-play game data. In *2016 IEEE Conference on Computational Intelligence and Games (CIG)*, p. 1–8 : IEEE.

SAPIENZA A., GOYAL P. & FERRARA E. (2019). Deep neural networks for optimal team composition. *Frontiers in big Data*, **2**, 14.

SHAH J. & THUE D. (2023). Representing player behaviour via graph embedding techniques : A case study in dota 2. In *2023 IEEE Conference on Games (CoG)*, p. 1–8 : IEEE.

SHAHZAD FAROOQ S., FIAZ M., MEHMOOD I., KASHIF BASHIR A., NAWAZ R., KIM K. & KI JUNG S. (2021). Multi-modal data analysis based game player experience modeling using lstm-dnn. *Computers, Materials and Continua*, **68**(3), 4087–4108.

SIFA R., BAUCKHAGE C. & DRACHEN A. (2014). The playtime principle : Large-scale cross-games interest modeling. In *2014 IEEE conference on computational intelligence and games*, p. 1–8 : IEEE.

SIMONOVSKY M. & KOMODAKIS N. (2017). Dynamic edge-conditioned filters in convolutional neural networks on graphs. In *Proceedings of the IEEE conference on computer vision and pattern recognition*, p. 3693–3702.

SMERDOV A., SOMOV A., BURNAEV E. & STEPANOV A. (2023). Ai-enabled prediction of video game player performance using the data from heterogeneous sensors. *Multimedia Tools and Applications*, **82**(7), 11021–11046.

SMITH P. (2008). Serious games 101. *Rta. Nato. Int*, p. 1–12.
WANG T., HONARI-JAHROMI M., KATSAROU S., MIKHEEVA O., PANAGIOTAKOPOULOS T., ASADI S. & SMIRNOV O. (2024). player2vec: A language modeling approach to understand player behavior in games. *arXiv preprint arXiv:2404.04234*.

WONG W. L., SHEN C., NOCERA L., CARRIAZO E., TANG F., BUGGA S., NARAYANAN H., WANG H. & RITTERFELD U. (2007). Serious video game effectiveness. In *Proceedings of the international conference on Advances in computer entertainment technology*, p. 49–55.

ZIEGLER J. C., PERRY C. & ZORZI M. (2020). Learning to read and dyslexia: From theory to intervention through personalized computational models. *Current Directions in Psychological Science*, **29**(3), 293–300.
# Recommandation de tests multi-objectifs pour l'apprentissage adaptatif

Nassim Bouarour¹ Idir Benouaret² Sihem Amer-Yahia¹

(1) LIG, 700 Av. Centrale, 38401 Saint-Martin-d'Hères, France

(2) LRE, 14-16 Rue Voltaire, 94270 Le Kremlin-Bicêtre, France

nassim.bouarour@univ-grenoble-alpes.fr, idir.benouaret@epita.fr,

sihem.amer-yahia@univ-grenoble-alpes.fr

## RÉSUMÉ

L'amélioration des compétences (upskilling) est un segment en forte croissance en éducation. Pourtant, peu de travaux algorithmiques se concentrent sur l'élaboration de stratégies dédiées pour atteindre une maîtrise avancée des compétences. Dans cet article, nous formalisons AdUp, un problème d'amélioration itérative des compétences combinant l'apprentissage par maîtrise et la théorie de la Zone de Développement Proximal. Nous étendons nos travaux précédents et concevons deux solutions pour AdUp : MOO et MAB. MOO est une approche d'optimisation multi-objectifs qui utilise une méthode de Hill Climbing pour adapter la difficulté des tests recommandés selon 3 objectifs : la performance prédite de l'apprenant, son aptitude, et son gap. MAB est une approche basée sur les bandits manchots (Multi-Armed Bandits) permettant d'apprendre la meilleure combinaison d'objectifs à optimiser à chaque itération. Nous montrons comment ces solutions peuvent être couplées avec deux modèles courants de simulation d'apprenants : BKT et IRT. Nos expérimentations démontrent la nécessité de prendre en compte les 3 objectifs et d'adapter dynamiquement les objectifs d'optimisation aux capacités de progression de l'apprenant, car MAB permet un taux de maîtrise plus élevé.

## ABSTRACT

### Multi-objective Test Recommendation for Adaptive Learning

Upskilling is a fast-growing segment of the education economy. Yet, there is little algorithmic work that focuses on crafting dedicated strategies to reach high-skill mastery. In this paper, we formalize ADUP, an iterative upskilling problem that combines mastery learning and Zone of Proximal Development. We design two solutions for ADUP : MOO and MAB. MOO is a multi-objective optimization approach that relies on Hill Climbing to adapt the difficulty of recommended tests to three objectives : learner's predicted performance, aptitude, and skill gap. MAB is a meta approach based on Multi-Armed Bandits to learn the best combination of objectives to optimize at each iteration. We show how these solutions are combined with two common learner simulation models : BKT (KT-IDEM) and Item Response Theory (IRT). Our simulation experiments demonstrate the necessity of leveraging all three objectives and the need to adapt the optimization objectives to the learner's progression ability as MAB offers a higher mastery rate and a better final skill gain than MOO.

**MOTS-CLÉS** : Apprentissage adaptatif, recommandation, optimisation.

**KEYWORDS** : Adaptive learning, recommendation, optimization.

**ARTICLE** : Accepté à IA-ÉDU@CORIA-TALN 2025.
# 1 Contexte

La croissance rapide des nouvelles opportunités d'apprentissage comme les MOOCs, les tutoriels ou les forums communautaires oriente de plus en plus l'attention vers l'amélioration des compétences en ligne. L'upskilling (montée en compétences) en dehors des parcours de formation formels constitue aujourd'hui un segment en forte expansion de l'économie de l'éducation. Par ailleurs, les apprenants sont de plus en plus engagés dans un apprentissage auto-dirigé, gérant eux-mêmes de nombreux aspects de leur formation, ce qui implique souvent de travailler de manière autonome sur diverses activités d'apprentissage. Par conséquent, il devient de plus en plus difficile de garantir la qualité des acquis dans ces formats d'apprentissage, car ils peuvent entraîner une compréhension superficielle d'un sujet.

Idéalement, chaque apprenant devrait recevoir des tests choisis de façon à faire progresser réellement ses compétences, en tenant compte de sa capacité à résoudre des exercices en fonction de son niveau et de ses performances passées. C'est précisément l'objectif de l'apprentissage par maîtrise, une stratégie pédagogique qui met l'accent sur le temps nécessaire à chaque apprenant pour acquérir les mêmes compétences et atteindre le même niveau de maîtrise.

# 2 Contributions

Ce travail publié à *Trans. Large Scale Data Knowl. Centered Syst'24* (Bouarour et al., 2024) prolonge un travail antérieur (Bouarour et al., 2023) en formalisant AdUp (*Adaptive Upskilling*) comme un problème d'optimisation où l'on cherche, à chaque itération, à recommander un ensemble de k-tests à un apprenant. Ces tests doivent maximiser la performance attendue et l'aptitude, tout en minimisant l'écart de compétence accumulé. La combinaison simultanée de ces trois objectifs constitue la nouveauté principale de cette formalisation. Le défi majeur réside dans la nature multi-objectifs du problème. Deux solutions sont explorées :

- MOO (*Multi-Objective Optimization*) : Cette approche repose sur une solution de Pareto basée sur la dominance entre ensembles de tests, et utilise une heuristique de type *Hill Climbing* (Omidvar-Tehrani et al., 2016) pour trouver des solutions non dominées. Diverses variantes peuvent être construites selon les combinaisons d'objectifs. Toutefois, MOO applique les mêmes objectifs tout au long du processus, ce qui limite son adaptabilité.

- MAB (*Multi-Armed Bandits*) : Pour pallier cette rigidité, MAB est introduite comme une approche adaptative qui apprend dynamiquement quels objectifs optimiser à chaque itération. Par exemple, si un apprenant échoue plusieurs fois aux mêmes tests, il serait plus pertinent de privilégier la réduction de l'écart avant de proposer des tests plus difficiles. MAB est ainsi formalisée comme un problème de type bandit manchot, capable d'adapter sa stratégie au comportement de l'apprenant.

# 3 Expérimentations

Nos expériences visent à évaluer l'efficacité des dimensions d'optimisation sur la montée en compétence (upskilling). Pour cela, nous avons divisé notre étude expérimentale en deux parties. Dans la
première partie, nous analysons l'impact de nos solutions sur l'atteinte de la maîtrise en simulant les réponses des apprenants ainsi que l'ensemble du processus d'apprentissage. Nous formulons quatre questions de recherche :

* **RQ1.** La combinaison de toutes les dimensions d'optimisation est-elle bien adaptée pour atteindre la maîtrise et améliorer la progression des compétences ?

* **RQ2.** Les paramètres choisis pour la stratégie de mise à jour des compétences influencent-ils les résultats ?

* **RQ3.** Le choix du modèle de simulation de l'apprenant : Bayesian Knowledge Tracing (BKT) (Corbett & Anderson, 1994) et Item Response Theory (IRT) (Reckase & Reckase, 2009), a-t-il un impact sur la maîtrise et la progression ?

* **RQ4.** L'application d'une méta-stratégie (comme MAB), qui choisit dynamiquement un sous-ensemble de dimensions à optimiser à chaque itération, améliore-t-elle l'atteinte de la maîtrise ?

Les résultats expérimentaux montrent que l'approche MOO permet d'atteindre le plus haut taux de maîtrise en un nombre réduit d'itérations, confirmant ainsi la théorie de la Zone de Développement Proximal (ZPD) et du Flow, ainsi que l'importance d'exploiter l'aptitude pour proposer des défis adaptés aux apprenants. Notre étude révèle que MOO est robuste face aux variations du paramètre N dans la stratégie de mise à jour des compétences (N réponses correctes consécutives). Les conclusions obtenues avec le modèle de simulation BKT sont également généralisables avec IRT, bien que ce dernier favorise la réduction de l'écart, tandis que BKT privilégie la performance attendue.

# 4 Conclusion

Nous avons abordé la montée en compétence adaptative en suivant une approche d'apprentissage par maîtrise. L'originalité de notre méthode réside dans l'adaptation de la difficulté des tests selon les performances prédites de l'apprenant, son aptitude et ses lacunes. Deux approches ont été proposées : MOO, qui résout directement le problème, et MAB, qui choisit dynamiquement entre différentes variantes d'optimisation à chaque itération. Nos expériences ont montré que MAB permet un meilleur taux de maîtrise et une progression plus importante des compétences finales par rapport à MOO. Cependant, MOO attribue des tests de meilleure qualité et avec plus de précision. Nous avons également testé l'effet de différents modèles de simulation d'apprenants sur la réussite à la maîtrise.

Dans le futur, nous envisageons d'enrichir notre cadre théorique en intégrant d'autres théories de l'apprentissage, telle que l'apprentissage collaboratif, qui a prouvé son efficacité en ligne, notamment via le feedback entre pairs et les discussions entre apprenants. Enfin, nous visons une personnalisation plus fine de l'expérience d'apprentissage en modélisant des profils d'apprenants à partir de leurs performances passées. Ces profils pourraient être utilisés pour attribuer des tests soit par regroupement selon leur niveau général, soit par filtrage collaboratif basé sur les réussites d'apprenants similaires.

# Références

BOUAROUR N., BENOUARET I. & AMER-YAHIA S. (2024). *Multi-objective Test Recommendation for Adaptive Learning*, In A. HAMEURLAIN, A. M. TJOA, R. AKBARINIA & A. BONIFATI, Éds.,
*Transactions on Large-Scale Data- and Knowledge-Centered Systems LVI: Special Issue on Data Management - Principles, Technologies, and Applications*, p. 1–36. Springer Berlin Heidelberg : Berlin, Heidelberg. DOI: 10.1007/978-3-662-69603-3_1.

BOUAROUR N., BENOUARET I., D’HAM C. & AMER-YAHIA S. (2023). Adaptive Test Recommendation for Mastery Learning. In *Proceedings of the 2nd International Workshop on Data Systems Education: Bridging Education Practice with Education Research*, DataEd ’23, p. 18–23, New York, NY, USA : Association for Computing Machinery. DOI: 10.1145/3596673.3596977.

CORBETT A. T. & ANDERSON J. R. (1994). Knowledge tracing : Modeling the acquisition of procedural knowledge. *User modeling and user-adapted interaction*, **4**, 253–278.

OMIDVAR-TEHRANI B., AMER-YAHIA S., DUTOT P.-F. & TRYSTRAM D. (2016). Multi-objective group discovery on the social web. In *Joint European Conference on Machine Learning and Knowledge Discovery in Databases*, p. 296–312 : Springer.

RECKASE M. D. & RECKASE M. D. (2009). Unidimensional item response theory models. *Multidimensional item response theory*, p. 11–55.
# Repenser les pratiques d'enseignement et d'apprentissage par la robotique éducative : le cas du robot socio-émotionnel Buddy

Ismail Badache¹ Elisabeth Colombo²

(1) Aix-Marseille University, Université de Toulon, CNRS, LIS, Marseille, France

(2) L'odyssée d'Elise, 37, rue Chardon Lagache 75016, Paris, France
ismail.badache@univ-amu.fr, contact@elisabeth-colombo.fr

## RÉSUMÉ

Cet article explore l'utilisation de **Buddy** dans un contexte éducatif et d'apprentissage, avec un focus particulier sur deux usages. Premièrement, à l'Institut National Supérieur du Professorat et de l'Éducation d'Aix-Marseille avec des étudiants futurs profs des écoles, collèges et lycées ainsi que des étudiants en ingénierie pédagogique numérique. Deuxièmement, dans un contexte spécifique comme médiateur artistique et émotionnel dans l'apprentissage de l'art. Cet article s'intéresse à la façon dont ce robot peut enrichir les pratiques pédagogiques en stimulant la créativité, l'interaction et l'accompagnement pédagogique et émotionnel des apprenants. **Buddy** peut agir comme médiateur entre l'apprenant et son environnement, en particulier dans les domaines de la narration, de l'art et de l'assistance informationnelle. Cette expérimentation du robot **Buddy**, met en lumière les possibilités de la robotique dans le développement de pratiques pédagogiques inclusives, où l'art et la technologie convergent pour favoriser l'apprentissage et la résilience émotionnelle. À travers ces expériences, le robot devient un catalyseur d'apprentissage et de réflexion, tout en ouvrant des perspectives pour une recherche interdisciplinaire impliquant l'ingénierie informatique, la psychologie et l'éducation. Les limites techniques actuelles de **Buddy**, loin d'être des obstacles, offrent des opportunités pour concevoir des scénarios pédagogiques visant à démythifier l'intelligence artificielle, en mettant en lumière ses biais et ses limitations.

## ABSTRACT

**Buddy : Rethinking Teaching and Learning Practices through Educational Robotics**

This paper explores the use of **Buddy** in educational and learning contexts, focusing on two key uses. First, at the National Higher Institute of Teaching and Education in Aix-Marseille, with future teachers and digital pedagogy students. Second, as an emotional and artistic mediator in art learning. The paper examines how **Buddy** can enhance teaching practices by stimulating creativity, interaction, and emotional and educational support. Acting as a mediator between the learner and their environment, particularly in storytelling, art, and informational assistance, **Buddy** highlights the potential of robotics to develop inclusive pedagogical practices where art and technology converge to promote learning and emotional resilience. Through these experiments, **Buddy** serves as a learning catalyst, opening avenues for interdisciplinary research involving computer engineering, psychology, and education. The current technical limitations of **Buddy** offer opportunities to design educational scenarios that demystify artificial intelligence, shedding light on its biases and limitations.

**MOTS-CLÉS** : Robotique éducative et émotionnelle, Éducation artistique, IA, Pédagogie.

**KEYWORDS:** Educational and Emotional Robotics, Art education, AI, Pedagogy.

**ARTICLE** : **Accepté à IA-ÉDU@CORIA-TALN 2025.**
# 1 Introduction

Dans un contexte éducatif en pleine mutation, où l'expression émotionnelle et la créativité sont de plus en plus reconnues comme des compétences essentielles à développer chez les élèves (UNESCO, 2021), les approches traditionnelles peinent parfois à favoriser l'engagement, l'estime de soi et la résilience émotionnelle. À la croisée des arts, de la technologie et des sciences de l'éducation, la robotique émotionnelle émerge comme une piste prometteuse pour réconcilier innovation technopédagogique et humanisme éducatif.

Les robots sociaux comme **Buddy**, conçus pour interagir de manière affective et empathique, permettent d'envisager de nouvelles modalités d'enseignement, particulièrement adaptées aux enjeux de l'éducation artistique et socio-émotionnelle. En s'appuyant sur la capacité de ces artefacts technologiques à médiatiser l'expression personnelle et à stimuler des processus réflexifs, la robotique émotionnelle devient un levier pour renforcer l'autonomie affective, la communication interpersonnelle et l'intelligence émotionnelle des élèves.

Ce article s'inscrit dans une dynamique de recherche centrée sur l'intégration des technologies robotiques dans les dispositifs pédagogiques, en particulier dans le cadre de l'interaction homme-robot (IHR) appliquée à l'éducation. Il vise à analyser les usages pédagogiques du robot social **Buddy** à travers deux études préliminaires exploratoires distinctes mais complémentaires. L'approche adoptée s'inscrit dans une perspective interdisciplinaire mobilisant à la fois les sciences de l'éducation et l'informatique.

<figure><img src="image_39.png" /></figure>

L'expérience 1, centrée sur l'éducation artistique, mobilise **Buddy** comme compagnon de création et facilitateur de narration émotionnelle. À travers des activités artistiques intégrant l'expression corporelle, la voix et le dessin, les élèves sont invités à projeter leurs émotions et à construire une histoire avec le robot, en s'appuyant sur des mécanismes de reconnaissance affective et de feedback empathique.

<figure><img src="image_40.png" /></figure>

L'expérience 2 prolonge cette démarche en intégrant **Buddy** dans des situations pédagogiques visant le développement de compétences socio-émotionnelles plus larges, notamment l'identification des émotions, la régulation affective et l'empathie, à travers des scénarios narratifs interactifs et des échanges simulés.

Ces deux expériences, bien que distinctes dans leur ancrage disciplinaire (artistique d'une part, socio-émotionnel et éducatif de l'autre), sont articulées autour d'une même hypothèse : le potentiel du robot **Buddy** à agir comme médiateur éducatif favorisant un environnement d'apprentissage bienveillant, expressif et propice au développement des élèves.

L'article s'organise en quatre temps complémentaires : il débute par une revue de littérature portant sur les apports de la robotique sociale et émotionnelle en éducation, en s'appuyant sur les travaux récents en sciences de l'éducation et en interaction homme-machine ; il présente ensuite en détail les deux expériences pédagogiques menées avec le robot **Buddy**, en décrivant leurs contextes, leurs objectifs et leurs dispositifs didactiques ; une analyse croisée des résultats permet ensuite d'identifier les effets observés sur l'engagement des élèves, la verbalisation émotionnelle et la coopération entre pairs ; enfin, une discussion met en perspective les apports, les limites et les perspectives de la robotique émotionnelle comme levier d'innovation éducative, en lien avec les enjeux contemporains d'une éducation plus inclusive, expressive et empathique.
## 2 Les robots en éducation : une vue d'ensemble

Les robots connaissent une adoption croissante dans l'utilisation des technologies multimédia, principalement en raison des avancées technologiques et de leur rôle de plus en plus central dans le domaine de l'éducation (Pachidis et al., 2019). Un robot social/éducatif est un appareil autonome ou semi-autonome conçu pour interagir de manière significative avec les humains/apprenants. Grâce à l'intelligence artificielle (IA) et aux algorithmes d'apprentissage automatique dont ces robots sont dotés, ils peuvent percevoir et réagir aux émotions (simulation), actions et signaux sociaux des individus. Ces robots sont souvent programmés pour imiter des caractéristiques humaines, telles que la voix, les gestes et les expressions faciales (Breazeal, 2004b). Selon plusieurs chercheurs, certains des effets comportementaux de ce type de robots en milieu scolaire expliquent diverses formes d'interaction homme-robot. Ainsi, des robots avec des fonctionnalités spécifiques pourraient être employés comme outils pédagogiques pour initier les élèves aux technologies (Tang & Chu, 2022).

Les robots sociaux, à la différence des robots éducatifs classiques, possèdent la capacité d'interpréter et d'exprimer des émotions simulées, ce qui leur confère un potentiel transformateur dans les contextes éducatifs. Leur introduction en milieu scolaire est susceptible de modifier les pratiques pédagogiques, de favoriser des approches d'enseignement personnalisées, d'influer sur les résultats d'apprentissage et de redéfinir le rôle de l'enseignant. En tant qu'entités sociales, ils reposent sur les avancées de l'IA et de l'interaction homme-machine, intégrant une interface sociale qui, conjuguée à leur apparence anthropomorphe et à leur fonction relationnelle, les rend perçus comme des agents sociaux à part entière (Hegel et al., 2009).

Dotés d'une aptitude à interagir socialement, ces robots peuvent établir des communications, apprendre et s'adapter à leurs interlocuteurs humains ou artificiels (Breazeal, 2004a; Fong et al., 2003). Pour favoriser leur acceptation et leur déploiement à plus grande échelle, il est essentiel de comprendre ces dynamiques interactionnelles (Hegel et al., 2009). Leur conception anthropomorphique met en avant leur intelligence émotionnelle, leurs compétences socio-cognitives, leur capacité d'incarnation physique et leur orientation vers des échanges interpersonnels riches et significatifs (Breazeal et al., 2016).

En tant qu'agents affectifs, les robots sociaux sont capables de détecter et de manifester des variations émotionnelles, affichant des compétences sociales avancées, une réceptivité aux signaux sociaux et une sociabilité marquée (Kirby et al., 2010; Breazeal, 2003). De ce fait, l'analyse de la qualité de leur engagement avec les usagers devient une nécessité pour mesurer leur impact réel (Anzalone et al., 2015).

Ces caractéristiques font des robots sociaux des candidats sérieux pour une intégration efficace non seulement dans les systèmes éducatifs, mais également dans d'autres domaines d'application (Leite et al., 2013). Cependant, face à la multiplicité des modèles existants (Nao, Buddy, Pepper, Haru, Qtrobot, Kebbi, etc.), aux fonctionnalités diverses, le choix du robot le plus pertinent pour chaque contexte d'apprentissage doit être effectué avec rigueur (Mahdi et al., 2022).

Contrairement aux technologies éducatives dématérialisées, les robots sociaux se distinguent par leur présence physique, laquelle joue un rôle déterminant dans l'augmentation des performances scolaires, notamment sur les plans affectif et cognitif, en particulier lorsqu'ils endossent le rôle de tuteurs ou de pairs d'apprentissage (Belpaeme et al., 2018). Lorsqu'ils sont assignés à des tâches ciblées, leurs effets pédagogiques peuvent se révéler comparables à ceux observés avec des enseignants humains (Belpaeme et al., 2018; Woo et al., 2021).
Dans cette perspective, il apparaît crucial de porter une attention particulière aux comportements sociaux de ces dispositifs et à la manière dont ils interagissent avec les différents acteurs de l'éducation (van den Berghe et al., 2019). Cette dimension prend une importance encore plus grande dans le cadre de l'éducation spécialisée.

Les robots sociaux peuvent ainsi devenir de véritables partenaires pédagogiques, aussi bien dans des contextes d'apprentissage formels qu'informels (Johal, 2020), avec des bénéfices identifiés tant pour les élèves que pour les enseignants (Smakman et al., 2021). Ces derniers manifestent d'ailleurs des perceptions globalement favorables à leur égard.

Néanmoins, plusieurs enjeux doivent être anticipés avant une intégration généralisée de ces dispositifs dans les environnements éducatifs : enjeux éthiques et moraux (Smakman et al., 2021), mais aussi défis techniques, organisationnels et économiques (Belpaeme & Tanaka, 2021). Par conséquent, il importe de tempérer les attentes parfois exagérément optimistes quant à leur potentiel disruptif dans l'enseignement. Il conviendrait plutôt d'élaborer des cadres de référence solides et des lignes directrices précises pour guider leur conception et leur intégration pédagogique (Mahdi et al., 2022; Woo et al., 2021), de renforcer la robustesse et la standardisation de leurs composantes matérielles et logicielles (Pachidis et al., 2019), et d'analyser de manière rigoureuse les effets concrets de leur usage sur les processus d'enseignement et d'apprentissage (Barakova et al., 2023).

## 3 C'est quoi Buddy ?

Buddy est un robot social développé par Blue Frog Robotics<fnref n="1" /> (voir la figure 1), une entreprise française basée à Paris. Son objectif principal est d'être un robot de compagnie amical pour toute la famille. Il est conçu comme un nouveau type de partenaire, se situant à mi-chemin entre l'interaction humain-animal et l'interaction humain-humain. L'accent est mis sur une communication intuitive et naturelle avec l'utilisateur (Milliez, 2018).

<figure><img src="image_41.png" /><figcaption>FIGURE 1 – Vues sous différents angles du robot Buddy</figcaption></figure>

<footnote n="1">1. https://www.bluefrogrobotics.com/fr/</footnote>
<table><caption>TABLE 1 – Caractéristiques générales du robot Buddy</caption><thead><tr><td>Spécification</td><td>Valeur</td></tr></thead><tbody><tr><td>Dimensions (Hauteur x Largeur x Profondeur)</td><td>560 mm x 350 mm x 350 mm</td></tr><tr><td>Poids</td><td>8 kg</td></tr><tr><td>Batterie</td><td>Lithium-Ion &lt; 100 Wh</td></tr></tbody></table>

<table><caption>TABLE 2 – Composants et fonctionnalités du robot Buddy</caption><thead><tr><td>N°</td><td>Composant/Fonctionnalité</td><td>Description</td><td>Utilité principale</td></tr></thead><tbody><tr><td>1</td><td>Écran tactile 8"</td><td>Interface graphique pour interaction utilisateur</td><td>Affichage, navigation, expression faciale</td></tr><tr><td>2</td><td>LEDs + connecteurs d'accesoires (x2)</td><td>Éclairage + ports d'extension</td><td>Signaux visuels, ajout de périphériques</td></tr><tr><td>3</td><td>LED cœur</td><td>LED expressive au centre du torse</td><td>Communication émotionnelle non verbale</td></tr><tr><td>4</td><td>Haut-parleur</td><td>Sortie audio</td><td>Voix, alertes, musique</td></tr><tr><td>5</td><td>Capteurs à ultrasons (x2)</td><td>Capteurs de distance à moyenne portée</td><td>Évitement d'obstacles</td></tr><tr><td>6</td><td>Capteurs infrarouge (x4)</td><td>Capteurs de proximité à courte portée</td><td>Navigation, sécurité</td></tr><tr><td>7</td><td>Caméra 13 Mpx (80°)</td><td>Caméra frontale à champ moyen</td><td>Reconnaissance faciale, interactions</td></tr><tr><td>8</td><td>LED d'éclairage</td><td>Éclairage frontal</td><td>Amélioration des prises de vue</td></tr><tr><td>9</td><td>Caméra 13 Mpx (130°)</td><td>Caméra à grand angle</td><td>Vision large, cartographie</td></tr><tr><td>10</td><td>Capteurs tactiles (x6)</td><td>Capteurs répartis sur le corps</td><td>Réactions au toucher</td></tr><tr><td>11</td><td>Microphones omnidirectionnels</td><td>Microphones captant les sons à 360°</td><td>Reconnaissance vocale, communication</td></tr><tr><td>12</td><td>Capteurs de vide infrarouge (x7)</td><td>Détecteurs de vide sous le robot</td><td>Prévention des chutes (escaliers, rebords)</td></tr><tr><td>13</td><td>Interrupteur On/Off</td><td>Bouton d'alimentation</td><td>Démarrage/arrêt du robot</td></tr><tr><td>14</td><td>Connecteurs d'alimentation</td><td>Port pour recharge manuelle</td><td>Recharge de la batterie</td></tr><tr><td>15</td><td>Connecteurs de recharge</td><td>Connexions station de recharge</td><td>Recharge automatique</td></tr><tr><td>16</td><td>Slot Nano SIM (4G)</td><td>Emplacement carte SIM</td><td>Connexion mobile (Internet, téléphonie)</td></tr><tr><td>17</td><td>Port USB</td><td>Connectique standard</td><td>Mise à jour, accessoires</td></tr><tr><td>18</td><td>LED état caméra</td><td>Indicateur d'activité caméra arrière</td><td>Respect de la vie privée</td></tr></tbody></table>

Ci-dessous les caractéristiques de Buddy (Milliez, 2018) :

- [x] Il mesure 56 centimètres (plus de détails sur le tableau 1) et présente un design attrayant avec une face anthropomorphe capable d'exprimer des réactions émotionnelles. Sa taille et son comportement évoquent ceux d'un animal de compagnie, ce qui renforce son accessibilité et son attrait affectif. L'ensemble de son apparence est conçu spécifiquement pour favoriser l'interaction humain-robot (HRI).
☑ Il est conçu pour être un compagnon pour toute la famille, en proposant un type d'interaction, situé à mi-chemin entre la relation humain-animal et humain-humain. Par ailleurs, il se veut également un outil au service de la recherche et de l'éducation, notamment grâce à un SDK dédié permettant son exploitation dans des contextes pédagogiques et scientifiques.

☑ Il a un comportement proactif, il peut rechercher activement un utilisateur dans son environnement et proposer des activités, ce qui renforce son rôle d'interlocuteur social et engageant.

☑ Il intègre des fonctions avancées de navigation et de détection de l'environnement grâce à divers capteurs (voir le tableau 2 ci-dessous), notamment un capteur Time Of Flight, des ultrasons, une caméra 3D et des capteurs de sol. Ces dispositifs lui permettent d'éviter les obstacles et les chutes, assurant ainsi des déplacements en toute sécurité dans son environnement.

☑ Il prend en charge une interaction multimodale avec l'utilisateur. Il est capable de traiter le langage naturel, en comprenant et en générant des énoncés pour faciliter une communication fluide. Grâce à ses micros, il peut également écouter et réagir aux commandes vocales. Enfin, il répond au toucher par l'intermédiaire de son écran tactile et de ses capteurs de caresse, permettant ainsi une interaction physique intuitive et affective.

☑ Il est doté d'une capacité d'expression émotionnelle qu'il manifeste à travers sa face expressive, l'utilisation de LEDs colorées, de moteurs, de sons et de sa voix de synthèse, renforçant ainsi la dimension affective de l'interaction. En parallèle, il assure la gestion d'un état interne, composé de désirs et d'émotions, qui évolue en fonction des stimuli de l'environnement et des interactions passées. Cet état influence directement ses comportements, tant sur le fond que sur la forme des actions qu'il entreprend.

☑ Il constitue une plateforme évolutive et collaborative, accessible via un App Store ouvert à la communauté. Il propose une variété d'applications adaptées aux besoins des différents membres de la famille. Pour les enfants, il offre des contenus d'édutainment, tels que des jeux de mémoire ou de calcul. Pour les adultes, il intègre des outils utilitaires comme un contrôleur d'objets connectés (IoT), des services de météo ou de visioconférence. De cette manière, **Buddy** s'affirme comme un compagnon polyvalent au service de tous.

☑ Il est livré avec un kit de développement logiciel (SDK) intuitif, basé anciennement sur le moteur de jeu Unity, qui permet aux développeurs d'accéder à l'ensemble des composants matériels et logiciels du robot. Ce SDK inclut actuellement des fonctions de haut niveau essentielles à l'interaction humain-robot (HRI), telles que la navigation autonome, l'affichage de comportements émotionnels, la gestion de l'interface graphique et la gestion des dialogues, facilitant ainsi la création d'applications personnalisées et riches en interactions.

# 4 Scénarios expérientiels avec buddy

Cette section présente deux expériences d'usage du robot **Buddy**. La première s'inscrit dans le cadre de l'éducation artistique, tandis que la seconde porte sur sa découverte et sa mise en œuvre à l'INSPE d'Aix-Marseille Université.

## 4.1 Expérience 1 : Éducation artistique

L'expérience avec **Buddy** dans le cadre de l'éducation artistique concerne deux scénarios développés pour explorer les capacités de **Buddy** à agir en tant que médiateur artistique, support de créativité et d'expression émotionnelle, ainsi qu'acteur de narration poétique. Ces 2 scénarios sont détaillés ci-dessous :
<figure><img src="image_42.png" /></figure>

## L'émotion partagée : de l'interprétation à l'expression

Ce scénario propose une exploration progressive de l'émotion, de la réception à la création. Dans un premier temps, des œuvres visuelles issues du travail artistique de l'auteure sont présentées. Pour chacune, **Buddy** est invité à formuler une interprétation sensible : « *Je vois du courage dans ce bleu profond...Et vous, qu'en pensez-vous ?* » . Les enfants ou participant·e·s réagissent à leur tour : à l'oral, par un mot, un dessin ou une couleur. Ce dialogue entre les émotions projetées du robot, celles ressenties par les participant·e·s, et l'intention artistique de l'auteure sert de tremplin à une deuxième phase, plus introspective : **Buddy** invite chacun à exprimer une émotion personnelle à travers une œuvre libre, en posant des questions simples et bienveillantes : « *Qu'est-ce que tu ressens aujourd'hui ? Dessine-le pour moi.* » **Buddy** accueille chaque production sans jugement, reformule parfois avec douceur (« *Tu veux dire que cette ombre te rend triste ?* »), et crée un cadre sécurisant pour l'expression de soi. Ce scénario renforce la verbalisation émotionnelle, l'écoute de l'autre, l'estime de soi et la créativité, en s'appuyant sur le rôle médiateur du robot comme **interprète sensible, miroir partiel, et facilitateur émotionnel**.

<figure><img src="image_43.png" /></figure>

## Narration symbolique : les murmures de Buddy

Inspéré de la série artistique de l'auteure, ce scénario met en scène **Buddy** dans un récit illustré aux côtés d'une Guerrière Écarlate, figure de résilience née de l'adversité. Chaque épisode aborde une émotion ou une lutte intérieure (solitude, doute, espoir), à travers une narration poétique et une interaction robotisée. Les élèves ou participant·e·s sont invités à créer une œuvre en lien avec le thème, tandis que **Buddy** commente, questionne ou réagit à l'émotion exprimée. Ce scénario croise storytelling, art et IA dans une pédagogie de la reconstruction et de l'introspection symbolique. Il illustre le potentiel du robot comme acteur poétique et médiateur symbolique, au service d'une pédagogie sensible et inclusive.

Les ateliers visant à dérouler les deux scénarios ont été menés dans un cadre artistique ouvert, destiné à des enfants âgés de 7 à 10 ans, ainsi que dans des contextes de médiation sensible auprès de publics inhibés. Le robot **Buddy** y était configuré pour alterner entre des comportements expressifs, des formulations empathiques et des postures symboliques inspirées du récit de la *Guerrière Écarlate*.

### 4.1.1 Quels usages artistiques ciblés ?

En mobilisant **Buddy** dans l'apprentissage, on peut renouer avec des approches pédagogiques actives et incarnées, proches de celles défendues par Seymour Papert<fnref n="2" /> à travers le langage Logo (Papert, 1980). Là où un enfant donne un ordre abstrait à un curseur sur un écran, **Buddy** peut physiquement exécuter cet ordre, tout en le verbalisant : « *J'avance de 5 longueurs.* »

Ce type de médiation engage à la fois la mémoire verbale, la coordination motrice et la compréhension spatiale, tout en renforçant l'attention par la présence physique du robot.

Dans un contexte éducatif marqué par une préoccupation croissante pour la réduction du temps d'écran chez les enfants, **Buddy** offre une alternative crédible. Sa forme incarnée stimule les interactions orales, limite le recours aux interfaces numériques classiques, et favorise un engagement cognitif et émotionnel plus soutenu.

En cela, **Buddy** ne se contente pas d'être un outil interactif : il devient un interlocuteur pédagogique

<footnote n="2">2. https://fr.wikipedia.org/wiki/Seymour_Papert</footnote>
hybride, capable de relier langage, action et perception dans une dynamique d'apprentissage ancrée dans le réel.

Ces scénarios (voir le tableau 3 ci-dessous) visent à développer des compétences artistiques, émotionnelles et réflexives. L'enjeu n'est pas seulement de produire une œuvre, mais de permettre une mise en mots ou en formes d'un ressenti, en s'appuyant sur l'intelligence émotionnelle simulée du robot.

<table><caption>TABLE 3 – Exemple de tableau pédagogique</caption><thead><tr><td>Scénario</td><td>Compétences pédagogiques mobilisées</td><td>Modalités pédagogiques</td></tr></thead><tbody><tr><td>L'émotion partagée : de l'interprétation à l'expression</td><td>Reconnaissance émotionnelle, verbalisation, écoute active, créativité</td><td>Analyse d'œuvres, interaction verbale/visuelle, expression libre</td></tr><tr><td>Narration symbolique : les murmures de Buddy</td><td>Narration, symbolique, introspection, construction de sens par l'art</td><td>Storytelling, création artistique inspirée, dialogue poétique</td></tr></tbody></table>

### 4.1.2 Résultats, discussion et limites

Les premiers retours issus des expérimentations avec **Buddy** mettent en évidence l'impact positif de son expressivité non verbale sur l'engagement des enfants, en particulier chez ceux présentant une réserve ou une difficulté à s'exprimer en contexte social. La capacité du robot à mobiliser des gestes expressifs, des postures corporelles cohérentes et des modulations de lumière ou de sons a contribué à instaurer un climat de confiance propice à la participation. Cette expressivité incarnée agit comme un levier d'engagement socio-émotionnel, facilitant l'identification des enfants au robot et stimulant ainsi leur implication dans les activités proposées (Belpaeme et al., 2018).

Les scénarios narratifs mis en œuvre dans les séances ont par ailleurs favorisé une meilleure verbalisation émotionnelle, en offrant un cadre sécurisant et structuré pour l'expression de sentiments souvent difficiles à formuler. L'interaction avec **Buddy**, à travers des récits co-construits ou des jeux de rôle émotionnels, a permis de stimuler la créativité des enfants tout en leur offrant des opportunités d'explorer et de nommer leurs émotions, renforçant ainsi leurs compétences socio-affectives.

Comparée aux dispositifs numériques traditionnels tels que les tablettes ou les écrans, l'interaction avec un robot social doté de traits anthropomorphiques stylisés, comme **Buddy**, suscite un engagement émotionnel et cognitif distinct. En effet, le design de **Buddy**, avec son visage expressif, ses grands yeux et sa bouche animée évoquant un personnage de dessin animé, favorise une relation plus chaleureuse et accessible que celle permise par des interfaces plus abstraites ou par des robots humanoïdes réalistes, parfois perçus comme dérangeants ou flippants en raison de l'*uncanny valley* (Mori et al., 2012). Ce type d'anthropomorphisme stylisé, en s'éloignant d'une imitation fidèle de l'humain, permet de susciter l'empathie sans générer de malaise, tout en facilitant la reconnaissance des émotions et l'interprétation des intentions du robot.

Cependant, ces résultats encourageants doivent être nuancés par certaines limites. L'introduction d'un robot émotionnel dans un cadre éducatif artistique soulève des questions éthiques et pédagogiques, notamment en ce qui concerne l'authenticité des émotions exprimées et le risque d'attachement excessif au robot. Certains enfants pourraient développer des formes de projection émotionnelle sur **Buddy**, attribuant à celui-ci des intentions ou des sentiments qui dépassent ses capacités réelles, ce qui interroge la frontière entre relation éducative et relation affective avec un artefact technologique.
De plus, les mécanismes sous-jacents à cette interaction émotionnelle restent encore partiellement compris, nécessitant des recherches complémentaires pour en cerner les déterminants, la stabilité dans le temps et l'impact sur le développement émotionnel et social des enfants.

Enfin, il conviendrait d'approfondir la réflexion sur les effets à long terme de l'introduction de tels agents artificiels dans des pratiques éducatives, afin de ne pas surévaluer leur potentiel au détriment d'une approche critique et humaniste de la relation éducative. La technologie ne doit pas se substituer à l'humain, mais plutôt s'inscrire comme un outil médiateur au service de la pédagogie, de l'apprentissage et du développement global de l'enfant.

## 4.2 Expérience 2 : Apprendre avec Buddy à l'INSPE d'Aix-Marseille

L'expérience menée à l'INSPE d'Aix-Marseille ainsi que dans d'autres instances d'Aix-Marseille Université s'inscrit dans un cadre pédagogique visant à intégrer des technologies innovantes, telles que la robotique éducative, au sein des cursus destinés aux futurs professeurs des écoles, de collège et de lycée. Ce projet a également impliqué des ingénieurs pédagogiques et des élèves de lycées. L'objectif est d'explorer comment des robots comme **Buddy**, en combinaison avec des outils d'IA générative, peuvent enrichir les pratiques pédagogiques et faciliter l'apprentissage des compétences technologiques chez les étudiants et les élèves de manière interactive et engageante.

<table><caption>TABLE 4 – Répartition des participant·e·s à l'étude sur l'usage pédagogique de Buddy</caption><thead><tr><td>Niveau</td><td>Nombre de participant·e·s</td></tr></thead><tbody><tr><td>Lycéen.n.es</td><td>79</td></tr><tr><td>Étudiant.e.s de l'INSPE d'Aix-Marseille</td><td>59</td></tr><tr><td>Autres étudiant.e.s</td><td>23</td></tr><tr><td>Total</td><td>161 participant.e.s</td></tr></tbody></table>

Le tableau 4 ci-dessus présente la répartition des participant·e·s ayant pris part à l'étude observationnelle menée dans le cadre de l'analyse de l'usage pédagogique de Buddy, un agent conversationnel utilisé en contexte éducatif. Cette étude a mobilisé un échantillon diversifié composé de lycéen·ne·s, d'étudiant·e·s en formation initiale à l'INSPE d'Aix-Marseille, ainsi que d'autres étudiant·e·s issu·e·s de formations universitaires variées. La diversité des profils vise à permettre une analyse comparative des usages et perceptions de l'agent en fonction du niveau de formation des participant·e·s.

### 4.2.1 Quels usages pédagogiques ?

**a. Prise de conscience technologique et conception de ressources pédagogiques.** Un des premiers usages de Buddy a été d'aider les étudiants à prendre conscience du potentiel de la robotique éducative pour la conception de ressources pédagogiques. En manipulant Buddy, les étudiants ont pu imaginer des applications concrètes de la robotique dans l'enseignement des matières scientifiques, notamment en ce qui concerne le codage, la logique algorithmique, et la modélisation des systèmes.

**b. Initiation des jeunes enfants au codage à travers un robot attractif.** L'une des principales applications de Buddy dans cette expérience était d'initier les enfants au codage et au raisonnement (par exemple, tracer une trajectoire) dès le plus jeune âge. Le robot, avec son apparence inspirée des dessins animés et sa voix robotisée, est particulièrement adapté pour des enfants qui peuvent être intimidés par des robots à l'apparence trop réaliste. Buddy est conçu pour être à la fois rassurant et engageant, offrant une interface ludique permettant aux jeunes élèves de s'initier à des concepts complexes de manière progressive et divertissante.
**c. Buddy comme assistant intelligent pour l'engagement des étudiants. Buddy**, en intégrant un modèle de langage large (LLM), a également joué un rôle crucial en tant qu'assistant interactif pour les étudiants. En répondant à leurs questions de manière contextuelle et personnalisée, le robot a favorisé l'engagement, la motivation et la participation active des étudiants. Cette interaction, dynamique et basée sur la conversation, a permis de maintenir l'intérêt des étudiants tout au long des sessions d'apprentissage, tout en facilitant leur compréhension des concepts pédagogiques.

**d. Démythification de l'IA et des limites de la technologie.** Enfin, un aspect fondamental de l'utilisation de **Buddy** a été de mettre en lumière les limites techniques du robot et de l'IA, en expliquant les bases techniques d'un modèle de langage large (LLM). En effet, malgré les avancées technologiques, **Buddy** présente des lacunes qui rendent la robotique et l'IA accessibles à une analyse critique. Ces imperfections ont servi d'exemple concret pour illustrer les contraintes actuelles de l'IA, en particulier en matière de compréhension contextuelle, de capacités de raisonnement complexes et d'interactions authentiques.

### 4.2.2 Résultats, discussion et limites

Cette section propose une analyse des données préliminaires recueillies dans le cadre de l'étude d'observation sur l'utilisation du robot **Buddy** en contexte pédagogique. Les résultats sont présentés selon plusieurs critères afin de mettre en évidence les tendances observées et d'enrichir la compréhension des modalités d'usage de cet agent robotique par les différents publics concernés.

**a. Facilité d'utilisation (71%)**. Le fait que 71% des utilisateurs trouvent le robot facile à utiliser indique une adoption plutôt positive, mais il y a encore une marge d'amélioration. Ce chiffre suggère qu'une partie des utilisateurs pourrait rencontrer des difficultés, soit dans la prise en main, soit dans l'intégration du robot dans un environnement d'apprentissage. Il serait pertinent de réaliser des analyses qualitatives pour mieux comprendre les obstacles rencontrés par les utilisateurs.

**b. Appréciation de la posture humanoïde et du visage expressif (92%)**. Une très forte majorité des utilisateurs (92%) semble apprécier l'aspect humanoïde du robot ainsi que son visage expressif. Cette caractéristique pourrait jouer un rôle clé dans l'engagement émotionnel des apprenants, rendant le robot plus accessible et stimulant pour les interactions.

**c. Fluidité de l'interaction vocale avec Buddy (57%)**. Le score de 57% pour la fluidité de l'interaction vocale pourrait refléter certaines limitations dans la reconnaissance ou la génération de la parole par le robot. Une réévaluation de la qualité du micro et/ou du traitement du langage naturel (TLN) et de l'intelligibilité des réponses pourrait être nécessaire pour améliorer cette interaction.

**d. Utile pour l'apprentissage des langues (88%)**. Le robot semble avoir une grande valeur pédagogique dans l'enseignement des langues, avec 88% des utilisateurs considérant l'outil utile dans ce domaine. Cela peut être dû à la capacité du robot à pratiquer des conversations, corriger des erreurs de prononciation et offrir un retour immédiat.

**e. Utile pour l'apprentissage du codage (79%)**. Bien que légèrement inférieur, le score de 79% indique également une bonne utilité pour l'apprentissage du codage. **Buddy** pourrait être utilisé pour des activités telles que l'introduction aux concepts de programmation ou la simulation de certains processus informatiques dans des environnements interactifs.

**f. Engagement des apprenants (93%)**. Un taux d'engagement aussi élevé (93%) montre l'impact positif de l'outil en termes de motivation et d'interaction. L'usage de robots dans les classes semble jouer un rôle crucial dans la stimulation de l'attention et de la participation des étudiants.
**g. Recommandation de la robotique dans les pratiques pédagogiques (86%).** Le fait que 86% des répondants recommandent la robotique en pédagogie souligne l'efficacité perçue de cette approche innovante. L'intégration de la robotique en classe semble être bien reçue par les enseignants et les apprenants, probablement en raison de l'aspect ludique et interactif.

**h. Activités avec Buddy.** Les activités proposées, telles que l'outil conversationnel, la vérification de la prononciation, le feedback instantané, la traduction, et la communication avec des élèves allophones, montrent la polyvalence de **Buddy** dans divers contextes pédagogiques. De plus, l'inclusion des élèves éloignés (par exemple, hospitalisés) montre le potentiel de **Buddy** pour favoriser une inclusion éducative élargie avec un coût relativement acceptable mais une volonté institutionnelle est nécessaire.

**i. Avis des élèves sur Buddy.** Les élèves ont une perception de Buddy comme :

— Mignon et attractif : Ce côté ludique semble bien fonctionner pour attirer l'attention des élèves.

— Attachement émotionnel : L'aspect humanoïde et l'interaction affective contribuent probablement à un lien plus fort avec l'élève.

— Ludique et amusant : L'aspect de jeu est souvent un facteur important dans l'engagement des élèves, notamment pour ceux qui apprennent de manière plus pratique.

— Découverte du monde de la robotique et de l'IA : Les élèves peuvent être inspirés par l'opportunité d'interagir avec une technologie avancée, ce qui pourrait éveiller leur curiosité pour la robotique et l'intelligence artificielle.

Dans l'ensemble, les retours semblent indiquer que **Buddy** est un outil pédagogique prometteur, notamment pour l'apprentissage des langues et l'engagement des élèves. Cependant, il y a des domaines à améliorer, notamment la fluidité de l'interaction vocale et la facilité d'utilisation générale. L'approche centrée sur l'interaction ludique et émotionnelle semble jouer un rôle clé dans son efficacité, en particulier pour l'attachement des élèves et leur motivation.

À l'issue de cette étude, plusieurs recommandations peuvent être formulées en vue d'optimiser l'intégration pédagogique de **Buddy**. Tout d'abord, l'amélioration de l'interaction vocale constitue une priorité : le renforcement des performances de la reconnaissance vocale et de la qualité des réponses du robot permettrait de fluidifier les échanges et de limiter les obstacles à la communication. Par ailleurs, il apparaît essentiel de proposer des sessions de formation destinées aux enseignant-e-s, afin de les accompagner dans l'appropriation de l'outil et son intégration dans leurs pratiques pédagogiques. Enfin, une plus grande personnalisation des interactions et des activités proposées par **Buddy**, en fonction des besoins spécifiques des élèves, tels que le niveau de compétence ou les centres d'intérêt, contribuerait à renforcer la pertinence pédagogique de l'agent robotique.

# 5 Conclusion

L'exploration de l'intégration de robots comme **Buddy** dans les pratiques pédagogiques interroge autant qu'elle fascine. Si ces dispositifs, dépourvus d'émotions biologiques, ne peuvent prétendre à une authenticité affective, leur capacité à susciter des réponses émotionnelles et réflexives chez l'humain ouvre des perspectives éducatives inédites. En incarnant un médiateur technologique doté d'expressivité, **Buddy** transcende le statut d'outil fonctionnel pour devenir un catalyseur d'interactions, stimulant l'introspection, la créativité et le lien social. Son potentiel réside moins dans la simulation d'émotions que dans sa faculté à révéler, par contraste, la complexité et la richesse des dynamiques humaines.
Les limites techniques actuelles, telles que la répétitivité des expressions, rappellent que ces robots sont des partenaires en évolution, invitant à renforcer les collaborations entre ingénierie, sciences cognitives, arts et pédagogie. Loin de marginaliser le rôle de l'enseignant, cette technologie le recentre comme pilier éthique et créateur de sens, garantissant que l'usage de la machine reste ancré dans une finalité émancipatrice. En associant médiation artistique, réflexivité et cadre déontologique, **Buddy** illustre une vision de l'éducation où la technologie n'aliène pas, mais enrichit le dialogue entre l'élève, le formateur et l'IA générative enrichie par de multiples sources de données et confirmations issues de notre monde avec toutes ses dimensions (culturelles, politiques, etc.).

Cet article invite ainsi à repenser la pédagogie non comme un champ à automatiser, mais comme un espace de résonance où la machine, en miroir de nos émotions, interroge notre humanité et notre intelligence. L'enjeu n'est pas de rivaliser avec l'humain, mais de cultiver, à travers ces nouvelles interfaces, une relation éducative plus empathique, inclusive et consciente de ses propres enjeux. L'avenir de la robotique éducative se dessine alors dans cet équilibre exigeant : faire de la technologie un allié pour mieux célébrer ce qui nous rend iremplacables, la rendre au service de l'enseignement, de l'apprentissage, de la pédagogie et pas l'inverse.

Références

ANZALONE S. M., BOUCENNA S., IVALDI S. & CHETOUANI M. (2015). Evaluating the engag-
ment with social robots. *International Journal of Social Robotics*, **7**, 465–478. DOI: 10.1007/s12369-015-0298-7.

BADACHE I. & BELLET P. (2024). Intelligence artificielle : usage pédagogique et esprit critique. In *16ème édition du colloque Interactions Multimodales Par ÉCran, IMPEC 2024*. https://hal.science/hal-04659335v1.

BARAKOVA E., VÄÄNÄNEN K., KAIPAINEN K. & MARKOPOULOS P. (2023). Benefits, challenges and research recommendations for social robots in education and learning : A meta-review. In *2023 32nd IEEE International Conference on Robot and Human Interactive Communication (RO-MAN)*, p. 2555–2561. DOI: 10.1109/RO-MAN57019.2023.10309345.

BELPAEME T., KENNEDY J., RAMACHANDRAN A., SCASSELLATI B. & TANAKA F. (2018). Social robots for education : A review. *Science Robotics*, **3**(21), eaat5954. DOI: 10.1126/scirobotics.aat5954.

BELPAEME T. & TANAKA F. (2021). Social robots as educators. In *OECD Digital Education Outlook 2021 : Pushing the Frontiers with Artificial Intelligence, Blockchain and Robots*, p. 143. OECD Publishing Paris. DOI: 10.1787/589b283f-en.

BREAZEAL C. (2003). Toward sociable robots. *Robotics and Autonomous Systems*, **42**(3), 167–175. Socially Interactive Robots, DOI: 10.1016/S0921-8890(02)00373-1.

BREAZEAL C. (2004a). *Designing sociable robots*, In *Designing Sociable Robots*, p. 27–50. MIT press. http://ieeexplore.ieee.org/document/6280040.

BREAZEAL C. (2004b). Social interactions in HRI : the robot view. *IEEE Transactions on Systems, Man, and Cybernetics, Part C (Applications and Reviews)*, **34**(2), 181–186. DOI: 10.1109/TSMCC.2004.826268.

BREAZEAL C., DAUTENHAHN K. & KANDA T. (2016). *Social Robotics*, In B. SICILIANO & O. KHATIB, Éds., *Springer Handbook of Robotics*, p. 1935–1972. Springer International Publishing : Cham. DOI: 10.1007/978-3-319-32552-1_72.
FONG T., NOURBAKHSH I. & DAUTENHAHN K. (2003). A survey of socially interactive robots. *Robotics and Autonomous Systems, **42*(3), 143–166. Socially Interactive Robots, DOI: https://doi.org/10.1016/S0921-8890(02)00372-X.

HEGEL F., MUHL C., WREDE B., HIELSCHER-FASTABEND M. & SAGERER G. (2009). Understanding social robots. In *2009 Second International Conferences on Advances in Computer-Human Interactions*, p. 169–174. DOI: 10.1109/ACHI.2009.51.

JOHAL W. (2020). Research trends in social robots for learning. *Current Robotics Reports, **1**(3), 75–83. DOI: 10.1007/s43154-020-00008-3.

KIRBY R., FORLIZZI J. & SIMMONS R. (2010). Affective social robots. *Robotics and Autonomous Systems, **58**(3), 322–332. Towards Autonomous Robotic Systems 2009 : Intelligent, Autonomous Robotics in the UK, DOI: 10.1016/j.robot.2009.09.015.

LEITE I., MARTINHO C. & PAIVA A. (2013). Social robots for long-term interaction : a survey. *International Journal of Social Robotics, **5***, 291–308. DOI: 10.1007/s12369-013-0178-y.

MAHDI H., AKGUN S. A., SALEH S. & DAUTENHAHN K. (2022). A survey on the design and evolution of social robots — past, present and future. *Robotics and Autonomous Systems, **156***, 104193. DOI: 10.1016/j.robot.2022.104193.

MILLIEZ G. (2018). Buddy : A companion robot for the whole family. In *Companion of the 2018 ACM/IEEE International Conference on Human-Robot Interaction*, HRI ’18, p.40, New York, NY, USA : Association for Computing Machinery. DOI: 10.1145/3173386.3177839.

MORI M., MACDORMAN K. F. & KAGEKI N. (2012). The uncanny valley [from the field]. *IEEE Robotics & Automation Magazine, **19**(2), 98–100. DOI: 10.1109/MRA.2012.2192811.

PACHIDIS T., VROCHIDOU E., KABURLASOS V. G., KOSTOVA S., BONKOVIĆ M. & PAPIĆ V. (2019). Social robotics in education : State-of-the-art and directions. In N. A. ASPRAGATHOS, P. N. KOUSTOUMPARDIS & V. C. MOULIANITIS, Éds., *Advances in Service and Industrial Robotics*, p. 689–700, Cham : Springer International Publishing. DOI: 10.1007/978-3-030-00232-9_72.

PAPERT S. (1980). *Mindstorms : children, computers, and powerful ideas*. USA : Basic Books, Inc.
https://dl.acm.org/doi/book/10.5555/1095592.

SMAKMAN M., VOGT P. & KONIJN E. A. (2021). Moral considerations on social robots in education : A multi-stakeholder perspective. *Computers & Education, **174***, 104317. DOI: 10.1016/j.compedu.2021.104317.

TANG X. & CHU J. (2022). Inclusive design : Task specified robots for elderly. *Advances in Education, Humanities and Social Science Research, **1**(1), 82–82. DOI: 10.56028/aehssr.1.1.82.

UNESCO (2021). *Reimagining our futures together : A new social contract for education*. Paris : United Nations Educational, Scientific and Cultural Organization. Report of the International Commission on the Futures of Education. https://unesdoc.unesco.org/ark:/48223/pf0000379381.

VAN DEN BERGHE R., VERHAGEN J., OUDGENOEG-PAZ O., VAN DER VEN S. & LESEMAN P. (2019). Social robots for language learning : A review. *Review of Educational Research, **89**(2), 259–295. DOI: 10.3102/0034654318821286.

WOO H., LETENDRE G. K., PHAM-SHOUSE T. & XIONG Y. (2021). The use of social robots in classrooms : A review of field-based studies. *Educational Research Review, **33***, 100388. DOI: 10.1016/j.edurev.2021.100388.
# SEPT : Détecter les difficultés des étudiants à travers le clustering de leurs trajectoires émotionnelles et physique lors d’évaluations en ligne sur Moodle

Edouard Nadaud¹, ² Antoun Yaacoub¹ Bénédicte Legrand² Lionel Prevost¹, ²

(1) ESIEAlab, équipe Learning Data Robotic (LDR), ESIEA, 74 bis Av. Maurice Thorez, 94200 Ivry-sur-Seine, France

(2) Centre de Recherche en Informatique (CRI), Paris 1 panthéon Sorbonne, 31, rue Baudricourt 75013 Paris, France

edouard.nadaud@esiea.fr, antoun.yaacoub@esiea.fr,
benedicte.le-grand@univ-paris1.fr, lionel.prevost@esiea.fr

## RÉSUMÉ

Imaginez une salle de classe où les difficultés et réussites des étudiants s'expriment non par des mots, mais par l'expression de leurs visages et mouvements, captés en temps réel pendant un quiz. Les méthodes d'enseignement dans le supérieur se font de plus en plus hybride et à distance. Les interactions directes sont réduites, rendant difficile la détection des moments de décrochage. Pour y remédier, nous introduisons le concept de Trajectoires Émotionnelles et Physiques Étudiantes (SEPT). Grâce aux webcam s de 89 étudiants de première année de Master, nous avons enregistré et analysé chaque seconde leurs expressions faciales (valence, arousal selon le modèle de Russell) et états physiques (orientation de la tête, distance à l'écran). Les séries temporelles ainsi obtenues révèlent des motifs distincts selon que les difficultés soient individuelles ou liées aux questions. SEPT offre s des perspectives pour des systèmes intelligents de suivi affectif en contexte éducatif numérique.

## ABSTRACT

**SEPT : Uncovering Student Difficulties through Emotional and Physical Trajectories during Online Assessments**

Imagine a classroom where students' difficulties and successes are expressed not by words, but by their facial expressions and movements, captured in real time during a quiz. Teaching methods in higher education are increasingly hybrid and remote. Direct interactions are reduced, making it difficult to detect moments of disengagement. To address this, we introduce the concept of Student Emotional and Physical Trajectories (SEPT). Using the webcam s of 89 first year Master's students, we recorded and analyzed every second their facial expressions (valence, arousal according to the Russell model) and physical states (head orientation, distance from the screen). The resulting time series reveal distinct patterns depending on whether the difficulties are individual, or question related. SEPT offers perspectives for intelligent systems for affective monitoring in a digital educational context.

**MOTS-CLÉS** : Informatique affective, trajectoires émotionnelles, applications de l'apprentissage automatique, IA éthique, analytique de l'apprentissage.

**KEYWORDS** : Affective Computing, Emotion Trajectories, Machine-Learning Applications, Ethical AI, Learning analytics.

**ARTICLE** : **Accepté à IA-ÉDU@CORIA-TALN 2025.**
# 1 Introduction

Les interactions traditionnelles en présentiel entre enseignants et étudiants deviennent moins fré-
quentes à l'ère de l'enseignement hybride et à distance (Shi et al., 2024). Cette évolution offre
certes une flexibilité accrue et un accès plus large à l'apprentissage, mais soulève une préoccupation
majeure : comment prévenir l'abandon scolaire lorsque les enseignants ne peuvent pas directement
observer les signes de difficultés chez les étudiants ? Sans indices visuels et interpersonnels immédiats,
il devient difficile pour les enseignants de détecter lorsque les étudiants sont confus, frustrés ou
désengagés (Frenkel et al., 2024). Des recherches antérieures ont établi que les difficultés acadé-
miques sont souvent liées aux états émotionnels des étudiants (Frenkel et al., 2024). Notre approche
s'appuie sur des travaux précédents qui soulignent les limites des mesures émotionnelles statiques
et agrégées pour prédire les résultats académiques (Nadaud et al., 2024). Nous proposons une nou-
velle approche nommée « Trajectoires Émotionnelles et Physiques des Étudiants (SEPT) », afin de
surveiller continuellement les signaux émotionnels et comportementaux des étudiants durant les
activités d'apprentissage. L'objectif est de ré reintroduire une forme de rétroaction « visuelle » pour
les enseignants dans les environnements d'apprentissage à distance, permettant ainsi d'identifier
rapidement les difficultés des étudiants et d'offrir un soutien en temps opportun. À partir de ces
motivations, nous formulons les hypothèses clés suivantes :

**H1. La valence et l'arousal seuls sont insuffisants** : Bien que la valence et l'arousal offrent une mesure basique de l'affect, elles ne capturent pas complètement l'état émotionnel de l'étudiant. Nous supposons que l'intégration d'états physiques additionnels (comme les mouvements physiques, faciaux et la direction du regard) améliore la précision et la richesse de l'évaluation émotionnelle.

**H2. Les émotions varient à l'échelle des questions individuelles** : L'état émotionnel n'est pas statique tout au long d'une évaluation, mais fluctue dynamiquement au sein de chaque question du quiz. Capturer ces variations fines est essentiel pour comprendre en temps réel la frustration et l'état mental des étudiants.

**H3. Les trajectoires émotionnelles dépendent du contexte, et ne sont pas constantes pour un étudiant donné** : Nous faisons l'hypothèse qu'un même étudiant peut présenter des réponses émotionnelles très différentes selon la charge cognitive de chaque question. Cela remet en question l'idée d'un état émotionnel stable propre à l'étudiant, suggérant ainsi la nécessité de considérer le contexte.

**H4. Existence de modèles communs pour les questions difficiles** : Certains modèles SEPT pourraient réapparaître chez différents étudiants confrontés à une même question difficile. Autrement dit, des défis cognitifs similaires pourraient provoquer des trajectoires SEPT comparables chez plusieurs étudiants, révélant ainsi des points de difficulté communs.

Pour tester ces hypothèses, nous avons développé une approche capturant continuellement les expressions faciales et les mouvements physiques et faciaux des étudiants via leurs webcams durant les quiz. Notre système suit les états émotionnels via les métriques de valence et d'arousal, et intègre des indicateurs physiques afin d'offrir un portrait complet et temporellement détaillé du comportement des étudiants. En examinant les émotions et les comportements au niveau granulaire des questions individuelles, nous cherchons à identifier les moments critiques de difficulté, fournissant ainsi des informations susceptibles de permettre des interventions pédagogiques opportunes. Finalement, notre approche réintroduit un élément crucial de l'expérience en classe : la rétroaction émotionnelle en temps réel dans les contextes d'apprentissage hybrides et à distance en exploitant les progrès de
l'informatique affective. Ce travail rapproche l'informatique affective de la pédagogie, offrant aux enseignants des outils pour comprendre et soutenir les apprenants d'une manière jusqu'alors impossible dans les environnements distants.

La suite de l'article est organisée comme suit : la Section 2 présente les travaux connexes, la Section 3 décrit notre méthodologie, la Section 4 expose les résultats obtenus, et enfin la conclusion traite les limites de notre approche et propose des pistes pour des recherches futures.

## 2 Travaux connexes

Au cours des dernières années, les interactions entre les émotions des étudiants, leurs indicateurs physiques et leurs performances académiques ont suscité un intérêt croissant, notamment en raison du passage des salles de classe traditionnelles vers des environnements d'apprentissage en ligne et hybrides (Spitzer & Moeller, 2023).

**Évolution des environnements d'apprentissage** : L'expansion rapide des plateformes d'apprentissage numérique, particulièrement accélérée par la pandémie de COVID-19, a considérablement remodelé l'enseignement supérieur (Chaubey & Bhattacharya, 2015). Garrison et al. (Garrison et al., 1999) soulignent qu'un apprentissage efficace nécessite la présence cognitive, pédagogique et sociale ; cette dernière étant souvent réduite dans les contextes à distance. Cette perte d'interaction directe peut créer une « distance émotionnelle » entre enseignants et étudiants, rendant plus difficile pour les enseignants la détection des difficultés rencontrées par les étudiants. Blikstein et Worsley (Blikstein & Worsley, 2016) précisent que ce manque de rétroaction est particulièrement problématique lors des évaluations, où les possibilités d'intervention pédagogique en temps réel sont limitées. Ces défis ont encouragé les chercheurs à explorer des méthodes technologiques permettant de combler l'écart entre la perception des enseignants et le soutien aux étudiants.

**Émotions et résultats d'apprentissage** : De nombreuses preuves démontrent que les émotions jouent un rôle central dans les résultats d'apprentissage. Par exemple, D'Mello et Graesser (Graesser & D'Mello, 2012) ont montré que les états affectifs transitoires tels que l'engagement, la confusion et la frustration peuvent influencer directement le traitement cognitif et la rétention des connaissances. Les états émotionnels positifs sont associés à une plus grande motivation et au plaisir d'apprendre (Harley et al., 2015), alors que les états négatifs comme l'ennui ou l'anxiété peuvent entraver les progrès d'apprentissage (Arroyo et al., 2014). Ces observations ont encouragé l'intégration de l'informatique affective dans les environnements éducatifs, dans le but de suivre les expériences émotionnelles des étudiants et d'y répondre de manière à améliorer l'apprentissage.

**Détection des émotions et trajectoires en contexte éducatif** : Les premières méthodes de détection des émotions des étudiants reposaient sur des auto-évaluations ou des évaluations par des observateurs (Baker et al., 2010). Ces méthodes ont été critiquées en raison de leur subjectivité et du risque de perturber le processus d'apprentissage. Les progrès dans la détection sensorielle et la vision par ordinateur ont permis d'adopter des approches plus objectives. Des capteurs physiologiques (par exemple, des moniteurs de fréquence cardiaque ou des dispositifs de conductance cutanée) ont été utilisés pour mesurer l'arousal et les niveaux de stress (Jiang et al., 2018), et des techniques basées sur des caméras peuvent suivre le regard et les expressions faciales pour inférer l'attention et les émotions (Arroyo et al., 2014; Bosch et al., 2016). Cependant, beaucoup de ces approches nécessitent un équipement spécialisé ou des conditions contrôlées, limitant ainsi leur extensibilité dans des
salles de classe réelles (Paquette et al., 2014). Pour modéliser les émotions détectées, la plupart des études précédentes utilisaient soit les catégories émotionnelles discrètes d'Ekman (Perry, 2014), soit traitaient l'affect selon des dimensions continues moyennées sur une activité (par exemple, valence et arousal moyens) (Jiang et al., 2018). (La valence réfère au caractère positif ou négatif de l'émotion, et l'arousal correspond au niveau d'activation ou d'alerte.) Des recherches récentes par Harley et al. (Harley et al., 2017) et Silva et al. (Silva et al., 2014) affirment que ces représentations statiques ne parviennent pas à capturer les fluctuations rapides et contextuelles des émotions pendant les tâches d'apprentissage. Ceci a conduit à un intérêt croissant pour l'analyse temporelle des données affectives, examinant comment les émotions évoluent au fil du temps plutôt qu'en considérant seulement des moyennes globales. Dans une étude antérieure (Nadaud et al., 2024), une émotion par question, représentant le centroïde de toutes les valeurs émotionnelles enregistrées pendant la réponse à cette question, a été calculée. Ces centroïdes ont été connectés pour former des trajectoires tout au long du quiz. Les auteurs avaient émis l'hypothèse que des notes faibles correspondraient à des centroïdes émotionnels négatifs, mais cette méthode n'a pas montré de corrélation significative entre les états émotionnels moyennés et les performances.

**Intégration d'indicateurs physiques** : Les expressions faciales seules offrent une vue partielle de l'état des étudiants. Les états physiques tels que la posture et les mouvements reflètent également l'effort cognitif (Arroyo et al., 2014), et leur intégration avec les données faciales peut améliorer la prédiction de la frustration et des performances (Whitehill et al., 2014; Bosch & D'Mello, 2017). Les systèmes multimodaux surpassent systématiquement les approches unimodales (D'Mello & Kory, 2015), bien que la fusion temporelle de ces signaux reste difficile en raison de leur asynchronisme.

**Techniques avancées d'analyse temporelle** : Des études récentes ont appliqué des méthodes analytiques basées sur les séquences aux données étudiantes, révélant des modèles comportementaux nuancés. Par exemple, Moreno-Marcos et al. (Moreno-Marcos et al., 2020) ont utilisé le clustering pour identifier des trajectoires distinctes d'engagement dans des cours en ligne, constatant que certaines trajectoires temporelles d'interaction sont associées à de meilleurs taux d'achèvement. Rodrigo et al. (Rodrigo et al., 2012) ont utilisé l'analyse de séquences sur les états affectifs des étudiants (par exemple, confusion → insight → confusion), et ont associé des séquences émotionnelles spécifiques à des gains d'apprentissage ou au désengagement. Piot et al. (Piot et al., 2019) explorent « l'effet eureka » (confusion → surprise → joie). Zhou et al. (Zhao & Itti, 2016) ont introduit l'utilisation du Dynamic Time Warping (DTW) pour aligner et comparer les séquences temporelles des comportements des apprenants, en tenant compte des différences individuelles de rythme. Malgré ces progrès, des lacunes importantes subsistent. Paquette et al. (Paquette et al., 2014) ont noté que peu d'efforts intégraient les indicateurs physiques (comme la posture corporelle ou le regard) avec les données émotionnelles en une trajectoire multidimensionnelle unique.

En s'appuyant sur une première exploration des trajectoires émotionnelles (Nadaud et al., 2024), cet article présente les SEPT comme un avancement complet. Les SEPT étendent le modèle bidimensionnel valence-arousal à un cadre à sept dimensions, incorporant des indicateurs physiques (orientation de la tête, distance du visage à l'écran) en complément des caractéristiques émotionnelles. Les SEPT capturent des fluctuations continues, seconde par seconde, en exploitant le DTW et le clustering afin d'identifier des motifs parmi les trajectoires à un niveau de granularité fin.
# 3 Méthodologie

Pour tester nos hypothèses, nous avons mené une expérimentation contrôlée en plusieurs phases. Nous décrivons ci-dessous précisément le cadre expérimental et chaque étape de notre méthodologie.

## 3.1 Cadre expérimental

Nous avons réalisé notre étude auprès de 89 étudiants de première année de Master dans une école d'ingénieurs française. Tous les participants avaient une formation en technologies de l'information et étaient à l'aise avec l'utilisation d'ordinateurs portables et de webcams. L'expérience s'est déroulée durant un cours en présentiel où chaque étudiant utilisait son propre ordinateur portable muni d'une webcam intégrée afin de passer un quiz en ligne. Afin de maintenir un environnement naturel, aucune consigne spécifique concernant leur posture ou la position de la caméra n'a été donnée ; les étudiants interagissaient normalement avec le quiz. Le quiz, proposé au début d'un cours sur l'apprentissage automatique, comportait 6 à 7 questions de différents formats : tâches de codage, questions à choix multiples et exercices de type glisser-déposer. Chaque question ne permettait qu'une seule tentative, sans retour en arrière, assurant une progression linéaire. Les étudiants disposaient de 12 minutes au maximum pour terminer toutes les questions, après quoi le quiz se fermait automatiquement et était noté. Durant le quiz, les étudiants étaient tenus de rester sur la page sans possibilité de navigation externe. Nous avons utilisé l'extension Moodle Proctoring (adaptée de sa fonctionnalité initiale de vérification d'identité) afin de capturer des images de chaque étudiant à intervalles réguliers tout au long du quiz. Ce dispositif a permis une observation continue des expressions faciales et comportements des étudiants tout en préservant une expérience naturelle de passation de quiz.

## 3.2 Collecte des données

Notre dispositif expérimental réduit les besoins matériels à un simple ordinateur portable équipé d'une webcam, évitant ainsi intentionnellement l'utilisation de dispositifs coûteux tels que des bracelets capteurs ECG/EDM (Spitzer & Moeller, 2023; Nandi et al., 2021). Les données collectées consistent en des images capturées toutes les secondes. L'interface utilisée est strictement identique à celle d'un quiz standard sans surveillance vidéo, préservant ainsi une expérience utilisateur fluide et minimisant toute influence sur les performances au quiz (Lee, 2020). Simultanément, nous avons collecté des données complètes provenant du système de gestion de l'apprentissage (LMS), incluant les notes obtenues, le temps passé par question, et les niveaux de difficulté des questions.

## 3.3 Conformité RGPD et considérations éthiques de l'étude

Cette étude a été menée en conformité stricte avec les directives éthiques et le Règlement Général sur la Protection des Données (RGPD) (Union, 2018) afin de protéger la vie privée des participants. Plusieurs mesures ont été mises en œuvre pour garantir l'éthique de la recherche :

- **Consentement éclairé** : La participation était entièrement volontaire. Les étudiants ont été pleinement informés des objectifs du projet, des données collectées (images périodiques de la webcam et données de performance) et de leur utilisation exclusive à des fins de recherche. Un consentement écrit explicite a été obtenu auprès de chaque participant avant la collecte
des données. Les étudiants étaient libres de refuser ou de se retirer de l'étude à tout moment, sans aucune conséquence académique.

- **Préparation et transparence** : Avant le quiz noté, un quiz d'entraînement a été organisé avec le même dispositif de surveillance pour que les participants puissent s'y familiariser. Les étudiants refusant de participer passaient le quiz dans les mêmes conditions à l'exception de la capture vidéo, préservant ainsi l'équité des conditions d'examen.

- **Approbation éthique** : Le protocole de recherche a été revu et approuvé par le comité d'éthique de l'école, garantissant la conformité avec les standards éthiques établis pour la recherche impliquant des participants humains.

- **Conformité juridique et sécurité des données** : Nous avons consulté un avocat spécialisé en protection des données pour concevoir nos formulaires de consentement et notre plan de gestion des données, en conformité totale avec le RGPD. Toutes les données collectées (images et données LMS) ont été anonymisées et stockées sur un serveur sécurisé de l'école, accessible uniquement par l'équipe de recherche autorisée.

- **Préservation de la confidentialité** : Les images webcam ont été utilisées exclusivement pour extraire automatiquement les expressions faciales et les mouvements de la tête, sans reconnaissance d'identité.

## 3.4 Prétraitement des données

Avant l'analyse émotionnelle, nous avons appliqué une série d'étapes de prétraitement afin d'améliorer la qualité des données. En conditions réelles de classe, certaines images capturées peuvent être impropres à la reconnaissance émotionnelle (visage partiellement visible, mauvaise luminosité, etc.). Un pipeline de filtrage a été implémenté pour ne conserver que des images exploitables. Après avoir évalué plusieurs algorithmes de détection faciale (Haar Cascade, dlib, MTCNN, YOLOv5), nous avons retenu le modèle YOLOv5 (Ieamsaard et al., 2021) pour sa précision et sa robustesse. Les images sans visage détecté ont subi une amélioration (correction gamma, égalisation d'histogramme), suivie d'une seconde tentative de détection. Les images restantes non valides ont été exclues. Ce processus a conduit à la sélection finale de 82 étudiants (sur les 89 initiaux), assurant ainsi une meilleure qualité des données.

## 3.5 Méthodes d'analyse des données

Après nettoyage, nous avons analysé les SEPT via des techniques de vision par ordinateur et apprentissage automatique. L'analyse comportait deux étapes principales : (1) prédiction continue des états émotionnels (valence, arousal) à partir des images, et (2) intégration avec des indicateurs physiques pour former les SEPT.

**Prédiction des émotions.** Pour inférer avec précision les états affectifs à partir d'environ 99 000 images capturées et les cartographier selon le modèle d'affect de Russell, nous avons abandonné les méthodes d'annotation traditionnelles en raison de leur nature gourmande en ressources et de leur subjectivité, qui entraînent souvent une faible concordance entre annotateurs et des délais prolongés (Graesser & D'Mello, 2012). Le volume et la complexité de notre ensemble de données d'images ont rendu les approches conventionnelles d'apprentissage automatique inadéquates, car elles peinent à traiter des données de grande dimension sans traitement manuelle significative des caractéristiques. Nous avons adopté une approche d'apprentissage profond pour surmonter les limites
des modèles de prédiction des émotions 2D existants. En exploitant les ensembles de données AffectNet (Mollahosseini et al., 2019) et Affwild (Liu & Kollias, 2019), largement reconnus et couramment utilisés dans la recherche en informatique affective, nous avons entraîné deux modèles à prédire la valence et l'arousal.

<table><caption>TABLE 1 – Comparaison des performances des modèles sur les dimensions de valence et d'arousal.</caption><thead><tr><th rowspan="2">Modèle</th><th colspan="2">Valence</th><th colspan="2">Arousal</th></tr><tr><th>CCC</th><th>RMSE</th><th>CCC</th><th>RMSE</th></tr></thead><tbody><tr><td>CAGE 2024 (Wagner et al., 2024)</td><td><strong>0.716</strong></td><td><strong>0.331</strong></td><td>0.642</td><td><strong>0.305</strong></td></tr><tr><td>VGG-F 2021 (Bulat et al., 2022)</td><td>0.710</td><td>0.356</td><td>0.629</td><td>0.326</td></tr><tr><td>Nos modèles</td><td>0.714</td><td>0.339</td><td><strong>0.644</strong></td><td>0.323</td></tr></tbody></table>

Le tableau 1 compare nos modèles aux données de pointe en matière de prédiction de l'arousal de valence. Chaque modèle comprend cinq couches convolutes et de sous-échantillonnage séquentiel (Conv2D, Conv2D, MaxPooling), suivies de deux couches denses, totalisant environ 2 millions de paramètres. Cette architecture a permis des prédictions émotionnelles précises, avec une perte de validation inférieure à 0,1, permettant une représentation détaillée des états émotionnels des étudiants, conforme au modèle de Russell (voir Fig. 1 - droite). La représentation circulaire 2D obtenue capture efficacement les expressions faciales actives, les expressions les plus prononcées étant positionnées plus à droite ou à gauche du cercle.

<figure><img src="image_44.png" /><figcaption>FIGURE 1 – Exemple de capture de données 7D pour la construction de la trajectoire SEPT</figcaption></figure>

SEPT. Outre la valence et l'arousal, nous avons extrait l'orientation tridimensionnelle de la tête (tangage, lacet et roulis) et une estimation de la distance de l'étudiant à l'écran pour chaque image (basée sur la taille du cadre de délimitation du visage comme indicateur). Ainsi, chaque image est représentée par un vecteur de caractéristiques à 7 dimensions : [valence, arousal, tangage, lacet, roulis, angle d'inclinaison du regard, distance à l'écran] (voir Fig. 1 - gauche). Ensemble, ces caractéristiques capturent l'expression émotionnelle et physique de l'étudiant à chaque seconde. Comme chaque étudiant a consacré un temps différent à chaque question, la longueur (nombre d'images) de la trajectoire varie selon la paire étudiant-question. Pour comparer les trajectoires entre les étudiants, nous avons utilisé la méthode DTW pour les aligner temporellement. Nous avons ainsi calculé les distances par paire entre les trajectoires, ce qui nous indique le degré de similarité de deux SEPT de réponse émotionnelle/physique. Le passage d'un seul point de données moyenné par question à cette
série chronologique à 7 dimensions constitue une avancée méthodologique majeure pour l'analyse
du décrochage scolaire. En résumé, le comportement de chaque étudiant lorsqu'il répond à chaque
question est désormais représenté sous la forme d'un SEPT : une séquence alignée dans le temps
capturant les changements émotionnels et physiques seconde par seconde.

**Visualisation.** Après normalisation des données de chaque dimension dans l'intervalle [-1,1], nous avons visualisé le SEPT afin d'en extraire des informations analytiques. Compte tenu de la nature multidimensionnelle inhérente de ces trajectoires, nous avons sélectionné la valence, l'arousal et la distance face à l'écran comme axes clés pour visualiser le SEPT. Chaque point de la visualisation correspond à une image enregistrée, liée aux expressions faciales et physique de l'étudiant. Nous avons appliqué l'Agglomerative Hierarchical Clustering avec complete linkage et une approche par matrice de distance précalculée en 7D basée sur des mesures de similarité DTW, ce qui nous a permis de regrouper les étudiants présentant une dynamique émotionnelle et une posture comportementale comparables. Dans la figure 2, le code couleur représente les groupes identifiés, capturant des schémas communs d'évolution des émotions et de la position de la tête tout au long de la session de test. Cette visualisation fournit une représentation temporelle des fluctuations émotionnelles des étudiants et de leur influence potentielle sur les performances cognitives. En analysant ces schémas, nous cherchons à identifier des indicateurs comportementaux corrélés aux résultats scolaires.

<figure><img src="image_45.png" /><figcaption>FIGURE 2 – Visualisation 3D du SEPT pour la question 7 du quiz, utilisant la valence, l'arousal et la distance à l'écran. Les points représentent les données horodatées des étudiants, codées par couleur par l'Agglomerative Hierarchical Clustering dans l'espace DTW 7D. Les résumés des clusters à droite indiquent le nombre d'éléments, la note moyenne et les tentatives associées.</figcaption></figure>
# 4 Résultats et discussion

Afin d'évaluer la pertinence et le pouvoir discriminant du SEPT, nous avons réalisé des analyses de clustering à deux niveaux, parmi les étudiants et entre eux pour chaque quiz. L'objectif était de déterminer si les dynamiques émotionnelles et physiques observées s'expliquaient mieux par des schémas individuels ou par la difficulté des questions, et de valider nos quatre hypothèses (H1-H4).

**H1. La valence et l'arousal seuls sont insuffisants.** Des observations antérieures révèlent une déconnexion entre la valence/l'arousal émotionnel et les résultats de performance, remettant en question la suffisance de ces dimensions en tant qu'indicateurs autonomes. Plusieurs étudiants ayant obtenu de faibles scores ont présenté des trajectoires de valence systématiquement positive ou neutre, et de même, les étudiants performants n'ont pas toujours affiché des niveaux élevés d'arousal ou de valence. Pour valider statistiquement ces résultats, nous avons réalisé une ACP sur des caractéristiques comportementales multimodales et visualisé leurs contributions aux deux principales composantes. En prenant le questionnaire 4231, question 2, comme exemple représentatif, la figure 3 montre que la valence et l'arousal présentent une forte corrélation et des vecteurs relativement courts dans le cercle de corrélation, ce qui signifie qu'ils expliquent moins la variance des données que d'autres caractéristiques comme la rotation de la tête ou la distance à l'écran. Ces dimensions ont peu contribué à la formation de groupes d'étudiants. Cela confirme l'hypothèse H1 : si la valence et l'arousal apportent des informations, elles ne constituent pas à elles seules des prédicteurs fiables de la difficulté perçue. Un ensemble plus large d'indicateurs, incluant la posture physique, doit être pris en compte.

<figure><img src="image_46.png" /><figcaption>FIGURE 3 – Cercle de corrélation des variables comportementales (espace ACP), Quiz 4231 - question 2. La longueur et la direction de chaque flèche représentent la corrélation d'une caractéristique avec les deux composantes principales.</figcaption></figure>

**H2. Les émotions varient selon les questions.** Pour tester H2, nous avons appliqué un regroupement par question sur SEPT, extrait pour chaque paire (quiz, question). L'objectif était de déterminer si les étudiants ayant des performances similaires, notamment ceux en difficulté, présentaient également des schémas affectifs similaires pour la même question. Sur les 13 questions analysées, 7 ont montré une nette distinction entre les étudiants performants et les étudiants peu performants, avec des profils émotionnels distincts.