# Actes de l'atelier IA-ÉDU 2025 - Intelligence Artificielle générative et ÉDUCation

Ismail Badache

<figure><img src="image_1.png" /></figure>

## To cite this version:

Ismail Badache. Actes de l'atelier IA-ÉDU 2025 - Intelligence Artificielle générative et ÉDUCation. Atelier IA-ÉDU @CORIA-TALN 2025, Jun 2025, Marseille, France. 2025. hal-05328870

HAL Id: hal-05328870

https://hal.science/hal-05328870v1

Submitted on 23 Oct 2025

HAL is a multi-disciplinary open access archive for the deposit and dissemination of scientific research documents, whether they are published or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d'enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.

<figure><img src="image_2.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
<figure><img src="image_3.png" /></figure>

A.D.E.F

UR4671

Apprentissage | Didactique | Evaluation | Formation

<figure><img src="image_4.png" /></figure>

LABORATOIRE
D'INFORMATIQUE
& DES SYSTÈMES

<figure><img src="image_5.png" /></figure>

Institut national
supérieur du professorat
e de l'éducation
d'Aix-Marseille

<figure><img src="image_6.png" /></figure>

Aix
Marseille
Université

<figure><img src="image_7.png" /></figure>

<figure><img src="image_8.png" /></figure>

IA-ÉDU

Enjeux, Défis et Perspectives

CORIA-TALN 2025

<figure><img src="image_9.png" /></figure>

Actes de l'atelier

Intelligence Artificielle générative et ÉDUCation :

Enjeux, Défis et Perspectives de Recherche

IA-ÉDU 2025

@CORIA-TALN 2025

Ismail Badache

<figure><img src="image_10.png" /></figure>

<figure><img src="image_11.png" /></figure>

<figure><img src="image_12.png" /></figure>

MARSEILLE

<figure><img src="image_13.png" /></figure>
## Préface

<figure><img src="image_14.png" /></figure>

Organisé par **Ismail Badache**, enseignant-chercheur à l'INSPÉ d'Aix-Marseille Université et rattaché au laboratoire LIS UMR 7020 CNRS. L'atelier IA-ÉDU (IA & ÉDUcation : Enjeux, Défis & Perspectives de Recherche) a pour objectif de rassembler chercheurs, enseignants (de l'école primaire à l'université), étudiants, professionnels et décideurs de diverses disciplines afin d'explorer les opportunités et les défis liés à l'intégration de l'intelligence artificielle générative (IAg) dans l'éducation et la formation. Les sujets abordés couvrent un large spectre interdisciplinaire et transdisciplinaire de recherches et d'applications, à la fois en informatique et en sciences de l'éducation et de la formation, incluant (sans s'y limiter) :

- L'agentivité numérique et l'appropriation critique des outils d'IA générative par les apprenants et les enseignants,

- L'analyse des données éducatives (trajectoires d'apprentissage, émotions, évaluations) pour une pédagogie plus adaptative,

- L'hybridation entre modèles génératifs et connaissances structurées (RAG, graphes de connaissances, bases vérifiées),

- L'évaluation et la génération automatique de contenus pédagogiques (questions, feedback, parcours personnalisés),

- L'inclusion et l'accessibilité grâce à l'IA (manuels scolaires adaptés, descriptions automatiques, outils pour les langues peu dotées),

- Les enjeux éthiques et cognitifs de l'IA conversationnelle dans l'éducation (autorité épistémique, biais, intégrité académique),

- Les approches hybrides combinant IA symbolique et connexionniste pour des technologies éducatives plus robustes,

- Les études de terrain sur l'intégration de l'IA en contexte scolaire (retours d'expérience, formations, perceptions des acteurs éducatifs).

L'atelier s'ouvrira par une conférence d'Abdellah Fourtassi, enseignant et chercheur à Aix-Marseille Université (LIS, UMR 7020, CNRS), intitulée : *Les grands modèles de langage peuvent-ils apprendre comme les enfants ?*

Cette conférence sera suivie d'une démonstration du robot éducatif Buddy, illustrant son intégration dans des dispositifs d'enseignement artistique. Ce moment permettra de découvrir concrètement comment la robotique sociale peut soutenir des pratiques pédagogiques innovantes. La matinée se conclura par une session de présentation de posters, mettant en lumière des travaux autour de l'IA, de l'apprentissage et de l'éducation.

L'après-midi débutera avec une intervention de Lucile Gelin, Data Scientist chez Lalilo by Renais-sance Learning et chercheuse associée à l'IRIT UMR 5505 CNRS, sur le sujet : *Les utilisations de l'IA dans l'application Lalilo pour l'apprentissage de la lecture: objectifs, contraintes, évaluation.*

Elle sera suivie de plusieurs présentations de recherches interdisciplinaires, consacrées au développement de solutions numériques innovantes pour l'enseignement et l'apprentissage. Ces interventions mettront en valeur des approches combinant informatique, sciences de l'éducation et design pédagogique. Enfin, l'atelier se clôturera par une table ronde, réunissant l'ensemble des intervenants et les participants, dans un esprit de dialogue et de réflexion collective sur les enjeux actuels de l'intelligence artificielle dans l'éducation.

Nous exprimons notre profonde gratitude à l'INSPÉ d'Aix-Marseille ainsi qu'au laboratoire ADEF UR 4671 pour leur précieux soutien. Nous remercions également chaleureusement l'ensemble des personnes ayant contribué à la réussite de cet événement : les auteurs et autrices des soumissions, les membres du comité de programme, les membres du comité d'organisation, ainsi que l'équipe de coordination de CORIA-TALN 2025 pour leur appui logistique indispensable.
## Comité local d'organisation

- Ismail Badache, LIS, INSPÉ d'Aix-Marseille Université (Président)

- Caroline Vincent, LEST, INSPÉ d'Aix-Marseille Université

- Sarah Nouali, LIS, Aix-Marseille Université

- Abdelhak Dahmani, LIS, Aix-Marseille Université

- Mohsine Aabid, LIS, Aix-Marseille Université

- Paul Pouzergues, LPL, Aix-Marseille Université

<figure><img src="image_15.png" /></figure>

IA-ÉDU
Enjeux, Défis et Perspectives
## Comité de programme

- Ismail Badache, LIS, INSPÉ d'Aix-Marseille Université (Président)

- Pierre Bellet, DREAM-U, Aix-Marseille Université

- Patrice Bellot, LIS, Aix-Marseille Université

- Pascale Brandt-Pomares, ADEF, INSPÉ d'Aix-Marseille Université

- Abdellah Fourtassi, LIS, Aix-Marseille Université

- Gaël Guibon, LIPN, Université Sorbonne Paris Nord

- Maria Impedovo, ADEF, INSPÉ d'Aix-Marseille Université

- Patrice Laisney, ADEF, INSPÉ d'Aix-Marseille Université

- Jonathan Mirault, AMPIRIC, Aix-Marseille Université

- Éric Olivier, CIPE, Aix-Marseille Université

- Paul Pouzergues, LPL, Aix-Marseille Université

- Caroline Vincent, LEST, INSPÉ d'Aix-Marseille Université

- Aznam Yacoub, Université de Windsor, Canada

<figure><img src="image_16.png" /><figcaption>Pierre Bellet</figcaption></figure>

<figure><img src="image_17.png" /><figcaption>Patrice Bellot</figcaption></figure>

<figure><img src="image_18.png" /><figcaption>Pascale
Brandt-Pomares</figcaption></figure>

<figure><img src="image_19.png" /><figcaption>Abdellah Fourtassi</figcaption></figure>

<figure><img src="image_20.png" /><figcaption>Gaël Guibon</figcaption></figure>

<figure><img src="image_21.png" /><figcaption>Maria Impedovo</figcaption></figure>

<figure><img src="image_22.png" /><figcaption>Patrice Laisney</figcaption></figure>

<figure><img src="image_23.png" /><figcaption>Jonathan Mirault</figcaption></figure>

<figure><img src="image_24.png" /><figcaption>Éric Olivier</figcaption></figure>

<figure><img src="image_25.png" /><figcaption>Paul Pouzergues</figcaption></figure>

<figure><img src="image_26.png" /><figcaption>Caroline Vincent</figcaption></figure>

<figure><img src="image_27.png" /><figcaption>Aznam Yacoub</figcaption></figure>
Conférences invitées (Keynote 1)

Abdellah Fourtassi, Maître de conférences, HDR en Informatique

LIS UMR 7020 CNRS, Aix-Marseille Université, France.

Titre de la conférence : *Les grands modèles de langage peuvent-ils apprendre comme les enfants?*

<figure><img src="image_28.png" /></figure>

**Résumé** : Les grands modèles de langage comme ChatGPT ont transformé l'intelligence artificielle, mais nécessitent des quantités massives de données — souvent des centaines de milliards de mots — pour atteindre un haut niveau de performance. En comparaison, les enfants humains acquièrent le langage à partir de seulement quelques millions de mots. Cet écart a suscité une nouvelle ligne de recherche visant à développer des modèles capables d'apprendre à partir d'un volume de données plus proche de celui des enfants. En explorant comment des systèmes peuvent apprendre le langage à partir de données limitées et naturelles, ces travaux offrent des perspectives utiles à la fois pour améliorer les modèles d'IA et pour mieux comprendre l'apprentissage humain. Cette recherche réunit des spécialistes de l'IA et des sciences cognitives, avec un double objectif : rendre les systèmes d'apprentissage plus efficaces en données, et mieux comprendre comment le langage se développe chez l'enfant dans des contextes d'apprentissage écologiques.

**Mots-clés** : IA, développement du langage, modélisation, apprentissage, cognition

**Abstract:** Large language models like ChatGPT have transformed the field of artificial intelligence, but they require vast amounts of data—often hundreds of billions of words—to reach high performance. In contrast, human children acquire language from just a few million words. This gap has motivated a new line of research focused on building language models that learn from human-scale input, closer to what children actually experience. By investigating how systems can learn language from limited, naturalistic data, this work offers insights that are valuable both for improving AI and for understanding human learning. It sits at the intersection of artificial intelligence and cognitive theories of language acquisition, bringing together researchers who aim to make learning systems more data-efficient and those who seek to model child language development in ecologically valid settings. This talk will explore the challenges and opportunities of this emerging research agenda and its implications.

**Keywords:** AI, language development, modeling, learning, cognition
Conférences invitées (Keynote 2)

Lucile GELIN, Senior Data Scientist - Lalilo & CHICA-AI ANR

Renaissance Learning et IRIT UMR 5505 CNRS, Université de Toulouse, France

Titre de la conférence : *Les utilisations de l'IA dans l'application Lalilo pour l'apprentissage de la lecture: objectifs, contraintes, évaluation*

<figure><img src="image_29.png" /></figure>

**Résumé** : La maîtrise de la lecture est une étape clé dans le développement de l'enfant pour qu'il de-
vienne autonome. L'apprentissage n'est cependant pas facile, et les enseignant·es de primaire pourraient
bénéficier de soutien dans cette tâche. Ce soutien peut être apporté par des applications éducation-
nelles, comme Lalilo, qui utilise l'intelligence artificielle pour proposer un outil de pratique qui s'adapte
à chaque élève et renseigne l'enseignant·e pour faciliter la remédiation en classe. Cette présentation
décrira les diverses utilisations de l'IA dans Lalilo, leurs objectifs pour les élèves et enseignant·es, et
les contraintes pédagogiques et éthiques liées à leur intégration dans une application à destination de
jeunes enfants. Nous discuterons des choix et processus mis en place pour assurer des performances
adéquates et un impact bénéfique pour nos utilisateurs·rices. Nous aborderons le sujet des relations entre
recherche académique et R&D industrielle, et comment ces partenariats font avancer les technologies
pour l'éducation.

Mots-clés : IA pour l'éducation, apprentissage adaptatif, reconnaissance de la parole

**Abstract:** Mastering reading is a key stage in a child's development towards independence. Learning is not easy, however, and primary school teachers would benefit from support in this task. This support can be provided by educational applications, such as Lalilo, which uses artificial intelligence to offer a practice tool that adapts to each student and informs the teacher to facilitate in-class remediation. This presentation will describe the various uses of AI in Lalilo, their objectives with students and teachers in mind, and the pedagogical and ethical constraints involved in integrating them into an application for young children. We'll discuss the choices and processes put in place to ensure adequate performance and a beneficial impact for our users. We'll also look at the relationship between academic research and industrial R&D, and how these partnerships are driving forward technologies for education.

Keywords: IA for education, adaptive learning, speech recognition
# Sommaire des articles de l'atelier IA-ÉDU

1. Accessibilité visuelle et éducation inclusive : Étude préliminaire sur la génération de textes alternatifs
Elise Lincker, Elisabeth Olamisan, Theodora Pazakou 1

2. Annotation de résumés oraux d'élèves de primaire pour l'analyse automatique des capacités de compréhension de la lecture
Etienne Labbé, Brice Brossette, Nathalie Camelin, Tiphaine Caudrelier, Eddy Cavalli, Isabelle Ferrané, Barbara Lutz, Véronique Moriceau, Thomas Pellegrini, Julien Pinquier, Cantin Prat, Lucile Gelin 10

3. Apprentissage par renforcement contraint guidé par un graphe de connaissances pour personnaliser les parcours d'apprentissage
Rania Ait Chabane, Armelle Brun, Azim Roussanaly 17

4. Découverte de l'intelligence artificielle par des directeurs et directrices d'école primaire : une étude de cas dans deux circonscriptions marseillaises
Hervé Allesant, Ismail Badache, Maria Impedovo 21

5. Exploration du RAG pour la génération de réponses à des questions en contexte éducatif: étude sur les données SCIQ
Sarah Nouali, Ismail Badache, Patrice Bellot 29

6. Initiation : développer l'agentivité numérique au collégial à l'ère de l'intelligence artificielle générative
Fanny Joussemet 42

7. Intégration encadrée de l'IA générative dans une activité d'apprentissage par problème en école d'ingénieur
Christophe Tilmant, Susan Arbon-Leahy 63

8. L'émergence de l'IA conversationnelle comme autorité cognitive : perspectives éducatives et éthiques à l'ère de Grok
Amélie Raoul 70

9. MALIN : MAnuels scoLaires INclusifs
Elise Lincker, Léa Pacini, Mohamed Amine Lasheb, Olivier Pons, Jérôme Dupire, Camille Guinaudieu, Céline Hudelot, Vincent Mousseau, Isabelle Barbet, Caroline Huron 79

10. Profilage comportemental dans les jeux vidéo éducatifs via des réseaux convolutifs graphiques : le cas de GraphoGameFrançais
Emna Ammari, Patrice Bellot, Ambre Denis-Noël, Johannes C. Ziegler 83

11. Recommandation de tests multi-objectifs pour l'apprentissage adaptatif
Nassim Bouarour, Idir Benouaret, Sihem Amer-Yahia 94

12. Repenser les pratiques d'enseignement et d'apprentissage par la robotique éducative : le cas du robot socio-émotionnel Buddy
Ismail Badache, Elisabeth Colombo 98
13. SEPT : Détecter les difficultés des étudiants à travers le clustering de leurs trajectoires émotionnelles et physique lors d'évaluations en ligne sur Moodle
*Edouard Nadaud, Antoun Yaacoub, Bénédicte Legrand, Lionel Prevost* 111

14. Stimuler la Pensée Étudiante avec l'AQG : Vers une Génération Automatique de Questions de Type Étudiant
*Abdelbassat Labeche, Sébastien Fournier* 126

15. Un outil conversationnel basé sur un graphe de connaissances, des LLM et un modèle BERT pour les programmes d'alternance en France
*Baba Mbaye, Diana Nurbakova, Duaa Baig* 133

16. Une approche hybride de l'IA pour les technologies éducatives : augmenter les STI avec l'IA générative
*Sofiya Kobylyanskaya, Catherine de Vulpillières, Pierre-Yves Oudeyer* 145

17. Vers des RAGs intégrant véracité, subjectivité et explicabilité
*Alae Bouchiba, Adrian-Gabriel Chifu, Sébastien Fournier, Lorraine Goeuriot, Philippe Mulhem* 149
# Accessibilité visuelle et éducation inclusive :
## Étude préliminaire sur la génération de textes alternatifs

Elise Lincker<fnref n="1" /> Elisabeth Olamisan² Theodora Pazakou²

Michèle Gouiffès² Camille Guinaveau² Frédéric Dufaux³

(1) CNAM, Cedric, Paris, France (2) Université Paris-Saclay, CNRS, LISN, Orsay, France

(3) CentraleSupélec, Laboratoire des signaux et systèmes, Orsay, France

prenom.nom@lisn.fr

## RÉSUMÉ

Tout contenu numérique devrait garantir l'accessibilité visuelle en incluant des textes alternatifs aux images. En l'absence de système et de métrique d'évaluation adaptés, nous présentons nos recherches préliminaires sur la génération et l'évaluation de textes alternatifs, d'abord dans un contexte générique. Dans une démarche d'inclusion scolaire, nous mettons en lumière les limites des systèmes existants et les contraintes à prendre en compte pour envisager un système applicable aux manuels scolaires.

## ABSTRACT

### Visual Accessibility and Inclusive Education : A Preliminary Study on Alt-Text Generation

All digital content should ensure visual accessibility by including alternative text for images. In the absence of suitable generation systems and evaluation metrics, we present our preliminary research on the generation and evaluation of alternative text, first in a generic context. In order to foster inclusive education, we highlight the limitations of existing systems and the challenges that must be addressed to develop a system applicable to school textbooks.

**MOTS-CLÉS** : Texte alternatif, Accessibilité visuelle, Éducation inclusive.

**KEYWORDS:** Alternative text, Alt text, Visual accessibility, Inclusive education.

**ARTICLE :** Accepté à IA-ÉDU@CORIA-TALN 2025.

# 1 Introduction

L'accessibilité visuelle des contenus numériques constitue un enjeu majeur pour garantir l'inclusion des personnes déficientes visuelles (DV), aveugles et malvoyantes, dans l'accès à l'information. Il est donc essentiel de rendre les contenus visuels accessibles, soit en produisant des images tactiles pour les supports adaptés, soit, le plus souvent, en proposant un texte alternatif. Ce dernier est une description textuelle destinée à remplacer l'image pour les DV. Il peut être transmis avec l'ensemble du contenu textuel d'un document numérique à un dispositif d'accessibilité visuelle, tel qu'un lecteur d'écran ou une plage Braille. Des directives, comme celles de W3C pour l'accessibilité du Web<fnref n="1" />, préconisent des descriptions concises, objectives et contextualisées qui mettent en évidence le contenu prédominant afin d'en faciliter la compréhension. Cependant, il n'existe pas de consensus universel sur les normes de l'accessibilité visuelle, et celles-ci sont peu appliquées.

<footnote n="1">1. https://www.w3.org/WAI/tutorials/images/</footnote>
Les manuels scolaires numériques restent majoritairement inaccessibles aux élèves DV, en raison d'une conception non inclusive et d'un manque de compatibilité avec les outils d'assistance (Castillan et al., 2018). Bien que des recommandations existent pour intégrer l'accessibilité dès la conception <fnref n="2" />, elles sont rarement appliquées, rendant nécessaires des adaptations a posteriori. Des organismes de transcription de documents pour un public DV transforment les contenus numériques en gros caractères, braille ou format audio comme DAISY. L'association autrichienne BookAccess propose notamment des directives spécifiques pour l'adaptation de manuels scolaires ³. Le travail d'adaptation reste cependant largement manuel, ce qui le rend long, coûteux et dépendant d'une expertise humaine.

Cette étude préliminaire propose un cadre pour la génération et l'évaluation automatique de textes alternatifs, face à plusieurs défis : le contexte de l'image, les besoins spécifiques des DV, et l'absence de métrique d'évaluation appropriée. Nous identifions également les contraintes supplémentaires à prendre en compte en vue d'une application aux manuels scolaires.

## 2 Travaux connexes

Les études sur les préférences des DV mettent en évidence l'importance du contexte pour le texte alternatif. Il inclut notamment le scénario dans lequel apparaît l'image (l'objectif informationnel de l'utilisateur et la source de l'image) (Stangl et al., 2021) ainsi que son contexte immédiat. Un même visuel peut ainsi nécessiter des descriptions différentes selon le scénario. Les DV préfèrent les descriptions contextualisées, jugées plus pertinentes et utiles lorsqu'elles répondent à leurs attentes en fonction du scénario (Gubbi Mohanbabu & Pavel, 2024; Kreiss et al., 2022a).

Cependant, les modèles et métriques d'évaluation existants ne gèrent pas le contexte. Alors qu'une légende complète une image, le texte alternatif la remplace pour garantir l'accessibilité visuelle. Cette différence fondamentale empêche l'adoption directe des modèles de génération de légendes dans un cadre d'accessibilité, en raison du manque de prise en compte du contexte et de leur pré-entraînement sur des corpus non adaptés. À l'inverse, les modèles vision-langage (VLMs) tendent à produire des descriptions trop longues, comportant des spéculations et des hallucinations (Lincker et al., 2025).

La génération de textes alternatifs reste un domaine encore peu exploré ou limité aux images scientifiques (Chintalapati et al., 2022; Williams et al., 2022; McCall & Chagnon, 2022). Pour des images de Twitter, Srivatsan et al. (2024) combinent CLIP (Radford et al., 2021) et un réseau de mapping qui concatène les plongements visuels aux vecteurs contextuels, formant un préfixe pour la génération autorégressive d'une description. Une approche similaire a été adoptée par AutoAD (Han et al., 2023) pour générer des audiodescriptions. Zur et al. (2024) affinent CLIP pour favoriser les descriptions aux légendes, mais sans amélioration de la pertinence visuelle, le contexte n'étant pas utilisé. Enfin, l'outil AltAuthor (Song et al., 2025) aide les développeurs web à intégrer du texte alternatif. Il comprend la classification de l'image selon son rôle pour déterminer si elle nécessite un texte alternatif, la génération conforme aux normes le cas échéant, et une interface d'édition.

Toutefois, la transposition de ces approches au contexte scolaire reste difficile, en particulier en l'absence de jeux de données adaptés, et peu de travaux abordent la gestion des images pour l'éducation inclusive. Yadav et al. (2025) proposent une classification des illustrations dans les manuels d'Étude de la Langue selon leur rôle pédagogique : essentielles, informatives ou décoratives. Cette typologie oriente les adaptations en fonction du type de handicap et pourrait constituer un point de départ pour la génération de texte alternatif, à l'instar de l'approche d'AltAuthor.

<footnote n="2">2. https://www.firah.org/fr/access-man.html 3. https://www.bookaccess.at/</footnote>
# 3 Méthodologie proposée

## 3.1 Données

Il n'existe actuellement aucun ensemble de données de contenus visuels pédagogiques adaptés aux DV. Des organismes proposent des adaptations de manuels scolaires à destination des élèves DV, mais ces contenus ne sont pas diffusés en raison de restrictions liées aux droits d'auteur. Dans d'autres domaines, des jeux de données ont été créés à partir de paires (image, texte) extraites automatiquement de pages web (Sharma et al., 2018; Schuhmann et al., 2022; Srivatsan et al., 2024). Cependant, les descriptions sont souvent rédigées par des contributeurs non spécialistes de l'accessibilité visuelle, ce qui entraîne une qualité variable, rarement suffisante pour répondre aux besoins des DV. Par ailleurs, aucun corpus francophone de textes alternatifs n'est actuellement disponible.

Nos premières expérimentations s'appuieront sur les jeux de données en anglais Concadia (Kreiss et al., 2022b) et AD2AT (Lincker et al., 2025), qui se distinguent par la fiabilité de leurs textes alternatifs. Concadia contient 96 918 images issues de pages Wikipedia, accompagnées de leurs textes alternatifs, légendes et paragraphes contextuels. Les descriptions ont été filtrées pour garantir leur qualité. AD2AT est construit à partir d'audiodescriptions de films produites par des professionnels, dont la modalité a été transformée : de la vidéo avec audiodescription à l'image avec texte alternatif. Les audiodescriptions précédant l'image cible sont utilisées comme contexte. La partie AD2AT-MD contient 37 266 images extraites du dataset d'audiodescriptions MPII-MD (Rohrbach et al., 2015). La deuxième section AD2AT-VIW est construite sur Visuals Into Words (Matamala & Villegas, 2016), un même film audiodécrit par dix descripteurs professionnels. Elle comprend 28 images, chacune associée à 1 à 10 textes alternatifs. Elle constitue une base de test pour évaluer la variabilité et la qualité des descriptions.

## 3.2 Génération

Les premières approches, reposant soit sur des modèles de génération de légendes, soit sur la formulation d'instructions à un VLM, ont montré leurs limites en contexte d'accessibilité, produisant souvent des descriptions génériques, trop longues ou spéculatives (Lincker et al., 2025). Nous proposons d'affiner LLaVa (Liu et al., 2023) par un nouveau réglage des instructions, en appliquant Low Rank Adaptation (LoRA) (Hu et al., 2022) et Direct Preference Optimization (DPO) (Rafailov et al., 2023). Cette approche permet d'éviter l'affinage complet ou l'apprentissage par renforcement, coûteux en ressources. DPO vise à aligner les LLMs sur les préférences humaines et nécessite que chaque exemple d'entraînement soit associé à une paire de références contrastées : l'une positive et l'autre négative.

Notre architecture, illustrée en Figure 1, repose sur un modèle LLaVa figé, dans lequel seuls les poids des matrices de faible rang A et B (matrices LoRA) sont ajustés pendant l'apprentissage. L'image et l'instruction (*prompt*), qui inclut le contexte, sont passés deux fois au modèle : avec une référence positive et avec une négative. La préférence du modèle est mesurée par la log-vraisemblance de chaque réponse : Score = log *P*<sub>θ+Δθ</sub> (*response* | *input*), avec *θ* le modèle figé et *Δθ* les poids de LoRA. Le problème est posé comme une classification binaire, où la fonction de perte s'appuie sur la différence entre les deux scores : Loss = - log *σ*(*score_ref_pos* - *score_ref谓*) où *σ(x)* est la fonction sigmoïde.
<figure><img src="image_30.png" /><figcaption>FIGURE 1 – Architecture proposée : Réglage des instructions de LLaVa avec LoRA et DPO</figcaption></figure>

Pour l'entraînement, les références positives correspondent aux descriptions des jeux de données Concadia et AD2AT. Les légendes de Concadia servent de références négatives. En l'absence d'exemples négatifs pour AD2AT, nous en générons avec LLaVa. En ajustant uniquement les matrices LoRA, le modèle apprend à préférer des descriptions courtes, précises et adaptées au contexte, en rejetant les sorties trop longues ou spéculatives.

## 3.3 Evaluation

Les métriques classiques utilisées pour évaluer la génération de texte (BLEU (Papineni et al., 2002), ROUGE (Lin & Hovy, 2003), METEOR (Banerjee & Lavie, 2005), CIDEr (Vedantam et al., 2015), SPICE (Anderson et al., 2016)) reposent sur la similarité avec des descriptions de référence produites par des humains. Cependant, elles ne tiennent compte ni du contexte d'apparition de l'image, ni des préférences des DV. De plus, une image dans un même contexte peut avoir plusieurs textes alternatifs acceptables, et ne doit pas nécessairement être évaluée en fonction d'une seule référence. Les résultats présentés dans (Kapur & Kreiss, 2024) soulignent la nécessité de développer une métrique sans référence qui prenne en compte les besoins spécifiques des DV. Les approches sans référence, telles que CLIPScore (Hessel et al., 2021) et SPURTS (Feinglass & Yang, 2021), tentent de s'affranchir de la dépendance aux références. Toutefois, elles évaluent principalement la similarité brute entre l'image et le texte, sans prendre en compte la richesse de l'adéquation sémantique, la structure discursive, la cohérence logique ou les enjeux d'accessibilité (Hu et al., 2023; Ahmadi & Agrawal, 2024). ContextRef (Kreiss et al., 2024) constitue un banc d'essai pertinent, basé sur des paires image-texte contextualisées et des évaluations humaines, mais il se concentre sur une analyse de corrélation plutôt que sur une approche d'évaluation intégrée.

Pour pallier ces limites, nous proposons un cadre d'évaluation léger et interprétable. Le score final, AltScore, combine six dimensions : la qualité d'ancrage visuel (QAV), la cohérence discursive (CD), la fluidité et cohérence linguistique (FCL), l'imageabilité (IMG), la pertinence contextuelle (PC) et la plausibilité des concepts de sens communs (PCC).

$$ AltScore = \lambda_1 \cdot QAV + \lambda_2 \cdot CD + \lambda_3 \cdot FCL + \lambda_4 \cdot IMG + \lambda_5 \cdot PC + \lambda_6 \cdot PCC $$

**Qualité d'ancrage visuel.** Nous extrayons des masques de segmentation au niveau des objets à l'aide d'un modèle de segmentation tel qu'EfficientSAM (Xiong et al., 2024). Chaque région segmentée ainsi que l'image entière sont encodées indépendamment à l'aide d'un modèle vision-langage compact (par exemple, SmolVLM (Marafioti et al., 2025)). Les rôles sémantiques sont extraits du texte
alternatif à l'aide de techniques standards d'étiquetage des rôles sémantiques (Chen et al., 2025). Chaque représentation vectorielle des rôles sémantiques est comparée aux représentations enrichies des régions visuelles, en calculant la similarité maximale (MaxSim) pour chaque rôle. Le contexte local fait référence aux régions segmentées spécifiques, tandis que le contexte global correspond à l'image dans son ensemble. La fusion des deux permet une évaluation fine de l'alignement entre le texte et le contenu visuel.

**Cohérence discursive.** Lorsque le texte alternatif comporte plusieurs phrases, nous en évaluons la cohérence interne. Nous vérifions que les entités (acteurs, objets) sont référencées de manière cohérente, qu'aucune contradiction n'est introduite, et que les rôles sémantiques à travers les phrases forment une description cohérente de la scène. La résolution des coréférences et l'analyse des rôles sémantiques sont utilisées pour soutenir cette étape de validation.

**Évaluation de la fluidité et de la cohérence linguistique.** La qualité linguistique de surface est évaluée selon une dimension inspirée de GRUEN (Zhu & Bhat, 2020), combinant trois sous-scores : la grammaticalité, la non-redondance et la cohérence thématique.

**Imageabilité.** Nous estimons la capacité évocatrice du texte alternatif en suivant une version adaptée de la méthode Tell as You Imagine (Umemura et al., 2021). Des scores d'imageabilité issus de lexiques psycholinguistiques sont attribués aux mots clés et agrégés le long de l'arbre syntaxique. La méthode est adaptée pour pénaliser l'abstraction et encourager une visualisation concrète.

**Pertinence contextuelle.** Nous encodons le contexte textuel immédiat de l'image (via MiniLM (Wang et al., 2020)) afin de pondérer la pertinence des régions visuelles : un texte proche et pertinent les renforce, tandis qu'un contexte éloigné ou non pertinent a peu d'effet.

**Validation des concepts de sens commun.** Nous ajoutons une validation optionnelle de la plausibilité des rôles sémantiques. Les rôles sémantiques (acteurs, actions, objets) extraits du texte alternatif sont encodés sous forme de plongements de phrases, puis comparés à des représentations pré-encodées de scénarios plausibles issus du sens commun. Les combinaisons sémantiques présentant une faible similarité avec des événements typiques sont signalées comme potentiellement invraisemblables (Kapur & Kreiss, 2024).

Nous prévoyons d'évaluer dans quelle mesure AltScore est aligné avec les préférences des utilisateurs aveugles ou malvoyants, en corrélant ses résultats avec des jugements humains.

## 3.4 Application aux manuels scolaires

Les illustrations dans les manuels scolaires jouent un rôle crucial dans l'apprentissage. Lorsqu'une activité contient une image, l'adaptation diffère selon le rôle de celle-ci. L'élève doit pouvoir résoudre l'activité, grâce à une description de l'image ou un ajustement de la tâche. La figure 2 présente des extraits de manuels avec une adaptation des images pour les élèves DV. L'image a) est un schéma informatif essentiel à la compréhension d'une leçon ; elle doit être décrite en détail. L'image b) est un schéma à compléter par l'élève : sa description seule n'ayant aucun sens pour un élève DV, la tâche a été reformulée. L'image c) ne peut être décrite sans dévoiler la solution ; on indique la présence d'un graphique, et, si possible, un support tactile est proposé. Enfin, l'activité d) contient plusieurs images. La première fournit des informations essentielles à la réalisation des exercices et est remplacée par un texte alternatif clair et concis. Les énoncés des exercices à la suite sont également complétés pour inclure les informations visuelles, afin de ne pas alourdir la charge cognitive de l'élève.

Dans un objectif d'automatisation, il est nécessaire d'identifier les activités associées aux images, puis de filtrer celles-ci en fonction de leur nature et de leur rôle, en s'appuyant par exemple sur la classification proposée par Yadav et al. (2025). Les images décoratives, redondantes avec le texte, ou
<figure><img src="image_31.png" /><figcaption>FIGURE 2 – Exemples d’images et activités de manuels scolaires et propositions d’adaptations par BookAccess. Source : https://www.bookaccess.at/</figcaption></figure>

purlement illustratives sans lien avec l'activité seront omises. En fonction de l'objectif pédagogique, il s'agit ensuite d'inclure une description de l'image et/ou de modifier la tâche pour la rendre accessible à un élève DV, si cela est possible. Nous envisageons un autre système de génération entièrement adapté au contexte scolaire. Les VLMs génériques bruts s'avèrent insuffisants dans ce cadre, d'autant plus qu'il n'existe pas de données d'entraînement dans un cadre scolaire. Par exemple, pour l'image du squelette (Figure 2 b)), même en contextualisant l'image dans l'instruction, LLaVa produit une description non adaptée comme « A skeleton is labeled with various body parts such as the skull, ribcage, pelvis, and legs. The skeleton stands on one leg. The image is in black and white. » Un tel système devrait prendre en compte les besoins des élèves DV et les objectifs pédagogiques. Il serait paramétrable à la fois en niveau de détail (selon la nature et le rôle de l'image) et en vocabulaire (adapté au niveau scolaire de l'enfant).

# 4 Conclusion

Dans une démarche inclusive, ce travail exploratoire propose un cadre pour la génération de textes alternatifs aux images tenant compte du contexte et des besoins des DV, en exploitant l'IA générative et en contournant ses limites. En l'absence de métrique d'évaluation adaptée, nous introduisons un score sans référence, avec pour perspective de l'aligner aux préférences des DV. Enfin, nous mettons en évidence la complexité de l'adaptation des contenus visuels dans les documents pédagogiques, en fonction de leur rôle et en raison de l'absence de jeux de données adaptés. Nos travaux futurs visent à appliquer et optimiser les méthodes proposées dans un contexte générique, puis à développer un système plus complexe spécifique aux activités scolaires.
# Remerciements

Ce travail a été financé par le projet ANR-21-CE38-0014, l'Institut DATAIA et le LISN.

# Références

AHMADI S. & AGRAWAL A. (2024). An examination of the robustness of reference-free image captioning evaluation metrics. In *Findings of the Association for Computational Linguistics : EACL 2024*, p. 196–208.

ANDERSON P., FERNANDO B., JOHNSON M. & GOULD S. (2016). SPICE: Semantic propositional image caption evaluation. In *Computer Vision-ECCV 2016 : 14th European Conference, Amsterdam, The Netherlands, October 11-14, 2016, Proceedings, Part V 14*, p. 382–398.

BANERJEE S. & LAVIE A. (2005). METEOR: An automatic metric for mt evaluation with improved correlation with human judgments. In *ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization*.

CASTILLAN L., LEMARIÉ J. & MOJAHID M. (2018). Numérique, handicap visuel et accessibilité des apprentissages. contenus pédagogiques numériques : quelle accessibilité pour les élèves présentant une déficience visuelle ? *Éducation & Formation*, p. 90-102.

CHEN H., ZHANG M., LI J., ZHANG M., ØVRELID L., HAJIČ J. & FEI H. (2025). Semantic role labeling: A systematical survey. *arXiv preprint arXiv:2502.08660*.

CHINTALAPATI S. S., BRAGG J. & WANG L. L. (2022). A dataset of alt texts from HCI publications: Analyses and uses towards producing more descriptive alt texts of data visualizations in scientific papers. In *Proceedings of the 24th International ACM SIGACCESS Conference on Computers and Accessibility*, p. 1–12.

FEINGLASS J. & YANG Y. (2021). SMURF: Semantic and linguistic Understanding Fusion for caption evaluation via typicality analysis. In *Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers)*, p. 2250–2260.

GUBBI MOHANBABU A. & PAVEL A. (2024). Context-aware image descriptions for web accessibility. In *Proceedings of the 26th International ACM SIGACCESS Conference on Computers and Accessibility*, p. 1–17.

HAN T., BAIN M., NAGRANI A., VAROL G., XIE W. & ZISSERMAN A. (2023). AutoAD: Movie Description in Context. In *Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition*, p. 18930–18940.

HESSEL J., HOLTZMAN A., FORBES M., LE BRAS R. & CHOI Y. (2021). CLIPScore: A Reference-free Evaluation Metric for Image Captioning. In *Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing*, p. 7514–7528.

HU A., CHEN S., ZHANG L. & JIN Q. (2023). InfoMetIC: An informative metric for reference-free image caption evaluation. In *Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, p. 3171–3185.

HU E. J., SHEN Y., WALLIS P., ALLEN-ZHU Z., LI Y., WANG S., WANG L. & CHEN W. (2022). LoRA: Low-Rank Adaptation of Large Language Models. In *International Conference on Learning Representations*.
KAPUR R. & KREISS E. (2024). Reference-based metrics are biased against blind and low-vision users' image description preferences. In *Proceedings of the Third Workshop on NLP for Positive Impact*, p. 308–314.

KREISS E., BENNETT C., HOOSHMAND S., ZELIKMAN E., MORRIS M. R. & POTTS C. (2022a). Context matters for image descriptions for accessibility : Challenges for referenceless evaluation metrics. In *Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing*, p. 4685–4697.

KREISS E., FANG F., GOODMAN N. & POTTS C. (2022b). Concadia : Towards image-based text generation with a purpose. In *Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing*, p. 4667–4684.

KREISS E., ZELIKMAN E., POTTS C. & HABER N. (2024). ContextRef : Evaluating Referenceless Metrics For Image Description Generation. In *The Twelfth International Conference on Learning Representations*.

LIN C.-Y. & HOVY E. (2003). Automatic evaluation of summaries using n-gram co-occurrence statistics. In *Proceedings of the 2003 human language technology conference of the North American chapter of the association for computational linguistics*, p. 150–157.

LINCKER E., GUINAUDEAU C. & SATOH S. (2025). AD2AT : Audio description to alternative text, a dataset of alternative text from movies. In *Proceedings of the 31st International Conference on Multimedia Modeling*, p. 58–71.

LIU H., LI C., WU Q. & LEE Y. J. (2023). Visual Instruction Tuning. *Advances in Neural Information Processing Systems*, **36**, 34892–34916.

MARAFIOTI A., ZOHAR O., FARRÉ M., NOYAN M., BAKOUCH E., CUENCA P., ZAKKA C., ALLAL L. B., LOZHKOV A., TAZI N. et al. (2025). Smolvlm : Redefining small and efficient multimodal models. *arXiv preprint arXiv:2504.05299*.

MATAMALA A. & VILLEGAS M. (2016). Building an audio description multilingual multimodal corpus : the VIW project. *Multimodal Corpora: Computer vision and language processing*, (11).

MCCALL K. & CHAGNON B. (2022). Rethinking alt text to improve its effectiveness. In *International Conference on Computers Helping People with Special Needs*, p. 26–33.

PAPINENI K., ROUKOS S., WARD T. & ZHU W.-J. (2002). BLEU : a method for automatic evaluation of machine translation. In *Proceedings of the 40th annual meeting of the Association for Computational Linguistics*, p. 311–318.

RADFORD A., KIM J. W., HALLACY C., RAMESH A., GOH G., AGARWAL S., SASTRY G., ASKELL A., MISHKIN P., CLARK J., KRUEGER G. & SUTSKEVER I. (2021). Learning Transferable Visual Models From Natural Language Supervision. In *Proceedings of the 38th International Conference on Machine Learning*, p. 8748–8763.

RAFAILOV R., SHARMA A., MITCHELL E., MANNING C. D., ERMON S. & FINN C. (2023). Direct Preference Optimization : Your Language Model is Secretly a Reward Model. *Advances in Neural Information Processing Systems*, **36**, 53728–53741.

ROHRBACH A., ROHRBACH M., TANDON N. & SCHIELE B. (2015). A dataset for movie description. In *Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition*, p. 3202–3212.

SCHUHMANN C., BEAUMONT R., VENCU R., GORDON C., WIGHTMAN R., CHERTI M., COOMBES T., KATTA A., MULLIS C., WORTSMAN M., SCHRAMOWSKI P., KUNDURTHY S., CROWSON K., SCHMIDT L., KACZMARCZYK R. & JITSEV J. (2022). Laion-5b : An open large-scale dataset for training next generation image-text models. *Advances in neural information processing systems*, **35**, 25278–25294.
SHARMA P., DING N., GOODMAN S. & SORICUT R. (2018). Conceptual captions : A cleaned, hypernymed, image alt-text dataset for automatic image captioning. In *Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1 : Long Papers)*, p. 2556–2565.

SONG H., SHIN M., KIM Y., JANG K., CHOI J., JUNG H. & SUH B. (2025). Altauthor : A context-aware alt text authoring tool with image classification and Imm-powered accessibility compliance. In *Companion Proceedings of the 30th International Conference on Intelligent User Interfaces*, p. 124–128.

SRIVATSAN N., SAMANIEGO S., FLOREZ O. & BERG-KIRKPATRICK T. (2024). Alt-text with context : Improving accessibility for images on twitter. In *The Twelfth International Conference on Learning Representations*.

STANGL A., VERMA N., FLEISCHMANN K. R., MORRIS M. R. & GURARI D. (2021). Going beyond one-size-fits-all image descriptions to satisfy the information wants of people who are blind or have low vision. In *Proceedings of the 23rd international ACM SIGACCESS conference on computers and accessibility*, p. 1–15.

UMEMURA K., KASTNER M. A., IDE I., KAWANISHI Y., HIRAYAMA T., DOMAN K., DEGUCHI D. & MURASE H. (2021). Tell as you imagine : Sentence imageability-aware image captioning. In *Proceedings of the 27th International Conference on MultiMedia Modeling, Part II*.

VEDANTAM R., LAWRENCE ZITNICK C. & PARIKH D. (2015). CIDEr : Consensus-based image description evaluation. In *Proceedings of the IEEE conference on computer vision and pattern recognition*, p. 4566–4575.

WANG W., WEI F., DONG L., BAO H., YANG N. & ZHOU M. (2020). Minilm : Deep self-attention distillation for task-agnostic compression of pre-trained transformers. *Advances in neural information processing systems*, **33**, 5776–5788.

WILLIAMS C., DE GREEF L., HARRIS III E., FINDLATER L., PAVEL A. & BENNETT C. (2022). Toward supporting quality alt text in computing publications. In *Proceedings of the 19th International Web for All Conference*, p. 1–12.

XIONG Y., VARADARAJAN B., WU L., XIANG X., XIAO F., ZHU C., DAI X., WANG D., SUN F., IANDOLA F., KRISHNAMOORTHI R. & CHANDRA V. (2024). EfficientSAM : Leveraged Masked Image Pretraining for Efficient Segment Anything. In *Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition*, p. 16111–16121.

YADAV S., LINCKER E., HURON C., MARTIN S., GUINAUDEAU C., SATOH S. & SHUKLA J. (2025). Towards inclusive education : Multimodal classification of textbook images for accessibility. In *Proceedings of the 31st International Conference on Multimedia Modeling*, p. 212–225.

ZHU W. & BHAT S. (2020). GRUEN for evaluating linguistic quality of generated text. In *Findings of the Association for Computational Linguistics : EMNLP 2020*, p. 94–108.

ZUR A., KREISS E., D'OOSTERLINCK K., POTTS C. & GEIGER A. (2024). Updating clip to prefer descriptions over captions. In *Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing*, p. 20178–20187.
# Annotation de résumés oraux d'élèves de primaire pour l'analyse automatique des capacités de compréhension de la lecture

Etienne Labbé² Brice Brossette³ Nathalie Camelin⁴ Tiphaine Caudrelier⁴

Eddy Cavalli⁴ Isabelle Ferrané² Barbara Lutz¹ Véronique Moriceau² Thomas

Pellegrini² Julien Pinquier² Cantin Prat⁴ Lucile Gelin¹, ²

(1) Lalilo by Renaissance Learning, France

(2) IRIT, Université Paul Sabatier, CNRS, Toulouse, France

(3) Laboratoire d'Etude des Mécanismes Cognitifs (EMC), Université Lumière Lyon 2, Lyon, France

(4) Laboratoire d'Informatique d'Avignon (LIA), Avignon, France

etienne.labbe@irit.fr, lucile.gelin@renaissance.com

## RÉSUMÉ

Le projet CHICA-AI vise à construire une activité assistée par ordinateur pour l'entraînement des compétences de compréhension de la lecture des élèves de primaire. Cette activité consiste à demander à l'élève de résumer à l'oral un texte narratif, afin d'identifier ses difficultés de compréhension et fournir un retour personnalisé à l'élève et à son enseignant. Pour cela, nous mettrons en place un système automatique d'analyse fine des résumés oraux, capable d'extraire les informations pertinentes et de les combiner pour remplir une grille de critères pédagogiques et psycho-cognitifs. Nous présentons ici les défis du projet, ainsi que les premiers travaux réalisés : création de l'activité dans la plateforme Lalilo et du contenu pédagogique, collecte d'enregistrements audios, construction du protocole d'annotation. Nous présentons enfin les analyses préliminaires faites sur les premières annotations, qui serviront à l'entraînement et l'évaluation de notre système automatique.

## ABSTRACT

**Annotation of oral summaries from primary school students for automatic analysis of reading comprehension skills**

The CHICA-AI project aims to build a computer-assisted learning activity for training the reading comprehension skills of primary school pupils. This activity involves asking students to orally summarize a narrative text, in order to identify their comprehension difficulties and provide personalized feedback to the pupil and their teacher. To do this, we'll be implementing an automatic system for fine-grained analysis of oral summaries, capable of extracting relevant information and combining it to fill out a grid of pedagogical and psycho-cognitive criteria. We present here the challenges of the project, as well as the first tasks carried out : creation of the activity in the Lalilo platform and of the pedagogical content, audio recordings collection, construction of the annotation protocol. Finally, we present the preliminary analyses executed on the first annotations, which will be used to train and evaluate our automatic system.

**MOTS-CLÉS** : Traitement automatique de la parole et du language, apprentissage de la lecture, IA pour l'éducation.

**KEYWORDS:** Natural language and speech processing, reading learning, AI for education.

**ARTICLE :** **Accepté à IA-ÉDU@CORIA-TALN 2025.**
# 1 Introduction

La maîtrise de la lecture est essentielle à l'autonomie de l'enfant, mais son apprentissage est un véritable défi. En France, les compétences en lecture et en compréhension des élèves de CM1 ont baissé depuis le début des années 2000. L'étude PIRLS de 2016 révèle que 40,5% des jeunes de 15 ans ne maîtrisent pas la lecture et que 21,5% d'entre eux rencontrent de sérieuses difficultés (Colmant & Le Cam, 2017). L'enquête PISA de 2015 a mis en évidence des écarts de performance importants entre les élèves les plus performants et les moins performants (OCDE, 2016). L'enquête PISA de 2018 a montré que les élèves socio-économiquement favorisés dépassent leurs pairs défavorisés d'environ quatre années de scolarité (OCDE, 2019). Enfin, un rapport de l'Observatoire national de la lecture de 2007¹ a établi un lien entre les problèmes de lecture et les échecs dans diverses matières. Une solution à ces problèmes pourrait résider dans un apprentissage assisté par ordinateur (Computer-Assisted Learning, CAL) efficace pour aider les enseignants et les élèves.

L'entreprise Lalilo développe un tel système CAL : un assistant pédagogique basé sur l'intelligence artificielle (IA) pour différencier l'apprentissage de la lecture. Ce système offre une grande variété de tâches associatives pour couvrir les deux aspects clés de la lecture : la reconnaissance des mots et la compréhension du langage. Ce dernier aspect est toutefois plus difficile à traiter par les systèmes CAL en raison de la complexité des processus impliqués dans la compréhension. Les exercices à réponse ouverte, par opposition aux QCM traditionnels, peuvent aider les étudiants à s'exercer à des aspects plus complexes de la compréhension. Dans ce contexte, Lalilo souhaite proposer une nouvelle intervention CAL avec une activité de résumé oral d'un texte, des retours personnalisés pour les élèves et des métriques informatives pour les enseignants.

L'objectif du projet CHICA-AI est de développer le système automatique CAL qui analysera et évaluera les résumés oraux des élèves. Nous avons choisi d'évaluer les résumés non seulement à un niveau global, mais surtout à un niveau plus fin, comme le font les psychologues et les enseignants en classe. Dans cet objectif, nous avons conçu une grille d'évaluation basée sur les sciences psychologiques et la pédagogie. Le système CAL visera à extraire les informations pertinentes du résumé oral de l'élève et à donner une note pour chaque critère de la grille. Les technologies suivantes seront utilisées pour extraire les informations : reconnaissance automatique de la parole (RAP), compréhension du langage parlé (CLP), traitement automatique du langage naturel (TALN).

Pour mener à bien cet objectif, nous devrons surmonter deux défis majeurs.

## Défi n°1 : Adaptation de technologies à un cas d'utilisation complexe de la vie réelle

* Parole d'enfant : la performance des modèles de RAP sur la parole d'enfant est loin de la performance sur les adultes, et il n'y a pas de systèmes de CLP existants qui sont adaptés à la parole d'enfant;

* Parole spontanée avec une charge mentale élevée : la tâche de résumé oral nécessite des mécanismes cognitifs complexes, ce qui introduit à des événements de parole spontanée dans le discours de l'enfant, tels que les disfluences, répétitions, auto-corrections, hésitations, etc. La présence de ces événements augmente la difficulté des tâches automatiques;

* Utilisation en classe : la plateforme Lalilo est conçue pour une utilisation à l'école. Cela implique que les enregistrements contiennent une grande variété de bruits de classe, qui peuvent nuire à la performance des systèmes de RAP.

<footnote n="1">1. «La lecture au début du collège», téléchargeable : http://onl.inrp.fr/ONL/publications/publi2007/</footnote>
# Défi n°2 : Construction d'une activité complexe d'entraînement de la compréhension

Cette intervention CAL est inédite et doit être créée de toute pièce. Les aspects suivants devront être pris en compte pour garantir l'efficacité de l'intervention sur les progrès en lecture de l'élève :

1. Expérience psycho-cognitive et pédagogique

(a) Evaluation du résumé : Comment évaluer un résumé oral ? Quels sont les critères importants et ceux qui le sont moins ? Comment déterminer si un critère a été satisfait ?

(b) Remédiation à la suite de l'activité : Comment détecter les difficultés des élèves ? Lorsque ces difficultés sont détectées, de quoi l'élève a-t-il besoin pour les surmonter ?

2. Défis techniques

(a) Annotation des données : Comment annoter les données pour entraîner les modèles à remplir la grille d'évaluation ? L'évaluation est très subjective (même chez les enseignants expérimentés), comment assurer la qualité et la représentativité des annotations ?

(b) Remplir automatiquement la grille d'évaluation : Comment combiner les informations extraites automatiquement pour répondre à chaque critère de la grille d'évaluation ? Comment mesurer la performance du système ?

Nous présentons dans cet article le travail effectué depuis le début du projet CHICA-AI. La première étape (section 2), a été de créer l'activité de résumé oral dans la plateforme Lalilo, ce qui nous a permis de récolter des enregistrements audios de résumés d'élèves. La seconde étape (section 3) a été de mettre en place une tâche d'annotation et un protocole rigoureux pour assurer la bonne qualité et la pertinence des annotations pour l'entraînement et l'évaluation des systèmes automatiques. Nous présentons en section 4 les analyses préliminaires de notre processus d'annotation.

## 2 L'activité de résumé oral

### 2.1 Déroulement de l'activité

L'activité de résumé oral est déployée dans la plateforme Lalilo depuis mai 2024. Les élèves suivent une progression pédagogique définie par l'équipe pédagogique de Lalilo, et atteignent l'activité de résumé oral au niveau CM1-CM2.

L'activité de résumé oral est précédée par plusieurs leçons pour apprendre aux élèves à extraire les informations pertinentes d'un texte et à construire un résumé à partir de ces informations. Une fois ces leçons terminées, les élèves ont accès à l'activité, qu'ils peuvent effectuer (pour l'instant) 5 fois, avec 5 textes différents. Les textes sont des textes narratifs créés par l'équipe pédagogique de Lalilo avec une difficulté croissante. L'activité est composée de plusieurs phases :

1. Lecture du texte par l'élève ;

2. Réponse à des questions de compréhension sur le texte pour l'aider à extraire les informations pertinentes. Plus l'élève est avancé dans sa progression, moins il y a de questions ;

3. Enregistrement du résumé oral ;

4. Validation par l'enfant de son résumé.

Au terme du projet, l'activité comportera une cinquième étape, durant laquelle l'enfant recevra un retour personnalisé à l'aide du système d'analyse automatique. L'objectif est de l'aider à mettre en place des stratégies pour progresser en compréhension de la lecture.
## 2.2 Grille d'évaluation des résumés

Nous avons construit une grille à partir de critères pédagogiques et psycho-cognitifs pour évaluer de façon fine les résumés des élèves et trouver les meilleures stratégies de remédiation. Nous nous sommes basés sur la grille de (Casazza, 1993), que nous avons adaptée pour qu'elle corresponde à des textes narratifs niveau primaire et à du travail de compréhension de la lecture (Cèbe et al., 2004).

Les critères sont divisés en deux catégories : stratégie de compréhension et mise en forme du résumé. La première catégorie contient des critères sur le contenu du résumé : les personnages principaux et secondaires, les lieux de l'histoire, les idées principales à retrouver et leur chronologie dans le récit de l'élève. La seconde catégorie permet d'évaluer la qualité de la forme du résumé : reformulation des idées, présence de connecteurs logiques et temporels, mise en oeuvre des compétences syntaxiques et sémantiques, etc.

# 3 Construction des annotations

## 3.1 Tâche d'annotation

La tâche d'annotation est réalisée sur une application développée par nos soins et fondée sur la bibliothèque python Streamlit<fnref n="2" />. Cette application permet de facilement traiter les enregistrements les uns après les autres et enregistre les annotations sous format json. Le processus d'annotation est composé de plusieurs phases.

La première phase consiste à écarter les enregistrements non annotables, qui ne seront pas utilisés dans le projet. En effet, les enfants étant en autonomie sur la plateforme Lalilo, il arrive souvent que les enregistrements reçus ne présentent pas de contenu analysable. Nous rejettons les enregistrements pour les raisons suivantes :

* NO่าง : L'élève ne parle pas

* ADULT : On entend seulement un adulte qui parle (souvent l'enseignant)

* OUT_OF_EXERCISE : L'élève parle mais ne fait pas l'exercice

* TOO_NOISY : L'enfant parle mais il y a trop de bruit pour comprendre ce qui est dit

* NOT_INTELLIGIBLE : L'enfant parle de façon non intelligible, on ne le comprend pas

La seconde phase, si l'enregistrement n'est pas rejeté, consiste à transcrire le résumé le plus fidèlement possible. Cette transcription sera utilisée pour entraîner les futurs systèmes de RAP et CLP, et servir de base textuelle pour les systèmes de TALN. Nous utilisons le système Whisper-large-v3³ pour établir une transcription automatique à corriger. Des symboles sont ajoutés manuellement pour transcrire les pauses, hésitations, sons non verbaux et mots inintelligibles.

La troisième phase comporte les critères de la catégorie "stratégie de compréhension" de la grille. Les personnages, lieux et idées font l'objet de deux annotations : un score d'identification (1-4) et un repérage d'entités nommées (consistant à surligner des mots dans la transcription du résumé). La chronologie est évaluée avec un système de classement des idées principales identifiées par l'élève. L'annotation correspond à la chronologie telle qu'elle est dans l'esprit de l'élève, et non telle que présentée dans le résumé, c'est à dire en prenant compte de l'utilisation de connecteurs temporels (par exemple "avant ça", "plus tôt dans l'histoire"...). Cette phase se termine par un score global, entre

<footnote n="2">2. https://streamlit.io/</footnote>

<footnote n="3">3. https://huggingface.co/openai/whisper-large-v3</footnote>
0 et 10, du contenu du résumé de l'élève, représentant sa compréhension de l'histoire.

La quatrième phase correspond aux critères de la catégorie "mise en forme du résumé" qui ne sont pas
annotables automatiquement. Nous cherchons à détecter la présence d'avis personnels de l'enfant sur
l'histoire (à proscrire dans un résumé) ou de parole hors de l'exercice (signe d'une déconcentration
de l'élève). Nous demandons également à l'annotatrice de donner, entre 1 et 5, un score global de
mise en forme du résumé et une score global d'expression orale.

## 3.2 Protocole d'annotation

En premier lieu, nous avons mené en 2024 une étude pilote à plus petite échelle sur les données
collectées au cours des premiers mois sur la plateforme Lalilo. Dans cette étude préliminaire, une
première version du guide d'annotation et de l'interface d'annotation a été conçue pour répondre à la
tâche décrite ci-dessus. L'étude a été réalisée avec des étudiantes orthophonistes et a permis d'obtenir
divers retours pour améliorer et corriger certains points de l'interface d'annotation et du guide. Après
amélioration du protocole, une première réelle salve d'annotation a été réalisée en 2025 avec six
autres étudiantes orthophonistes. Pour les former à cette tâche d'annotation très complexe, nous avons
divisé le processus d'annotation en différentes étapes :

1. Formation initiale : présentation du protocole d'annotation (guide, interface);

2. Lot de formation (n°1) : Annotation d'un lot de 15 enregistrements choisis pour couvrir une diversité de cas (un exemple simple, moyen et complexe pour chaque histoire), chaque enregistrement étant annoté par toutes les annotatrices;

3. Mesure de la qualité des annotations sur le lot 1 : Calcul de différentes mesures inter-annotateurs pour chaque domaine. L'objectif est de s'assurer que chaque annotatrice a bien compris les lignes directrices et fournit des annotations cohérentes et correctes.

4. Formation complémentaire et correction collaborative du lot 1

5. Lot de validation (n°2) : Annotation d'un lot de 45 audios répartis par paires d'annotatrices;

6. Mesure de la qualité des annotations sur le lot 2 : Si les accords inter-annotateurs sont en dessous de nos seuils prédéfinis pour la validation, retour à l'étape 4. Dans le cas contraire, nous procédons à l'annotation du lot final.

7. Lot final : Le reste des données est réparti entre les annotatrices, en conservant 20% d'enregistrements en commun pour calculer des accords inter-annotatrices.

Pour estimer la qualité des annotations, nous avons utilisé plusieurs métriques différente en fonction de
la nature du champ annoté. Les scores globaux sont évalués par le coefficient de corrélation intraclasse
(Intraclass Correlation Coefficient, ICC) (Koch, 2006), et plus précisément l'ICC3 (modèle à deux
facteur mixte). Les séquences (transcriptions et chronologies) sont comparées par le ratio de la
distance de Levenshtein (au niveau du mot pour les transcriptions et au niveau de l'index de l'idée
pour les chronologies). Les autres critères catégoriques sont évalués par le Kappa de Cohen.

# 4 Résultats

Le jeu de données obtenu contient au total 2085 annotations, dont 1065 ont été rejetés par les
annotatrices. La majorité des rejets concernent soit des fichiers audio ne contenant aucune parole (481
annotations), soit des fichiers audio ne contenant que des paroles hors de l'exercice (364 annotations).
Il en résulte 1020 annotations de 875 fichiers audio différents.
Les résultats des accords inter-annotateurs sont donnés dans la table 1. Les accords sur la transcription sont restés supérieurs au seuil de 0,85 pour tous les lots. Dans le lot 1, 2 et final, les accords sur les scores de compréhension (compréhension globale, personnages principaux, etc.), étaient au-dessus du seuil attendus pour l'ICC3 (0,6), et ont même dépassé 0,9, indiquant que les annotatrices ont bien compris ces critères. Pour la chronologie, les ratios sont plus bas, dû au fait qu'une idée non-reconnue par une annotatrice mais reconnue par une autre pour un même fichier fait légèrement baisser le score. Si on ne considère que les idées en commun, l'accords est bien plus élevé (>0,97). Les scores de mise en forme et d'expression globaux sont plus difficiles à annoter et plus variables. Après le lot 2, ils étaient au dessus du seuil acceptable (0,6), mais ont chuté à 0,50 et 0,55 pour le lot final. En dépit de cela, les accords peuvent être considérés comme globalement satisfaisants en raison de la complexité de l'annotation mise en œuvre, et ils suggèrent que le protocole pourra être appliqué à nouveau pour annoter les résumés oraux futurs de la plateforme.

<table><caption>TABLE 1 – Résultats des accords inter-annotateurs sur les lots d'entrainement 1 et 2 ainsi que sur les données communes du lot final.</caption><thead><tr><th>Champ d'annotation</th><th>Métrique</th><th>Lot 1</th><th>Lot 2</th><th>Lot final</th></tr></thead><tbody><tr><td>Transcription</td><td>Levenshtein</td><td>0,9102</td><td>0,8559</td><td>0,8781</td></tr><tr><td>Compréhension globale</td><td>ICC3</td><td>0,6510</td><td>0,9089</td><td>0,8141</td></tr><tr><td>Personnages principaux</td><td>ICC3</td><td>0,6775</td><td>0,9282</td><td>0,9306</td></tr><tr><td>Idées principales</td><td>ICC3</td><td>0,7303</td><td>0,8092</td><td>0,8859</td></tr><tr><td>Lieux</td><td>ICC3</td><td>0,9666</td><td>0,8922</td><td>0,8836</td></tr><tr><td>Personnages secondaires</td><td>ICC3</td><td>0,7816</td><td>0,9666</td><td>0,8633</td></tr><tr><td>Chronologie des idées</td><td>Levenshtein</td><td>0,7776</td><td>0,8135</td><td>0,8551</td></tr><tr><td>Mise en forme globale</td><td>ICC3</td><td>0,3173</td><td>0,7517</td><td>0,5092</td></tr><tr><td>Expression globale</td><td>ICC3</td><td>0,6945</td><td>0,6708</td><td>0,5594</td></tr></tbody></table>

# 5 Conclusion

Nous avons présenté dans ce travail les objectifs et premiers résultats du projet CHICA-AI, visant à fournir un entraînement à la compréhension de la lecture aux élèves de primaire à travers une activité de résumé oral avec analyse automatique et retour personnalisé. Les premiers travaux effectués ont permis de récolter des enregistrements audios qui seront utilisés pour entraîner le système d'analyse automatique des résumés, ainsi que de les annoter pour les différentes tâches envisagées (RAP, CLP, TALN). Nos analyses montrent que notre protocole d'annotation, très sophistiqué en raison de la complexité de la tâche, permet d'obtenir des annotations de qualité satisfaisante pour la plupart des critères d'évaluation d'un résumé. Les chercheurs et chercheuses impliquées dans le projet pourront ainsi utiliser ces annotations pour entraîner et évaluer leurs systèmes, et ainsi construire une activité bénéfique dont l'usage entraîne une amélioration dans les capacités de compréhension des élèves.

# Remerciements

Les auteurs remercient l'Agence Nationale de la Recherche (ANR) pour le soutien financier apporté au projet CHICA-AI dans le cadre de l'Appel à Projet Générique 2023, ainsi que Renaissance Learning, qui finance le reste du projet et permet l'existence de la plateforme Lalilo.
Références

CASAZZA M. E. (1993). Using a model of direct instruction to teach summary writing in a college reading class. *Journal of Reading, 37*(3), 202–208.

CÈBE S., GOIGOUX R. & THOMAZET S. (2004). Enseigner la compréhension. Principes didactiques, exemples de tâches et d'activités. In *Lire écrire, un plaisir retrouvé*. MEN-DESCO. HAL : hal-00922482.

COLMANT M. & LE CAM M. (2017). PIRLS 2016. DOI: 10.48464/ni-17-24, HAL: halshs-03846903.

KOCH G. (2006). *Intraclass Correlation Coefficient*. DOI: 10.1002/0471667196.ess1275.pub2.

OCDE (2016). *Résultats du PISA 2015 (Volume I) : L'excellence et l'équité dans l'éducation*. PISA, Éditions OCDE. DOI: https://doi.org/10.1787/9789264267534-fr.

OCDE (2019). *Résultats du PISA 2018 (Volume I) : Savoirs et savoir-faire des élèves*. PISA, Éditions OCDE. DOI: https://doi.org/10.1787/ec30bc50-fr.
# Apprentissage par renforcement contraint guidé par un graphe de connaissances pour personnaliser les parcours d'apprentissage

Rania Ait Chabane¹,² Armelle Brun¹ Azim Roussanaly¹

(1) Université de Lorraine, LORIA (2) Stellia.ai

rania.ait-chabane@loria.fr, armelle.brun@loria.fr

## RÉSUMÉ

Ce travail présente une architecture d'apprentissage adaptatif combinant graphes de connaissances enrichis et contraintes pédagogiques dans un cadre d'apprentissage par renforcement. Le graphe est construit à partir de ressources expertes (ex. manuel scolaire) et enrichi automatiquement par un modèle de langage pour compléter les relations et inférer des contraintes. Un module de knowledge tracing estime la progression de l'apprenant vers un objectif pédagogique donné. Un agent de renforcement, entraîné en environnement simulé, recommande des activités en maximisant la progression attendue tout en respectant les contraintes. Cette approche vise à renforcer la pertinence, la diversité et l'explicabilité des parcours proposés. Une évaluation sur des jeux de données réels est prévue en travaux futurs.

## ABSTRACT

Constrained Reinforcement Learning Guided by a Knowledge Graph for Personalized Learning Pathways

This work presents an adaptive learning architecture that integrates enriched knowledge graphs and pedagogical constraints into a reinforcement learning framework. The graph is built from expert resources (e.g., textbooks) and enriched using a language model to infer semantic relations and constraints. A knowledge tracing module estimates the learner's progress toward a given objective. A reinforcement learning agent, trained in a simulated environment, recommends optimal activities by maximizing expected learning gains while respecting constraints. This approach aims to improve the relevance, diversity, and explainability of personalized learning paths. Future work will focus on evaluation using real-world educational datasets.

MOTS-CLÉS: Apprentissage adaptatif, Graphes de connaissances, Apprentissage par renforcement.

KEYWORDS: Adaptive learning, Knowledge graphs, Reinforcement learning.

ARTICLE : Accepté à IA-ÉDU@CORIA-TALN 2025.

## 1 Introduction

L'émergence des plateformes d'apprentissage en ligne a profondément modifié les pratiques éducatives, en ouvrant la voie à une personnalisation des parcours d'apprentissage. Le Knowledge Tracing (KT) est un levier central de cette personnalisation (Abdelrahman et al., 2023). Il modélise l'évolution du niveau de maîtrise des concepts à partir des traces d'apprentissage. Les premières approches bayésiennes (Corbett & Anderson, 1994; Käser et al., 2017) adoptent une approche probabiliste. Le
Deep KT (Piech et al., 2015) a ensuite introduit des réseaux neuronaux récurrents pour capturer des dépendances complexes au sein des séquences d'interactions. Plus récemment, le Self-Attentive KT (Pandey & Karypis, 2019) utilise des mécanismes d'attention pour pondérer l'importance des interactions passées. Toutefois, ces modèles restent limités par leur faible interprétabilité et par une prise en compte partielle du contexte. Le Graph-based KT (GKT) proposé par (Nakagawa et al., 2019) adresse ce point en apprenant une structure sémantique implicite, c'est-à-dire à partir des interactions, tout en prédisant le niveau de maîtrise grâce aux *Graph Neural Network* (GNN). En parallèle, la modélisation explicite du domaine d'apprentissage via des graphes de connaissance (*Knowledge Graphs*-KG) s'est imposée comme une solution pour représenter les concepts, les compétences, les activités, leurs relations et leurs dépendances (Ji et al., 2022). Ces graphes, en apportant une connaissance experte structurée, guident les modèles prédictifs et renforcent à la fois leurs performances et leur explicabilité (Xian et al., 2019). Des travaux récents mobilisent aussi les *Large Language Models* (LLMs) pour construire ou enrichir des KG éducatifs. Ainsi, (Jhajj et al., 2024) utilisent GPT-4 pour générer des EduKG alignés sur des objectifs pédagogiques, et (Abu-Rasheed et al., 2025) utilisent un LLM pour la complétion de graphes de parcours universitaires. Enfin, l'élément clé de la personnalisation est l'algorithme dit d'*adaptive learning* chargé d'identifier l'activité à proposer à l'apprenant à chaque étape de son parcours. Plusieurs approches sont explorées : bandits multi-bras (Mui et al., 2021), classification non supervisée (Chen & Huang, 2023), ou systèmes à base de règles (Kolekar et al., 2019). Toutefois, le *Reinforcement Learning* (RL) est privilégié grâce à sa capacité à optimiser séquentiellement les décisions sur le long terme selon l'évolution de l'état de l'apprenant. Des architectures hybrides combinant KG, KT et RL ont récemment vu le jour. Par exemple, TGKT-RL (Chen et al., 2023) s'appuie sur un graphe question-compétence et un module KT fondé sur GAT+TCN pour guider l'apprenant vers une maîtrise ciblée.

Ces approches présentent deux limites majeures : une sémantique des graphes de connaissances pauvre, et l'absence de contraintes pédagogiques encadrant l'apprentissage par renforcement. Pour y répondre, nous proposons (i) d'exploiter un KG, issu d'une expertise humaine et enrichi sémantiquement par LLM et (ii) d'intégrer des contraintes pédagogiques pour guider l'exploration dans le processus RL.

## 2 Contribution

L'architecture proposée dans ce projet de recherche repose sur trois étapes, présentées Figure 1 :

**L'étape 1** vise à une représentation sémantique riche du domaine pour adapter l'apprentissage de manière pertinente. Elle repose sur la construction d'un KG à partir d'une source experte, comme un manuel scolaire. Ce choix limite l'intervention d'experts humains, souvent coûteuse et chronophage (Cukurova et al., 2023). Les éléments pédagogiques clés ainsi que leurs relations de précédence sont extraits via des techniques de TAL en suivant la structure hiérarchique du manuel. Les traces d'apprentissage issues d'une plateforme e-learning structurée selon le manuel, sont intégrées au KG. De façon optionnelle, pour pallier d'éventuelles insuffisances dans les connaissances extraites du manuel, un LLM est utilisé pour ajouter des relations sémantiques entre concepts. En complément, le LLM est mobilisé pour inférer automatiquement des contraintes pédagogiques à partir du KG et de l'objectif visé par l'apprenant. Ces contraintes peuvent inclure, par exemple, une modulation des prérequis en fonction du niveau actuel de l'apprenant. Elles sont ensuite intégrées au graphe pour guider plus finement la personnalisation du parcours d'apprentissage.

**L'étape 2** est un module de KT, adapté pour aller au-delà de l'évaluation du niveau de connaissance d'une activité, il permet également d'évaluer le niveau de connaissance d'un objectif pédagogique (par
exemple les dérivées). Le contexte ici est plus riche que dans (Nakagawa et al., 2019) : l'identifiant de l'apprenant, le KG enrichi, et l'objectif pédagogique. Le défi ici sera d'adapter les méthodes de KT sur des objectifs qui ne sont pas des activités.

L'étape 3 repose sur un agent d'apprentissage par renforcement (RL) entraîné de façon classique en deux temps. Dans un premier temps, l'agent interagit avec un environnement simulé, représenté par un module de Graph-based Knowledge Tracing (GKT) (Nakagawa et al., 2019). Ce dernier utilise la structure du graphe de connaissances enrichi pour estimer, à chaque étape, l'évolution du niveau de maîtrise de l'apprenant en réponse à une activité donnée. Le GKT joue donc ici le rôle d'environnement simulé, dans lequel les conséquences pédagogiques des actions peuvent être prédites avant d'être proposées à l'apprenant réel.

La politique de l'agent d'apprentissage par renforcement (RL) vise à sélectionner l'activité pédagogique la plus pertinente en s'appuyant sur un réseau de neurones à graphes (GNN), exploité à partir de la structure sémantique du graphe de connaissances (KG) et des contraintes pédagogiques inférées. Il est prévu de formaliser les contraintes (étape 1) de manière explicite. D'une part, les contraintes fortes, telles que le respect des prérequis, doivent être directement intégrées à la politique de l'agent en restreignant l'espace des actions admissibles. D'autre part, les contraintes faibles, comme la promotion de la diversité des types d'activités, interviennent dans la fonction de récompense, via une modulation de sa valeur. Cette récompense est définie comme la variation estimée du niveau de maîtrise de l'objectif d'apprentissage, évaluée suite à l'exécution simulée d'une activité par l'agent.

Dans un second temps, l'agent communique l'activité choisie à l'apprenant réel. Une fois l'activité réalisée, la nouvelle trace d'apprentissage est intégrée au KG. Ce dernier évolue dynamiquement en intégrant les nouvelles connaissances observées chez l'apprenant, ce qui lui permet de jouer un double rôle : à la fois représentation du domaine et le suivi temporel de la progression individuelle de l'apprenant. Un nouveau cycle d'interaction est alors relancé jusqu'à atteinte de l'objectif pédagogique.

<figure><img src="image_32.png" /><figcaption>FIGURE 1 – Architecture générale du système proposé.</figcaption></figure>

## 3 Conclusion

Les prochaines étapes concerneront l'implémentation et l'évaluation de l'architecture à partir de jeux de données comme ASSISTments. Les performances seront évaluées selon trois critères : (1) l'amélioration du niveau de maîtrise, mesurée par l'AUC et le RMSE entre les prédictions du module de Knowledge Tracing et les réponses réelles des apprenants ; (2) la diversité des parcours recommandés, évaluée par l'entropie moyenne des types d'activités proposées et la distance de Jaccard entre séquences d'apprenants ; (3) l'explicabilité des recommandations, analysée qualitativement par des experts et quantitativement via la longueur moyenne des chaînes de raisonnement extraites du graphe.
Références

ABDELRAHMAN G., WANG Q. & NUNES B. (2023). Knowledge tracing : A survey. *ACM Computing Surveys*, **55**(11), 1–37.

ABU-RASHEED H. *et al*. (2025). Llm-assisted knowledge graph completion for curriculum and domain modelling in personalized higher education recommendations. *arXiv preprint arXiv:2501.12300*.

CHEN L. & HUANG H. (2023). Adaptive e-learning system based on learner portraits and knowledge graph. In *2023 IEEE 3rd International Conference on Information Technology, Big Data and Artificial Intelligence (ICIBA)*, volume 3.

CHEN Z., WANG Q. & NUNES B. (2023). Tgkt-based personalized learning path recommendation with reinforcement learning. In *International Conference on Knowledge Science, Engineering and Management* : Springer Nature Switzerland.

CORBETT A. T. & ANDERSON J. R. (1994). Knowledge tracing : Modeling the acquisition of procedural knowledge. In *User Modeling and User-Adapted Interaction*, volume 4, p. 253–278.

CUKUROVA M. *et al*. (2023). Adoption of artificial intelligence in schools : Unveiling factors influencing teachers' engagement. In *International conference on artificial intelligence in education* : Springer Nature Switzerland.

JHAJJ G. *et al*. (2024). Educational knowledge graph creation and augmentation via llms. In *International Conference on Intelligent Tutoring Systems* : Springer Nature Switzerland.

JI S., PAN S., CAMBRIA E., MARTTINEN P. & YU P. S. (2022). A survey on knowledge graphs : Representation, acquisition and applications. *IEEE Transactions on Neural Networks and Learning Systems*, **33**(2), 494–514.

KÄSER T., KLINGLER S., SCHWING A. & GROSS M. (2017). Dynamic bayesian networks for student modeling. *IEEE Transactions on Learning Technologies*, **10**(4), 450–462.

KOLEKAR S. V., PAI R. M. & PAI M. M. (2019). Rule based adaptive user interface for adaptive e-learning system. *Education and Information Technologies*, **24**, 613–641.

MUI J., LIN F. & DEWAN M. A. A. (2021). Multi-armed bandit algorithms for adaptive learning : A survey. In *International Conference on Artificial Intelligence in Education* : Springer International Publishing.

NAKAGAWA H., IWASAWA Y. & MATSUO Y. (2019). Graph-based knowledge tracing : Modeling student proficiency using graph neural network. In *IEEE/WIC/ACM International Conference on Web Intelligence*.

PANDEY S. & KARYPIS G. (2019). A self-attentive model for knowledge tracing. *arXiv preprint arXiv:1907.06837*.

PIECH C., BASSEN J., HUANG J., GANGULI S., SAHAMI M., GUIBAS L. & SOHL-DICKSTEIN J. (2015). Deep knowledge tracing. In *Advances in Neural Information Processing Systems*, volume 28.

XIAN Y., FU Z., WANG S., ZHANG Z., YAO Y. & SUN S. (2019). Reinforcement knowledge graph reasoning for explainable recommendation. In *Proceedings of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval*.
# Découverte de l'intelligence artificielle par des directeurs et directrices d'école primaire : une étude de cas dans deux circonscriptions marseillaises

Hervé Allesant¹ Ismail Badache² Maria Impedovo³

(1) Aix-Marseille Université, Académie d'Aix-Marseille, Marseille, France

(2) Aix-Marseille Université, Université de Toulon, CNRS, LIS, Marseille, France

(3) Aix Marseille Université, ADEF, Marseille, France

herve.allesant@ac-aix-marseille.fr, ismail.badache@univ-amu.fr,
maria.impedovo@univ-amu.fr

## RÉSUMÉ

Cet article présente une étude préliminaire sur l'engagement de directeurs et directrices d'écoles primaires à Marseille (France) vis-à-vis de l'intelligence artificielle (IA), en particulier de l'IA générative, dans le cadre du numérique éducatif et de la transformation digitale de l'école. L'étude analyse un atelier de formation visant à introduire l'évolution historique de l'IA, ses fondements ainsi que ses applications pédagogiques. Les résultats, issus de questionnaires administrés avant et après l'intervention, montrent que, malgré une connaissance initiale limitée des technologies d'IA, les participants ont manifesté un intérêt croissant pour l'exploration de ces outils, principalement dans une optique de gain de temps, tout en conservant une méfiance marquée. L'étude souligne la nécessité de formations contextualisées, combinant connaissances et compétences techno-pédagogiques en IA et réflexion critique, et appelle à une prise en compte des enjeux éthiques et des cadres de gouvernance pour une intégration responsable de l'IA en éducation.

## ABSTRACT

### Primary School Principals Discovering Artificial Intelligence : A Case Study in Two Districts of Marseille.

This paper presents a preliminary study on the engagement of primary school principals in Marseille (France) with artificial intelligence (AI), particularly generative AI, in the context of educational digitalization and the digital transformation of schools. The study analyzes a training workshop designed to introduce the historical evolution of AI, its foundations, and its pedagogical applications. The results, drawn from questionnaires administered before and after the intervention, reveal that despite participants' initially limited knowledge of AI technologies, they demonstrated growing interest in exploring these tools, primarily motivated by time-saving goals, while maintaining marked skepticism. The study underscores the need for contextualized training that combines knowledge and techno-pedagogical skills in AI with critical reflection. It also calls for addressing ethical considerations and governance frameworks to ensure responsible integration of AI in education.

**MOTS-CLÉS** : IA à l'école, numérique éducatif, formation à l'IA, transformation numérique.

**KEYWORDS:** AI in schools, educational digital, AI training, digital transformation.

**ARTICLE** : **Accepté à IA-ÉDU@CORIA-TALN 2025.**
# 1 Introduction

L'intérêt du grand public autour des intelligences artificielles (IA) génératives (IAg) a suscité des questionnements de la part de plusieurs directeurs et directrices d'école travaillant sur le territoire d'intervention d'un des auteurs de cet article (en lien avec l'académie d'Aix-Marseille et la région PACA Provence-Alpes-Côte d'Azur en France). Nous avons pu constater que les utilisations de l'IAg pour un accompagnement des gestes des enseignants sont souvent orientées vers le second degré, présentées par des spécialistes, pour des spécialistes, issus du côté technique : informaticiens, ingénieurs, professeurs du secondaire ou d'université. Dans notre cas, l'enseignant du primaire, de par sa polyvalence, souhaite obtenir lors d'une formation, des informations utilisables et acceptables (Tricot et al., 2003; Davis, 1989) pour accompagner ses gestes professionnels rapidement.

Partant de cette constatation, et pour répondre aux besoins exprimés par les agents, un atelier de formation a donc été proposé aux directeurs et directrices d'école des circonscriptions du premier degré de Huveaune et St Barnabé, à Marseille (France). Les ateliers étaient proposés par l'Enseignant Ressource en Usages du Numérique (ERUN)<fnref n="1" />.

Cet article a pour objectif de recueillir et d'analyser l'impact d'un atelier de formation à la découverte de l'IA sur les représentations et les pratiques professionnelles des directeurs d'écoles publiques du premier degré. Il s'agit notamment d'étudier l'évolution de leurs idées reçues concernant les IA génératives, ainsi que les usages qu'ils peuvent en faire dans l'exercice quotidien de leurs fonctions de pilotage pédagogique, avant et après la formation. Ce recueil de données constitue une étape préliminaire d'une recherche plus large, visant à identifier les pratiques pédagogiques et managériales efficaces, et à orienter la conception de formations futures sur l'IA. L'enjeu est d'apporter des réponses concrètes et adaptées aux besoins des équipes de direction et des enseignants du premier degré, dans le cadre du système éducatif français ou d'autres systèmes éducatifs équivalents.

L'organisation de cet article se structure comme suit : dans un premier temps, nous présentons quelques dispositifs de formation mis en place, ainsi que notre démarche vers des ateliers contextualisés sur l'IA en éducation destiné spécifiquement aux directeurs et directrices d'écoles à Marseille. Dans un second temps, nous détaillons la méthodologie de l'enquête, les modalités de collecte des données et nous analysons en discutant quelques résultats préliminaires de l'étude. Enfin, nous concluons cette recherche exploratoire préliminaire et présentons les perspectives.

# 2 Dispositifs de formation en IA : vers des ateliers contextualisés

Axel Jean, chef du bureau du soutien à l'innovation numérique et à la recherche appliquée à la Direction du numérique pour l'Éducation (DNE) au ministère de l'Éducation Nationale (ÉN), de l'Enseignement supérieur et de la Recherche, évoque l'urgence de mettre en place une acculturation à l'IA au sein de l'ÉN. Il s'exprime à ce sujet lors d'un entretien intitulé « *Peut-on mettre l'IA au service de l'éducation ?* »<fnref n="2" />, en compagnie d'Orianne Ledroit, déléguée générale d'EdTech France et enseignante à Sciences Po Paris, ainsi que de Mickaël Bertrand, enseignant d'histoire-géographie et d'EMC en lycée et en milieu carcéral (académie de Dijon). Même si des enseignants, dans une dizaine de pays (Miao & Shiohira, 2022) ont commencé à construire des programmes d'acculturation à l'IA (Chiu et al., 2024), ces programmes tiennent finalement peu compte de la spécificité des élèves du primaire (Yim, 2023) alors que l'enjeu de la connaissance de l'IA pour des élèves de cet âge est capitale (Chiu et al., 2024; Almatrafi et al., 2024) pour leur carrière professionnelle (Li, 2024), tout en réduisant la fracture numérique, quel que soit leur milieu d'origine. (Luckin & Holmes, 2016).

<footnote n="1">1. https://primabord.eduscol.education.fr/les-erun-acteurs-du-numerique-educatif</footnote>

<footnote n="2">2. https://www.radiofrance.fr/franceculture/podcasts/etre-et-savoir/education-et-ia-ou-allons-nous-7616037</footnote>
En France, l'une des solutions proposées par l'Éducation Nationale, orientée vers ses agents, est le Café IA<fnref n="3" />. Le concept de Café IA s'inscrit dans la continuité des travaux du Conseil national du numérique<fnref n="4" />, notamment suite à la publication en février 2021 du rapport *Civilisation numérique*. *Ouvrons le débat!*<fnref n="5" /> et du rapport IA, notre ambition pour la France<fnref n="6" /> en mars 2024. Ce dernier recommandait la création d'espaces d'échanges pour permettre une appropriation collective de l'IA. Ainsi, le 21 mai 2024, le président de la République a chargé le Conseil de structurer le projet Café IA. À partir de l'idée initiale du Café IA, et en nous appuyant sur les enjeux de formation identifiés par le GTnum GTnum<fnref n="7" /> (Allouche, 2023, 2025), nous avons conçu un atelier contextualisé autour de l'IA, adoptant une approche techno-pédagogique spécifiquement pensée pour les directeurs et directrices d'écoles primaires. Cet atelier s'articule autour de trois axes principaux :

historique : Une mise en perspective historique de l'IA, s'appuyant sur les ressources pro-
posées par That's AI<fnref n="8" />, retrace l'évolution des IA depuis les premières victoires en jeu de
dames jusqu'aux performances spectaculaires dans le jeu de go. Cette progression illustre
la transition entre deux paradigmes majeurs : d'une part, l'IA symbolique, fondée sur des
algorithmes explicites sur la base des règles, et d'autre part, l'IA connexionniste, reposant sur
l'apprentissage automatique à partir de données massives.

Technique : Une présentation de quelques outils permettant l'expérimentation avec des IA, tout en soulignant les limites actuelles liées à leur usage en contexte scolaire. En particulier, les grands modèles de langage (LLM, en anglais Large Language Models) ne sont, à ce jour, pas pleinement exploitables en classe en raison des contraintes réglementaires imposées par le Règlement Général sur la Protection des Données (RGPD), telles qu'interprétées par la CNIL en 2025⁹.

Pratique : Un temps dédié à la mise en pratique, visant à expliciter les principes de l'ingénierie de prompt dans l'interaction avec les modèles de langage. À cette occasion, plusieurs acronymes méthodologiques sont proposés aux enseignants, tels que le modèle ACTIF<fnref n="10" /> — Action (la tâche à effectuer), Contexte (exemples, modèles et contraintes), Tonalité (style attendu), Identité (rôle attribué à l'IA), Format (forme du résultat attendu) — afin de formaliser et structurer les requêtes (prompts) adressées à un LLM de manière claire, efficace et pédagogique.

3 Méthodologie de l'étude : Enquête-Diagnostic

Cette étude s'inscrit dans une démarche de recherche descriptive et exploratoire, reposant sur une
méthode mixte articulée en deux phases complémentaires : 1) Une phase quantitative menée en
amont et à l'issue de l'atelier de formation (pré-test et post-test), visant à réaliser une enquête-
diagnostic préliminaire portant sur les représentations, les pratiques et les besoins en matière d'IA
dans le contexte professionnel des directions d'école du premier degré à Marseille, cette démarche a
également, en post-test, pour objectif d'analyser les évolutions potentielles induites par l'atelier de
sensibilisation, ainsi que d'identifier les besoins spécifiques en vue de la conception d'éventuelles
actions de formation complémentaires ; 2) Une phase qualitative conduite à l'issue de l'atelier visant
à avoir des réponses claires autour de l'évolution des usages de l'IA.

<footnote n="3">3. https://cafeia.org/grands-principes-cafe-ia/</footnote>

<footnote n="4">4. https://cnnumerique.fr/</footnote>

<footnote n="5">5. Rapport cnnumerique - Civilisation numérique. Ouvrons le débat !</footnote>

<footnote n="6">6. 25 recommandations pour l'IA en France.</footnote>

<footnote n="7">7. Groupes Thématiques numériques</footnote>

<footnote n="8">8. That's AI - L'histoire de l'IA</footnote>

<footnote n="9">9. IA et RGPD : la CNIL publie ses nouvelles recommandations pour accompagner une innovation responsable</footnote>

<footnote n="10">10. https://actif.numedu.org/</footnote>
Le recueil des données a été mené dans le cadre d'un atelier de formation organisé pendant les temps de décharge de direction, ces derniers constituant un moment privilégié pour la participation volontaire des directeurs et directrices, compte tenu de leur double mission de gestion et d'enseignement. L'atelier a rassemblé 40 participants (directeurs et directrices d'écoles à Marseille) et a duré 2 heures. Parmi eux, 22 ont répondu au questionnaire pré-atelier, et 17 ont répondu au questionnaire post-atelier.

Cette approche relève de la méthodologie de l'enquête-diagnostic telle que définie dans les recherches en sciences de l'éducation (Van der Maren, 1996; Savoie-Zajc, 2018), c'est-à-dire une investigation préliminaire qui permet de dresser un état des lieux avant une recherche plus approfondie afin de mettre en œuvre des actions ou des dispositifs éducatifs.

## 3.1 Collecte des données

Afin de documenter l'évolution des représentations, ressentis et usages liés à l'IA dans le contexte professionnel des directions d'école, deux questionnaires en ligne, anonymes, ont été administrés aux participants : l'un en amont de l'atelier, l'autre dans les jours suivant sa tenue.

Conformément aux principes de la triangulation méthodologique (Denzin, 2017), le premier questionnaire, à dominante quantitative, comprenait des items à choix fermés et multiples. Il visait à : a) mesurer les compétences numériques autodéclarées ; b) évaluer le niveau de familiarité avec les IA génératives ; c) apprécier l'évolution des perceptions à la suite de l'atelier ; d) analyser l'impact perçu des trois volets abordés lors de la formation (historique, technique, pratique). Le second questionnaire, de nature qualitative, avait pour objectif de recueillir des données plus approfondies sur les usages effectifs de l'IA par les directeurs et directrices, ainsi que sur les tâches professionnelles qu'ils enviseraient de déléguer ou non à ces technologies.

Cette approche méthodologique mixte s'inscrit dans une perspective compréhensive (Miles & Huberman, 2003), en articulant données objectives et subjectives pour appréhender la diversité des postures vis-à-vis de l'IA dans le premier degré.

<table><caption>TABLE 1 – Analyse comparative avant/après l'atelier IA</caption><thead><tr><td>Catégorie</td><td>Avant l'atelier</td><td>Après l'atelier</td><td>Réflexivité</td></tr></thead><tbody><tr><td>Utilisation de l'IA</td><td>50% n'utilisaient pas l'IA. Usages limités, principalement pour la rédaction et la traduction.</td><td>Diversification des usages (rédaction, création visuelle, synthèse). Gain de temps perçu (+30 min en moyenne)</td><td>L'atelier a encouragé l'expérimentation et aller vers d'autres usages.</td></tr><tr><td>Compétences perçues</td><td>Note moyenne : 2.8/4<br>Connaissance faible en IA</td><td>Confiance accrue suite à l'amélioration des connaissances.</td><td>Renforcement des compétences techniques.</td></tr><tr><td>Réflexions critiques</td><td>Peu d'éthique</td><td>Prise de conscience et volonté de former les élèves.</td><td>Encouragement à la formation pour un usage responsable</td></tr><tr><td>Réserves et craintes</td><td>Confidentialité (35%) et Biais (25%)</td><td>Craintes persistantes avec vérification systématique</td><td>Limites éthiques restent prégnantes car manque d'outils IA véritablement adaptés.</td></tr><tr><td>Tâches déléguées</td><td>Peu de tâches identifiées</td><td>Nouvelles délégations : gestion des mails, planning, rédaction de documents, ect.</td><td>Identification de cas d'usage concrets et professionnels</td></tr><tr><td>Tâches non délégables</td><td>Interactions humaines, données sensibles.</td><td>Idem, avec une insistance sur la supervision humaine.</td><td>Conscience ou juste par crainte des limites de la délégation.</td></tr><tr><td>Impact perçu</td><td>70% utilisation future</td><td>100% adoption prévue avec une efficacité accrue</td><td>Transformation en outil pratique au service de la pédagogie</td></tr></tbody></table>

## 3.2 Analyse et discussion des résultats avant/après l'atelier

Le tableau 1 présente une analyse comparative avant et après l'atelier IA, mettant en lumière les évolutions observées dans différentes catégories liées à l'usage de l'IA. Il se structure autour de 7 axes principaux (colonne Catégorie). Chaque catégorie est évaluée selon 3 volets : avant l'atelier, après l'atelier, et les réflexivités ou conclusions tirées de cette expérience. Cette analyse vise à identifier
les changements dans les comportements, les perceptions et les pratiques des participants, tout en soulignant les bénéfices et les défis associés à l'intégration de l'IA dans leurs activités professionnelles.

**Avant l'atelier.** Bien que chatGPT ait popularisé les IA génératives depuis novembre 2022, à la date de l'atelier, en janvier 2025, plus de la moitié des participants n'avait jamais utilisé une IA générative (voir Tableau 1). Les directeurs du premier degré se sont évalués comme peu compétents face à l'outil informatique (39%) et seulement 4% se classent dans la catégorie la plus haute, alors qu'une majorité des outils de pilotage et de direction sont désormais numériques (Glomeron, 2015). L'utilisation des TICE reste un domaine peu enseigné dans la formation initiale des enseignants, seulement 34% ayant profité d'un enseignement dans ce domaine, et 25% déclarant avoir un sentiment de préparation autour du numérique éducatif (DEPP, 2025). Dans les participants qui avaient manipulé une IA au préalable, une moitié l'avait utilisée pour rechercher des informations, un usage peu pertinent car on sait le travers que peuvent avoir les LLM quant à la production d'hallucinations (Sun et al., 2024).

<table><caption>TABLE 2 – Quelques résultats avant l'atelier</caption><thead><tr><td>Indicateur</td><td>Observation</td></tr></thead><tbody><tr><td>Non je n'avais pas utilisé l'IA avant l'atelier</td><td>11 participants</td></tr><tr><td>Recherche et collecte de contenus</td><td>11 participants</td></tr><tr><td>Créations de supports pédagogiques pour les cours (génération de contenus, résumés etc.)</td><td>4 participants</td></tr><tr><td>Elaboration de devoirs à donner aux élèves</td><td>1 participant</td></tr><tr><td>Traductions automatiques</td><td>2 participants</td></tr><tr><td>Autres usages pédagogiques (ex. Coding, etc.)</td><td>1 participant</td></tr><tr><td>Génération de textes (rapports, programmations etc.)</td><td>3 participants</td></tr><tr><td>Création d'images</td><td>3 participants</td></tr><tr><td>Exploration des potentialités de l'IA</td><td>2 participants</td></tr></tbody></table>

**Après l'atelier.** À la suite de l'atelier, une grande majorité des participants a commencé à manipuler l'IA, et ce, pour des usages plus variés qu'avant l'atelier (voir le tableau 3). Les réponses ne sont pas univoques : plus de réponses sont possibles pour chaque demande. Certains usages pourraient sembler incongrus dans un cadre pédagogique, car nous avions notamment abordé la création de musiques avec le site suno.ai pour générer une chanson reprenant le contenu de certaines leçons. A partir d'un prompt, cette IA générative peut produire un texte et le mettre en musique, ou bien l'on peut donner un texte, qui sera mis en musique selon le style que l'on aura choisi. Pendant l'atelier, le poème de Maurice Carême "Le chat et le soleil"<fnref n="11" /> a été mis en musique dans un style de rap urbain.

<table><caption>TABLE 3 – Quelques résultats après l'atelier</caption><thead><tr><td>Indicateur</td><td>Observation</td></tr></thead><tbody><tr><td>Non je n'ai pas utilisé l'IA suite à l'atelier</td><td>2 participants</td></tr><tr><td>Recherche et collecte de contenus (général)</td><td>9 participants</td></tr><tr><td>Création de supports pédagogiques pour les cours (génération de contenus, résumés, etc.)</td><td>10 participants</td></tr><tr><td>Elaboration de devoirs à donner aux élèves</td><td>2 participants</td></tr><tr><td>Conception de tests ou d'évaluations</td><td>3 participants</td></tr><tr><td>Traductions automatiques</td><td>4 participants</td></tr><tr><td>Autres usages pédagogiques (ex. Coding etc.)</td><td>3 participants</td></tr><tr><td>Génération de textes (rapports, programmations, etc.)</td><td>10 participants</td></tr><tr><td>Création d'images</td><td>7 participants</td></tr><tr><td>Génération de vidéos</td><td>1 participant</td></tr><tr><td>Génération de sons/musiques</td><td>6 participants</td></tr><tr><td>Explorations des potentialités de l'IA</td><td>7 participants</td></tr><tr><td>Support pédagogique pour la résolution de problèmes</td><td>1 participant</td></tr></tbody></table>

## 3.3 Réponses autour des usages

La plupart des réponses autour des usages de l'IA après l'atelier évoquent le gain de temps que l'outil leur apporte, par exemple pour la rédaction de certains mails délicats. Une réponse en particulier évoque le cas récent de tensions autour de l'éducation à la vie affective et relationnelle (EVAR)

<footnote n="11">11. https://genius.com/Maurice-careme-le-chat-et-le-soleil-annotated</footnote>
l'éducation à la sexualité n'étant pas abordée dans le premier degré, le sigle étant EVARS à partir du collège, cela avait créé des incompréhensions et des inquiétudes. Des collectifs de parents avait mené une campagne pour manifester leur mécontentement autour de cet enseignement, et les directeurs ont été invités à communiquer auprès des parents pour les rassurer. Une directrice témoigne :

**Extrait 1 :** "Rédaction d'un courrier aux parents d'élèves suite à leurs nombreuses inquiétudes par rapport aux nouveaux programmes d'éducation à la vie affective et relationnelle. Je me suis inspirée de certaines tournures de phrases (pas utilisées en totalité). Je ne sais pas le temps gagné."

Plusieurs réponses évoquent la rapidité de l'écriture des documents de synthèses de réunions, d'équipes éducatives, tout en évoquant la crainte de se voir remplacer.

**Extrait 2 :** "Je suis tentée de demander la rédaction de rapports, mais je préfère mettre en forme mes propres notes, j'ai peur de constater que la machine peut me remplacer sans problème!"

Plusieurs directeurs veulent garder certaines tâches, répétitives ou chronophages et ce, même si on leur garantit que l'IA pourrait faire aussi bien qu'eux. À la question "Quelles tâches ne confieriez-vous pas à l'IA, même avec la garantie d'un travail bien fait?"

**Extrait 3 :** "Tout ce qui touche à la communication directe, émotions, dimension humaine de la tâche. Ce doit être un outil facilitateur, une aide pour gagner du temps, mais toujours supervisée par le dirlo"

**Extrait 4 :** "Commentaires concernant le travail des élèves (cahier de réussite)"

La plupart des participants évoquent le fait que l'IA n'est qu'un assistant, et ne doit pas être considérée comme autre chose qu'un conseiller ou une aide. Il y a un rapport de fascination et de méfiance face à cet outil, qui implique que le directeur souhaite quand même superviser les productions proposées :

**Extrait 5 :** "Ce doit être un outil facilitateur, une aide pour gagner du temps, mais toujours supervisée par le dirlo"

**Extrait 6 :** "Pour moi, l'IA ne fait pas à ma place. Elle m'aide."

**Extrait 7 :** "L'utilisation de l'IA pour le moment est une AIDE, un "autre regard" sur une situation, un document, un courrier à rédiger : a. demande de listing de questions pouvant être posées lors d'un entretien de poste PEP MEG; b. demande d'informations concernant le dispositif Marseille en Grand sur Marseille (pas seulement les écoles); c. résumé de textes, documents, compte-rendus de conseil d'école....etc (mon point faible est de résumer en quelques lignes, ou mots); d. résumé et analyse des résultats des évaluations nationales CP de notre école.

# 4 Conclusion

L'analyse des résultats met en évidence un décalage important entre les pratiques professionnelles et la préparation réelle des directeurs du premier degré, peu formés et peu confiants en leurs compétences numériques. La découverte de l'IA générative à l'occasion de l'atelier élargit leurs usages, orientés vers un gain de temps dans la rédaction de documents. Toutefois, une méfiance demeure : l'IA est perçue comme un outil d'assistance, qui doit être supervisé. Cette posture ambivalente, entre ouverture pragmatique et vigilance éthique, souligne l'importance d'accompagner l'intégration des IA dans les pratiques éducatives par des formations ciblées, entre compétences techniques et réflexion critique sur les enjeux liés à leur usage. L'adoption massive de l'IA par les élèves, simultanément à sa découverte par les enseignants demande du temps de manipulation et des formations. Plus nous attendrons pour accompagner un usage raisonné et constructif, plus l'écart sera difficile à combler entre les habitudes prises par les élèves et l'accompagnement aux usages que nous devrons mettre en place. Une première limite pourra être relevée sur les résultats : les ateliers se tenaient sur temps de décharges. Aucun directeur de petites structures, qui pourraient être les plus intéressés par une assistance basée sur l'IA. Seule une moitié des 80 directeurs a participé aux ateliers et tous n'ont
pas répondu aux questionnaires. Il sera donc pertinent de faire un inventaire à plus grande échelle, visant l'exhaustivité. Une autre limite peut être évoquée : les absents peuvent se retrouver dans deux catégories : ceux pensant maitriser le sujet, ou au contraire, ceux ne voyant pas l'IA comme un sujet relevant de leur développement professionnel.

Cet article, malgré certaines limites, constitue une étude nécessaire sur les usages et perceptions de l'IAg dans le premier degré. Il apporte un éclairage concret sur un champ encore peu exploré, soulignant l'importance d'une compréhension fine des réalités de terrain pour poser les bonnes questions et engager la communauté éducative dans une réflexion responsable sur l'intégration de l'IA en éducation.

Références

ALLOUCHE E. (2023). IA génératives et ingénierie pédagogique : le prompting, pistes de travail et applications. https://edunumrech.hypotheses.org/9934. Publié dans *Éducation, numérique et recherche*.

ALLOUCHE E. (2025). Intelligence artificielle et éducation : apports de la recherche et enjeux pour les politiques publiques. https://edunumrech.hypotheses.org/13849. Publié dans *Éducation, numérique et recherche*.

ALMATRAFI O., JOHRI A. & LEE H. (2024). A systematic review of ai literacy conceptualization, constructs, and implementation and assessment efforts (2019–2023). *Computers and Education Open*, **6**, 100173. DOI: 10.1016/j.caeo.2024.100173.

BADACHE I. & BELLET P. (2024). Intelligence artificielle : usage pédagogique et esprit critique. In *16ème édition du colloque Interactions Multimodales Par ÉCran, IMPEC 2024*. https://hal.science/hal-04659335v1.

CHIU T. K., AHMAD Z., ISMAILOV M. & SANUSI I. T. (2024). What are artificial intelligence literacy and competency? a comprehensive framework to support them. *Computers and Education Open*, **6**, 100171. DOI: 10.1016/j.caeo.2024.100171.

DAVIS F. D. (1989). Perceived usefulness, perceived ease of use, and user acceptance of information technology. *MIS quarterly*, p. 319–340. DOI: 10.2307/249008.

DENZIN N. K. (2017). *The research act : A theoretical introduction to sociological methods*. Routledge. DOI: 10.4324/9781315134543.

GLOMERON F. (2015). L'action du directeur d'école : entre interface et coopération au sein de différents réseaux fonctionnels. In *Biennale internationale de l'éducation et de la formation et des pratiques professionnelles*. https://hal.science/hal-01179860/.

LI L. (2024). Reskilling and upskilling the future-ready workforce for industry 4.0 and beyond. *Information Systems Frontiers*, **26**(5), 1697–1712. DOI: 10.1007/s10796-022-10308-y.

LUCKIN R. & HOLMES W. (2016). Intelligence unleashed : An argument for ai in education. *UCL Knowledge Lab*. https://discovery.ucl.ac.uk/id/eprint/1475756/.

MIAO F. & SHIOHIRA K. (2022). K-12 ai curricula. A mapping of government-endorsed ai curricula. *UNESCO Publishing*, **3**, 60. DOI: 10.54675/ELYF6010.

MILES M. B. & HUBERMAN A. M. (2003). *Analyse des données qualitatives*. De Boeck Supérieur. https://books.google.fr/books?id=AQHRyJ1AiPEC.

SAVOIE-ZAJC L. (2018). La recherche qualitative/interprétative. *La recherche en éducation : étapes et approches*, **4**, 191–217. DOI: 10.1515/9782760639331-009.
SUN Y., SHENG D., ZHOU Z. & WU Y. (2024). AI hallucination : towards a comprehensive
classification of distorted information in artificial intelligence-generated content. *Humanities and
Social Sciences Communications*, **11**(1), 1–14. DOI: 10.1057/s41599-024-03811-x.

TRICOT A., PLÉGAT-SOUTJIS F., CAMPS J.-F., AMIEL A., LUTZ G. & MORCILLO A. (2003).
Utilité, utilisabilité, acceptabilité : interpréter les relations entre trois dimensions de l'évaluation des
EIAH. In *Environnements Informatiques pour l'Apprentissage Humain 2003*, p. 391-402 : ATIEF.
https://edutice.hal.science/edutice-00000154v1.

VAN DER MAREN J.-M. (1996). *Méthodes de recherche pour l'éducation*. Presses de l'Université de Montréal et de Boeck. DOI: 10.7202/031875ar.

YIM I. H. Y. (2023). Design of artificial intelligence (ai) education for primary schools : arts-based approach. *Istes Books*, p. 65-90. https://book.istes.org/index.php/ib/article/view/5.
# Exploration du RAG pour la génération de réponses à des questions en contexte éducatif: étude sur les données SCIQ

Sarah Nouali Ismail Badache Patrice Bellot

Aix-Marseille University, Université de Toulon, CNRS, LIS, Marseille, France
{sarah.nouali, ismail.badache, patrice.bellot}@lis-lab.fr

## RÉSUMÉ

Les systèmes basés sur le RAG (Retrieval-Augmented Generation) sont des systèmes qui optimisent la puissance des grands modèles de langue (LLM, en anglais, *Large Language Models*) avec une recherche d'information (RI) à partir de sources de connaissances externes, sans avoir besoin de réen-trainer le modèle. Ce type d'approche est connu pour améliorer les réponses du LLM, en particulier pour répondre à des questions spécifiques à un domaine, et réduire le phénomène d'hallucination constaté avec ces derniers. Dans cet article, nous explorons l'application d'un tel système dans un contexte pédagogique, en utilisant le jeu de données SCIQ (*Science Questions*), un ensemble de questions scientifiques à choix multiples de niveau scolaire, qui nous permet d'évaluer la capacité des modèles à fournir des réponses précises, pédagogiques et vérifiables. Nous évaluons les performances du système par rapport à un modèle génératif standard (*Llama3 8b* et *Mistral 7b*) de réponse aux questions et analysons ses forces et ses limites dans un contexte éducatif. La performance la plus élevée en termes de précision a été enregistrée avec l'approche basée sur le RAG (*rag-llama*), qui a permis d'atteindre une précision globalement supérieure par rapport aux autres approches testées.

## ABSTRACT

### Exploring RAG for educational question answering: A study on the SCIQ dataset

Retrieval-Augmented Generation (RAG) based systems are systems that optimize the power of large language models (LLMs) with information retrieval from external knowledge sources, without the need to re-train the model. This type of approach is known to improve LLM responses, particularly when answering domain-specific questions, and reduce the hallucination phenomenon seen with the latter. In this article, we explore the application of such a system in a pedagogical context, using the SCIQ dataset, set of grade-level multiple-choice scientific questions, which enables us to assess the models' ability to provide accurate, pedagogical and verifiable answers. We evaluate the system's performance against a standard generative question answering model (LLM) and analyze its strengths and limitations in an educational context. The highest performance in terms of accuracy was recorded with the RAG-based approach (*rag-llama*), which achieved an overall higher accuracy than the other approaches tested.

**MOTS-CLÉS** : système question-réponse, grands modèles de langue, RAG, éducation, SCIQ.

**KEYWORDS:** question-answer system, large language models, RAG, education, SCIQ.

**ARTICLE** : **Accepté à IA-ÉDU@CORIA-TALN 2025.**
# 1 Introduction

De nos jours, l'intelligence artificielle (IA) est de plus en plus présente dans de nombreux domaines, et l'éducation n'échappe pas à cette tendance. L'IA est désormais intégrée dans les environnements éducatifs à travers des applications variées : pour l'aide aux élèves via des systèmes de tutorat intelligent, apprentissage ludique (game-based learning) ou encore évaluation formative automatisée, pour apporter un soutien aux enseignants avec des outils de détection de plagiat, de curation intelligente de ressources pédagogiques ou d'évaluation sommative automatisée, ou pour fournir une assistance aux institutions et établissements scolaires grâce à des systèmes de gestion des admissions, de planification des cours et des emplois du temps, ou encore de surveillance à distance des examens (Holmes & Tuomi, 2022). Parmi ces usages, les systèmes de tutorat intelligent (STI) comptent parmi les applications d'IA les plus répandues et les mieux financées dans le domaine de l'éducation. Ils proposent des tutoriels informatisés, étape par étape, adaptés à chaque élève, principalement dans des disciplines structurées comme les mathématiques (Holmes & Tuomi, 2022).

Dans ce contexte, les systèmes de réponse automatique aux questions (QA) apparaissent comme particulièrement prometteurs pour accompagner l'apprentissage des élèves et fournir des explications à la demande. Toutefois, les modèles de langage de grande taille (LLMs), bien que puissants, génèrent leurs réponses à partir de connaissances apprises lors de l'entraînement. Cela peut entraîner des réponses erronées, obsolètes, ou encore des phénomènes d'hallucination — une faiblesse bien connue de ces systèmes. Pour pallier ces limites, les systèmes de type génération augmentée par la recherche d'information Retrieval-Augmented Generation (RAG) (Lewis et al., 2020) ont été proposés. Ils combinent les capacités génératives des LLMs avec un module de recherche documentaire, permettant de produire des réponses fondées sur des sources externes fiables et vérifiables, telles que des articles scientifiques ou des manuels scolaires. Dans un contexte éducatif, cette capacité à s'appuyer sur des sources factuelles est essentielle. Elle garantit des réponses plus fiables, alignées avec les objectifs pédagogiques définis par les programmes scolaires. De plus, les systèmes RAG offrent une transparence accrue : les documents utilisés pour formuler la réponse peuvent être consultés, ce qui permet aussi bien aux élèves qu'aux enseignants de comprendre le raisonnement sous-jacent. Enfin, ces systèmes peuvent être adaptés à des corpus spécifiques, permettant un alignement précis avec des référentiels pédagogiques ou des supports institutionnels. Ainsi, les systèmes RAG représentent une alternative plus fiable, interprétable et potentiellement mieux adaptée aux exigences de l'enseignement que les modèles génératifs classiques.

Ce travail a pour objectif d'explorer de manière approfondie le potentiel de cette approche dans un contexte éducatif, en s'appuyant sur un ensemble de questions de recherche structurantes qui guident l'analyse et la réflexion.

- Q1 : Comment intégrer le RAG dans un environnement de tutorat intelligent, et quelle est son efficacité pour ce type de tâche ?

- Q2 : Comment l'utilisation du RAG peut-elle renforcer la confiance des utilisateurs envers les réponses du système dans un contexte éducatif où la véracité est primordiale ?

- Q3 : Est-ce que les systèmes basés sur le RAG permettent réellement de fournir des sources ou des supports justifiant les réponses générées ?

- Q4 : Les réponses générées par un système RAG sont-elles suffisamment explicites et claires pour favoriser la compréhension des apprenants ?
# 2 IA et RAG en éducation : une vue d'ensemble

La présente section propose une vue d'ensemble des apports de l'intelligence artificielle (IA) en éducation, en articulant deux axes complémentaires. Le premier examine les usages généraux de l'IA dans le domaine éducatif, en s'appuyant sur les évolutions récentes des technologies basées sur les modèles de langage. Le second s'intéresse plus spécifiquement aux systèmes dits RAG, conçus pour pallier certaines limites des LLMs, en particulier le phénomène d'hallucination, en intégrant des mécanismes de récupération d'informations provenant de sources externes fiables.

## 2.1 l'IA et l'éducation

Nous pouvons classer les solutions d'IA appliquées à l'éducation en trois catégories : celles destinées à aider les élèves dans leur apprentissage, celles conçues pour accompagner les enseignants, et enfin celles dédiées au soutien des établissements et institutions scolaires (Holmes & Tuomi, 2022). Dans la catégorie des applications pour élèves, nous retrouvons plusieurs types de solutions : les systèmes de tutorat intelligent (Ward et al., 2013; Dolenc et al., 2015; Lane et al., 2013), les environnements d'apprentissage exploratoires, les simulations assistées par l'IA comme les jeux éducatifs numériques (McLaren et al., 2017; Parong et al., 2017; Mayer, 2019), les agents conversationnels (Paschoal et al., 2018; Sreelakshmi et al., 2019; Lin, 2019; Deveci Topal et al., 2021), les systèmes d'évaluation automatisée (Automated assessment and feedback) (Lee et al., 2019; Sung et al., 2021; Maestrales et al., 2021), les outils de rédaction automatique comme les générateurs de textes<fnref n="1" /> et les correcteurs grammaticaux automatisés<fnref n="2" />, ou encore les applications assistées par l'IA tel que les outils de traduction<fnref n="3" /> et de résolutions de problèmes mathématiques<fnref n="4" />. L'IA joue également un rôle important dans le soutien aux élèves en situation de handicap, grâce à des applications de diagnostic (dyslexie, TDAH, dysgraphie) (Barua et al., 2022) et à des outils d'assistance (sous-titrage automatique, synthèse vocale, etc.). Pour les enseignants, nous pouvons trouver les détecteurs de plagiat<fnref n="5" />, les plateformes de curation intelligente de contenus<fnref n="6" />, les systèmes de monitoring en classe (Bosch & D'Mello, 2021), et les assistants à l'évaluation et à la correction. Enfin, du côté des institutions, nous allons voir des solutions d'IA pour optimiser la planification des cours (Kitto et al., 2020), la détection des élèves à risque (Del Bonifro et al., 2020), la gestion des admissions (Marcinkowski et al., 2020), ou encore la surveillance automatisée des examens (e-proctoring) (Nigam et al., 2021).

Avec l'apparition de l'IA générative, un nouveau paradigme est né, en particulier pour les systèmes de tutorat intelligents. En effet, grâce aux grands modèles de langue, il est maintenant possible de générer des contenus éducatifs dynamiques et pertinents en fonction du contexte (Maity & Deroy, 2024). Une des applications de l'IA générative concerne les systèmes de dialogue interactifs. Ces modèles permettent des échanges plus naturels et engageants entre l'apprenant et le système pour expliquer et répondre à ses questions. Malgré les avantages que l'intégration de l'IA générative apporte à l'éducation, en particulier dans les systèmes tutoriels intelligents, cette pratique soulève plusieurs défis majeurs. En effet, un des problèmes connus des LLMs est la possibilité de production d'informations erronées ou inappropriées, ainsi que l'impact de biais (stéréotypes, surreprésentation

<footnote n="1">1. https://chatgpt.com/g/g-OolQ7FMzJ-ai-text-generator-gpt</footnote>

<footnote n="2">2. https://www.grammarly.com/</footnote>

<footnote n="3">3. https://www.deepl.com/translator</footnote>

<footnote n="4">4. https://photomath.com/</footnote>

<footnote n="5">5. https://plagiarismcheckerx.com, https://www.turnitin.com/</footnote>

<footnote n="6">6. https://www.x5gon.org/</footnote>
de certains points de vue, influence de la localisation des informations dans les documents...) durant l'apprentissage. Or, dans un contexte éducatif, pouvoir garantir la pertinence pédagogique du contenu généré est essentiel (Maity & Deroy, 2024).

Face aux défis soulevés par l'usage de l'IA générative dans les environnements éducatifs, il est nécessaire de concevoir des approches ciblées et fiables. C'est dans cette optique que nous proposons un système de question-réponse capable de répondre à des questions spécifiques en exploitant des supports privilégiés pour appuyer les réponses données.

## 2.2 Les systèmes RAG et l'éducation

Une des solutions qui a émergé pour atténuer ou pallier les failles des LLMs, en particulier le phénomène d'hallucination, est le *Retrieval Augmented Generation* (RAG) (Swacha & Gracel, 2025). Le RAG améliore les performances des LLMs en combinant une récupération d'informations pertinentes dans une base de données (ou base documentaire de référence) avec la génération de réponses en langage naturel, offrant ainsi des réponses plus précises et contextuellement adaptées.

Plusieurs applications existent dans la littérature qui intègrent le RAG afin d'interroger une source de connaissance externe : en domaine juridique (Wiratunga et al., 2024; Cui et al., 2024), pour les sciences de la santé et des sciences biomédicales (Li et al., 2023; Lála et al., 2023), la finance (Habib et al., 2024), l'informatique (Dean et al., 2023) ou encore pour plusieurs domaines (Forootani et al., 2025). Malgré que ces applications ne sont pas spécifiquement faitent pour l'apprentissage, ce type de systèmes peut-être utilisé dans un contexte éducatif. Nous retrouvons bien évidemment plusieurs approches destinées à l'apprentissage (Jiang et al., 2024; Abraham et al., 2024; Levonian et al., 2023; Al Ghadban et al., 2023).

# 3 Approche et Méthodologie

Cette section présente de manière détaillée les fondements méthodologiques de notre étude, en articulant d'abord la description du jeu de données Science Questions (SCIQ) utilisé comme collection de tests, puis en exposant les différents systèmes et configurations expérimentales testés et expérimentés pour répondre aux problématiques posées, avant de détailler enfin la stratégie d'évaluation mise en œuvre pour mesurer rigoureusement la performance et la pertinence des approches proposées.

## 3.1 Jeu de données Science Questions "SCIQ"

Nous avons choisi d'utiliser l'ensemble de données SCIQ (SCIence Questions)<fnref n="7" /> (Welbl et al., 2017) pour évaluer notre système RAG dans un contexte éducatif. SCIQ a été obtenu par crowdsourcing et a été conçu pour l'entraînement et l'évaluation de modèles de question-réponse (Welbl et al., 2017). Il se compose de plus de 13.000 questions à choix multiples, découpé en trois sous-ensembles (11.700 questions dans l'ensemble d'entraînement et 1000 questions dans chaque ensemble de validation et de test) couvrent un niveau allant de l'école primaire aux cours d'introduction à l'université, telles que la biologie, la physique, la chimie et les sciences de la Terre (Welbl et al., 2017). Chaque élément

<footnote n="7">7. https://huggingface.co/datasets/allenai/sciq</footnote>
de cet ensemble contient une question, quatre réponses possibles, parmi lesquelles une seule est correcte, la majorité des questions sont accompagnées de paragraphes supplémentaires et d'éléments d'information à l'appui des bonnes réponses (Yu et al., 2024). Ce jeu de données est en anglais.

<table><caption>TABLE 1 – Un exemple d'entrée de SCIQ, constitué d'une question, de quatre réponses (la bonne réponse est en gras), ainsi que du passage justifiant la bonne réponse.</caption><tr><td>Question</td><td>What type of organism is commonly used in preparation of foods such as cheese and yogurt?</td></tr><tr><td>Réponses</td><td>A : mesophilic organisms<br>B : protozoa<br>C : gymnosperms<br>D : viruses</td></tr><tr><td>Support / Explication</td><td>Mesophiles grow best in moderate temperature, typically between 25 C and 40 C (77 F and 104 F). Mesophiles are often found living in or on the bodies of humans or other animals. The optimal growth temperature of many pathogenic mesophiles is 37 C (98 F), the normal human body temperature. Mesophilic organisms have important uses in food preparation, including cheese, yogurt, beer and wine.</td></tr></table>

Notre choix s'est porté sur ce jeu de données pour les raisons suivantes : d'un côté, il constitue un ensemble standard, reconnu pour l'évaluation de modèles de type Question-Réponse (Question-Answering, QA) dans un cadre éducatif (Liu et al., 2024). En outre, les questions sont formulées de manière simple mais rigoureuse, proches de ce que l'on pourrait trouver dans un sujet d'examen réel (Welbl et al., 2017), un exemple de question est présenté dans la table 1. Ces questions sont ouvertes et leur traitement nécessite d'identifier et de comprendre les connaissances scientifiques pertinentes, avant de suivre certains raisonnemment pour y répondre (Yu et al., 2024). Ce type de questions, nous permet d'une part d'évaluer la capacité de récupération des connaissances scientifiques pertinentes, et d'autre part, d'évaluer la capacité de raisonner du modèle. Un autre avantage de SCIQ est le format des questions, à choix multiples, qui permet une évaluation automatique des réponses.

Ici, nous utilisons SCIQ pour comparer deux approches : un modèle génératif classique basé sur un LLM, et un système RAG dans lequel les réponses sont générées à partir d'un ensemble de documents récupérés automatiquement. Nous cherchons à évaluer non seulement la performance quantitative (précision des réponses), mais également la qualité des justifications fournies par le système.

## 3.2 Modèles et configurations expérimentés

### 3.2.1 Baseline : un modèle LLM seul

Comme référence de génération de réponse, nous avons choisi d'utiliser les grands modèles de langue (LLM) Llama 3⁸ et Mistral 7b<fnref n="9" /> seuls. Ils permettent de générer une réponse aux questions selon une stratégie "sans exemple" (zero-shot). Cette stratégie n'exploite pas de source externe d'informations

<footnote n="8">8. https://www.llama.com/models/llama-3/</footnote>

<footnote n="9">9. https://mistral.ai/news/announcing-mistral-7b</footnote>
mais se base uniquement sur celles acquises lors de l'entraînement du LLM. Le modèle reçoit la question telle quelle et génère directement une réponse. Plus précisément, nous utilisons les modèles *Llama3 8b* et *Mistral 7b*<fnref n="10" />. Un exemple d' invite est donné dans la figure 2 : Invite 1.

### 3.2.2 Stratégie RAG

L'architecture de notre approche RAG, présentée dans la figure 1, est constituée de :

- **module de récupération d'information (Retriever)** : ce module a pour rôle de rechercher et retourner les documents pertinents à partir d'une source externe, ici un corpus documentaire, afin de répondre à une question donnée;

- **module de génération de la réponse (Generator)** : ce module génère une réponse en se basant sur les documents pertinents rassemblés précédemment;

- **base de connaissance** : cette base a été construite à partir des explications des questions de l'ensemble de données SCIQ. Ces passages explicatifs (tableau 1) jouent le rôle d'un corpus de documents concis et fiables.

<figure><img src="image_33.png" /><figcaption>FIGURE 1 – Architecture de l’approche basée sur le RAG : des documents sont indexés puis récupérés par le moteur de recherche ElasticSearch en exploitant une approche BM25, les documents trouvés et la question sont transmises au LLM qui génère alors une réponse.</figcaption></figure>

Nous commençons par construire une base de connaissance. Nous considérons les explications de chaque question de l'ensemble SCIQ comme autant d'unités documentaires à indexer dans le moteur de recherche ElasticSearch<fnref n="11" /> avec un identifiant unique. ElasticSearch est une base de données NoSQL orientée documents, optimisée pour la recherche et l'analyse en temps réel, qui nous permet de créer différents types d'index et d'effectuer plusieurs types de recherche.

<footnote n="10">10. https://ollama.com/library/llama3 et https://ollama.com/library/mistral</footnote>

<footnote n="11">11. https://www.elastic.co/fr/elasticsearch</footnote>
Le système, le module RAG et le modèle de langue de référence (ici soit Llama 3, soit Mistral 7b), reçoivent, de la part de l'utilisateur, uniquement la question du jeu de données SCIQ en entrée. Aucune proposition de réponse (choix multiple) ni explication supplémentaire ne sont fournies au système dans l' invite (prompt). Le moteur de recherche documentaire ElasticSearch permet d'identifier des documents supposés pertinents pour une requête en utilisant une approche "sac de mots", avec une fonction de score de type BM25 (Robertson et al., 1995). Les *k* passages ayant les scores les plus élevés sont retenus. Après avoir testé plusieurs valeurs de *k* : 1,3,5,10 et 20, nous avons fixé *k* = 10. Ces documents sont ensuite transmis au module de génération de réponse. Les documents retournés par le Retriever sont injectés dans une invite structurée, utilisée pour générer la réponse finale via le LLM. Un exemple d' invite donné au LLM est donné dans la figure 2 : Invite 2. La formulation de l' invite encourage des réponses concises et adaptées au format du jeu de données.

### Invite 1 - stragégie de référence LLM seul

Answer the following question with a short and simple response (a few words only).

If you don't know the answer, say 'Not found'.

Question : "question SCIQ"

Answer :

### Invite 2 - stratégie RAG

Using the context below, answer the question that follows with a short and simple response (a few words only). If the answer cannot be found in the context, say 'Not found'.

Context : "documents"

Question : "question SCIQ"

<caption>FIGURE 2 – Exemple d’invites pour les stratégies LLM seul et RAG.</caption>

## 3.3 Protocole d'évaluation

**Evaluation de l'étape de recherche de documents** : nous utilisons l'outil standard trec_eval<fnref n="12" /> qui permet d'évaluer la pertinence des documents récupérés en fonction d'une liste de référence (gold standard, construit ici en association à chaque question sa bonne explication telle que donnée dans SCIQ), à l'aide de métriques telles que le Mean Average Precision (MAP), Mean Reciprocal Rank (MRR), la Precision@k, le Rappel@k et le Normalized Discounted Cumulative Gain (nDCG). Ces mesures permettent d'évaluer non seulement si les documents retournés sont pertinents, mais aussi leur position dans la liste de résultats, ce qui est crucial pour l'efficacité d'un système RAG, où seuls les premiers documents sont utilisés pour générer la réponse finale. Dans notre cas, nous nous concentrons sur le MRR et le Rappel (global et R@k), car notre référence de jugements de pertinence ne contient qu'un seul bon document pertinent par requête.

**Evaluation des réponses générées** : pour évaluer la qualité des réponses générées par le système, plusieurs métriques complémentaires ont été utilisées. Tout d'abord, une mesure de correspondance exacte (Exact Match) EM1 qui permet de vérifier si la réponse du système correspond mot à mot à la

<footnote n="12">12. https://trec.nist.gov/trec_eval</footnote>
réponse attendue. Puis EM2 pour considérer le cas où la bonne réponse est une sous-chaîne de la réponse générée. Ensuite, la distance de Levenshtein (Navarro, 2001) DL mesure la similarité entre la réponse générée et la réponse de référence en entier et DL_Part (partiel) en tenant compte des sous-chaînes les plus proches, offrant ainsi une évaluation plus tolérante aux variations de formulation. Des métriques classiques telles que la Précision P, le Rappel R et le F1 – score permettent quant à elles d'évaluer les réponses selon une échelle binaire, réponse correcte ou non. Pour aller au-delà de la simple comparaison lexicale, une mesure d'exactitude (accuracy) selon un score de similitude sémantique est également appliquée, à l'aide du modèle paraphrase-MiniLM-L6-v2<sup>13</sup> SS1 et le modèle all-mpnet-base-v2<sup>14</sup> SS2, afin d'évaluer si le sens général des réponses est proche de celui des références attendues. Enfin, un LLM peut lui-même être utilisé pour estimer la pertinence des réponses générées.

# 4 Résultats et discussion

## 4.1 Evaluation de la recherche de documents

Nous avons commencé par évaluer la capacité de notre système RAG à retourner les explications (documents) pertinentes pour les requêtes. Nous avons effectué ce type sur l'ensemble de données train de SCIQ (table 2).

<table><caption>TABLE 2 – Evaluation de la recherche de documents pertinents</caption><thead><tr><td>Modèle</td><td>MRR</td><td>Rappel</td><td>R@5</td></tr></thead><tbody><tr><td>RAG-Simple</td><td>0,7247</td><td>0,8425</td><td>0,8175</td></tr></tbody></table>

- La valeur élevée du MRR (0,7247) indique que le premier document pertinent est généralement retrouvé parmi les premières positions du classement, ce qui témoigne de la capacité du système à retourner efficacement l'information pertinente dès les premiers résultats.

- Rappel global (0,8425) et R@5 (0,8175) sont tous les deux élevés : ce qui confirme que notre document pertinent est souvent dans le top 5.

## 4.2 Évaluation de la réponse générée

Nous avons ensuite évalué la qualité des réponses retournées par l'approche RAG en les comparant avec la référence LLM seul (tableau 3). La stratégie rag-llama (utilisant Llama3 avec RAG) obtient les meilleurs scores globaux sur la majorité des métriques (EM1, DL, SS1, SS2, Précision, F1) Les approches de base bl-mist et bl-llama avec les modèles llm Mistral et LLAMA3 utilisés sans RAG ont des performances globalement inférieures. Ces résultats confirment que notre solution basée sur le RAG peut effectivement améliorer la précision de la réponse. Nous notons aussi que le modèle Llama3 est globalement plus performant que Mistral 7b pour SCIQ.

<footnote n="13">13. https://huggingface.co/sentence-transformers/paraphrase-MiniLM-L6-v2</footnote>

<footnote n="14">14. https://huggingface.co/sentence-transformers/all-mpnet-base-v2</footnote>
<table><caption>TABLE 3 – Evaluation des réponses générées, avec RAG (rag) ou sans RAG (bl), avec Llama 3 (llama) ou Mistral 7b (mist).</caption><thead><tr><th>Stratégie</th><th>EM1</th><th>EM2</th><th>DL</th><th>DL_Part</th><th>SS1</th><th>SS2</th><th>P</th><th>R</th><th>F1</th><th>LLM</th></tr></thead><tbody><tr><td>bl-mist</td><td>0,27</td><td>0,51</td><td>0,29</td><td>0,61</td><td>0,41</td><td>0,36</td><td>0,22</td><td>0,54</td><td>0,31</td><td>0,82</td></tr><tr><td>bl-llama</td><td>0,39</td><td>0,46</td><td>0,42</td><td>0,59</td><td>0,51</td><td>0,47</td><td>0,45</td><td>0,47</td><td>0,46</td><td>0,75</td></tr><tr><td>rag-llama</td><td><strong>0,46</strong></td><td>0,56</td><td><strong>0,50</strong></td><td>0,68</td><td><strong>0,59</strong></td><td><strong>0,55</strong></td><td><strong>0,49</strong></td><td>0,56</td><td><strong>0,52</strong></td><td>0,79</td></tr><tr><td>rag-mist</td><td>0,38</td><td><strong>0,74</strong></td><td>0,41</td><td><strong>0,82</strong></td><td>0,54</td><td>0,47</td><td>0,15</td><td><strong>0,78</strong></td><td>0,25</td><td><strong>0,94</strong></td></tr></tbody></table>

## 4.3 Traçabilité des réponses : gestion de l'absence d'information

Nous nous plaçons maintenant dans un cadre de test où les questions posées ne bénéficient pas d'explication réponse explicite dans la base de connaissance (il n'y a pas de *document support*). Nous avons pris les questions de l'ensemble *test* du jeu de données SCIQ car les supports de ces derniers n'ont pas été indexés dans notre base de connaissance (cette dernière contient les supports de l'ensemble *train* seulement). Nous avons interrogé le modèle baseline **Llama3** avec ces question ainsi que notre système rag (représenté par bl-llama et rag-llama dans le tableau 4.3).

<table><caption>TABLE 4 – Evaluation de la réponse générée</caption><thead><tr><th>Modèle</th><th>EM1</th><th>EM2</th><th>DL</th><th>DL_Part</th><th>SS1</th><th>SS2</th><th>P</th><th>R</th><th>F1</th><th>LLM</th></tr></thead><tbody><tr><td>bl-llama</td><td><strong>0,39</strong></td><td><strong>0,48</strong></td><td><strong>0,43</strong></td><td><strong>0,59</strong></td><td><strong>0,50</strong></td><td><strong>0,47</strong></td><td><strong>0,45</strong></td><td><strong>0,47</strong></td><td><strong>0,46</strong></td><td><strong>0,74</strong></td></tr><tr><td>rag-llama</td><td>0,33</td><td>0,39</td><td>0,35</td><td>0,50</td><td>0,42</td><td>0,39</td><td>0,26</td><td>0,39</td><td>0,31</td><td>0,58</td></tr></tbody></table>

- Nous remarquons une diminution très nette pour toutes les métriques du système RAG dans ce cas où les supports des questions ne sont pas présents dans la base de connaissance.

- Nous notons aussi que les métriques de notre baseline n'a pas été affecté par ce type test (comparé avec les résultats du tableau 3). La baseline a surpassé le RAG.

L'influence de l'absence de documents dans un système RAG se manifeste par des réponses plus prudentes ou absentes (dans ce cas le RAG nous a retourné plus de réponses de type "not found"). Dans le contexte éducatif, il est préférable de signaler un manque d'information plutôt que de générer une réponse incorrecte, grâce au RAG, l'hallucination du LLM est réduite.

## 4.4 Clarté des explications

La stratégie RAG permet de préciser le document support utilisé pour générer la réponse. De plus, nous pouvons indiquer au LLM du RAG d'expliquer la réponse et pourquoi avoir choisie celle-ci. Dans ce cas 4.4, le support utilisé par notre RAG est le même que celui qui devrait être utilisé, tel que mentionné dans l'ensemble de données. Nous avons retrouvé d'autres cas, où la réponse est correcte et le support utilisé par le module de génération est bien pertinent pour répondre à la question mais n'est pas celui attendu, comme dans le jeu de données.
<table><caption>TABLE 5 – Exemples de réponses générées et d'explications associées.</caption><thead><tr><th>Question</th><th>Réponse</th><th>support</th><th>Explication</th></tr></thead><tbody><tr><td>Transform faults are the site of massive what ?</td><td>earthquakes</td><td>ID_support :94<br/>Transform faults are the site of massive earthquakes.</td><td>In the provided context, it is stated that “Transform faults are the site of massive earthquakes” (Paragraph 94).</td></tr><tr><td>In a glass of sweet tea the sugar is known as the solute and the water is known as what ?</td><td>solvent</td><td>ID_support :123<br/>If you're like Tanya in this picture, you prefer your iced tea sweetened with sugar. Sweetened iced tea is a solution in which solid sugar (the solute) is dissolved in cold liquid tea, which is mostly water (the solvent). When you add sugar to tea, particles of water pull apart particles of sugar. The particles of sugar spread throughout the tea, making all of it taste sweet.</td><td>In the context, the definition of iced tea (paragraph 123) states that solid sugar is dissolved in cold liquid tea. The soluble substance is the solute and the liquid it is dissolved in is the solvent.</td></tr></tbody></table>

# 5 Conclusion et perspectives

Plusieurs pistes d'amélioration restent ouvertes. Le jeu de données utilisé est bien connu et largement exploité dans la littérature, ce qui signifie que certains LLMs ont probablement été entraînés sur ce contenu. Cela peut expliquer les performances élevées observées pour les modèles de référence, LLM seuls. La recherche de documents pertinents reste peu performante en termes de classement des documents retrouvés, ce qui suggère la nécessité d'améliorer ce composant, notamment via des techniques de réordonnancement.

Cependant, l'intégration de l'approche RAG dans notre solution a permis d'améliorer la qualité des réponses générées, avec des gains notables notamment avec la stratégie rag-llama. Ces résultats confirment la pertinence du RAG dans un système de questions réponses, en particulier dans le contexte éducatif. En effet, dans ce cadre, ces améliorations sont significatives : une meilleure précision et un rappel élevé permettent de fournir aux apprenants des réponses plus fiables et complètes, tout en réduisant les risques liés aux hallucinations des modèles. Ainsi, les systèmes RAG peuvent contribuer à la mise en place d'outils d'assistance à l'apprentissage plus efficaces et mieux adaptés aux besoins spécifiques des élèves.

# Références

ABRAHAM S., EWARDS V. & TERENCE S. (2024). Interactive Video Virtual Assistant Framework with Retrieval Augmented Generation for E-Learning. In 2024 3rd International Conference on Applied Artificial Intelligence and Computing (ICAAIC), p. 1192–1199. DOI : 10.1109/ICAAIC60222.2024.10575255.
AL GHADBAN Y., LU H. Y., ADAVI U., SHARMA A., GARA S., DAS N., KUMAR B., JOHN R., DEVARSETTY P. & HIRST J. E. (2023). Transforming Healthcare Education: Harnessing Large Language Models for Frontline Health Worker Capacity Building using Retrieval-Augmented Generation. DOI: 10.1101/2023.12.15.23300009.

BARUA P. D., VICNESH J., GURURAJAN R., OH S. L., PALMER E., AZIZAN M. M., KADRI N. A. & ACHARYA U. R. (2022). Artificial Intelligence Enabled Personalised Assistive Tools to Enhance Education of Children with Neurodevelopmental Disorders—A Review. *International Journal of Environmental Research and Public Health*, **19**(3), 1192. Number: 3 Publisher: Multidisciplinary Digital Publishing Institute, DOI: 10.3390/ijerph19031192.

BOSCH N. & D'MELLO S. K. (2021). Automatic Detection of Mind Wandering from Video in the Lab and in the Classroom. *IEEE Transactions on Affective Computing*, **12**(4), 974–988. DOI: 10.1109/TAFFC.2019.2908837.

CUI J., NING M., LI Z., CHEN B., YAN Y., LI H., LING B., TIAN Y. & YUAN L. (2024). Chatlaw: A Multi-Agent Collaborative Legal Assistant with Knowledge Graph Enhanced Mixture-of-Experts Large Language Model. arXiv:2306.16092 [cs], DOI: 10.48550/arXiv.2306.16092.

DEAN M., BOND R. R., MCTEAR M. F. & MULVENNA M. D. (2023). ChatPapers: An AI Chatbot for Interacting with Academic Research. In *2023 31st Irish Conference on Artificial Intelligence and Cognitive Science (AICS)*, p. 1–7, Letterkenny, Ireland: IEEE. DOI: 10.1109/AICS60730.2023.10470521.

DEL BONIFRO F., GABBRIELLI M., LISANTI G. & ZINGARO S. P. (2020). Student Dropout Prediction. In I. I. BITTENCOURT, M. CUKUROVA, K. MULDNER, R. LUCKIN & E. MILLÁN, Éds., *Artificial Intelligence in Education*, volume 12163, p. 129–140. Cham: Springer International Publishing. Series Title: Lecture Notes in Computer Science, DOI: 10.1007/978-3-030-52237-7_11.

DEVECI TOPAL A., DILEK EREN C. & KOLBURAN GEÇER A. (2021). Chatbot application in a 5th grade science course. *Education and Information Technologies*, **26**(5), 6241–6265. DOI: 10.1007/s10639-021-10627-8.

DOLENC K., ABERŠEK B. & KORDIGEL ABERŠEK M. (2015). ONLINE FUNCTIONAL LITERACY, INTELLIGENT TUTORING SYSTEMS AND SCIENCE EDUCATION. *Journal of Baltic Science Education*, **14**(2), 162–171. DOI: 10.33225/jbse/15.14.162.

FOROOTANI A., ALIABADI D. E. & THRAEN D. (2025). Bio-Eng-LMM AI Assist chatbot: A Comprehensive Tool for Research and Education. arXiv:2409.07110 [eess], DOI: 10.48550/arXiv.2409.07110.

HABIB M. A., AMIN S., OQBA M., JAIPAL S., KHAN M. J. & SAMAD A. (2024). TaxTajweez: A Large Language Model-based Chatbot for Income Tax Information In Pakistan Using Retrieval Augmented Generation (RAG). *The International FLAIRS Conference Proceedings*, **37**. DOI: 10.32473/flairs.37.1.135648.

HOLMES W. & TUOMI I. (2022). State of the art and practice in AI in education. *European Journal of Education*, **57**(4), 542–570. _eprint: https://onlinelibrary.wiley.com/doi/pdf/10.1111/ejed.12533, DOI: 10.1111/ejed.12533.

JIANG Y., SHAO Y., MA D., SEMNANI S. J. & LAM M. S. (2024). Into the Unknown Unknowns: Engaged Human Learning through Participation in Language Model Agent Conversations. arXiv:2408.15232 [cs], DOI: 10.48550/arXiv.2408.15232.

KITTO K., SARATHY N., GROMOV A., LIU M., MUSIAL K. & BUCKINGHAM SHUM S. (2020). Towards skills-based curriculum analytics: can we automate the recognition of prior learning? In *Proceedings of the Tenth International Conference on Learning Analytics & Knowledge*, p. 171–180, Frankfurt Germany: ACM. DOI: 10.1145/3375462.3375526.
LANE H. C., CAHILL C., FOUTZ S., AUERBACH D., NOREN D., LUSSENHOP C. & SWARTOUT W. (2013). The Effects of a Pedagogical Agent for Informal Science Education on Learner Behaviors and Self-efficacy. In D. HUTCHISON, T. KANADE, J. KITTLER, J. M. KLEINBERG, F. MATTERN, J. C. MITCHELL, M. NAOR, O. NIERSTRASZ, C. PANDU RANGAN, B. STEFFEN, M. SUDAN, D. TERZOPOULOS, D. TYGAR, M. Y. VARDI, G. WEIKUM, H. C. LANE, K. YACEF, J. MOSTOW & P. PAVLIK, Éds., *Artificial Intelligence in Education*, volume 7926, p. 309–318. Berlin, Heidelberg: Springer Berlin Heidelberg. Series Title: Lecture Notes in Computer Science, DOI: 10.1007/978-3-642-39112-5_32.

LEE H., PALLANT A., PRYPUTNIEWICZ S., LORD T., MULHOLLAND M. & LIU O. L. (2019). Automated text scoring and real-time adjustable feedback: Supporting revision of scientific arguments involving uncertainty. *Science Education*, **103**(3), 590–622. DOI: 10.1002/sce.21504.

LEVONIAN Z., LI C., ZHU W., GADE A., HENKEL O., POSTLE M.-E. & XING W. (2023). Retrieval-augmented Generation to Improve Math Question-Answering: Trade-offs Between Groundedness and Human Preference. arXiv:2310.03184 [cs], DOI: 10.48550/arXiv.2310.03184.

LEWIS P., PEREZ E., PIKTUS A., PETRONI F., KARPUKHIN V., GOYAL N., KÜTTLER H., LEWIS M., YIH W.-T., ROCKTÄSCHEL T. et al. (2020). Retrieval-augmented generation for knowledge-intensive nlp tasks. *Advances in neural information processing systems*, **33**, 9459–9474.

LI Y., LI Z., ZHANG K., DAN R., JIANG S. & ZHANG Y. (2023). ChatDoctor: A Medical Chat Model Fine-Tuned on a Large Language Model Meta-AI (LLaMA) Using Medical Domain Knowledge. *Cureus*. DOI: 10.7759/cureus.40895.

LIN Y.-H. (2019). A Supportive Information Assistant on Mobile Devices for Non-Technical Students Learning Programming.

LIU Y., CAO J., LIU C., DING K. & JIN L. (2024). Datasets for Large Language Models: A Comprehensive Survey. arXiv:2402.18041 [cs], DOI: 10.48550/arXiv.2402.18041.

LÁLA J., O'DONOGHUE O., SHTEDRITSKI A., COX S., RODRIQUES S. G. & WHITE A. D. (2023). PaperQA: Retrieval-Augmented Generative Agent for Scientific Research. arXiv:2312.07559 [cs], DOI: 10.48550/arXiv.2312.07559.

MAESTRALES S., ZHAI X., TOUITOU I., BAKER Q., SCHNEIDER B. & KRAJCIK J. (2021). Using Machine Learning to Score Multi-Dimensional Assessments of Chemistry and Physics. *Journal of Science Education and Technology*, **30**(2), 239–254. DOI: 10.1007/s10956-020-09895-9.

MAITY S. & DEROY A. (2024). Generative AI and Its Impact on Personalized Intelligent Tutoring Systems. arXiv:2410.10650 [cs], DOI: 10.48550/arXiv.2410.10650.

MARCINKOWSKI F., KIESLICH K., STARKE C. & LÜNICH M. (2020). Implications of AI (un-fairness in higher education admissions: the effects of perceived AI (un-)fairness on exit, voice and organizational reputation. In *Proceedings of the 2020 Conference on Fairness, Accountability, and Transparency*, p. 122–130, Barcelona Spain: ACM. DOI: 10.1145/3351095.3372867.

MAYER R. E. (2019). Computer Games in Education. *Annual Review of Psychology*, **70**(Volume 70, 2019), 531–549. Publisher: Annual Reviews, DOI: 10.1146/annurev-psych-010418-102744.

MCLAREN B. M., ADAMS D. M., MAYER R. E. & FORLIZZI J. (2017). A Computer-Based Game that Promotes Mathematics Learning More than a Conventional Approach: *International Journal of Game-Based Learning*, **7**(1), 36–56. DOI: 10.4018/IJGBL.2017010103.

NAVARRO G. (2001). A guided tour to approximate string matching. *ACM computing surveys (CSUR)*, **33**(1), 31–88.

NIGAM A., PASRICHA R., SINGH T. & CHURI P. (2021). A Systematic Review on AI-based Proctoring Systems: Past, Present and Future. *Education and Information Technologies*, **26**(5), 6421–6445. DOI: 10.1007/s10639-021-10597-x.
PARONG J., MAYER R. E., FIORELLA L., MACNAMARA A., HOMER B. D. & PLASS J. L. (2017). Learning executive function skills by playing focused video games. *Contemporary Educational Psychology, **51*, 141–151. DOI: 10.1016/j.cedpsych.2017.07.002.

PASCHOAL L. N., DE OLIVEIRA M. M. & CHICON P. M. M. (2018). A Chatterbot Sensitive to Student's Context to Help on Software Engineering Education. In *2018 XLIV Latin American Computer Conference (CLEI)*, p. 839–848, São Paulo, Brazil: IEEE. DOI: 10.1109/CLEI.2018.00105.

ROBERTSON S. E., WALKER S., JONES S., HANCOCK-BEAULIEU M. M., GATFORD M. *et al*. (1995). Okapi at trec-3. *Nist Special Publication Sp*, **109**, 109.

SREELAKSHMI A., ABHINAYA S., NAIR A. & JAYA NIRMALA S. (2019). A Question Answering and Quiz Generation Chatbot for Education. In *2019 Grace Hopper Celebration India (GHCI)*, p. 1–6, Bangalore, India: IEEE. DOI: 10.1109/GHCI47972.2019.9071832.

SUNG S. H., LI C., CHEN G., HUANG X., XIE C., MASSICOTTE J. & SHEN J. (2021). How Does Augmented Observation Facilitate Multimodal Representational Thinking? Applying Deep Learning to Decode Complex Student Construct. *Journal of Science Education and Technology, **30*** (2), 210–226. DOI: 10.1007/s10956-020-09856-2.

SWACHA J. & GRACEL M. (2025). Retrieval-Augmented Generation (RAG) Chatbots for Education: A Survey of Applications. *Applied Sciences, **15*** (8), 4234. Number: 8 Publisher: Multidisciplinary Digital Publishing Institute, DOI: 10.3390/app15084234.

WARD W., COLE R., BOLAÑOS D., BUCHENROTH-MARTIN C., SVIRSKY E. & WESTON T. (2013). My science tutor: A conversational multimedia virtual tutor. *Journal of Educational Psychology, **105*** (4), 1115–1125. DOI: 10.1037/a0031589.

WELBL J., LIU N. F. & GARDNER M. (2017). Crowdsourcing Multiple Choice Science Questions. arXiv:1707.06209 [cs], DOI: 10.48550/arXiv.1707.06209.

WIRATUNGA N., ABEYRATNE R., JAYAWARDENA L., MARTIN K., MASSIE S., NKISI-ORJI I., WEERASINGHE R., LIRET A. & FLEISCH B. (2024). CBR-RAG: Case-Based Reasoning for Retrieval Augmented Generation in LLMs for Legal Question Answering. arXiv:2404.04302 [cs], DOI: 10.48550/arXiv.2404.04302.

YU H.-C., SHIH Y.-A., LAW K.-M., HSIEH K.-Y., CHENG Y.-C., HO H.-C., LIN Z.-A., HSU W.-C. & FAN Y.-C. (2024). Enhancing Distractor Generation for Multiple-Choice Questions with Retrieval Augmented Pretraining and Knowledge Graph Integration. arXiv:2406.13578 [cs], DOI: 10.48550/arXiv.2406.13578.
# InitIAtion : développer l'agentivité numérique au collégial à l'ère de l'intelligence artificielle générative

Fanny Joussemet¹, ², ³

(1) Cégep de Saint-Laurent, 625 av. Sainte-Croix, Saint-Laurent, QC H4L 3X6, Canada

(2) AQPC — Association québécoise de pédagogie collégiale, 999 Av. Émile-Journault, Montréal, Canada

(3) OBVIA — Observatoire sur les impacts sociétaux de l'IA et du numérique, Pavillon Charles-De Koninck, local 2489, 1030, avenue des Sciences-Humaines, Université Laval Québec QC G1V 0A6, Canada

fjoussemet@cegeps1.qc.ca

## RÉSUMÉ

Cet article présente la genèse, le cadre conceptuel et les principes pédagogiques de la trousse *InitIAtion*, conçue pour accompagner les étudiantes et étudiants du collégial dans un usage critique, responsable et créatif de l'intelligence artificielle générative (IAg). Issu de consultations et d'expéri- mentations menées au Cégep de Saint-Laurent, ce projet répond à un besoin identifié de formation structurée, face à une adoption rapide de l'IAg dans les pratiques étudiantes. Appuyé sur le référentiel international de l'UNESCO et sur les recommandations du Conseil supérieur de l'éducation du Québec, *InitIAtion* se structure autour des compétences associées au métier d'étudiant. Proposée sous forme modulaire, adaptable à divers contextes disciplinaires, la trousse de formation vise à développer l'agentivité numérique, la pensée critique et l'autonomie des étudiantes et des étudiants. L'article discute également des modalités d'implantation, dans une logique de mutualisation interordres, et appelle à une appropriation contextualisée de l'outil par les établissements d'enseignement supérieur québécois.

## ABSTRACT

**InitIAtion : Developing Digital Agency in College in the Age of Generative Artificial Intelligence**

This article presents the origins, conceptual framework and pedagogical principles of the *InitIAtion* toolkit, designed to support college students in a critical, responsible and creative use of generative artificial intelligence (GenAI). Based on consultations and experiments conducted at the Cégep de Saint-Laurent, this project responds to an identified need for structured education in response to the rapid adoption of GenAI in student practices. Grounded in UNESCO's international reference framework and the recommendations of the Conseil supérieur de l'éducation du Québec, *InitIAtion* is structured around the competencies associated with the student role. Offered in modular form, adaptable to various disciplinary contexts, the toolkit aims to develop students' digital agency, critical thinking and autonomy. The article also discusses the modalities of implementation, in a logic of inter-order mutualization, and calls for a contextualized appropriation of the tool by Quebec higher education institutions.

**MOTS-CLÉS** : intelligence artificielle générative, littératie numérique, agentivité numérique, ensei- gnement supérieur, cégep, éducation.

**KEYWORDS:** Generative Artificial Intelligence, Digital Literacy, Digital Agency, Higher Education, cégep, Education.

**ARTICLE** : **Accepté à IA-ÉDU@CORIA-TALN 2025.**
# 1 Introduction

À l'automne 2023 et à l'hiver 2024, le Cégep de Saint-Laurent a mené le projet IA & Réussite pour mieux comprendre les usages, perceptions et besoins liés à l'intelligence artificielle générative (IAg) en enseignement collégial québécois<fnref n="1" />, notamment via les grands modèles de langage (GML, en anglais LLM *Large Language Models*). Bien que non récente, l'IAg — définie comme la capacité de produire de nouveaux contenus à partir de données massives (*Centre canadien pour la cybersécurité*, 2023) — a connu une diffusion accélérée dès la fin de 2022. L'ampleur de cette adoption, tant personnelle que professionnelle, ainsi que les changements dans les représentations sociales qu'elle a entraînés justifient son statut d'innovation technologique significative (*Verchère*, 2024). Les constats tirés de ce projet ont permis d'identifier des enjeux majeurs, à la base de la conception de la trousse *InitIAtion*.

En effet, dans un contexte de reconfiguration des repères pédagogiques<fnref n="2" />, une première documentation des usages a révélé, à l'automne 2023, que 27% des 928 étudiantes et étudiants sondés au cégep de Saint-Laurent utilisaient des GML comme ChatGPT à des fins académiques, tous programmes confondus (*Joussemet et al.*, 2024c). Bien que ce taux ait été inférieur aux perceptions initiales des responsables du projet, ces usages portaient déjà sur des tâches variées (résumés, idées, correction linguistique, recherche d'information), moins d'un an après la mise en ligne de ChatGPT (*Peters*, 2023). Le contexte, marqué par des réactions fortes et une « chasse au ChatGPT »<fnref n="3" />, a pu influencer la sincérité et la précision des réponses.

L'appropriation transversale de l'IAg restait variable selon les domaines de formation, mais la familiarité avec l'outil demeurait croissante malgré des malentendus sur ses fonctions réelles, notamment en matière de recherche d'information et de citation. Les étudiants y voyaient un gain de temps et un soutien, tout en s'inquiétant de la fiabilité, du plagiat involontaire et de la perte de compétences (*Joussemet et al.*, 2024c). Ces constats rejoignaient ceux d'études pointant les bénéfices des usages de l'IAg sur la personnalisation pédagogique, l'idéation, et le soutien rédactionnel, notamment pour les allophones (*Abdelghani et al.*, 2023; *Chan & Hu*, 2023), tout en rappelant les risques de passivité, d'erreurs non détectées et de dépendance (*Abdelghani et al.*, 2023; *Chan & Lee*, 2023).

Au cégep de Saint-Laurent, moins d'une session plus tard, un second sondage révélait une évolution notable : 71,1% des étudiantes et étudiants en sciences humaines (n = 45) déclaraient avoir utilisé l'IAg, contre 31,8% une session plus tôt (n = 151) (*Joussemet et al.*, 2024c). Ce basculement rapide, bien que fondé sur un petit échantillon, montrait une appropriation extrêmement rapide. Les étudiantes et les étudiants exprimaient des attentes élevées (gain de temps, soutien, idées), mais aussi des incertitudes et un besoin d'encadrement éthique et méthodologique : « Le cégep n'a pas beaucoup de pouvoir concernant l'utilisation de ChatGPT. [...] Il faut bien l'encadrer pour bien l'utiliser » (étudiant en génie électrique et informatique, cité dans (*Joussemet & Meurs*, 2024) (diapositive 30).

En parallèle, des groupes de discussion avec 18 enseignantes et enseignants issus des trois secteurs de la formation collégiale (générale, préuniversitaire et technique) mettaient en lumière des préoccupations convergentes (*Joussemet et al.*, 2023) : besoins de formation, crainte du plagiat, impact sur les apprentissages, manque de temps pour s'adapter et ajuster ses évaluations. Ces constats rejoignaient

<footnote n="1">1. Les cégeps (Collèges d'enseignement général et professionnel) forment un réseau d'établissements publics d'enseignement supérieur créés en 1967 au Québec. Ils accueillent les étudiantes et les étudiants après l'école secondaire (équivalente au lycée) et offrent à la fois des formations préuniversitaires (menant à l'université) et techniques (orientées vers le marché du travail) - *Qu'est-ce que le cégep?*</footnote>

<footnote n="2">2. ChatGPT: des profs de cégep et des chargés de cours tirent la sonnette d'alarme, 15/05/2023 à *Journal de Québec*</footnote>

<footnote n="3">3. La chasse au ChatGPT est ouverte, 20/01/2023 à *La Presse*.</footnote>
ceux de l'Association québécoise de pédagogie collégiale (AQPC) sur l'accroissement des besoins en formation continue et le décalage croissant entre usages étudiants de la technologie et capacité institutionnelle d'encadrement (Association québécoise de pédagogie collégiale, 2023). Cette diversité de positions soulignait l'importance de construire une approche contextualisée et prudente, fondée sur l'esprit critique, l'éthique et l'expérimentation encadrée.

Ces observations ont conduit à une question centrale : comment accompagner les étudiantes et les étudiants dans un usage critique et responsable de l'IAg, adapté à l'enseignement collégial ? D'autant plus que le vide laissé par les établissements commençait à être comblé par des formations privées, souvent offertes par les entreprises propriétaires de GML, soulevant des enjeux d'indépendance et de finalité. Celles-ci privilégiant des « compétences techniques nécessaires à l'exploitation de plateformes d'IA orientées vers le profit » et négligeant les enjeux critiques liés à l'apprentissage et à la citoyenneté (Fengchun & Shiohira, 2024, p. 12, traduction personnelle)

Pour y répondre, quatre priorités ont été formulées par l'équipe responsable du projet : baliser, former, outiller, expérimenter (Gosselin et al., 2024). Ces axes s'inscrivent dans la continuité des recommandations formulées par l'AQPC dans son mémoire au Conseil supérieur de l'éducation (CSÉ), qui soulignent l'importance de développer la littératie numérique, d'assurer la formation continue, de garantir l'équité d'accès aux ressources et de soutenir l'innovation pédagogique (Association québécoise de pédagogie collégiale, 2023).

C'est dans ce contexte d'intérêt et de besoins pédagogiques encore non comblés que la trousse *InitIAtion* a vu le jour. Conçue pour former les étudiantes et les étudiants dès leur entrée dans l'enseignement supérieur, elle vise à développer leur agentivité numérique, leur autonomie et leur pensée critique à propos de l'IAg. La conception « clé en main » de la trousse se veut aussi être une réponse aux contraintes de temps du corps enseignant face à des contenus complexes et évolutifs (Conseil supérieur de l'éducation & Commission de l'éthique en science et en technologie, 2024; Joussemet et al., 2023).

Cet article retrace la trajectoire du projet *InitIAtion*, de son élaboration à partir d'expérimentations locales à son développement interordres avec le Pôle interordres de Montréal (PIM)<fnref n="4" />, en précisant son cadre conceptuel, sa structure modulaire et ses perspectives de déploiement dans les établissements d'enseignement supérieur.

# 2 De l'expérimentation locale à la mutualisation interordres : la trajectoire d'InitIAtion

## 2.1 Présentation exploratoire de la trousse au cégep de Saint-Laurent

À la suite des consultations conduites à l'hiver 2024, une version préliminaire de la trousse *InitIAtion* a été conçue. Elle comprenait un ensemble de ressources complémentaires, structurées afin den favoriser l'appropriation pédagogique. Parmi celles-ci figurait un diaporama destiné au corps professoral, abordant les notions fondamentales relatives à l'IA, à l'IAg, aux GML, ainsi quaux enjeux de qualité de l'information et d'intégrité intellectuelle. Ce support détaillait les intentions pédagogiques et les objectifs des activités proposées. Un diaporama simplifié, conçu spécifiquement pour les étudiantes

<footnote n="4">4. https://pim.quebec/</footnote>
et étudiants, accompagnait ce matériel en vue d'un usage en classe (Joussemet et al., 2024b). Des éléments de référence au plan-cadre du cours étaient également fournis, afin d'assurer une intégration cohérente des contenus. Un exercice de discussion portant sur les balises d'utilisation de l'IAg, à réaliser en classe, accompagnait ces supports, de même qu'un questionnaire interactif visant à susciter une réflexion collective sur les usages de cette technologie. Enfin, une fiche synthèse, élaborée en collaboration avec le personnel bibliothécaire, proposait une sélection d'outils de recherche documentaire spécialisés, jugés plus pertinents que les modèles génératifs généralistes, tels que ChatGPT, pour répondre aux besoins académiques (Joussemet et al., 2024a).

Le matériel a dabord été présenté à l'équipe enseignante du cours Réussir au collégial (360-RÉU), propre au Cégep de Saint-Laurent (Cégep de Saint-Laurent, 2022a). Ce cours de quinze heures, instauré à l'automne 2022, vise à faciliter la transition entre le secondaire et le collégial, en développant chez les étudiantes et étudiants des stratégies d'apprentissage, de gestion du temps, de recherche documentaire et d'appropriation des outils numériques (Dufour & Tardif, 2023). Rattaché aux activités de mise à niveau — définies comme favorisant l'acquisition de compétences essentielles à la poursuite des études (Ministère de l'Éducation et de l'Enseignement supérieur, 2018, p. 1) —, il a pour objectif (compétence 1006) l'utilisation de stratégies d'apprentissage efficaces (Ministère de l'Éducation et de l'Enseignement supérieur, 2018). Offert dans tous les programmes, RÉU constitue un espace propice à l'introduction de thématiques sur le « métier étudiant » et à la collaboration entre personnes enseignantes et services de soutien. Son positionnement stratégique (première session) et ses objectifs, dont « l'utilisation appropriée des technologies » comme critère de performance (Cégep de Saint-Laurent, 2022a, p. 2), en faisaient un terrain d'implantation pertinent pour InitIAtion.

La présentation visait à faire découvrir le matériel, recueillir des rétroactions et proposer des modalités de déploiement souples. Sans obligation institutionnelle, chaque enseignante ou enseignant pouvait intégrer tout ou partie de la trousse selon ses objectifs, sa familiarité avec le sujet ou les besoins de ses étudiantes et étudiants. Cette flexibilité respectait la diversité des contextes pédagogiques et favorisait une appropriation progressive. Pour faciliter l'implantation, il a été proposé qu'une personne-ressource anime la séance, en présence de la personne titulaire et du groupe, dès l'automne 2024.

## 2.2 2.2 Difficultés rencontrées et ajustements envisagés

L'implantation de la trousse dans les cours RÉU n'a pas suscité une adoption généralisée à l'automne 2024. Une consultation menée à l'hiver 2025 auprès des responsables des cours RÉU volontaires (Joussemet, 2025), issus de disciplines variées (sciences humaines, danse, architecture), a permis den cerner plusieurs freins. La trousse a été jugée trop volumineuse pour les formats courts comme RÉU, dispensé à raison d'une heure par semaine, et difficile à intégrer dans des périodes de 50 minutes. Les présentations ont été perçues comme « chargées », et les contraintes matérielles (absence d'ordinateurs, studios non équipés) limitaient les possibilités d'expérimenter les outils en classe. Dans plusieurs cas, leur approche de l'IAg est donc restée théorique. Une complexité à intégrer la trousse dans les séquences pédagogiques, déjà centrées sur les compétences élémentaires liées à la rédaction, à la recherche documentaire ou à la gestion des études a également été nommée par le corps enseignant.

D'autres difficultés, liées à la nature même du cours RÉU (Dufour, 2023; Régis, 2024), sont également venues limiter l'adoption de la trousse. Ce cours a en effet pris des formes variables selon les programmes dans lesquels il a été implanté, ce qui réduisait la possibilité d'y intégrer un contenu
uniformisé. Enfin, il convient de rappeler que le sujet de l'IAg suscite des réactions diverses dans le milieu de l'enseignement supérieur, allant de l'enthousiasme à la méfiance<sup>5 6</sup>. Lors de la consultation (Joussemet, 2025), certains et certaines ont exprimé la crainte que l'introduction du sujet n'encourage « la triche » et préféraient ne pas aborder le sujet. Ainsi, la liberté laissée à chacun daborder — ou non — ces enjeux, en fonction de son aisance avec la technologie ou de ses propres balises éthiques, a également contribué à une appropriation inégale du matériel.

Ces observations ont conduit à repenser les modalités de déploiement de la trousse et à adapter son contenu, afin de répondre plus finement aux besoins exprimés sur le terrain.

## 2.3 Évolution des usages étudiants et nécessité d'une réponse élargie

Parallèlement, les données confirmaient que l'utilisation de l'IAg devenait une pratique courante : un sondage de KPMG indiquait que six étudiants sur dix l'utilisaient pour accomplir des tâches scolaires (KPMG, 2024). Le Sondage sur la population étudiante des cégeps (SPEC), réalisé en 2024 (n = 30 202), révélait que 59,9% des répondants (n = 23 550) avaient expérimenté un outil d'IAg, un taux atteignant 63,3% chez les moins de 18 ans, et 55,7% (n = 23 581) exprimaient un enthousiasme modéré à élevé envers ces technologies (Abran, 2024).

Quelques mois plus tard, les constats formulés par les enseignants et enseignantes lors de la consultation de l'hiver 2025 (Joussemet, 2025) sont venus donner un relief qualitatif à ces tendances chiffrées. Ces observations confirmaient non seulement que les usages étaient déjà bien implantés, mais validaient également les préoccupations exprimées sur le manque de recul critique, la méconnaissance du fonctionnement des outils et l'utilisation souvent superficielle de l'IAg. Ensemble, ces éléments ont renforcé la nécessité d'une réponse éducative mieux arrimée aux réalités du terrain.

Et pourtant, jusqu'à aujourd'hui, aucun cégep na instauré de formation systématique sur les usages responsables de ces outils, laissant place à des pratiques autonomes, peu balisées sur les plans éthique, critique et réflexif. Ce vide a commencé à se combler tout récemment, au printemps 2025, avec l'annonce du Cégep de Sainte-Foy d'une formation obligatoire de 30 minutes sur l'IAg destinée à toute la communauté étudiante dès l'automne, en réponse à une forte hausse des cas de plagiat<sup>7</sup>.

Le besoin d'un encadrement structuré est confirmé par la recherche sur les effets de l'IAg sur l'apprentissage. (Abdelghani et al., 2023) montrent que, si les GML peuvent stimuler l'engagement lorsqu'ils sont intégrés à des activités pédagogiques ciblées, leur usage autonome favorise des comportements passifs, une surestimation de soi et une baisse de la pensée critique. La conception de ces modèles, qui livrent des réponses rapides et affirmatives sans signaler les incertitudes, nuit au développement des compétences métacognitives, comme lautoévaluation ou l'ajustement de la compréhension. En l'absence de dispositifs éducatifs explicites, une véritable littératie critique ne peut émerger. (Jabagi & Croteau, 2025) ajoutent que « sans une formation et un positionnement adéquats, l'accès facile à ChatGPT peut conduire à une dépendance aveugle ou excessive qui peut entraver l'autonomie des personnes apprenantes ». Ces conclusions exigent une réflexion approfondie pour que l'IAg soutienne, plutôt qu'affaiblisse, l'autonomie et la pensée critique.

<footnote n="5">5. Des enseignants se tournent vers l'intelligence artificielle pour alléger leur tâche, 27/08/2023 à L'actualité</footnote>

<footnote n="6">6. Face au plagiat, des professeurs appellent à un moratoire sur le développement de l'IA, 15/05/2023 à radio-canada</footnote>

<footnote n="7">7. Offensive pour contrer le plagiat avec ChatGPT au cégep, 11/04/2025 à Journal de Québec.</footnote>
## 2.4 Vers une mutualisation interordres : projet soutenu par le PIM

Face aux constats convergents issus des milieux scientifiques et institutionnels, la nécessité d'une formation structurée pour les étudiantes et étudiants s'est imposée. Ce besoin a trouvé un écho dans un appel à projets du PIM<fnref n="8" />, qui visait à mutualiser les ressources et soutenir le développement d'outils pédagogiques en IAg, transférables à l'ensemble du réseau collégial et universitaire québécois. C'est dans ce cadre qu'a été retenue une proposition portée par une professeure de sociologie du cégep de Saint-Laurent — coresponsable du projet IA & Réussite et conceptrice du cours transdisciplinaire IA au quotidien (Cégep de Saint-Laurent, 2022b) — en partenariat avec le Carrefour d'innovation et de pédagogie universitaire de l'UQAM. Le projet visait à développer, médiatiser et diffuser la trousse *InitIAtion*, conçue spécifiquement pour accompagner les étudiantes et étudiants dans l'acquisition progressive d'une littératie critique, responsable et créative de l'IAg, adaptée à la diversité des contextes et des parcours de formation.

À notre connaissance, *InitIAtion* constitue un projet unique dans le réseau de l'enseignement supérieur québécois, en raison de son ampleur et de sa profondeur pédagogique : loin d'une formation ponctuelle ou superficielle, elle propose un parcours structuré, modulaire et progressif, pouvant accompagner les étudiantes et étudiants tout au long de leur cheminement collégial. Ce format vise à assurer une continuité éducative en littératie de l'IAg, alignée sur l'évolution des besoins de formation et l'acquisition graduelle de compétences critiques, éthiques et méthodologiques.

Cette approche prudente et graduelle répond à une préoccupation centrale dans la recherche : un usage trop précoce des GML pourrait compromettre le développement des compétences métacognitives des étudiantes et étudiants novices. (Abdelghani et al., 2023, p. 4, traduction personnelle) rappellent qu'un recours hâtif à l'IAg « peut réduire l'engagement cognitif actif », en limitant l'autoévaluation, la confrontation à l'erreur et la consolidation des savoirs. À l'entrée au collégial, il importe donc de privilégier l'appui sur leurs connaissances, l'acceptation de l'incertitude et la construction de leur confiance. La trousse *InitIAtion* s'inscrit ainsi dans une pédagogie de l'agentivité progressive, où l'IAg est un levier à maîtriser avec discernement, non une réponse immédiate.

Le parcours proposé repose sur quatre étapes complémentaires, qui jalonnent la progression attendue : comprendre (connaître le fonctionnement, les possibilités et les limites des outils), tester (s'exercer à l'art de la requête pour formuler des questionnements adaptés), questionner (évaluer de manière critique l'information produite par l'IAg), et utiliser (faire un usage éthique, responsable et créatif de ces outils).

Le projet redéfini répond à plusieurs constats, issus tant d'observations locales que d'analyses à l'échelle du réseau de l'enseignement supérieur. Il comble l'absence d'un cadre clair sur l'usage académique de l'IAg (ORES, 2024) et vise à corriger les inégalités d'accès à la formation, observées selon les disciplines, programmes ou profils étudiants (Conseil supérieur de l'éducation & Commission de l'éthique en science et en technologie, 2024; ORES, 2024). Car, sans action, cette fracture numérique pourrait accentuer les écarts de compétence et nuire à une préparation équitable au marché du travail, ou plus largement à la vie en société. (Jabagi & Croteau, 2025) rappellent qu'une formation accessible à tous « réduit les éventuelles fractures numériques fondées sur les compétences » (p. 13) et renforce l'appartenance des étudiantes et étudiants.

La trousse *InitIAtion* s'inscrit dans une conception de la littératie en IA, entendue comme l'« ensemble de compétences qui permet aux individus d'évaluer de manière critique les technologies d'IA, de

<footnote n="8">8. Qu'est-ce que le PIM ?</footnote>
communiquer et de collaborer efficacement avec l'IA, et d'utiliser l'IA comme un outil en ligne, à la maison et au travail » (Groupe de travail sur la sensibilisation du public, 2022, p. 6). Cette approche est indissociable d'une reconnaissance des exigences propres au métier étudiant, compris comme un processus d'acquisition progressive de compétences transversales essentielles à la réussite au collégial : autonomie, rigueur, capacité danalyse et de réflexion critique.

Afin de concrétiser cette double visée — littératie de l'IAg et développement du métier étudiant — son élaboration intègre de manière structurante un cadre conceptuel combinant des repères internationaux et nationaux. Ce cadre, fondé sur les travaux de l'UNESCO et du CSÉ du Québec, guide la définition des objectifs, l'organisation des contenus et les modalités d'apprentissage.

# 3 Un cadre conceptuel à la croisée des référentiels internationaux et des valeurs éducatives québécoises

La trousse *Initiation* s'inscrit dans une approche pédagogique rigoureuse, fondée sur un cadre conceptuel qui articule des repères internationaux et les spécificités du contexte collégial québécois. Ce cadre repose principalement sur deux références : le Référentiel de compétences en IA pour les apprenants publié par l'UNESCO (Fengchun & Shiohira, 2024), et les recommandations du Conseil supérieur de l'éducation du Québec (Conseil supérieur de l'éducation & Commission de l'éthique en science et en technologie, 2024). Ensemble, ces orientations ont permis de structurer les contenus et les finalités de la trousse de manière à répondre aux enjeux éducatifs, éthiques et méthodologiques liés à lessor de l'IAg dans l'enseignement supérieur.

## 3.1 Le référentiel de l'UNESCO : une littératie en IA centrée sur l'agentivité des apprenants

L'UNESCO souligne la nécessité pour les apprenantes et apprenants d'atteindre un niveau suffisant d'alphabétisation en IA, incluant la compréhension de son fonctionnement général, de ses impacts sur la vie quotidienne, ainsi que des compétences adaptées à une utilisation pertinente et créative, notamment des outils génératifs (Fengchun & Wayne, 2024).

Pour guider ces formations, elle propose un référentiel (Fengchun & Shiohira, 2024) structuré, précisant les axes de compétences nécessaires à une appropriation complète et responsable de l'IA. Celui-ci repose sur quatre aspects complémentaires. Le premier met l'accent sur une perspective centrée sur l'humain, visant une compréhension critique des bénéfices et risques de l'IA, et du principe de proportionnalité entre les outils utilisés, les besoins humains et les enjeux environnementaux. Le second concerne l'éthique de l'IA, englobant les compétences sociales et morales requises pour naviguer dans un ensemble croissant de principes régissant un usage responsable tout au long du cycle de vie de ces technologies. Le troisième porte sur les techniques et applications de l'IA, couvrant les connaissances conceptuelles sur leur fonctionnement et les compétences pratiques nécessaires à leur utilisation dans des tâches authentiques. Enfin, le quatrième traite de la conception de systèmes dIA.

Chaque aspect est associé à trois niveaux progressifs : comprendre, appliquer, créer. Le niveau « comprendre » renvoie aux notions fondamentales de l'IA, ses modes de fonctionnement, ses enjeux sociaux et techniques. Le niveau « appliquer » engage les apprenantes et apprenants à
utiliser concrètement des outils dans des contextes réels, en mobilisant leurs connaissances avec discernement. Le niveau « créer » favorise des usages inventifs, critiques et responsables, où l'individu est capable d'adapter ou concevoir des solutions selon ses besoins. Cette progression assure une montée cohérente en compétence, de l'acquisition des concepts jusqu'à leur mobilisation autonome (Fengchun & Shiohira, 2024).

C'est dans cette logique que s'inscrit la trousse *InitIAtion*, qui accompagne les étudiantes et étudiants à travers ces trois niveaux — comprendre, appliquer, créer. En privilégiant les trois premiers aspects du référentiel de l'UNESCO — perspective humaine, éthique, techniques et applications de l'IAg — *InitIAtion* ancre l'apprentissage dans des situations académiques concrètes, adaptées aux réalités de l'enseignement collégial.

Ce cadre constitue la fondation de la trousse, qui repose sur une progression en quatre étapes — comprendre, tester, questionner, utiliser — visant le développement d'une agentivité numérique éclairée. Cette progression s'inspire aussi de la taxonomie de Bloom révisée<fnref n="9" />, mettant l'accent sur les niveaux cognitifs supérieurs : analyser, évaluer, créer. *InitIAtion* mobilise ainsi plusieurs dimensions du savoir (Wilson, 2016) : les connaissances factuelles, pour comprendre les notions de base liées à l'IA, l'IAg et aux GML ; les connaissances conceptuelles, pour situer ces notions dans des cadres théoriques (biais, limites, implications sociales) ; les connaissances procédurales, mobilisées pour expérimenter les outils, formuler des requêtes efficaces et évaluer la qualité des contenus générés. La trousse favorise aussi le développement de connaissances métacognitives, en encourageant les apprenants et les apprenantes à une réflexion sur leurs usages, sur les conditions d'un recours pertinent à l'IAg, et sur les stratégies pour exercer un jugement critique et autonome dans divers contextes. *InitIAtion* dépasse ainsi la transmission de savoirs, en les engageant dans une appropriation active, fondée sur la compréhension des fonctions et limites des outils, l'élaboration de jugements critiques, et leur intégration raisonnée dans les pratiques académiques.

Cette approche s'inscrit pleinement dans les finalités de la formation collégiale québécoise, visant à former des citoyennes et citoyens capables de penser de façon critique, de résoudre des problèmes complexes, et de s'adapter aux évolutions rapides de la société (Gosselin, 2021).

## 3.2 Les recommandations du CSÉ : une appropriation de l'IAg fondée sur l'éthique, l'autonomie et l'intégrité

Le projet *InitIAtion* s'appuie également sur les recommandations formulées par le CSÉ et la CEST du Québec (2024). Le rapport examine les enjeux éthiques liés à l'IAg dans l'enseignement supérieur. À travers une méthodologie rigoureuse, comprenant une revue de la littérature scientifique, des consultations d'experts, ainsi qu'une analyse des pratiques actuelles dans les établissements, ce document formule vingt recommandations destinées à garantir une utilisation judicieuse de l'IAg dans les collèges et les universités, dans l'hypothèse où son usage deviendrait progressivement normalisé.

Dans le contexte québécois, où les collèges font partie intégrante de l'enseignement supérieur, ces recommandations reconnaissent l'importance fondamentale de l'autonomie institutionnelle, de la liberté académique et du respect de l'autonomie professionnelle des enseignantes et enseignants. Le CSÉ adopte ainsi une approche prudente et nuancée, invitant les établissements à réfléchir à la place qu'ils souhaitent accorder à l'IAg, sans prescrire une intégration systématique ou uniforme.

<footnote n="9">9. Taxonomie de Bloom révisée (domaine cognitif)</footnote>
Cinq éléments prioritaires sont mis en avant par le rapport comme devant guider toute réflexion sur l'usage de l'IAg en milieu éducatif : l'alignement pédagogique des pratiques, le respect de l'intégrité intellectuelle, la formation continue à la compétence numérique, la qualité de l'information produite par les IAg, ainsi que la prise en compte des enjeux éthiques, tels que la protection de la vie privée ou les impacts environnementaux. À ces principes, le rapport du (Conseil supérieur de l'éducation & Commission de l'éthique en science et en technologie, 2024) ajoute l'importance de développer chez les étudiantes et étudiants des connaissances fondamentales sur le fonctionnement des IAg, leur capacité à évaluer la qualité des données sur lesquelles ces outils reposent, et à comprendre les logiques probabilistes qui sous-tendent leurs réponses. Il insiste également sur la nécessité d'aborder des notions clés telles que les biais algorithmiques, la transparence des modèles, et les enjeux tels que l'anthropomorphisme. Ces contenus sont jugés essentiels pour assurer une compréhension critique et favoriser des usages éclairés de l'IAg dans l'enseignement supérieur. Ces principes ont directement inspiré la conception d'InitIAtion, qui a été pensée comme un outil permettant aux milieux éducatifs de structurer une réponse adaptée à ces défis, tout en respectant leurs spécificités locales.

Loin de proposer un modèle prescriptif ou une voie unique d'utilisation de l'IAg, InitIAtion s'inscrit dans la logique préconisée par le CSÉ, en offrant un cadre pédagogique flexible, susceptible d'être adapté, enrichi ou modulé par les équipes enseignantes. Elle vise ainsi à accompagner, de manière lucide et contextualisée, les usages déjà présents dans les pratiques étudiantes, en favorisant une appropriation critique et responsable, conforme aux valeurs fondamentales de l'enseignement supérieur québécois.

## 3.3 Le métier étudiant : développer l'autonomie et la responsabilité face à l'IAg

Le cadre conceptuel d'InitIAtion repose également sur une reconnaissance explicite de la notion de métier d'étudiant, entendue non comme une simple condition administrative, mais comme un processus d'apprentissage à part entière. L'adaptation aux exigences de l'enseignement collégial requiert en effet l'acquisition progressive de compétences transversales, souvent peu formalisées dans les parcours éducatifs, mais essentielles à la réussite : planification du travail, gestion du temps, recherche et validation de sources, explicitation des raisonnements, autonomie et rigueur dans la prise de décision (CAPRES, 2020).

Dans ce contexte, la facilité d'accès aux outils d'IAg — dont les plus répandus sont dépourvus de toute visée pédagogique (Oudeyer, 2024) — modifie en profondeur les modalités de production et de transmission des savoirs (Roy et al., 2025). Plus encore, ces technologies transforment les conditions mêmes dans lesquelles se développent les compétences associées au métier d'étudiant. En automatisant certaines tâches cognitives centrales, telles que la prise de notes, la rédaction de plans, la recherche documentaire ou l'explicitation d'une démarche, l'IAg peut fragiliser les processus d'apprentissage en court-circuitant les efforts cognitifs nécessaires à l'appropriation durable des savoirs (Abdelghani et al., 2023). Ce risque de déresponsabilisation, inhérent à l'optimisation des tâches, s'accompagne toutefois d'une mise en tension des limites de l'automatisation, les étudiantes et étudiants étant confrontés à la nécessité de valider, nuancer, adapter, voire contester des réponses qui peuvent se révéler erronées ou fictives (Jabagi & Croteau, 2025).

La trousse InitIAtion adopte une approche nuancée : elle ne promeut ni l'usage généralisé de l'IAg ni son rejet. Elle vise à outiller les étudiantes et étudiants pour qu'ils identifient ce qui, dans leur apprentissage, relève d'un travail intellectuel irremplaçable. Le projet repose sur une posture lucide,
c'est-à-dire la capacité de comprendre les effets de l'IAg sur les apprentissages, la production des savoirs et l'autonomie propre au collégial. Cette lucidité critique les aide à comprendre les interactions entre les technologies qu'ils utilisent, les connaissances qu'ils construisent, et leur rôle comme sujets réflexifs, responsables et autonomes.

# 4 Modularité, adaptabilité et diffusion : les principes structurants d'Initiation

La trousse Initiation propose un parcours pédagogique progressif en trois modules d'environ 1h30 chacun, visant à développer une littératie critique et responsable de l'IAg. La progression suit la taxonomie de Bloom, des niveaux cognitifs de base (comprendre, appliquer) vers les plus complexes (analyser, évaluer, créer)<fnref n="10" />.

Chaque module repose sur une logique de pérennité, fondée non sur des outils appelés à évoluer, mais sur des concepts fondamentaux de l'IA et de l'IAg (fonctionnement, entraînement, biais, limites, enjeux éthiques), ainsi que sur des compétences transversales essentielles au métier d'étudiant : organisation du travail, autonomie, jugement critique, évaluation de l'information, intégrité intellectuelle. Cet ancrage à la fois épistémologique et pédagogique garantit la durabilité, la transférabilité et la pertinence des apprentissages, quels que soient le champ de formation ou le programme d'études. Les contenus ont ainsi été pensés pour s'adapter à la diversité des parcours collégiaux, techniques ou préuniversitaires, en misant sur des compétences mobilisables dans différents contextes académiques et professionnels.

La scénarisation pédagogique repose sur une approche active, participative et réflexive. Chaque module est structuré autour de grands questionnements ouverts, auxquels les étudiantes et étudiants sont invités à répondre en mobilisant leurs connaissances, en expérimentant des outils et en échangeant en classe. Le parcours débute par l'exploration des représentations initiales et des usages spontanés, puis progresse vers l'analyse critique des contenus générés, la discussion collective et la prise de position argumentée. L'accent est mis sur l'apprentissage par l'action, dans une posture active et incarnée — les mains sur les touches — favorisant le développement du discernement, de l'autonomie et du jugement critique.

Les étudiantes et étudiants sont également encouragés à adapter ou concevoir leurs propres stratégies d'usage, ou à co-construire des repères en lien avec leur champ de formation. Cette dimension participative contribue au développement de leur agentivité numérique, entendue comme la capacité à agir de manière consciente, critique et contextualisée sur les outils et leur environnement (Ministère de l'Éducation, 2024).

La conception des modules repose sur une combinaison de ressources issues de documents pédagogiques existants (guides institutionnels, documents d'orientation), de recherches scientifiques récentes sur des enjeux spécifiques de l'IAg (hallucinations, biais cognitifs, anthropomorphisme par exemple), et d'outils conçus spécifiquement pour le contexte collégial. Cette approche a permis de bâtir un dispositif rigoureux, adapté aux exigences de l'enseignement supérieur, tout en répondant aux réalités concrètes du milieu (voir Annexe 1).

La trousse Initiation se déploie en trois modules complémentaires, articulés autour d'une progression

<footnote n="10">10. Taxonomie de Bloom révisée (domaine cognitif)</footnote>
pédagogique cohérente (voir Annexe 1). Le premier module pose les fondements nécessaires à une compréhension critique de l'IAg. Il aborde le fonctionnement des grands modèles de langage (GML), leurs limites et la fiabilité des réponses produites, tout en questionnant l'idée, largement répandue chez les étudiantes et étudiants, selon laquelle l'IAg ne serait qu'un outil pour gagner du temps dans les tâches scolaires (KPMG, 2024). Les enjeux liés à la qualité de l'information, à l'intégrité intellectuelle et à la vie privée y sont introduits.

Le deuxième module approfondit l'analyse des usages, en outillant les étudiantes et étudiants à l'aide de la démarche CRISTAL. Cette posture, qui structure le module, les invite à être : Critiques, Responsables, Intègres, Sobres, Transparents, Autonomes, Libres et créatifs. À travers des discussions, des études de cas et des expérimentations, ils apprennent à interroger les réponses générées, évaluer les risques, assumer leurs choix et utiliser l'IAg de manière consciente, éthique et mesurée.

Le troisième module est consacré à la mise en pratique stratégique des apprentissages. Dans le cadre d'une tâche académique authentique, les personnes étudiantes mobilisent les principes de la posture CRISTAL pour formuler des requêtes efficaces, sélectionner les outils adaptés et utiliser l'IAg comme levier de réflexion et d'autonomie. L'agentivité numérique s'y consolide dans une approche critique, où l'IAg est intégrée comme soutien, et non comme substitut.

Les modules sont conçus pour une implantation flexible, selon les priorités pédagogiques, disciplinaires et les réalités propres à chaque programme. Ils peuvent s'intégrer à des cours disciplinaires, méthodologiques ou à des activités transversales. Cette modularité respecte les principes de l'enseignement supérieur québécois : liberté académique, autonomie professionnelle et institutionnelle (Conseil supérieur de l'éducation & Commission de l'éthique en science et en technologie, 2024).

*InitIAtion* n'est pas un cadre rigide, mais un fil conducteur structuré et évolutif. Chaque enseignante, enseignant ou programme peut adapter, enrichir ou transformer les modules selon ses objectifs, son contexte et le profil des étudiantes et étudiants. Cette logique ouverte respecte les valeurs du collégial : formation de citoyens engagés, diversité des parcours et accompagnement de la maturation intellectuelle (Conseil supérieur de l'éducation, 2019).

# 5 Recommandations pour une implantation réfléchie

Dès sa conception, *InitIAtion* a été pensée pour une diffusion large, progressive et interordres. Le projet vise à rejoindre l'ensemble des établissements collégiaux et universitaires du Québec, en priorisant les membres du PIM, qui soutient depuis 2018 des initiatives collaboratives en intelligence artificielle (Pôle interordres de Montréal, 2024). Sa diffusion s'appuiera sur la plateforme open source Moodle <fnref n="11" />, où seront centralisés les contenus pédagogiques, les exercices et les guides à l'intention du personnel enseignant, facilitant ainsi la mutualisation des pratiques et leur adaptation locale.

Conformément aux principes de souplesse, de pérennité et de respect de l'autonomie institutionnelle, l'implantation d'*InitIAtion* ne repose pas sur un modèle unique. Sa modularité, son ancrage dans les compétences liées au métier d'étudiant, et sa compatibilité avec la diversité disciplinaire permettent une intégration contextualisée dans les programmes.

Il est recommandé d'introduire les modules aux moments clés du cycle de vie des programmes (élaboration, implantation, évaluation), périodes propices à une réflexion collective sur les contenus,

<footnote n="11">11. https://moodle.org/?lang=fr</footnote>
les compétences transversales et l'actualisation pédagogique face aux transformations technologiques (Cégep de Saint-Laurent, 2024). Cette démarche s'inscrit dans l'approche programme, entendue comme une organisation cohérente et intégrée des apprentissages (Gosselin, 2021), et nécessite une concertation avec les comités de programme, garants de la qualité pédagogique et de l'adaptation aux besoins des étudiantes et étudiants.

Une formation précoce, dès l'entrée au collégial, est encouragée afin d'outiller rapidement les étudiantes et étudiants. En ce sens, une implantation graduelle sera amorcée à l'automne 2025 au Cégep de Saint-Laurent. Un protocole d'implantation est actuellement en co-construction avec la direction, et une démarche d'évaluation est en cours d'élaboration. Elle comprendra un questionnaire post-formation auprès des étudiantes et étudiants, ainsi que des entrevues avec le personnel enseignant. Cette implantation concertée reflète les valeurs fondatrices du projet *InitIAtion*, et ouvre une réflexion plus large sur ses retombées éducatives dans un environnement en constante évolution.

# 6 Conclusion

Le projet *InitIAtion* s'inscrit dans un contexte où les usages de l'IAg par les étudiantes et étudiants précèdent les cadres pédagogiques nécessaires pour les soutenir, les encadrer et les interroger. Face à cette asymétrie, la trousse propose une réponse réaliste, progressive et critique, non pour prescrire l'utilisation de ces outils, mais pour en accompagner les usages avec rigueur, discernement et responsabilité.

Ancrée dans les valeurs éducatives du réseau collégial québécois, *InitIAtion* repose sur une structure modulaire et ouverte, alignée sur les compétences transversales du métier d'étudier, les référentiels internationaux en littératie numérique, et les principes de liberté académique et d'autonomie professionnelle. Elle offre aux établissements des ressources adaptables à leurs besoins, contextes et priorités, tout en conservant une visée claire : développer l'agentivité, la pensée critique et l'éthique face aux technologies.

Ce projet, ambitieux, mais non prescriptif, tire sa pertinence de sa capacité à évoluer avec les milieux qui s'en emparent, à être adapté, questionné et enrichi. Il ne cherche pas à normaliser les usages de l'IAg, mais à fournir les moyens de les comprendre, les interroger et en évaluer les implications de façon éclairée et responsable. Dans un environnement numérique en constante mutation, *InitIAtion* vise à développer une prise de décision critique et autonome, fondée sur une analyse lucide des enjeux et des répercussions potentielles de l'IAg. C'est cette posture réflexive, durable et partagée qu'*InitIAtion* entend promouvoir, en cohérence avec les missions fondamentales de l'enseignement supérieur et les exigences d'une formation intellectuelle solide.

# Remerciements

Je tiens à exprimer ma profonde gratitude à mes collègues Michel Jean (département de philosophie) et Pier-Marc Gosselin (département d'informatique), avec qui cette réflexion sur l'intelligence artificielle en éducation a pris forme. C'est à travers nos échanges et nos premières expérimentations que l'idée d'*InitIAtion* a commencé à émerger, dans un esprit de collaboration interdisciplinaire que je m'efforce aujourd'hui de faire évoluer et de faire rayonner.
Je remercie sincèrement Alexandre P. Bédard, Julie Beaupré et Boris Nonveiller, coauteurs et coauteures de cette deuxième itération de la trousse *InitIAtion*. Leur rigueur, leur regard critique et leur volonté constante d'améliorer la qualité du projet ont permis de pousser cette initiative bien au-delà de ce que j'avais initialement imaginé. Merci au Carrefour d'innovation et de pédagogie universitaire de l'UQÀM ainsi qu'au Service des bibliothèques de l'UQÀM, qui ont rendu possible leur précieuse collaboration.

Je tiens également à remercier les enseignantes et enseignants du Cégep de Saint-Laurent qui ont participé à la phase exploratoire du projet, qui ont accepté de relever le défi mieux accompagner leur jeune public face aux enjeux liés à l'usage de l'IAg dans nos milieux éducatifs, et qui m'ont transmis des commentaires précieux. Un merci tout particulier aux étudiantes et étudiants, dont les questions, les essais, les hésitations et les élans ont constamment nourri la réflexion et orienté les ajustements réalisés.

Le projet *InitIAtion* n'aurait pu voir le jour sans le soutien du Cégep de Saint-Laurent, dont l'ouverture, la confiance et l'appui ont permis de concevoir, structurer et expérimenter la trousse dans un cadre pédagogique rigoureux. Je remercie également le Pôle interordres de Montréal (PIM) pour son soutien financier, ainsi que pour son rôle actif dans la création d'un espace de collaboration entre les ordres d'enseignement supérieur.

Merci à Daisy Le Corre pour la révision linguistique, qui a contribué à la clarté et à la cohérence de l'ensemble des documents, et à Alex Grenier, qui a su doter la trousse d'une identité visuelle forte, en phase avec les valeurs du projet.

Enfin, un merci chaleureux à toutes les personnes qui ont croisé le chemin de ce projet, au fil de discussions formelles ou informelles. Je pense entre autres à Philippe Soucy, analyste en informatique, et à Jean-Philippe Bourdon, bibliothécaire au cégep de Saint-Laurent, pour leurs conseils, leurs suggestions et leur accompagnement attentif.

## Références

ABDELGHANI R., SAUZÉON H. & OUDEYER P.-Y. (2023). Generative ai in the classroom : Can students remain active learners ?

ABRAN E. (2024). Sondage sur la population étudiante des cégeps (spec). Communication présentée dans le cadre de la rencontre REPTIC. 25 octobre. Disponible à l'adresse : https://reptic.ca/calendrier/rencontre-reptic-octobre-2024/.

ASSOCIATION QUÉBÉCOISE DE PÉDAGOGIE COLLÉGIALE (2023). Document de consultation sur l'utilisation des systèmes d'intelligence artificielle générative en enseignement supérieur : enjeux pédagogiques et éthiques. Association québécoise de pédagogie collégiale. Consulté à l'adresse : https://cdn.ca.yapla.com/company/CPYAEJBaj9LMVrlKzqeiCYmup/asset/files/MÃl'moire%20IA/AQPC_Memoire%20IA_2023.pdf.

CAPRES (2020). Le métier d'étudiant-e, de quoi parle-t-on ? Observatoire sur la réussite en enseignement supérieur. Consulté à l'adresse : https://oresquebec.ca/article-de-dossiers/notions-cles/le-metier-detudiante-de-quoi-parle-t-on-notion-cle/.

CENTRE CANADIEN POUR LA CYBERSÉCURITÉ (2023). L'intelligence artificielle générale. Gouvernement du Canada. Consulté à l'adresse : https://www.cyber.gc.ca/fr/