# Rendre explicable un moteur de recommandations pédagogiques pour permettre une co-évolution système-enseignant.e

Chloé Conrad, Rémi Venant, Nathalie Guin, Marie Lefevre

## ► To cite this version:

Chloé Conrad, Rémi Venant, Nathalie Guin, Marie Lefevre. Rendre explicable un moteur de recommandations pédagogiques pour permettre une co-évolution système-enseignant.e. 12ème Conférence sur les Environnements Informatiques pour l'Apprentissage Humain, Jun 2025, Lille, France. hal-05142437

HAL Id: hal-05142437

https://hal.science/hal-05142437v1

Submitted on 3 Jul 2025

HAL is a multi-disciplinary open access archive for the deposit and dissemination of scientific research documents, whether they are published or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d'enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# Rendre explicable un moteur de recommandations pédagogiques pour permettre une co-évolution système-enseignant.e

Chloé Conrad<fnref n="1" />, Rémi Venant<fnref n="2" />, Nathalie Guin<fnref n="1" />, and Marie Lefevre<fnref n="1" />

**Résumé** Dans le cadre du projet ComPer, l'approche par compétences a permis de proposer aux équipes pédagogiques et aux apprenant.e.s un système de recommandations de ressources pédagogiques. La contribution présentée dans cet article consiste en l'apport de deux types d'explications aux enseignant.e.s sur le fonctionnement de ce système de recommandation, afin de leur faciliter son paramétrage. Ces explications sont générées à partir des traces d'exécution du système. L'utilisabilité de l'interface de présentation des explications et la pertinence de ces dernières pour appréhender le système ont été mises à l'essai auprès de membres des équipes pédagogiques utilisatrices des outils ComPer.

**Keywords:** Explicabilité · Intelligence artificielle pour l'éducation · Approche par compétences · Système de recommandation.

**Abstract.** The aim of the ComPer project is to provide digital tools that enable teachers to implement a Competency-Based Approach and personalize learning. This is achieved through a configurable system for recommending teaching resources. The contribution presented in this paper involves providing teachers with two types of explanations regarding how this recommendation system works, in order to facilitate its configuration. These explanations are generated from the system's execution traces. The usability of the interface used to present the explanations, as well as their relevance for understanding the system, have been evaluated with members of the teaching teams who use the ComPer tools.

**Keywords:** Explainability · Artificial Intelligence for Education · Competency-Based Approach · Recommendation System.

<footnote n="1">¹ Universite Claude Bernard Lyon 1, CNRS, INSA Lyon, LIRIS, UMR5205, 69622 Villeurbanne, France
chloe.conrad@univ-lyon1.fr,</footnote>

<footnote n="2">² Le Mans Université, LIUM, 53000 Laval, France</footnote>
# 1 Introduction

L'Approche par Compétences (APC), associée à des formes de pédagogies actives, fait l'objet d'un soutien institutionnel affirmé de la part des autorités politiques. L'APC met l'accent sur les objectifs et les résultats observables de l'activité d'apprentissage afin de permettre aux apprenant.e.s de développer des compétences cohérentes avec les besoins du marché du travail [6]. Cependant, cette approche reste peu mise en place, car les enseignant.e.s ne disposent pas de ressources pour la mettre en œuvre.

Dans ce contexte, le projet ANR ComPer visait à développer des outils numériques permettant la mise en œuvre de l'APC. Il a permis de proposer un cadre permettant aux enseignant.e.s de concevoir des référentiels de compétences et d'y associer des activités pédagogiques qui permettent de travailler les compétences définies et qui conviennent à leur pratique d'enseignant.e.s (COM, compétences) puis de recommander automatiquement parmi ces activités, celles adaptées aux compétences de chacun de leurs apprenant.e.s (PER, personnalisation). Différents modèles et outils ont été réalisés : un méta-modèle de référentiels de compétences, un moteur d'IA permettant d'analyser les traces d'activités des apprenant.e.s afin de diagnostiquer leur maîtrise des compétences travaillées et ainsi constituer un profil de compétences, et un moteur d'IA permettant de recommander des ressources pédagogiques, moteur paramétrable par les enseignant.e.s. Ce système de recommandations exploite, dans chaque enseignement, un référentiel de compétences conforme au méta-modèle permettant la mise en place de l'APC en proposant une structuration d'un domaine en compétences à acquérir [15].

Le projet ANR Tea-TIME s'inscrit dans la continuité du projet ComPer avec pour objectif d'étendre les outils de ce dernier pour favoriser leur appropriation par les utilisateur.ice.s finaux : enseignant.e.s et apprenant.e.s. Le travail décrit dans cet article se situe dans ce cadre et s'intéresse en particulier à l'appropriation du système de recommandations par les enseignant.e.s *via* son paramétrage.

Notre article s'articule comme suit. Dans la section 2, nous explorerons l'état de l'art des méthodes d'explicabilité en IA, notamment en éducation. Dans la section 3, nous présenterons les outils du projet ComPer. Notre contribution, un moteur d'explications pour le système de recommandations et la restitution de ces explications sur l'outil de paramétrage de ce système, sera décrite en section 4. Une mise à l'essai auprès d'équipes pédagogiques sera présentée en section 5.

# 2 État de l'art

## 2.1 Intelligence artificielle et explicabilité

L'un des enjeux centraux de l'utilisation de systèmes de recommandations en éducation réside dans la nécessité d'un haut degré de confiance et de compréhension du système de la part des utilisateurs : apprenant.e.s et enseignant.e.s. Une solution à cette problématique est l'apport d'explications sur le fonctionnement
du système de recommandations [18]. Ces systèmes étant des intelligences artificielles, nous nous intéressons à la littérature autour de l'apport d'explications en IA afin d'identifier les problématiques et les approches existantes.

D'un côté, la littérature identifie deux grandes approches pour rendre les systèmes d'IA explicables : l'apport d'explications locales et l'apport d'explications globales. La première consiste à expliquer des décisions ou des prédictions individuellement, alors que la deuxième a pour objectif d'expliquer le modèle et sa logique comme un tout [17].

D'un autre côté, les systèmes d'IA sont souvent classés en deux catégories : **les boîtes blanches et les boîtes noires**. Cette distinction repose sur la transparence de leur fonctionnement. En effet, un système boîte noire est un système dont le fonctionnement est difficilement accessible par la complexité de son architecture et le grand nombre de ses paramètres [7]. À l'inverse, dans un système dit boîte blanche, les informations sur son fonctionnement sont accessibles. Cette typologie est particulièrement utilisée en explicabilité car elle permet de justifier l'utilisation de différentes techniques pour expliquer l'un ou l'autre des deux types de systèmes.

Parmi les explications locales, on trouve les explications contrastives et contrefactuelles [12]. Ces explications portent sur des décisions individuelles du système : les premières se concentrent sur les différences entre deux résultats possibles pour identifier pourquoi un certain résultat a été préféré à un autre, les secondes explorent des scénarios hypothétiques en identifiant les changements minimaux nécessaires dans les caractéristiques d'entrée pour que le modèle produise une décision différente. Les explications locales sont utilisées à la fois pour les systèmes boîte blanche et boîte noire, même si elles sont aujourd'hui davantage mises en avant pour expliquer les boîtes noires. Elles sont complétées par d'autres dédiées aux boîtes noires qui visent à expliquer les paramètres, les entrées ou les parties du modèle qui ont le plus d'influence sur les décisions [9,14].

Les explications globales sur les systèmes boîtes blanches sont usuellement considérées comme triviales par la littérature à cause de la transparence du fonctionnement du moteur d'IA. Cependant, dans de nombreux cas, les informations relatives au fonctionnement de ces systèmes sont nombreuses et ces explications deviennent alors plus complexes à rendre compréhensibles [16].

Ainsi, les deux approches (locales ou globales) présentent un intérêt pour tous les modèles, quelle que soit leur nature (boîtes blanches ou noires). La différence de traitement entre les IA boîtes blanches et les IA boîtes noires en explicabilité réside alors plus dans les techniques de construction de ces explications que dans les approches à utiliser.
## 2.2 Explicabilité et éducation

Rendre les systèmes d'IA explicables en éducation permet de répondre à plusieurs problématiques [13] : le manque de transparence des systèmes qui peut entraver la confiance des utilisateurs, l'interprétabilité limitée qui peut entraîner une incompréhension de la part des utilisateurs sur les décisions du système et la difficulté d'adaptation du système aux changements d'objectifs ou de situations d'apprentissage.

La mise en place d'explications dans le domaine de l'éducation doit également répondre à des enjeux. En effet, pour qu'elles aient un réel impact sur les utilisateurs du système, elles doivent être comprises par ces derniers. Pour cela, les explications doivent être adaptées aux utilisateurs. Cette adaptation est d'autant plus pertinente que les systèmes éducatifs sont destinés à être utilisés par plusieurs types d'utilisateurs comme les apprenant.e.s et les enseignant.e.s. Ainsi, les arguments attendus dans une explication pour augmenter la confiance et la compréhension seront différents en fonction du rôle de l'utilisateur [11].

Un autre enjeu important à considérer dans la conception des explications est la prise en compte de la charge cognitive engendrée par la compréhension des explications par les utilisateurs [5]. Ainsi, chercher à minimiser cette charge dans la manière de délivrer les explications est crucial pour augmenter leur probabilité d'utilisation par les utilisateurs. Dans ce cadre-là, il a été montré que l'utilisation d'explications visuelles (sous forme de flèches) avait un effet positif sur l'apprentissage et sur la charge cognitive liée à leur utilisation [8].

# 3 Contexte : le projet ComPer

## 3.1 Référentiel et profils de compétences

Un des objectifs du projet ComPer était de permettre aux enseignant.e.s de définir des référentiels de compétences qui puissent être opérationnalisables dans des outils informatiques. Ces référentiels peuvent représenter des compétences à plusieurs niveaux de granularité, ainsi que les liens existants entre elles. Ces référentiels sont ensuite exploités dans l'ensemble des outils ComPer, en particulier pour la création de profils de compétences des apprenant.e.s et pour les recommandations des ressources pédagogiques. Un méta-modèle de référentiel impose les contraintes communes à respecter dans leur composition et leur structuration. Il est suffisamment générique pour décrire des référentiels dans plusieurs disciplines éducatives. La figure 1 présente un exemple de profil d'apprenant.e fondé sur un référentiel de compétences à acquérir pour maîtriser les bases opératoires en mathématiques. Cet exemple de référentiel assez simple sera repris tout au long de l'article. Cependant, la contribution proposée a été testée et utilisée sur d'autres référentiels exploités en situation écologique <fnref n="3" />.

<footnote n="3">³ Les référentiels de compétences sont consultables ici https://compervm.liris.cnrs.fr/cfe/</footnote>
<figure><img src="image_2.png" /><figcaption>Fig. 1. Référentiel exemple sur les bases opératoires en mathématiques.</figcaption></figure>

Le méta-modèle du projet ComPer définit quatre types d'éléments dans un référentiel [1] : les compétences, les connaissances, les savoir-faire et les ressources pédagogiques (exercices, cours, etc.). Les trois premiers éléments seront regroupés sous le terme de notion par la suite. Les notions du référentiel sont liées entre elles par des liens sémantiques que l'on peut classer en trois catégories : les liens descendants (isComposedOf, hasSkill, hasKnowledge) en noir à gauche sur la figure 1, les liens transversaux (requires, isComplexifiedBy, isLeverOfUnderstandingOf) en lignes pleines à droite, et les liens avec les ressources (hasTraining, hasLearning) en pointillé noir à droite. Dans la suite, les liens transversaux seront masqués pour améliorer la lisibilité du profil.

Dans le projet ComPer, les profils de compétences, qui servent à représenter l'avancement d'un.e apprenant.e dans l'acquisition des notions d'un référentiel, sont construits en attribuant un niveau de maîtrise à ces notions [10]. Ces niveaux de maîtrise sont calculés à partir des traces d'activité des apprenant.e.s (notes entre 0 et 1 obtenues aux différentes activités réalisées) et sont représentés sur le profil par des pastilles de couleur.

Par exemple, dans le profil de la figure 1, la compétence "Maîtriser les bases opératoires sur les entiers" est *partiellement maîtrisée* et se compose de deux connaissances et d'un savoir-faire. La première connaissance, "Connaitre les techniques opératoires sur les entiers", est un prérequis du savoir-faire "Mettre en œuvre les techniques opératoires sur les entiers".

## 3.2 Moteur de recommandations

Dans le projet ComPer, la personnalisation de l'apprentissage se traduit par la recommandation de ressources. Pour obtenir une recommandation, les apprenant.e.s et/ou les apprenant.e.s doivent définir un ou plusieurs **objectifs**
**pédagogiques** en déclarant quelles **notions du référentiel** iels souhaitent
travailler et avec quelle **intention pédagogique**. Les intentions pédagogiques
permettent de préciser la manière dont les utilisateur.ice.s désirent travailler la
notion. L'intention a un impact important sur les résultats du système de recom-
mandation. Il existe 6 intentions dans ComPer : prérequis, découverte, soutien,
perfectionnement, révision et levier de compréhension [15]. Ensuite, le système
exploite à la fois la **structure du référentiel** de compétences et les **valeurs du
profil** d'un.e apprenant.e pour construire une liste ordonnée et personnalisée de
ressources pédagogiques que l'apprenant.e devrait travailler pour atteindre les
objectifs pédagogiques définis.

L'algorithme permettant d'obtenir ces recommandations fonctionne selon une
approche symbolique (IA de type boite blanche), avec un parcours de graphe
du référentiel de compétences. Le parcours est guidé par des règles élaborées
par des expert.e.s et modifiables par les enseignant.e.s *via* une interface de pa-
ramétrage. Un ensemble de paramètres fixé est appelé **stratégie pédagogique**.
Par exemple, dans la règle exposée dans la figure 2, qui définit comment par-
courir le référentiel de compétences à partir d'un objectif pédagogique d'inten-
tion *révision*, les paramètres fixés dans la stratégie pédagogique par défaut sont
notés en orange. Le système exploite également un certain nombre de poids mo-
difiables, qui permettent d'ajuster le comportement de l'algorithme en fonction
des intentions. L'algorithme se décompose en trois grandes étapes : sélection des
notions, ordonnancement des notions et choix des ressources. Ces trois étapes
s'effectuent pour chaque objectif pédagogique fourni en paramètre de la demande
de recommandations [15].

La **sélection des notions** s'appuie sur le parcours du profil de l'apprenant.e pour récupérer les notions sur lesquelles l'apprenant.e aurait besoin de travailler. Pour cela, l'algorithme part de la notion objectif et utilise des règles similaires à celles de la figure 2. En fonction de l'intention, la notion subit une phase de sélection dans laquelle elle peut être sélectionnée comme notion à travailler et/ou ajoutée à la liste des objectifs pédagogiques avec une nouvelle intention. Ensuite, l'algorithme va parcourir les liens descendants à partir de cette notion pour récupérer leurs notions cibles. En fonction de l'intention, ces dernières peuvent soit passer en phase de sélection, soit l'algorithme continue son parcours à partir de ces notions mais en parcourant cette fois-ci les liens transversaux. Les notions transversales ainsi récupérées font ensuite l'objet du traitement de sélection. Ainsi, à partir d'un même objectif pédagogique de départ, plusieurs types de liens peuvent être parcourus et plusieurs objectifs pédagogiques intermédiaires peuvent être créés. Cela peut aboutir à la sélection multiple d'une même notion par des parcours du référentiel différents, appelés **chemins** par la suite.
<figure><img src="image_3.png" /><figcaption>Fig. 2. Règle pour l'intention révision.</figcaption></figure>

L'ordonnancement des notions utilise un poids de priorité calculé lors de la sélection des notions à travailler. Ce dernier dépend de l'intention de l'objectif pédagogique et des liens parcourus pour atteindre la notion considérée. Dans le cas où la notion est sélectionnée plusieurs fois, les poids des différents parcours sont agrégés avec une pondération dépendante de l'intention de départ. Le choix des ressources permet de récupérer et de filtrer, selon le paramétrage, les ressources rattachées aux notions sélectionnées. Ce sont ces ressources qui seront ensuite recommandées à l'apprenant.e.

Tous les détails de l'exécution des trois étapes de l'algorithme sont tracés dans des fichiers. Ces derniers sont cruciaux pour la suite et serviront à la création d'explications.

# 4 Contributions

Notre question de recherche est : **Comment assister les enseignants dans le paramétrage d'un système de recommandations pédagogiques ?**

Comme nous l'avons indiqué précédemment, le système de recommandations de ComPer trace toutes les étapes de son raisonnement, ainsi que les différents chemins suivis lors du parcours du référentiel. Notre approche consiste à exploiter ces traces comme sources de la construction d'explications devant facilier le paramétrage du système de recommandations.
Notre construction d'explications repose sur 3 étapes présentées dans la figure 3 : le pré-traitement des traces et l'identification de motifs fréquents, puis la génération à proprement parler des explications. Ces étapes sont respectivement détaillées dans les sections 4.1 et 4.2. Les choix de présentation des explications générées aux enseignant.e.s seront présentés dans la section 4.3.

<figure><img src="image_4.png" /><figcaption>Fig. 3. Démarche utilisée pour répondre à la problématique.</figcaption></figure>

## 4.1 Pré-traitement des traces et identification de motifs fréquents

Pour faciliter leur exploitation, il était nécessaire de réaliser un travail de restructuration des fichiers de traces. Ces derniers sont généralement longs et ne contiennent que des informations de bas niveau pas toujours pertinentes pour la construction de nos explications. Ainsi, nous avons utilisé une approche de traces modélisées [3] pour réaliser cette tâche de transformation des fichiers. Cela nous a alors permis d'abstraire les informations relatives à la phase de sélection des notions dans les traces en représentant le parcours par plusieurs événements appelés ** traitements d'une notion** (cf. figure 4). Ces traitements peuvent être une sélection en tant que notion à travailler. Dans ce cas, la raison de la sélection de la notion est précisée. Sinon, il s'agit d'un ajout de la notion aux objectifs pédagogiques et l'intention associée à l'objectif créé est donnée.
<figure><img src="image_5.png" /><figcaption>Fig. 4. Contenu des traces après le pré-traitement.</figcaption></figure>

Le travail sur les traces a permis de mettre en évidence l'existence d'une
grande diversité dans les suites de liens parcourus dans les référentiels en termes
de nature des liens suivis. Cela a alors motivé la volonté d'identifier des motifs
fréquents parmi ces derniers.

Pour identifier les motifs fréquents dans les chemins possibles à partir d'une
stratégie pédagogique, nous avons choisi de représenter l'ensemble de ses règles
contenues dans la stratégie par défaut sous forme d'automates. Cela nous a alors
permis d'identifier sous forme d'expressions régulières tous les chemins possibles
à partir de toutes les intentions pédagogiques possibles depuis un objectif de
départ. Il était ensuite possible d'extraire les motifs fréquents dans les chemins
en cherchant les sous-parties d'expressions régulières se retrouvant dans plusieurs
expressions régulières ainsi construites.

Nous avons pu identifier quatre motifs qui reviennent plusieurs fois pour
chaque intention et/ou qui se retrouvent dans plusieurs traces : suivi d'un ou
plusieurs liens descendants, suivi d'un ou plusieurs liens transversaux, suivi de
liens de pré-requis puis de liens descendants, et suivi de liens descendants puis
de pré-requis. Les relations de descendance et de pré-requis étant transitives, ces
motifs ont été renommés en : exploration de descendants (P1), exploration de
transversaux (P2), exploration de descendants de pré-requis (P3) et exploration
de pré-requis de descendants (P4).

## 4.2 Génération d'explications de deux niveaux de granularité

Le travail sur les traces nous a permis de construire un premier type d'explica-
tion, les explications détaillées, que l'identification de motifs nous a permis de
simplifier pour former un second type d'explication, les explications simplifiées.
D'un côté, les **explications détaillées** ont pour objectif d'exposer le parcours réellement effectué par l'algorithme, en utilisant les traces pour retrouver les séquences d'activation de règles et donc les liens parcourus pour atteindre une ressource recommandée. Pour cela, le moteur prend en entrée les traces modélisées, une ressource recommandée à expliquer et l'objectif pédagogique associé. Cela permet alors de retrouver dans les traces l'ensemble des parcours du référentiel menant à la ressource, en remontant le fichier de traces depuis la sélection de la notion parent de la ressource jusqu'au traitement de l'objectif pédagogique fourni en entrée du moteur. L'objectif est de créer une structure de données sous forme de liste contenant les différents chemins retrouvés dans cette exploitation des traces. Cette structure contient alors pour chaque parcours les détails relatifs à la sélection de la notion parent de la ressource par l'algorithme (règle activée, objectif pédagogique traité, type de relation suivie). Si des objectifs pédagogiques intermédiaires ont été utilisés dans ce parcours, leur création est également stockée avec leurs informations associées (règle activée, objectif pédagogique traité, intention associée et type de relation suivie).

D'un autre côté, les **explications simplifiées** ont pour objectif d'utiliser les motifs identifiés dans le travail théorique sur les règles afin de permettre l'exposition des parcours du référentiel de façon plus globale et donc plus simple à comprendre pour les enseignant.e.s. Cela se fait en retrouvant ces motifs dans les explications détaillées. Les étapes du parcours correspondant à un motif sont alors fusionnées, ce qui permet au moteur de fournir en sortie une liste des motifs présents dans les chemins des traces avec les notions qui relient ces motifs.

## 4.3 Explications des recommandations à l'enseignant.e

Le premier but des explications est de faciliter le paramétrage du système de recommandations par les enseignant.e.s, en augmentant leur compréhension du fonctionnement du système. Ainsi, il semblait pertinent de délivrer ces explications aux enseignant.e.s au sein même de l'interface de paramétrage existante.

**Présentation des explications simplifiées.** Le but des explications simplifiées est de montrer à l'enseignant.e les parcours du référentiel de compétences pour atteindre la ressource recommandée à expliquer, sans pour autant entrer dans le détail de l'activation des différentes règles. Ainsi, il a été choisi de les délivrer principalement sous forme visuelle, en dessinant des flèches sur le profil affiché (haut de la figure 5). Nous avons choisi un format visuel en superposition du profil, que les enseignant.e.s sont habitué.e.s à voir, dans le but de réduire la charge cognitive de l'utilisateur [8]. La couleur de ces flèches correspond à la nature des chemins qu'elles représentent. Si nous reprenons la définition des motifs de la section 4.1, une flèche blanche représente le suivi des liens descendants (motif P1), une flèche violette représente le suivi des liens transversaux (motif P2), et une flèche verte correspond aux motifs P3 et P4. Afin de ne pas surcharger l'affichage, lorsque l'algorithme prend plusieurs chemins de natures
différentes entre deux mêmes notions, les flèches représentant ces différents chemins sont fusionnées et représentées par une flèche bleue.

<figure><img src="image_6.png" /><figcaption>Fig. 5. Exemple d'affichage d'une explication simplifiée.</figcaption></figure>

Dans l'exemple présenté en figure 5, l'utilisateur a demandé des explications sur la recommandation "Test logique - Série de nombres" obtenue à partir de l'objectif pédagogique "Maîtriser les bases opératoires sur les entiers" avec l'intention révision. Pour atteindre la notion parent de cette ressource à partir de l'objectif, l'algorithme a emprunté 5 chemins avec 3 motifs différents. C'est donc pour cette raison que la flèche dessinée est bleue. De plus, pour faciliter la lecture de ces explications, la ressource expliquée est mise en valeur. En outre, les éléments du profil qui n'apparaissent pas dans le parcours du référentiel sont réduits (repliés) au maximum.

La bascule entre les deux types d'explications apparaît lorsque l'utilisateur passe sa souris sur une flèche. La liste des différents chemins qu'elle représente apparaît alors sous le profil (bas de la figure 5). Il est ainsi possible de demander plus d'informations pour un des chemins, ce qui fait apparaître l'explication détaillée correspondante.

**Présentation des explications détaillées.** L'objectif de ces explications détaillées est de faire comprendre à l'enseignant.e le lien entre le paramétrage du système et le parcours du référentiel par un certain chemin. Pour rappel, un chemin correspond à l'activation successive des règles de la stratégie pédagogique.
Ainsi, pour expliquer l'apparition d'un chemin, les raisons et les conséquences de l'activation de chaque règle utilisée dans ce dernier sont montrées à l'enseignant.e *via* des flèches sur le profil (figure 6). Un texte expliquant ce que représente la flèche est accessible lorsque l'utilisateur passe sa souris sur une flèche. Comme pour les explications simplifiées, la couleur des flèches représente la nature du lien entre les deux notions qu'elle relie. Une flèche blanche représente un lien descendant tandis qu'une flèche violette représente un lien transversal.

<figure><img src="image_7.png" /><figcaption>**Fig. 6.** Exemple d'affichage d'une explication détaillée.</figcaption></figure>

La figure 6 représente l'explication détaillée associée au quatrième chemin montré dans l'exemple d'explication simplifiée de la figure 5 : le premier chemin d'exploration de prérequis de descendants. Ici, on voit alors bien que l'algorithme suit d'abord deux liens descendants puis un lien transversal. Des explications textuelles détaillant ce que représentent les flèches sont mises en avant quand on passe la souris sur celles-ci. Dans l'exemple, la souris est sur la grande flèche blanche. On peut observer que lors du traitement de l'objectif pédagogique intermédiaire "Maîtriser les bases opératoires sur les entiers" avec l'intention soutien, la règle *SR3-1* a été activée. L'activation de cette règle a alors eu pour conséquence d'ajouter aux objectifs pédagogiques la notion descendante "Mettre en oeuvre les techniques opératoires sur les entiers" avec les intentions levier de compréhension et pré-requis. Le taux de maîtrise de la notion est également donné, car c'est la raison de son ajout.
# 5 Expérimentations

Nous avons mis à l'essai nos propositions afin d'obtenir un retour qualitatif sur deux points. Le premier concernait l'utilisabilité de l'interface : est-ce qu'elle permet aux enseignant.e.s d'atteindre les explications d'un point de vue ergonomique ? Le second concernait l'utilité des explications : est-ce que les explications permettent aux enseignant.e.s de mieux comprendre le fonctionnement du système de recommandations et d'ainsi faciliter son paramétrage ? Ici, nous considérons un paramétrage comme étant réussi, si ce dernier assure que le système se comporte en cohérence avec les souhaits pédagogiques de l'enseignant.e qui l'utilise.

## 5.1 Population

Nous avons rencontré deux enseignantes d'équipes pédagogiques différentes. La première est enseignante en Sciences des technologies de l'information et de la communication (STIC) et a participé au projet ComPer. La seconde est enseignante en physique-chimie au lycée et utilise les outils ComPer sur un référentiel de compétences défini en accord avec ses collègues <fnref n="4" />. Ainsi, toutes deux connaissent les principes de l'APC, le méta-modèle du référentiel de compétences et les principes du fonctionnement du moteur de recommandations (choix d'une notion avec une intention pédagogique, exploitation du profil de l'apprenant.e, etc.).

## 5.2 Tâche réalisée

Les enseignantes ont manipulé l'interface sur le référentiel utilisé en exemple dans ce document. Elles étaient guidées sur 4 cas d'utilisation que nous avions identifié au préalable. Un cas d'utilisation est une demande d'explication sur une certaine ressource recommandée à partir d'un objectif et d'un profil de compétences définis. Aussi, nous avions construit 4 profils d'apprenant.e.s fictifs. Chacun d'eux permet de représenter des avancements dans l'acquisition des compétences : compétences toutes travaillées ou seulement pour une partie du référentiel, compétences toutes maîtrisées ou seulement certaines d'entre elles ou aucune, etc. Chaque cas permettait de représenter différentes situations menant à des stratégies d'explications et donc à des motifs de parcours de référentiel différents : parcours d'un seul chemin avec uniquement des liens descendants, parcours d'un seul chemin avec suivi de plusieurs types de liens, parcours de plusieurs chemins, comparaison de deux résultats différents de recommandation sur deux profils différents avec le même objectif pédagogique. Des questions leur étaient posées tout au long de leur utilisation du système. L'ensemble de leurs réponses et retours était pris en note.

<footnote n="4">⁴ L'enseignante et ses collègues font partie du groupe PEGASE https://pegase.ens-lyon.fr/</footnote>
## 5.3 Premiers éléments sur l'utilisabilité

Cette évaluation s'est faite *via* l'observation de l'utilisation du système par les enseignantes. Des questions leur étaient également posées pour évaluer leur compréhension des différents éléments de l'interface. Ainsi, la capacité des enseignantes à utiliser l'interface et à répondre aux questions sans guidage extérieur de notre part nous fournit un éclairage sur l'utilisabilité de notre outil. Leurs réponses orales aux questions et leurs interactions avec le système étaient prises en note. Ici, il est important de souligner que l'objectif de cette évaluation est de donner un éclairage sur l'utilisabilité et non de l'affirmer ou de l'infirmer. Le protocole mis en place présente trop de biais pour cela : le manque de standardisation de critères observables de mesure, notre rôle actif dans le protocole, la non-définition en amont de l'utilisabilité, la trop petite taille de la population.

Les deux expérimentations ont montré un problème en termes d'utilisabilité. En effet, les enseignantes ont eu beaucoup de mal à prendre en main l'interface et ont eu besoin de guidage à de nombreuses reprises pour répondre aux questions. Par exemple, elles ont souligné le manque d'une légende pour les couleurs des flèches, qui empêchait la compréhension des explications, mais aussi la difficulté de compréhension d'éléments permettant de faire le lien entre les explications simplifiées et les explications détaillées.

## 5.4 Premiers éléments sur l'utilité

Les explications ayant pour objectif d'améliorer la compréhension du fonctionnement du système de recommandations et de faciliter son paramétrage, il était nécessaire d'évaluer ces deux points pour juger de leur utilité. Pour le premier point, il était demandé aux enseignantes de chercher pourquoi une ressource était recommandée pour un apprenant.e donné alors qu'elle ne l'était pas pour un autre. Pendant les expérimentations, les enseignantes ont réussi à trouver la raison de la différence de recommandations en utilisant les explications. Cela tend à indiquer que celles-ci aident à comprendre le fonctionnement du système. Pour le deuxième point d'évaluation de l'utilité, les enseignantes devaient réaliser une tâche de paramétrage. Elles avaient alors pour consigne de faire apparaître une recommandation dans un cas où le système ne recommandait aucune ressource. Durant les expérimentations, elles se sont aidées des explications pour trouver un paramétrage du système répondant à leur besoin. Cela peut signifier que les explications ont un impact sur la compréhension du lien entre paramétrage et recommandations.
# 6 Conclusion et limites

Dans cet article, nous avons présenté un outil qui a pour objectif d'assister les enseigant.e.s dans le paramétrage d'un moteur de recommandations pédagogiques. Pour cela, nous avons choisi d'utiliser une approche permettant d'expliquer aux enseigant.e.s les raisons pour lesquelles ce moteur de recommandations choisit de fournir certaines ressources pédagogiques à certains apprenant.e.s. Les résultats des premières mises à l'essai menées semblent indiquer que la contribution tend à aider les enseignant.e.s à mieux comprendre le fonctionnement du système de recommandations et à paramétrer le système, malgré une difficulté à prendre en main l'interface proposée à cause d'un manque général d'utilisabilité.

Cependant, ces résultats sont à confirmer car les expérimentations menées pour les obtenir présentent des limites. Dans un premier temps, il est important de souligner la petite taille de la population (2 enseignantes), qui ne permet pas de penser que les résultats obtenus sont généralisables. De plus, pour éviter d'avoir à introduire les outils ComPer et les notions relatives à l'APC, nous avons choisi de réaliser les mise à l'essai avec des membres d'équipes pédagogiques connaissant déjà le projet. Il est également possible de critiquer l'absence d'un groupe contrôle qui testerait l'outil de paramétrage de ComPer sans explications. En effet, cela nous empêche d'affirmer avec certitude que les résultats obtenus sont dûs aux explications. Ainsi, une perspective est de poursuivre l'évaluation des explications avec une population plus grande et plus diverse et avec un groupe contrôle. De plus, afin de réduire les biais dans l'évaluation de l'utilisabilité, le protocole mis en place devra être revu en utilisant un test normalisé existant dans la littérature comme le *System Usability Scale* [2] ou le *Technology Acceptance Model* [4].

Plus globalement, le travail présenté est un premier pas vers la mise en place d'une évolution continue du système de recommandations en collaboration humain-machine. Cependant, beaucoup de choses restent à faire. Par exemple, il peut être intéressant de mettre en place des explications dans les autres outils ComPer, afin de favoriser l'appropriation des systèmes d'IA. De plus, dans l'objectif d'améliorer l'ensemble des outils ComPer, il va également être nécessaire de s'intéresser aux potentiels problèmes d'efficacité et de biais algorithmiques dans les systèmes d'IA de ComPer. Pour cela, il faudra mettre en place un auto-diagnostic de ces problèmes afin de pouvoir les détecter automatiquement et ensuite les corriger, pour l'amélioration de ces systèmes d'IA.

# Remerciements

Ce travail a été soutenu par les projets ComPer (ANR-18-CE38-0012) et TeATIME (ANR-23-CE38-0012) financés par l'ANR.

# Références

1. Broisin, J., Bey, A. : Comper lot 1 : Méta-modèle du référentiel de compétences fondé sur le web sémantique (Mar 2020), https://comper.fr/sites/
default/files/2020-12/L1.1%20Me%CC%81ta-mode%CC%801e%20re%CC%81fe%
CC%81rentiels_2.pdf

2. Brooke, J., et al. : Sus-a quick and dirty usability scale. Usability evaluation in industry 189 (194), 4-7 (1996)

3. Cordier, A., Lefevre, M., Champin, P.A., Georgeon, O., Mille, A. : Trace-Based Reasoning - Modeling interaction traces for reasoning on experiences. In : McCarthy, P. (ed.) The 26th International FLAIRS Conference. pp. 1-15. St. Pete Beach, Florida, United States (May 2013), https://hal.science/hal-00830444

4. Davis, F.D. : A technology acceptance model for empirically testing new end-user information systems : Theory and results. Ph.D. thesis, Massachusetts Institute of Technology (1985)

5. Donoso-Guzmán, I., Ooge, J., Parra, D., Verbert, K. : Towards a Comprehensive Human-Centred Evaluation Framework for Explainable AI (Jul 2023), arXiv :2308.06274 [cs]

6. Ghezir, S., Naimie, Z., Leng, C.H., Shagholi, R., Abuzaid, R.A. : Review study : Competency-based approach implementation in educational system. New Trends and Issues Proceedings on Humanities and Social Sciences 8(3), 21-29 (Oct 2021). https://doi.org/10.18844/prosoc.v8i3.6156, https://un-pub.eu/ojs/index.php/pntsbs/article/view/6156, number : 3

7. Hassija, V., Chamola, V., Mahapatra, A., Singal, A., Goel, D., Huang, K., Scardapane, S., Spinelli, I., Mahmud, M., Hussain, A. : Interpreting Black-Box Models : A Review on Explainable Artificial Intelligence. Cognitive Computation 16(1), 45-74 (Jan 2024). https://doi.org/10.1007/s12559-023-10179-8

8. Jamet, E., Fernandez, J. : Enhancing interactive tutorial effectiveness through visual cueing. Educational Technology Research and Development 64(4), 631-641 (Aug 2016). https://doi.org/10.1007/s11423-016-9437-6

9. Lundberg, S.M., Lee, S.I. : A Unified Approach to Interpreting Model Predictions. In : Guyon, I., Luxburg, U.V., Bengio, S., Wallach, H., Fergus, R., Vishwanathan, S., Garnett, R. (eds.) Advances in Neural Information Processing Systems. vol. 30. Curran Associates, Inc. (2017), https://proceedings.neurips.cc/paper_files/paper/2017/file/8a20a8621978632d76c4328b67767-Paper.pdf

10. Mandin, S., Guin, N. : Basing learner modelling on an ontology of knowledge and skills. In : Sampson, D.G., Spector, J.M., Chen, N.S., Huang, R., Kinshuk (eds.) IEEE International Conference on Advanced Learning Technologies. pp. 321-323. IEEE Computer Society, Athènes, Greece (Jul 2014), https://hal.science/hal-01301064

11. Millecamp, M., Htun, N.N., Conati, C., Verbert, K. : To explain or not to explain : the effects of personal characteristics when explaining music recommendations. In : Proceedings of the 24th International Conference on Intelligent User Interfaces. pp. 397-407. IUI '19, Association for Computing Machinery, New York, NY, USA (Mar 2019). https://doi.org/10.1145/3301275.3302313, https://doi.org/10.1145/3301275.3302313

12. Miller, T. : Explanation in artificial intelligence : Insights from the social sciences. Artificial Intelligence 267, 1-38 (Feb 2019). https://doi.org/10.1016/j.artint.2018.07.007

13. Rachha, A., Seyam, M. : Explainable AI In Education : Current Trends, Challenges, And Opportunities (Apr 2023). https://doi.org/10.1109/SoutheastCon51012.2023.10115140, pages : 239

14. Ribeiro, M.T., Singh, S., Guestrin, C. : "Why Should I Trust You?" : Explaining the Predictions of Any Classifier (Aug 2016). https://doi.org/10.48550/arXiv.1602.04938, http://arxiv.org/abs/1602.04938, arXiv :1602.04938 [cs]
15. Sablayrolles, L., Lefevre, M., Guin, N., Broisin, J. : Design and Evaluation of a Competency-Based Recommendation Process. In : Intelligent Tutoring Systems : 18th International Conference, ITS 2022, Bucharest, Romania, June 29 – July 1, 2022, Proceedings. pp. 148–160. Springer-Verlag, Berlin, Heidelberg (Jun 2022). https://doi.org/10.1007/978-3-031-09680-8_14

16. Saleem, R., Yuan, B., Kurugollu, F., Anjum, A., Liu, L. : Explaining deep neural networks : A survey on the global interpretation methods. Neurocomputing **513**, 165–180 (Nov 2022). https://doi.org/10.1016/j.neucom.2022.09.129

17. Schwalbe, G., Finzel, B. : A Comprehensive Taxonomy for Explainable Artificial Intelligence : A Systematic Survey of Surveys on Methods and Concepts. Data Mining and Knowledge Discovery (Jan 2023). https://doi.org/10.1007/s10618-022-00867-8, arXiv :2105.07190 [cs]

18. Tiwari, R. : Explainable AI (XAI) and its Applications in Building Trust and Understanding in AI Decision Making. International journal of scientific research in engineering and management **07**(01) (Jan 2023). https://doi.org/10.55041/IJSREM17592