# Conception collective d'un tuteur virtuel pour l'apprentissage individualisé des étudiants

Emilie Delaherche<fnref n="1" />, Jean-Patrice Glafkides<fnref n="2" />

## Résumé

fr

La notion d'« agir ensemble » voudrait être ici illustrée au travers d'un projet pédagogique mené collectivement au service d'un accompagnement individualisé des apprentissages étudiants. Le projet « Tuteur Virtuel » vise, en effet, à favoriser l'accompagnement individualisé des étudiants, en particulier dans les grands groupes (600 étudiants en première année de Licence). Projet conjointement porté par la Direction du Numérique et les équipes d'Appui à l'Enseignement, il repose sur la collaboration étroite d'un binôme d'enseignants, d'un chef de projet technique, d'une ingénieure pédagogique et deux prestataires de services informatiques. Sa visée est de proposer, via un agent conversationnel (chatbot), des ressources personnalisées à l'étudiant en fonction de sa progression dans les activités mises en ligne sur sa plateforme pédagogique Moodle. Ces recommandations s'appuient sur une détection des lacunes, un graphe des connaissances de l'enseignement et un moteur d'intelligence artificielle.

Un prototype a été mis en expérimentation en septembre 2020 auprès des 600 étudiants du cours de L1 Microéconomie. Conscient des améliorations à apporter à ce prototype, du besoin évident de mettre l'étudiant au cœur de la démarche, une phase de conception collective de la v2 s'engage sur l'année 2020-2021 en concertation avec l'ensemble des parties prenantes (enseignants, étudiants, équipes d'appui à l'enseignement, direction du numérique, prestataires, directions). La méthodologie employée s'appuie grandement sur les principes de l'UX Design (Conception centrée sur l'Expérience Utilisateur). De multiples ateliers sont menés, avec l'appui d'un UX designer (prestataire) pour co-construire la v2 du projet :

* Cartographie des parties prenantes du projet

* (Re-)Définition de l'essence de projet (exercice de l'Elevator pitch) à l'aide de l'équipe projet, des enseignants, de la Direction de la Formation et de la Vie Etudiante, de la cheffe de projet Innovation Pédagogique

<footnote n="1">1 : Centre d'Innovation Pédagogique, Université Paris Dauphine, PSL Resarch University</footnote>

<footnote n="2">2 : Direction du numérique, Université Paris Dauphine, PSL Resarch University</footnote>
* Entretiens individuels et enquêtes auprès des étudiants autour de leurs besoins, problèmes, leviers de motivation, usages en termes d'outils, profils de compréhension...

* Ateliers design avec des étudiants pour co-concevoir la navigation de l'outil, les interfaces et l'identité visuelle du Tuteur Virtuel v2, à partir de maquettes et de wireframes.

Nous proposons dans la présente communication d'expliciter dans un premier temps la démarche mise en œuvre pour concevoir cette v2 qui met les utilisateurs, étudiants et enseignants, au cœur de la conception.

Nous discuterons dans un second temps des apports de cette méthodologie. Cette phase de concertation a permis de modéliser 6 *personae* « étudiants » c'est-à-dire 6 profils « étudiants » partageant les mêmes comportements. De nombreuses pistes d'améliorations (+20) sont également identifiées pour concevoir la v2.

Nous discutons enfin des limites de cette démarche, que ce soit dans la mise en œuvre (mobilisation des parties prenantes) ou dans ses résultats (généralisation des résultats, transcription des besoins identifiés en fonctionnalités applicatives).

## Abstract

We propose to illustrate how we acted together through an educational project carried out collectively to support personalized student learning. Winner of the IDF Trophies in 2018, the "Tuteur virtuel" project aims to promote individualized support for students, especially in large groups (600 students in the first year of the Bachelor's degree). Project jointly supported by the IT Department and the Teaching Support teams, it is based on the close collaboration of teachers, a technical project manager, a digital learning project manager and two IT service providers. Its aim is to offer, via a conversational agent (chatbot), personalized resources to students according to their progress in Moodle. These recommendations are based on gaps detection, a concept map and an artificial intelligence engine.

A first prototype v1 was tested in September 2020 with 600 students of the L1 Microeconomics course. Aware of the improvements to be made to this prototype, of the obvious need to put the student at the heart of the project, a collective design phase begins in 2020-2021 in consultation with all the stakeholders (teachers, students, teaching support teams, IT department, service providers, departments). The design phase is guided by the
principles of User Experience Design. Multiple workshops are conducted, with the support of
a UX designer (IT service provider) to co-build the v2 of the project:

* Mapping of project stakeholders

* (Re-)Definition of the essence of the project ("Elevator pitch") with the help of the project team, teachers, the Department of Student Life, the Learning Innovation Manager for Bachelor's degree

* Individual interviews and surveys with students around their needs, problems, motivation levers, tools usage...

* UX design workshops with students to define the navigation, the interfaces, and the visual identity of the tuteur virtuel v2,

We propose in this communication to first explain our approach to design this v2 which puts users, students, and professors, at the heart of the design.

We will then discuss the contributions of the approach. This consultation phase made it possible to model 6 “student” personae. A "persona" is a character who represents a set of individuals who share the same uses, practices, learning profiles ... Many areas for improvement (+20) were also identified to design v2.

Finally, we discuss the limits of this approach, whether in the implementation (mobilization of stakeholders) or in its results (generalization of results, transcription of identified needs into application functionalities).

## Mots-clés

AE dans le champ de l'apprentissage étudiant, Ingénierie coopérative, Formation et usages du numérique

# 1. Contexte

## 1.1. Intention pédagogique

Le projet « Tuteur Virtuel » vise à accompagner individuellement les apprenants au quotidien. Les cours en présentiel seraient captés en vidéo puis indexés automatiquement. En parallèle, le tuteur virtuel détecterait les lacunes des apprenants à partir des quiz réalisés sur leur plateforme pédagogique. Le tuteur recommanderait ensuite, via un agent conversationnel, des activités personnalisées issues de l'espace de cours en ligne ou de l'indexation des cours captés en vidéo. Un moteur d'IA permettrait la collecte des résultats d'évaluation, le
rapprochement automatique des résultats d'évaluation avec les connaissances à acquérir et la
génération de recommandations ciblées.

<figure><img src="image_1.png" /><figcaption>Figure 1 Schéma fonctionnel du tuteur virtuel v1</figcaption></figure>

1.1. Du premier prototype vers la V2

Mené par une équipe resserrée (direction du numérique, appui à l'enseignement et deux prestataires), des enjeux techniques occupent les premiers mois du projet. Il s'agit de créer une preuve de concept, d'investiguer des outils existants d'indexation vidéo en langue française, d'implémenter de premières ébauches de dialogues dans un *chatbot* et d'identifier des méthodes de machine learning pour le moteur de recommandation.

En avril puis juin 2020, un prototype est proposé à deux groupes de 25 étudiants en formation continue puis en septembre 2020 aux 600 étudiants en L1 Microéconomie. Le *chatbot* est très limité à ce stade avec 3 requêtes (recommandation, aide et historique). Les retours des étudiants sont mauvais. Une majorité déclare ne pas l'avoir utilisé ou ne pas avoir compris comment l'utiliser. Les étudiants qui l'ont utilisé disent ne pas avoir ressenti de bénéfices.

À ce stade, le besoin d'accorder une réelle attention à l'expérience utilisateur et à l'ergonomie devient une évidence : qui sont les étudiants utilisateurs du tuteur ? quels sont leurs besoins, leurs usages ? comment accèdent-ils au tuteur virtuel ? que souhaiteraient-ils lui demander ? Il semble impératif de remettre l'étudiant au cœur de la conception du dispositif et plus largement l'ensemble des parties prenantes (enseignants, appui à l'enseignement, direction du numérique, prestataires, directions). Un UX designer d'une société prestataire vient renforcer l'équipe. La conception de la v2 s'amorce.
# 2. Méthodologie

## 2.1. L'UX Design dans l'éducation

L'UX Design vise à concevoir les applications en mettant l'utilisateur au centre de la démarche de conception avec des méthodes d'analyse et de collecte d'informations, qualitatives ou quantitatives.

Lancées par Don Norman chez Apple, les méthodes de conception centrées sur l'expérience utilisateur (UX Design) ont fait leur apparition dans les années 90 aux Etats-Unis, (Lallemand C. & Gronier G. (2018).).

Dans le secteur de l'éducation, ces méthodes infusent tout en restant relativement marginales. L'Université de Poitiers organise en 2013 un campus d'été « UX design : l'expérience utilisateur au service des apprentissages »<fnref n="1" />; l'apport de l'UX Design dans les technologies éducatives y est analysé sous différents angles (jeu vidéo, application sur tablette, learning spaces...). Certaines universités anglo-saxonnes comme UCL<fnref n="2" />, l'université d'Edimbourg<fnref n="3" /> ou américaines comme Yale<fnref n="4" /> ont mis en place la méthode des *personae* pour guider la conception de leurs applications. Enfin, c'est peut-être auprès des bibliothèques universitaires, notamment l'Université d'Angers très active dans ce domaine, que les méthodes UX ont fait l'objet du plus fort intérêt pour la création de Learning Centers, la refonte de site Internet ou encore la définition d'une offre de services (Lorit-Regnaud, Mathilde (2018)).

## 2.2. Concevoir ensemble la V2 du tuteur virtuel

Pour le projet « Tuteur Virtuel », nous identifions une démarche de travail (Cf. Tableau 1) à l'aide de l'UX designer avec plusieurs objectifs :

* Analyser l'existant et identifier ses faiblesses,

<footnote n="1">¹ https://uptv.univ-poitiers.fr/program/campus-europeen-d-ete-2013etnbsp-ux-designetnbsp-l-experience-utilisateur-au-service-des-apprentissagesetnbsp/index.html</footnote>

<footnote n="2">² https://www.ucl.ac.uk/isd/services/websites-apps/best-practice/personas</footnote>

<footnote n="3">³ https://www.ed.ac.uk/information-services/learning-technology/learning-design/learning-design-resources/student-personae</footnote>

<footnote n="4">⁴ https://usability.yale.edu/understanding-your-user/journey-maps-personas</footnote>
* (Re)préciser les objectifs,

* Mieux connaître la cible (étudiants),

* Lister et prioriser les fonctionnalités à développer,

* Concevoir les parcours utilisateurs et leurs interfaces.

Les ateliers collaboratifs se déroulent en ligne (2h) et sont animés par notre UX designer. Les participants changent en fonction du focus de l'atelier. Un livrable est produit à l'issue de chaque atelier.

L'équipe projet (ingénieur pédagogique, chef de projet numérique et UX designer) est systématiquement présente.

<table><caption>Tableau 1. Liste des ateliers</caption><thead><tr><td>Nom</td><td>Format</td><td>Participants</td><td>Livrable</td></tr></thead><tbody><tr><td>Carte des parties prenantes</td><td>Atelier collaboratif (réflexion individuelle, mise en commun, discussion collective)</td><td>Enseignant référent</td><td>Carte des parties prenantes</td></tr><tr><td>Elevator pitch</td><td>Atelier collaboratif</td><td>Enseignant référent</td><td>Description de l'essence du projet</td></tr><tr><td>Speedboat</td><td>Atelier collaboratif (Réflexion individuelle, mise en commun, regroupement thématique, priorisation)</td><td>Enseignant référent<br>Autres enseignants<br>Directrice Adjointe<br>Formation et Vie<br>Étudiante, Cheffe de projet Innovation<br>Pédagogique licence</td><td>Speedboat<br>Objectifs priorisés</td></tr><tr><td>Recherche utilisateur</td><td>Entretiens individuels</td><td>Étudiants</td><td>Persona<br>Liste de fonctionnalités</td></tr><tr><td>Atelier Design</td><td>Atelier collaboratif</td><td>Étudiants</td><td>Maquettes</td></tr></tbody></table>

### 2.2.1. Carte des parties prenantes

La première étape a consisté à identifier les parties prenantes du projet « Tuteur Virtuel », notamment :

* Les personnes qui peuvent être ou ont été impactées par le projet

* Les futurs responsables du projet
* Les personnes qui peuvent apporter leur soutien au projet et celles qui peuvent le ralentir

* Les attentes et le pouvoir de chaque partie prenante

À partir de cette carte qui présente l'état d'implication courant des parties prenantes, l'équipe projet décline une stratégie à mettre en place pour un état d'implication désiré, par exemple des actions ciblées pour améliorer l'adoption ou gagner en visibilité.

Cette cartographie a également permis d'identifier les acteurs à impliquer dans les ateliers suivants comme le Speedboat.

<figure><img src="image_2.png" /><figcaption>Figure 2 Carte des parties prenantes</figcaption></figure>

### 2.2.2. Elevator pitch

Dans cet atelier, tous les participants s'accordent sur leur vision du projet en répondant aux questions suivantes :

* Quel est votre produit ou service ?

* À qui s'adresse-t-il ?

* À quel(s) problème(s) répond-il ?

* Quel bénéfice apporte-t-il ?
* Quel est son positionnement par rapport à sa concurrence ?

<figure><img src="image_3.png" /><figcaption>Figure 3 Elevator pitch : grilles remplies au cours de l'atelier</figcaption></figure>

### 2.2.3. Speedboat

L'atelier Speedboat vise à construire une vision à long terme du projet en identifiant :

* Le vent : ce sont les forces de l'équipe et du projet actuel, ce qui lui permet d'avancer

* Les ancres : elles représentent ce qui freine l'équipe, la fait ralentir

* L'île : elle représente les objectifs à atteindre pour rendre le projet utilisable par tous

* Le bateau, c'est le projet

L'atelier s'organise en plusieurs temps : réflexion individuelle (post-it), mise en commun, regroupement thématique et étiquetage selon la cible (étudiants, enseignants, administrateurs techniques), vote pour priorisation.

La figure 4 montre les résultats de l'atelier et leur priorisation, les objectifs sont en vert (top = Autonomiser les étudiants dans leur apprentissage + avoir un chemin d'apprentissage personnalisé), les moteurs en bleu (top = projet en mode collaboratif + élément de la stratégie de l'établissement) et les freins en rouge (top = manque de ressources/activités pour alimenter le tuteur + coût de mise en œuvre).
<figure><img src="image_4.png" /><figcaption>Figure 4 Speedboat</figcaption></figure>

### 2.2.4. Recherche utilisateur : Personae

6 *personae* sont créés à partir d'entretiens avec des étudiants. Les *personae* sont des « archétypes » représentant un groupe d'utilisateurs aux comportements similaires. « Porteur d'un nom et d'un visage, le *persona* est nourri de détails spécifiques, tirés de données réelles recueillies lors d'une phase préliminaire d'enquête. Il permet d'éviter que le concepteur ne projette ses propres besoins sur le produit : il incarne l'utilisateur final pour mieux le mettre au cœur des discussions et des préoccupations. » (Lorit-Regnaud, Mathilde (2018))

<figure><img src="image_5.png" /><figcaption>Figure 5 Persona – La perfectionniste</figcaption></figure>
### 2.2.5. Atelier Design

L'atelier Design intervient en amont du développement des interfaces. Il permet, à partir de prototypes et de maquettes interactives, de « tester » le design, les principes ergonomiques et la navigation dans l'outil avant d'initier les développements. C'est une étape de prototypage rapide qui permet de faire des ajustements et des itérations rapides et peu coûteuses pour une première validation des interfaces.

L'outil de prototypage permet à tous les participants d'ajouter des commentaires et propositions.

<figure><img src="image_6.png" /><figcaption>Figure 6 Prototype des interfaces</figcaption></figure>

## 3. Résultats et discussion

Le format des ateliers collaboratifs a certainement favorisé la collaboration et la convergence au sein des équipes. Il y a régné une ambiance « conviviale » et « ludique ». Tous les participants ont la possibilité d'exprimer leur point de vue quel que soit leur niveau d'expertise ou hiérarchique. La vision du produit final n'est pas imposée par certains, elle est construite « ensemble ».

Les ateliers menés ont permis de dégager de nombreuses pistes d'améliorations, de confirmer certaines orientations déjà identifiées et de reporter, voire d'en abandonner d'autres. Par exemple :
* Chatbot intuitif et amélioré : Le chatbot sera conservé, directement intégré à Moodle. L'étudiant pourra formuler des demandes génériques (« propose-moi un contenu ») ou critériées (durée, type, thème de l'activité) en langage naturel.

* Besoin de mieux se situer dans leur parcours, de voir leur progression : Dans la v2, les étudiants pourront naviguer dans une carte conceptuelle du cours. Les objectifs et les activités pédagogiques y sont matérialisés par des nœuds. Les liens du graphe représentent les relations entre les objectifs (Objectif A est un prérequis de l'Objectif B, Activité 1 permet de travailler l'Objectif A). La vue sur le graphe sera personnalisée et évolutive en fonction de la progression de l'étudiant. Ne s'afficheront que les objectifs atteints, en cours d'acquisition et atteignables (Zone Proximale de développement, (Vygotski, 1985)) ainsi que les activités associées. Les éléments du graphe seront filtrables (types d'activités, temps disponible, statut de l'activité) et déplaçables. La vue cible (figure 7) qui reprend le principe de gestion des compétences de certains jeux vidéo a été proposée par les étudiants durant les ateliers et sera intégrée.

<figure><img src="image_7.png" /><figcaption>Figure 7 Vue "cible" proposée par les étudiants</figcaption></figure>

* Améliorer l'onboarding : Les entretiens menés avec les étudiants ont révélé de réelles disparités dans l'usage des ressources à disposition dans leurs espaces Moodle et plus généralement dans la maitrise de l'écosystème numérique de l'université. Un soin particulier sera apporté à la prise en main de l'outil par les étudiants (légende, didacticiel intégré, exemple de requêtes dans le chatbot). L'application permettant de naviguer dans la carte conceptuelle se doit d'être adaptative : certaines fonctionnalités
ne seront disponibles que pour les utilisateurs avancés qui utilisent régulièrement le tuteur. Le nouveau tuteur sera également mieux intégré à l'écosystème existant, afin de ne pas multiplier les plateformes pour l'étudiant. Moodle sera le point d'entrée du tuteur virtuel, le *chatbot* et la recommandation du jour s'afficheront dans le tableau de bord de l'étudiant.

* Ludification : Des axes de ludification (badges, points d'expérience) avaient été identifiés pour inciter les étudiants à utiliser l'application. Jugés peu engageants par les étudiants, ils seront abandonnés.

* Notification : le système de notification initialement proposé a été abandonné, jugé parasitant et peu efficace.

Nonobstant, la méthode a également certaines limites. Elle nécessite de recruter puis mobiliser de nombreux interlocuteurs, notamment des étudiants déjà très sollicités par ailleurs pour les différents ateliers. Comme dans tout processus d'intelligence collective, de nombreuses idées sont générées dans les ateliers qu'il faut ensuite analyser, prioriser, parfois repréciser, traduire en fonctionnalités informatiques. À ce titre, l'atelier Speedboat a plutôt servi à mettre différentes parties prenantes à un même niveau d'information sur le projet et à confirmer les orientations initiales plutôt qu'à préciser certains besoins ou fonctionnalités.

La méthode des *personae* peut également être questionnée : quelle est la représentativité des *personae* identifiés à partir des entretiens individuels ? Les étudiants interrogés venaient d'entrer à l'université. C'est une période de profond bouleversement, changement d'outils, de méthodes de travail, d'environnement. Ne faudrait-il pas mettre à jour régulièrement ces *personae* pour qu'ils évoluent au même titre que les étudiants évoluent ?

Il faut maintenant attendre le lancement du projet auprès des étudiants en novembre pour mesurer l'adoption et la pertinence des évolutions. Nous prévoyons de rejouer certains ateliers en 2022 afin d'affiner les premiers personae et d'itérer avec les étudiants sur la navigation et les interfaces du tuteur.

## Références bibliographiques

Lallemand C. & Gronier G. (2018). *Méthodes de Design UX. 30 méthodes fondamentales pour concevoir des expériences optimales (seconde édition)*. Paris: Eyrolles.

Brusilovsky, P. Adaptive Hypermedia. *User Modeling and User-Adapted Interaction* **11**, 87–110 (2001). https://doi.org/10.1023/A:1011143116306
Bornet, C. & Brangier, É. (2013). La méthode des *personas* : principes, intérêts et limites. *Bulletin de psychologie*, 524, 115-134. https://doi.org/10.3917/bupsy.524.0115

Lorit-Regnaud, Mathilde (2018). *Les personas en bibliothèque universitaire : quels usages, quels bénéfices ?* Enssib, mars 2018.

Lev Vygotski, Pensée et Langage Terrains / Éditions Sociales, 1985, p. 270.