# Apport des technologies multimédias dans le système d'apprentissage en ligne Sphinx

Laurence Capus, Cédric Sanza, Julian Alvarez

<figure><img src="image_1.png" /></figure>

## To cite this version:

Laurence Capus, Cédric Sanza, Julian Alvarez. Apport des technologies multimédias dans le système d'apprentissage en ligne Sphinx. 5ème colloque international des Technologies de l'information et de la communication dans l'enseignement supérieur et l'entreprise (TICE 2006), INP-T : Institut national polytechnique de Toulouse; UNIT : Université numérique ingénierie et technologie, Oct 2006, Toulouse, France. hal-04676857

HAL Id: hal-04676857

https://hal.science/hal-04676857v1

Submitted on 24 Aug 2024

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_2.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# Apport des technologies multimédias dans le système d'apprentissage en ligne Sphinx

Laurence Capus<fnref n="1" />, Cédric Sanza<fnref n="2" /> et Julian Alvarez<fnref n="2" />

## Résumé

Cet article présente le projet d'extension du système d'apprentissage en ligne Sphinx à des capacités multimédias. Sphinx est actuellement utilisé par les étudiants de l'université Laval au Québec dans le cadre d'un cours d'intelligence artificielle. Ce système permet aux étudiants de réviser pendant le cursus universitaire et avant les examens. L'originalité de la méthode réside dans le fait que le travail se fait de manière collaborative, chaque étudiant pouvant ajouter des commentaires sur les solutions proposées par les autres. Cette interactivité a cependant atteint ses limites et une nouvelle voie se profile afin d'augmenter la participation des étudiants. Les technologies 2D-3D permettent en effet de recréer des environnements de travail plus conviviaux et plus proches de ceux que connaissent ces jeunes adultes, notamment à travers les jeux vidéo. Nous décrivons ainsi dans cet article une nouvelle architecture et les nouvelles fonctionnalités du système Sphinx qui sont en cours de développement. Ces outils sont censés augmenter la motivation des étudiants et leur fournir une aide personnalisée à travers un compagnon virtuel. Le prototype pourrait être opérationnel d'ici l'automne 2006 et ainsi être testé dans les conditions réelles.

## Abstract

This paper presents the project of extension of the on-line learning system Sphinx to multimedia capabilities. Sphinx is actually used by the students of the University Laval at Quebec in an artificial intelligence course. This system enables the student to revise during their course and before the exams. The originality of the method rises in collaborative way of working, each student adding comments on the others. This interactivity has reach its boundaries and a new way is arising in order to increase the participating of the students. The 2D-3D technologies enables then to create working environments more friendly and closer to the ones known by these young adults, in particular in video games. In this article, we describe a new architecture and new functionalities of the sphinx system that are currently in progress. This tools are aimed to increase the motivation of the students and to provide a personalized help through a virtual companion. The prototype could be operational in fall 2006 and be tested in real conditions.

## Introduction

Les environnements de télé-enseignement sont en pleine expansion depuis une dizaine d'années. Initialement basés sur des interfaces textuelles, ils intègrent désormais des niveaux d'interaction de haut niveau en prenant en compte la voie, la vidéo et parfois les gestes. Les systèmes les plus avancés permettent une immersion totale dans un monde virtuel où l'apprentissage peut s'effectuer sans aucune limite. L'interaction avec d'autres utilisateurs (tuteur par exemple) est un paramètre à prendre en compte afin d'éviter la sensation d'isolement dans un univers inhabité. Le rôle d'un tuteur ou d'un conseiller est indispensable afin d'assurer l'aide nécessaire ou la vérification de solutions lorsque celles-ci paraissent complexes. Cependant, le tuteur humain ne peut rester en ligne en permanence, ce qui implique des périodes peu interactives. Ce problème a été soulevé dans l'environnement Sphinx développé et utilisé au

département d'informatique et de génie logiciel de l'Université Laval depuis 2003.

L'environnement Sphinx (figure 1) peut être vu comme un livre d'exercices interactif qui est offert aux étudiants en complément d'un cours en classe en vue de s'entraîner à résoudre des problèmes du domaine (Capus et al. 2003). Les étudiants peuvent étudier des exemples, c'est-à-dire consulter des exercices avec leur solution et les refaire par eux-mêmes s'ils le souhaitent. Ils peuvent donc vérifier rapidement leur solution avec celle proposée par Sphinx. Cette forme d'apprentissage est peu interactive, peu motivante et il est difficile de savoir ce qu'a réellement fait l'étudiant. C'est pourquoi une dimension interactive a été ajoutée à l'environnement Sphinx. L'étudiant peut en effet expliciter pourquoi la solution a été obtenue ou encore comment elle a été obtenue en entrant un texte libre dans l'environnement. Il

<footnote n="1">¹LSI-ERICAE, Université Laval, Québec, Canada</footnote>

<footnote n="2">²IRIT-SIRV, Université Paul Sabatier, Toulouse, France</footnote>
peut également commenter le texte entré par un autre étudiant comme il ferait pour un sujet dans un forum de discussion. L'idée est de faire appel à la collaboration pour motiver les étudiants à utiliser l'environnement Sphinx et à développer des capacités d'abstraction. Les étudiants doivent effectivement comprendre la méthode de résolution de problèmes utilisée au lieu de simplement résoudre un exercice par mimétisme. Aucune explication n'est donnée pour l'obtention de la solution, par exemple une preuve ne comportera aucune justification. En invitant les étudiants à entrer leur texte, l'enseignant peut également évaluer le niveau de compréhension d'un individu et du groupe.

<figure><img src="image_3.png" /><figcaption>Figure 1 : L'interface Sphinx</figcaption></figure>

Une expérimentation a montré qu'en participant et en collaborant dans l'environnement Sphinx, les étudiants obtenaient une meilleure moyenne (Capus et al. À paraître). Cependant, cette expérimentation a montré que peu d'étudiants participent activement. Plusieurs hypothèses peuvent être avancées. Les étudiants ne savent pas toujours expliquer car ceci requiert des capacités d'abstraction qu'ils ne maîtrisent pas ou encore ils n'osent pas expliquer de peur de se tromper. De plus, si peu d'explications sont entrées dans l'environnement, la collaboration a moins de chance de s'installer. Quelles que soient les lacunes du système, la nécessité d'une aide interactive et efficace nous est apparu être une solution à exploiter sous la forme d'un compagnon virtuel.

## Rôle du Compagnon Virtuel

De récentes études nous ont amené à nous orienter vers le choix d'un compagnon virtuel afin d'augmenter la motivation des étudiants à utiliser l'environnement Sphinx, même s'il n'est encore évident de savoir si un tel ajout a un effet bénéfique (Gulz 2004). Cependant, les premiers résultats dans ce domaine réalisés par Lewis Johnson en 2000 ont montré que la motivation des utilisateurs en était certainement accrue et c'est bien la motivation que nous voulons faire augmenter.

Le compagnon virtuel que nous proposons de concevoir a une apparence humaine et un rôle pédagogique précis mais ce rôle ne se veut pas autoritaire, comme le propose Chou et al. (2003). En d'autres termes, ce compagnon n'est pas destiné à être un expert mais plutôt une entité qui pourrait faire des erreurs. Le niveau d'expertise du

compagnon pourra être choisi par l'étudiant. En effet, Ramirez Uresti et du Boulay (2004) ont constaté que les étudiants choisissaient plus souvent un compagnon virtuel avec un niveau d'expertise faible et travaillaient davantage. Plus précisément, dans Sphinx, le compagnon n'aura pas le mandat de valider l'explication fournie par l'étudiant mais plutôt de l'encourager à consulter des exemples, à expliquer des solutions et à commenter les explications de ses pairs. Nous pouvons résumer l'intervention du compagnon de l'étudiant de cette manière :

- Le compagnon explique ce que l'étudiant doit faire.

- Le compagnon conseille l'étudiant dans sa démarche.

- Le compagnon commente le travail réalisé par l'étudiant.

Ces trois façons d'intervenir sont graduelles. Avec la première, l'étudiant est passif. On peut par exemple utiliser cette façon d'intervenir lorsque l'étudiant se connecte pour la ou les premières fois afin qu'il puisse se familiariser avec l'environnement. Par la suite, on pourra utiliser l'une, puis l'autre des façons d'intervenir de manière à augmenter le niveau d'activité de l'étudiant. Il est important d'encourager l'étudiant à faire par lui-même pour améliorer la qualité du processus d'apprentissage. L'environnement Sphinx utilisera un modèle de l'étudiant pour déterminer la façon d'intervenir la plus appropriée pour le compagnon à un moment donné.

Le système Sphinx est utilisé depuis deux ans avec succès et affiche des pics d'utilisation les jours précédents les examens (Capus et al. À paraître). Les étudiants utilisent Sphinx comme un outil de révision. Un compagnon virtuel pourrait guider la révision afin qu'elle soit plus efficace et plus adaptée, car actuellement les étudiants doivent eux-mêmes faire leur choix parmi les exemples proposés. Triantafillou et al. (2003) ont montré qu'une progression structurée dans l'apprentissage aidait efficacement les apprenants qui sont dépendants du champ. C'est un autre rôle pédagogique que nous souhaitons donner au compagnon virtuel.

En résumé, le compagnon virtuel aura différents rôles pédagogiques et stratégies afin d'accroître son efficacité comme le suggère les travaux de Gulz (2004).

## Modèle du compagnon virtuel

La nouvelle architecture de Sphinx est composée de deux modules supplémentaires : le module pédagogique et le modèle de compagnon (figure 2).

Le module domaine : il contient la représentation du domaine à étudier. Cette représentation est composée des concepts que l'étudiant doit apprendre afin d'atteindre les objectifs pédagogiques du cours. Ces concepts sont liés comme un graphe de dépendance. Ce module permet de fournir différents niveaux d'expertise au compagnon en fonction des préférences de l'étudiant. Le compagnon a trois niveaux de compétences : expert, moyen et novice (Chou et al., 2003).
<figure><img src="image_4.png" /><figcaption>Figure 1. Nouvelle architecture de Sphinx.</figcaption></figure>

**Le module étudiant** : le rôle de ce module est d'enregistrer les actions de l'utilisateur et ses performances. Il permet d'évaluer le niveau de connaissances de l'étudiant afin d'adapter le comportement du compagnon. Ce module est composé d'un ensemble de valeurs (pas vu, vu, connu, appris) pour chaque concept du domaine. Ces valeurs sont mises à jour en fonction de la progression de l'étudiant dans l'environnement.

**Le module pédagogique** : nous souhaitons utiliser un générateur vocal aussi souvent que possible pour améliorer l'apprentissage. Chaque message vocal sera généré après certaines actions comme :

* un clic sur un exemple approprié

* un clic sur la solution à un exercice

* un clic sur le bouton d'aide.

Ce module pourra déclencher différentes stratégies pédagogiques. Le compagnon virtuel pourra agir en tant que partici pant, tuteur, critique, trouble-fête ou collaborateur (Chou et al., 2003).

**Le module compagnon** : le compagnon pourra effectuer les opérations suivantes :

* aider l'étudiant

* propose le prochain exercice

* vérifier la solution à un exercice

* donner la solution à un exercice

* donner des conseils

[ces opérations pourront éventuellement être décrites dans la version finale de l'article]

Pour permettre une meilleure immersion de l'utilisateur dans l'environnement Sphinx, la cohérence autour du compagnon virtuel doit également être soignée. Cela signifie que l'interface dans sa globalité doit répondre au design du personnage, tant par le style graphique que par les couleurs. EN nous projetant au delà, c'est aussi la « personnalité » du personnage qui doit être retranscrite par des dialogues, des mimiques et des bruitages appropriés. Si cette notion de cohérence n'était pas au rendez-vous, nous ferions face à des ruptures qui conduiraient très probablement les étudiants à se détourner rapidement de Sphinx. En effet comme ces derniers seront amenés à consulter Sphinx en dehors du contexte scolaire, leur niveau d'exigence sera beaucoup plus élevé. C'est ce que l'expérience de l'edumarket

game Technocity (Alvarez et Rampnoux 2006) a fait ressortir.

Pour développer l'environnement graphique de Sphinx nous avons du choisir un langage de programmation, approprié. Le coût financier étant une contrainte à prendre en compte, nous avons envisagé d'utiliser un système de développement auteur, haut niveau, qui permettrait une production rapide tout en privilégiant la qualité. Le choix de Director pouvait sembler au premier abord une bonne solution. En effet, ce logiciel permettrait de développer un environnement 3D temps réel pour animer le compagnon. Cependant, la 3D de Director est très datée. Il n'est pas possible d'avoir d'ombre portée, ni une diffusion lumineuse progressive sur les textures... Tout ceci nous ramène aux affichages graphiques des tous premiers Lara Croft ou Alone in the dark datant des années 90. Or le public visé qui a l'habitude de consommer des jeux 3D de dernière génération est très sensible à ces détails esthétiques. C'est pour un gage de qualité technologique. Le jeu food-force (FF) qui est diffusé sur Internet par les Nations Unies, utilise Director. Pour contourner ce problème esthétique de la 3D temps réel, ils ont fait le choix d'utiliser la 3D pré-calculée. L'aspect général est plus contemporain. Cependant, des étudiants qui ont testé ce jeu dans le cadre d'une étude trouvent, malgré la cohérence globale avec laquelle Food-Force a été réalisée, que le jeu n'est pas encore à la hauteur : "C'est un Lara Croft du pauvre" (Alvarez/Rampnoux 2006). Il restait bien sûr la possibilité de pousser le rendu 3D plus loin, pour correspondre aux standards actuels. Mais les moyens financiers encore une fois ne nous le permettaient pas. Afin de résoudre cette problématique, l'option restante a été de prendre le problème à contre pied. Deux possibilités s'offraient à nous. Soit partir sur l'idée d'une 3D volontairement grossière à l'instar de "Programme d'entraînement cérébral du Professeur Kawashima" que l'on trouve sur la console portable Nintendo DS (figure 3).

<figure><img src="image_5.png" /><figcaption>Figure 3. Le jeu Brain Training (BT)</figcaption></figure>

Le personnage du professeur est volontairement représenté par des polygones grossiers pour lui conférer un aspect intelligent d'origine artificielle. L'esthétique de l'interface du jeu, rappelle par ses cadres l'atmosphère des premiers Wndows, en plus épuré. Tout ceci contribuant à donner un environnement studieux à l'ensemble. Le
public visé par Sphinx aurait pu être sensible à cette
approche. L'autre solution, plus radicale a consisté à
basculer dans une représentation 2D, plus rapide à
développer et donc beaucoup moins coûteuse. L'idée,
envisagée a été de jouer la carte d'un personnage
humoristiques inspiré des bandes dessinées ou des
dessins animés à l'image de ceux de South Park par
exemple. En effet ces derniers sont fortement appréciés,
comme en témoigne l'éditeur de personnages inspiré de la
série, qui connaît beaucoup d'adeptes (PLA). Dans cette
dernière solution, un dosage entre humour et
apprentissage doit cependant être trouvé, au risque d'être
en rupture avec le public visé. Mais quelque soit l'option
choisie dans ces deux derniers cas, il a été décidé de
basculer dans l'environnement Flash. En effet ce logiciel
auteur, distribué par le même éditeur, est aujourd'hui
beaucoup plus implanté que Director. Plus de 90%
d'internautes possède le plugin capable de lire flash sur
leur navigateur contre 65% pour le plug'in Director.
D'autre part, le logiciel Flash a le vent en poupe. Il
commence à pénétrer de nouvelles niches à l'instar de la
téléphonie mobile grâce à la technologie Flash Lite. Cela
ouvre de nouvelles perspectives : permettre aux étudiants
de consulter Sphinx sur leur mobile durant les trajets
maison, université. Alors que l'avenir de Director est
quant à lui incertain à ce jour. Enfin, dernier point, le
coût de la licence Flash est deux fois moins élevée que
celle de Director.

Conclusion

Cet article a présenté comment nous proposons d'étendre
le système Sphinx avec un compagnon virtuel. Les
fonctionnalités du compagnon devront lui permettre
d'intervenir dans le processus d'apprentissage de
l'étudiant, de lui poser des questions, de lui donner des
conseils sur un problème à réaliser en priorité et de
vérifier la solution. Le but n'est pas de donner une
réponse complète, but peu efficace, mais plutôt
d'encourager l'étudiant à réaliser lui-même certaines
étapes pour améliorer son habileté à résoudre des
problèmes. Grâce à une architecture assez classique,
l'agent devra modéliser le plus précisément possible les
caractéristiques de l'utilisateur et ainsi exécuter l'action
la plus appropriée en fonction de l'évolution de son
apprentissage. Le dernier point qui sera développé sera
l'intégration de la parole dans le système. Les conseils
écrits, souvent non lus, seront plus facilement assimilés
s'ils sont énoncés oralement par le compagnon.

Toutes ces modifications nous ont amené à revoir
complètement la conception du système Sphinx, en
 intégrant de nouveaux outils et en développant de
nouvelles techniques d'interaction.

Nous entrons actuellement dans la phase de réalisation
d'un compagnon d'apparence assez simple et nous
orientons nos futures recherches sur le développement

des émotions et des gestes. Un autre axe semble
prometteur : proposer des métaphores d'interaction 3D
dans un monde virtuel un peu plus complet qui
engloberait complètement le système sphinx.

Remerciements

Les auteurs tiennent à remercier le Conseil de recherches en sciences naturelles et en génie du Canada (CRSNG) pour son support financier ainsi que les personnes qui ont participé au développement de l'environnement Sphinx.

Références

J. Alvarez, J. Rampnoux (2006). New advertising tools: Edumarket game. Child and Teen Consumption 2006, Copenhague.

L. Capus, F. Curvat, O. Leclair et N. Tourigny (À paraître). A Web environment to encourage students to do exercises outside the classroom: A case study. *Journal of Educational Technology and Society*.

L. Capus, B. Potvin et N. Tourigny (2003). An e-learning framework to extend lecture courses. SSGRR 2003s, *International Conference on Advances in Infrastructure for e-Business, e-Education, e-Science, e-Medicine, and Mobile Technologies on the Internet*, 28 juillet – 3 août, 2003, L’Aquila, Italie.

C.-Y. Chou, T.-W. Chan et C.-J. Lin (2003). Redefining the learning companion: the past, present, and future of educational agents. *Computers & Education*, 40, 255-269.

A. Gulz (2004). Benefits of Virtual Characters in Computer Based Learning Environments: Claims and Evidence. *International Journal of Artificial Intelligence in Education*, 14, 313-334.

W. Lewis Johnson, J.W. Rickel et J. C. Lester (2000).
Animated pedagogical agents: Face-to-Face Interaction
in Interactive Learning Environments. *International
Journal of Artificial Intelligence in Education*, 11, 47-78.

J.A. Ramirez Uresti et B. du Boulay (2004). Expertise, Motivation and Teaching in Learning Companion Systems. *International Journal of Artificial Intelligence in Education*, 14, 193-231.

E. Triantafillou, A. Pomportsis et S. Demetriadis (2003).
The design and the formative evaluation of an adaptive
educational system based on cognitive styles, *Computers
& Education*, 41, 87-103.

PLA : http://www.planarium2.de/flash/sp-studio.swf

BT : http://www.nintendo.co.jp/ds/and

FF : http://www.food-force.com