Instrumentation des activités des tuteurs à
l'aide d'un système multi-agents d'analyse
automatique des interactions

Ilham Oumaira, Rochdi Messoussi, Raja Touahni

Laboratoire Systèmes de Télécommunications et Ingénierie de la Décision (LASTID)
Faculté des Sciences
Université Ibn Tofail,
BP 133, Kénitra 14000
MAROC

oumaira@gmail.com, messoussi@gmail.com, rtouahni@hotmail.com

RÉSUMÉ. Ce travail s'inscrit dans le cadre des recherches sur les Environnements Informatiques pour l'Apprentissage Humain (EIAH), et plus particulièrement dans l'assistance du tuteur dans le suivi des apprenants lors des activités d'apprentissage collaboratives en ligne. Cet article décrit l'architecture du système SYSAT, un système multi-agents d'analyse automatique des interactions. L'objectif de SYSAT est de réutiliser les indicateurs (sociaux, cognitifs, affectifs...) rapportés dans la littérature [1], au sein d'un système adaptatif et ouvert. Nous avons testé notre système sur les données d'interactions issues de deux expérimentations menées avec les étudiants de deux masters à l'université Ibn Tofail. L'article présente les résultats obtenus et évoque les perspectives de recherche.

**ABSTRACT.** Research presented in this article is dedicated to the tutor instrumentation in distance collaborative learning situations. We are particularly interested in the reuse of interaction analysis indicators. In this paper, we present our system SYSAT; a multi-agent system for monitoring the activities of learners. The aim of SYSAT is to reuse indicators (social, cognitive, emotional ...) reported in the literature, in an open and adaptive system. We tested our system on the interaction data from two experiments conducted with two master students of the Ibn Tofail University. The article presents the results and discusses the prospects for Research

MOTS-CLÉS : EIAH, tutorat, indicateurs d'analyse des interactions, système multi agent

KEYWORDS: Tutoring, interaction analysis indicators, multi-agent system
# 1. Introduction

Assurer le tutorat d'un groupe d'apprenants engagés dans une activité collaborative à distance, nécessite de la part du tuteur un suivi pédagogique permanent des apprenants afin de les accompagner dans leur processus d'apprentissage, repérer et soutenir les individus en difficulté pour leur éviter l'abandon. Dans le contexte de formation en ligne, le tuteur perd une certaine perception de ce qui se déroule dans sa classe par rapport à une formation en présentiel. C'est en effet cet élément de perception qui déclenche la prise de décision du tuteur pour la suite du déroulement de l'activité (explication plus détaillée, exercice complémentaire, etc.) [2]. La distance nécessite de la part du tuteur un effort supplémentaire ; il doit essayer de comprendre, de déchiffrer, de reconstituer un puzzle d'activités des apprenants sans avoir toutes les données [3]. Ce processus pose le problème du temps passé par le tuteur pour suivre et analyser l'activité de chaque apprenant, temps qui peut vite devenir rédhibitoire. Une voie qui semble particulièrement prometteuse pour résoudre ce problème, est l'exploitation des traces d'interaction laissées par les utilisateurs au sein de l'EIAH et l'élaboration d'indicateurs qui peuvent aider le tuteur dans le suivi des activités des apprenants.

Plusieurs travaux de recherche se sont focalisés sur l'analyse des données d'interaction et l'élaboration d'indicateurs de nature cognitive, sociale et affective [1]. En analysant les différents indicateurs rapportés dans la littérature nous avons remarqué que la définition de certains indicateurs nécessite des compétences spécifiques telles que la didactique du domaine d'apprentissage, la sociologie et l'analyse des réseaux sociaux etc. D'où l'idée de la réutilisation des indicateurs que nous exposons dans ce travail. Ainsi nous nous sommes proposés de développer le système SYSAT (SYstème pour le Soutien des Apprenants et des Tuteurs) dont le but est de regrouper les indicateurs d'analyse des interactions et du contenu qui ont été développés dans des environnements différents et en même temps mettre en place une architecture ouverte qui pourra supporter l'intégration de nouveaux indicateurs.

Après une présentation de l'état de l'art sur l'utilisation des indicateurs dans le suivi des apprenants dans un contexte de formation en ligne, nous présenterons notre système SYSAT, nous définirons l'architecture interne du système, les agents qui le forment ainsi que les indicateurs qui sont calculés par ces agents.

Nous terminerons par deux exemples d'utilisation du système proposé pour analyser les données d'interactions issues de la plate forme Moodle lors de deux expérimentations menées avec des étudiants de l'université Ibn Tofail. La conclusion situe le travail en cours et évoque les perspectives de recherche.
## 2. Les indicateurs au sein des systèmes d’analyse automatique des interactions

L’Analyse Automatique des Interactions (AAI) est une direction de recherche qui a émergé ces dernières années, elle a comme but d’aider directement ou indirectement les acteurs (les apprenants, les tuteurs, les chercheurs..) des environnements informatiques pour l’apprentissage humain. Le processus d’AAI consiste à capter, filtrer et traiter les données de l’EIAH afin de produire des indicateurs d’analyse de l’action, de l’interaction et de l’activité elle-même [4].

Plusieurs systèmes d’AAI ont été développés, citons par exemple l’outil I-Bee [5], qui s’adresse aux élèves qui discutent de façon asynchrone via un forum. I-Bee produit comme résultat d’analyse, une visualisation (un diagramme de correspondances multiples), incorporant trois indicateurs d’analyse, la popularité de chaque sujet de discussion, le degré d’activité de chaque participant, le sujet principal de discussion de chaque participant, visualisé par des métaphores. De même, Analytic Tool est un ensemble d’outils spécifiques AAI, reliés à l’environnement de collaboration asynchrone ‘Knowledge Forum’ [6], qui offrent aux enseignants des ensembles d’indicateurs (relatifs à l’évolution du vocabulaire, ou une visualisation du champ sémantique des thèmes élaborés par les élèves,...). L’outil d’AAI ‘DIAS’ [7] offre un grand nombre d’indicateurs, afin d’assister les étudiants participant à un forum, ainsi que les modérateurs, les administrateurs du forum ou même les chercheurs participants, qui peuvent être préétablis ou qui peuvent émerger pendant l’activité [4].

La diversité et la pertinence des indicateurs retournés par ces systèmes d’AAI fait émerger la question de leur réutilisation dans des contextes et environnements différents. En effet tous ces systèmes d’AAI sont soit des composantes intégrées (faisant partie de l’EIAH) ou des composantes reliées mais spécifiques à un EIAH en particulier (Analytic Tool relié au système ‘Knowledge Forum’) ou bien des composantes indépendantes mais qui analysent uniquement les données relatives à un seul outil de communication (DIAS analyse uniquement des interactions du forum). Cette problématique de réutilisation nous a mené à proposer un système d’AAI qui regroupe les indicateurs d’analyse des interactions rapportés dans la littérature au sein d’un système générique adaptable que nous pourrons greffer aux EIAH existants. Ce système doit respecter une architecture ouverte qui pourra supporter l’intégration de nouveaux indicateurs.
3. SYSAT :

Le système SYSAT (SYstème pour le Soutien des Apprenants et des Tuteurs) que nous proposons est un système qui a pour objectif principal l’analyse des interactions en vue d’assister le tuteur dans le suivi des apprenants et des groupes. L’évaluation des interactions par le tuteur repose sur les résultats fournis par les indicateurs d’analyse automatique des interactions. A l’origine ces indicateurs ont été développés dans des environnements différents. Par ailleurs, le système propose une architecture ouverte qui permet l’adaptation des types d’indicateurs à l’environnement d’apprentissage. Pour permettre la réalisation de ces objectifs, nous avons opté pour une architecture multi-agents.

L’orientation vers une architecture multi-agents a été motivée par plusieurs aspects. En effet, dans un tel système, il est possible d’ajouter de nouveaux agents ou de modifier le comportement des agents sans toucher à la structure générale. Dans un contexte de recherche, cette possibilité d’évolution est un atout considérable car elle permet une approche itérative et incrémentale de développement [8].

L’approche multi-agents permet d’envisager d’avoir des agents répartis dans l’environnement tout en ayant la possibilité de les faire communiquer entre eux. Dès lors, l’adoption d’une architecture multi-agents nous est apparue comme la solution adéquate pour le développement de notre système d’analyse des interactions.

Ainsi, nous proposons une architecture à quatre niveaux. Chaque niveau intègre un ou plusieurs agents (Figure 1). Les agents communiquent et collaborent entre eux afin de réaliser les taches qui leurs sont confiées.

- Niveau collection des données :

Dans ce niveau se trouvent des agents spécialisés dans la collecte des données. Nous avons placé dans ce niveau un seul agent, c'est l'agent constructeur de la base de données. Son rôle consiste à collecter les données d'interactions de l'EIAH et l'injection de ces données dans la base de données de SYSAT suivant un modèle bien défini.

Le caractère générique de SYSAT impose un choix de données communes à la majorité des EIAH. Ainsi les données extraites par SYSAT pour le calcul des indicateurs sont celles relatives à l'identification de l'apprenant (identifiant, nom, prénom, adresse mail...), son cursus (cours auxquels il est inscrit), ses collaborations (groupes auxquels il est affecté), ses échanges (mail, forum, chat...).

- Niveau exécution des requêtes :

Dans ce niveau se trouvent des agents spécialisés dans l'exécution des requêtes envoyées par les agents du niveau supérieur. Nous avons défini dans ce niveau quatre agents : l'agent forum, l'agent mail, l'agent connexion, et l'agent ressources. Ces agents
exécutent les requêtes relatives respectivement aux forum, mail, connexion et ressources.

- Niveau analyse :

Dans ce niveau se trouvent des agents spécialisés dans le calcul d'indicateurs. Ce niveau est constitué de cinq agents d'analyse :

Un agent responsable du processus de l'activité et un autre responsable du contenu de l'activité : ces deux agents calculent des indicateurs de nature cognitive à partir des données envoyées par les agents du niveau exécution des requêtes.

Les agents Awarness, collaboration et état des relations entre apprenants : ces agents calculent des indicateurs de nature sociale.

- Niveau interface

Nous avons placé dans ce niveau un seul agent c'est l'agent tuteur qui assure la communication entre l'utilisateur et la machine via une interface graphique simple et conviviale. Il constitue le point d'accès au système

<figure><img src="image_1.png" /><figcaption>**Figure 1.** Architecture du système SYSAT</figcaption></figure>
# 4. Les indicateurs calculés par SYSAT

En se basant sur les travaux réalisés par [1] nous avons défini 5 catégories d'indicateurs répartis en deux classes : Indicateurs de nature cognitive et indicateurs de nature sociale.

## 4.1. Indicateurs de nature cognitive :

Les indicateurs cognitifs indiquent des informations sur les opérations cognitives de l'individu ou du groupe relatives à l'acquisition des connaissances lors des activités d'apprentissage. Ces indicateurs concernent les interactions des participants liées à la tâche et au contenu de l'activité. Ainsi, nous avons défini deux catégories d'indicateurs de nature cognitive :

### 4.1.1. Indicateurs relatifs au processus de l'activité :

Dans cette catégorie nous avons implémenté l'indicateur « Profondeur de Discussion » [9] qui affiche sous forme de graphe les messages relatifs à une discussion dans le forum en fonction du temps. Le graphe est sous forme d'arbre ; où les nœuds présentent les messages étiquetés par l'identifiant de l'apprenant expéditeur, et les flèches relient chaque message au message source. Cet indicateur permet d'avoir une traçabilité de la progression dans un forum en fonction du temps.

### 4.1.2. Indicateurs relatifs au contenu de l'activité

Dans cette catégorie nous avons choisi d'implémenter 3 indicateurs : « Productivité des apprenants dans le mail », « Productivité des apprenants dans le forum » et « Productivité des groupes ». Ces indicateurs sont calculés à partir des données recueillies dans les espaces forum et mail en se basant sur le nombre de documents déposés par chaque apprenant.

## 4.2. Indicateurs de nature sociale :

Ces indicateurs se réfèrent aux modes ou à la qualité de communication et de collaboration au sein d'un groupe. Parmi les indicateurs ayant une valeur d'interprétation relativement élevée, on peut noter ceux qui favorisent la prise de conscience de l'espace du travail, ceux qui rendent compte de la qualité de la collaboration au cours de la discussion et ceux qui fournissent un état des relations établies entre les participants.
### 4.2.1. Indicateurs relatifs à la prise de conscience de l'espace du travail :

Même en absence d'actions synchronisées et concertées, il est possible, à postériori, d'avoir conscience de l'activité des uns et des autres au sein des espaces communs de travail. Les indicateurs calculés ici concernent les actions et les contributions des apprenants dans l'espace de travail du groupe, et sont basés sur des indicateurs simples comme : l'indicateur « degré de présence des apprenants » qui calcule le nombre de connexions des apprenants par période. De même l'indicateur « degré de présence des groupes » calcule le nombre de connexions des apprenants appartenant à un groupe. Ainsi, le tuteur est en mesure d'identifier très simplement les groupes qui sont présents dans la plate forme et ceux dont les membres ne se connectent pas ou peu.

### 4.2.2. Indicateurs relatifs à la qualité de la collaboration

Ce type d'indicateurs rend compte de la qualité de la collaboration au cours d'une séquence. Nous distinguons deux indicateurs de ce type : l'indicateur « degré d'interactivité » des apprenants dans le mail et l'indicateur « degré d'interactivité des apprenants dans le forum » qui calculent respectivement le nombre de messages échangés dans chaque groupe par période dans le mail et le forum.

### 4.2.3. Indicateurs de l'état des relations entre apprenants

Les diagrammes d'analyse de réseaux sociaux représentent l'état des relations au sein d'un groupe. Ainsi, nous avons implémenté l'indicateur « degré de centralité des acteurs » qui présente sous forme de graphe les échanges par mail entre les membres d'un groupe. Chaque apprenant est représenté par un cercle dans le socio-diagramme, avec son nom ou le code correspondant. Cet indicateur permet de repérer les membres isolés, ainsi que ceux qui dominent les interactions [10].

Concernant le choix des indicateurs intégrés à notre système, nous avons adopté une démarche incrémental ; nous avons commencé par intégrer une dizaine d'indicateurs afin de tester l'architecture de notre système, et selon le besoin nous pourrons intégrer d'autres indicateurs que les acteurs (tuteur, modérateur, pédagogue, apprenant...) jugeront pertinents.

La figure 2 présente le diagramme hiérarchisé des objectifs de notre système ainsi que les indicateurs intégrés [11].
<figure><img src="image_2.png" /><figcaption>Figure 2. Diagramme hiérarchisé des objectifs de SYSAT</figcaption></figure>

## 5. Mise en place de SYSAT

Pour le développement et la spécification de SYSAT nous avons retenu la méthodologie MaSE (Multiagent System Engineering), elle appartient à la catégorie des méthodologies qui s'inspirent des méthodes de spécification et de développement des systèmes à base d'objets. MaSE s'appuie sur AgentTool, un environnement qui permet de déployer la méthodologie et de procéder à un certain nombre de vérifications.

Concernant l'aspect technologique, notre choix s'est porté sur la plate-forme Jade [20] pour plusieurs raisons : c'est une plate-forme technologique récente pour le développement des Systèmes Multi-Agents (SMA), open source, bien documentée, mise à jour périodiquement, et enfin adhère à des standards internationaux, de type FIPA (Foundation for Intelligent Physical Agents).

La norme FIPA spécifie aussi le langage de communication d'agents (Agent Communication Language – ACL). La communication des agents est basée sur l'envoi de messages. Le langage FIPA ACL est le langage standard des messages et impose le codage, la sémantique et la pragmatique des messages.

Nous avons défini plusieurs cas d'utilisation, suivant les taches que le système est amené à accomplir. Nous présentons ci-dessous (Figure 3) un exemple de diagramme de séquence relatif au cas d'utilisation de l'indicateur « profondeur de discussion ».
<figure><img src="image_3.png" /><figcaption>**Figure 3.** Diagramme de séquence fournissant l'indicateur profondeur de discussion</figcaption></figure>

Ce cas d'utilisation décrit le processus exécuté par le système lors de la sollicitation d'informations concernant la profondeur de discussion [9]. La demande, initiée par l'agent du tuteur, est adressée à l'agent processus de l'activité. Ce dernier lance une nouvelle requête adressée à l'agent forum qui accède à la base des interactions et retourne la liste des discussions relatives à chaque sujet de discussion posté dans le forum ; par groupe et par période. Le résultat est retourné à l'agent processus de l'activité qui procède à la présentation graphique de l'indicateur sous forme d'arbre.

## 6. Une première expérimentation

Avant de mettre en place une nouvelle expérience, nous avons commencé par analyser les données recueillies lors d'une expérience antérieure, menée dans le cadre du master « Langue française et diversité linguistique » de l'université Ibn Tofail. L'objectif de cette expérimentation était double ; d'une part nous voulions valider notre système d'un point de vue technique, fonctionnel et ergonomique et d'autre part nous souhaitions comparer la perception que le tuteur avait des états des apprenants et des groupes par rapport aux indicateurs retournés par SYSAT.

Les 26 apprenants inscrits dans cette formation ont été répartis en groupes de 3 à 4 personnes. Au début du cours, les étudiants ont assisté à une séance d'initiation à l'utilisation de la plate forme utilisée (Moodle) [21] accompagnée d'une présentation du scénario adopté. Ensuite Ils ont suivi un cours de variation lexicale structuré en
thématiques pendant 4 semaines entièrement à distance. A la fin de chaque thématique, les apprenants devaient réaliser des activités collaboratives, soumises ensuite à évaluation.

Nous avons mis à la disposition des deux tuteurs de la formation notre système SYSAT afin d'analyser les données d'interaction. Nous avons ensuite réalisé des entretiens avec les tuteurs pour évaluer leur appréciation des indicateurs retournés par le système ainsi que leurs éventuelles recommandations d'amélioration et/ou d'adaptation.

Par rapport à l'aspect ergonomique et fonctionnel, les tuteurs ont apprécié la qualité du design de SYSAT et l'ont jugé simple d'utilisation et facile à prendre en main. La visualisation des interactions par le biais des graphiques a permis aux tuteurs d'avoir une vue globale sur le comportement des apprenants et des groupes.

Concernant les analyses des interactions, les tuteurs ont déclaré que les résultats retournés par les indicateurs viennent conforter leurs observations de l'expérience. En effet, l'indicateur « degré de centralité des acteurs », qui présente sous forme de graphe les échanges par mail entre les membres du groupe, a permis au tuteur de valider sa perception de leaders dans chaque groupe. Les apprenants que le tuteur considérait comme leaders de groupe étaient en effet, ceux qui dominaient les interactions et qui prenaient des initiatives (l'étudiant AHMED BEKKAL du groupe 1, Figure 4.a). Cet indicateur a permis aussi au tuteur d'expliquer les résultats de certains groupes, c'est le cas du groupe 6 ; l'indicateur montre l'apparition de sous groupes au sein du même groupe, chose que le tuteur avait perçue à travers l'évaluation des productions de l'équipe (Figure 4.b).

<figure><img src="image_4.png" /><figcaption>**Figure 4.a.** L'indicateur « degré de centralité des acteurs » du groupe 1</figcaption></figure>

<figure><img src="image_5.png" /><figcaption>**Figure 4.b.** L'indicateur « degré de centralité des acteurs » du groupe 6</figcaption></figure>
L'indicateur « degré d'interactivité des groupes » (Figure 5) a permis au tuteur de mieux apprécier les productions des groupes. En effet, les résultats de l'évaluation des productions vont dans le sens des valeurs retournées par l'indicateur degré d'interactivité des groupes : les groupes qui ont le mieux réussi leurs travaux sont ceux qui présentent les degrés d'interactivité les plus élevés. Résultat que nous interprétons comme étant le signe d'une bonne coordination dans le groupe et de niveau d'échange et de concertation élevés [12], critères nécessaires à la réussite de tout travail collaboratif.

<figure><img src="image_6.png" /><figcaption>Figure 5. L'indicateur degré d'interactivité des groupes</figcaption></figure>

Les tuteurs, tout en appréciant l'apport des indicateurs «degré de présence des apprenants dans le mail» et «degré de présence des apprenants dans le forum» qui renseignent sur la richesse des échanges, ont exprimé leur frustration quand à l'absence d'informations sur la nature de ces échanges (messages de nature organisationnelle, affective, sociale...). Les tuteurs estiment que disposer de telles informations durant la formation, aurait certainement amélioré leur perception de l'organisation et des interactions dans les groupes et par conséquent améliorer la fiabilité de leurs interventions auprès des apprenants.

Pour répondre aux besoins exprimés par les tuteurs et avec l'absence d'un outil de traitement automatique du langage naturel nous avons pensé à structurer le forum et la messagerie par catégories [8].
7. Semi structuration du forum et de la messagerie

Une discussion dans le forum ou par mail peut être considérée comme une succession d'échanges composés d'interventions et constituées elles-mêmes d'actes de langage dont l'un est l'acte directeur. Si l'on cherche à analyser automatiquement une conversation, il est alors important de repérer ces actes de langage directeurs. Deux solutions s'offrent alors à nous. La première consiste à analyser le contenu des interventions pour tenter de déterminer ces actes. C'est le domaine du traitement automatique du langage naturel (TALN). Malgré les progrès effectués dans ce domaine, les résultats ne sont pas toujours très fiables. Les systèmes les plus performants sont ceux qui analysent des conversations faites dans un contexte très précis et très limité. La deuxième solution pour déterminer l'acte de langage directeur dans une intervention est de le demander à l'utilisateur: si le système ne sait reconnaître l'information nécessaire pour son analyse alors il faut la demander à l'utilisateur. Une solution consiste alors à utiliser une interface semi-structurée pour demander un acte de langage à l'utilisateur avant que celui-ci ne saisisse le contenu de son message de manière libre (d'où le terme de semi-structuration). Le premier système à avoir utilisé ce principe pour obtenir des informations à propos des actes de langage est the Coordinator [8].

Le choix de la structuration des messages par catégories peut être justifié par les raisons suivantes :

- le fait de typer un message amène l'utilisateur à se demander ce qu'il veut dire et a donc une valeur éducative [13], [14] ;

- une interface structurée encourage les utilisateurs à se centrer davantage sur la tâche [15], [16] ;

- la structuration des messages permet de concevoir des systèmes d'analyse automatique de discussions [17].

Notre approche se base sur l'idée que plus la structuration est fine, plus les échanges seront morcelés et inversement aucune structuration, rendra un outil difficilement exploitable.

En se basant sur les propositions des tuteurs et sur la littérature relative au sujet [8], nous avons défini quatre catégories pour la structuration des échanges par mail : « Salutations » afin d'inciter les apprenants à faire connaissance avant d'entamer le travail collaboratif, « Dépôt de document » pour informer les membres du groupe du dépôt d'un document dans leur espace, « Rendez-vous » pour proposer une séance de chat ou convenir des échéances pour la réalisation d'une tache et « Relance » afin d'envoyer un message de rappel aux membres du groupe par rapport à une échéance convenue. De même nous avons défini cinq catégories pour la structuration des échanges dans le forum ; réparties en deux classes : les messages initiatifs « Question »
et « Proposition » et les messages réactifs : « Commentaire », « Réponse » et «Clarification ».

Le choix de cette structuration est un compromis entre une granularité suffisante pour permettre de structurer les échanges entre apprenants, et une simplicité d'utilisation afin que les données soient facilement exploitables par l'utilisateur.

La figure 6 représente la structuration des messages par catégories que nous avons adoptée.

<figure><img src="image_7.png" /><figcaption>**Figure 6. Les catégories de messages**</figcaption></figure>

Notre expérimentation a été menée sur la plate forme Moodle, qui intègre un outil de messagerie basic. Nous y avons greffé le module Internal Mail qui met à la disposition des utilisateurs une messagerie interne performante (Figure 7). Nous avons adapté ce module à nos besoins de structuration en y ajoutant un champ « Sujet » où l'apprenant devra choisir la catégorie de son message dans la liste que nous avons prédéfini (Salutation, Dépôt de document, Rendez-vous, Relance). Nous avons également adapté l'outil forum de Moodle en y ajoutant un champ « catégories » selon la structuration indiquée plus tôt.
<figure><img src="image_8.png" /><figcaption>**Figure 7.** Une vue de la messagerie interne</figcaption></figure>

Afin d'analyser les données recueillies par ces deux outils semi structurés nous avons intégré à notre système deux indicateurs de nature sociale : l'indicateur « comportement des apprenants dans le mail » et l'indicateur « comportement des apprenants dans le forum ». L'aspect modulaire qu'offre la technologie multi-agents nous a permis d'implémenter ces deux indicateurs tout en maintenant le système opérationnel, ceci en modifiant uniquement le comportement de l'agent « état des relations entre apprenants ».

L'indicateur « comportement des apprenants dans le forum » est déterminé à partir du nombre de messages postés dans les forums relatifs à chaque catégorie (question, clarification, argumentation...). Cette information permettra au système d'identifier la catégorie la plus utilisée par chaque apprenant ce qui renseigne le tuteur sur le profil du comportement de l'apprenant. Cet indicateur a déjà été calculé à l'intérieur de l'environnement FLE2 [18]. De même pour l'indicateur comportement des apprenants dans le mail.

## 8. Une deuxième expérimentation

Dans cette nouvelle expérimentation nous avons testé le système SYSAT en situation réelle afin d'évaluer l'apport des indicateurs calculés par SYSAT dans l'amélioration de la perception qu'ont les tuteurs des états des apprenants et des groupes et de mesurer l'impact du système sur la qualité du tutorat.
## 8.1. Contexte général d'expérimentation

Cette expérimentation entre dans le cadre de partenariats entre le réseau de Masters Spécialisés Qualité du Logiciel des universités marocaines : Ibn Tofail (UIT) de Kénitra, Mohammed V (UM5) de Rabat et Hassan II (UH2) de Mohammédia avec les universités de Brest (Master Ingénierie du Logiciel par Immersion) et d'Angers (Master QUASSI de l'ISTIA). Ce programme d'échange est soutenu par les gouvernements Français et Marocains et repose sur la mise en place de réseaux de filières dans les deux pays à des fins d'échange, de collaboration et de mutualisation.

Ainsi, pour l'année 2009, le cours spécialisé Qualité et Sûreté de Fonctionnement Logiciel était l'occasion d'impliquer les étudiants marocains et français à travers des projets communs, en relation avec la thématique, à réaliser à distance via la plateforme d'enseignement à distance de l'Université Ibn Tofail. A travers cette initiative, nous visions à atteindre les objectifs suivants :

* Remédier aux contraintes rencontrées lors des 2 premiers cours spécialisés à savoir la Visio conférence pour le premier et le déplacement quotidien des étudiants vers le site d'accueil du cours pour le second.

* Préparer le présentiel prévu entre le 27 Février et le 05 Mars 2009 en permettant aux étudiants d'acquérir les notions nécessaires pour suivre dans de meilleures conditions les séminaires spécialisés. Le présentiel étant alors réservé à exposer les projets réalisés et à débattre de questions profondes avec les invités.

* Mettre en place une synergie d'échange et de collaboration entre les étudiants des universités marocaines et françaises.

## 8.2. Structuration du projet

Nous proposons de structurer chaque projet en plusieurs étapes, chacune d'elles comportant une phase de travail asynchrone puis une phase synchrone [19].

Etape 1 : Analyser le cahier des charges pour déterminer les taches à réaliser et les délais de réalisation.

Etape 2 : Chaque membre de l'équipe effectue une tâche particulière et rédige un document individuel. Les documents individuels permettent au chef de projet de vérifier l'état d'avancement de la tâche à réaliser et constituent pour les apprenants un moyen de rendre compte de leur travail aux autres membres de l'équipe. Cette étape est réalisée en mode asynchrone à travers les forums dédiés.

Etape 3 : les membres de l'équipe consultent les productions des coéquipiers et apportent leurs remarques et suggestions par rapport aux recherches et lectures qu'ils auront effectuées. Les apprenants doivent ensuite discuter, en mode synchrone de
préférence, pour aboutir à un consensus et rédiger de manière collaborative un document d'équipe définissant les sous-projets sur lesquels ils se sont mis d'accord.

Etape 4 : le chef de projet valide la production de l'équipe à sa charge, en se basant sur les recommandations du cahier des charges.

Finalement les projets seront soutenus et défendus durant la semaine de présentiel au Maroc.

## 8.3. Organisation humaine dans le projet

Les 50 apprenants engagés dans cette expérience ont été répartis en équipes de six membres, cinq étudiants du réseau des masters «Qualité du logiciel» et un étudiant du master QUASSI. Les étudiants ont été suivis par deux tuteurs qui ont joué le rôle de chef de projet. Les projets ont été définis en fonction du cahier des charges fourni par le chef de projet. L'expérimentation s'est déroulée sur une période de quatre semaines (du 25 Janvier au 22 Février 2009).

Concernant le suivi des apprenants, chaque tuteur a assuré le suivi de cinq groupes. Nous avons mis à la disposition des tuteurs notre système SYSAT mais son utilisation était restreinte à uniquement deux groupes par tuteur, afin de pouvoir évaluer l'impact de l'utilisation de SYSAT sur la qualité du tutorat.

## 8.4. Les outils mis à la disposition des apprenants :

Le projet a été mené sur la plate-forme Moodle de l'université Ibn Tofail. Les apprenants avaient à leur disposition :

* Une description détaillée du cahier des charges de chaque projet. (Le contexte et les enjeux du projet, le public visé, les objectifs généraux, les bénéfices attendus, les contraintes à prendre en compte, les conditions de réussite, la description technique, les ressources nécessaires, le délai de réalisation ...)

* Des ressources mises en ligne sur la plate-forme Moodle (cours, articles, liens Internet, etc...)

* Un forum structuré par catégories où les apprenants peuvent discuter des différentes tâches.

* Un espace de conversation synchrone (chat) pour chaque équipe.

* Un serveur de messagerie intégré (Internal mail) structuré par catégorie qui sera dédié à l'organisation du travail.
## 8.5. Recueil de données

Afin de recueillir les impressions des tuteurs sur l'utilisation de SYSAT (Ergonomie, Design, facilité d'utilisation...) nous avons réalisé des entretiens directs avec ces derniers. Le choix de cette approche de recueil de données est justifié d'une part, par le fait que nous préférons mettre en avant dans notre analyse les réponses ouvertes donnant des informations plus précises et plus riches que les réponses aux questionnaires, et d'autre part, par le nombre limité de personnes interviewées (deux) rendant une telle technique facilement réalisable.

La première partie de l'entretien a porté sur les informations relatives à l'utilisation de SYSAT. La deuxième partie est consacrée à l'évaluation de l'apport du système dans l'assistance et le suivi des apprenants ; la troisième étant consacrée aux recommandations d'amélioration.

En vue de compléter notre recueil de données, nous avons soumis, parallèlement aux entretiens, un questionnaire destiné aux apprenants afin de recueillir leurs impressions sur le déroulement de l'expérimentation, l'utilisation des outils mail et forum semi structurés et leur évaluation de la qualité du tutorat.

## 8.6. Résultats

Les entretiens révèlent que les tuteurs ont apprécié les indicateurs retournés par le système en particulier les indicateurs de nature sociale qui leur ont permis de repérer aisément les apprenants isolés dans un groupe auprès desquels ils ont pu agir rapidement. L'indicateur « degré de centralité des acteurs » (Figure 8), a permis aux tuteurs d'avoir une vue sur la fréquence des échanges par mail entre les membres de chaque groupe, et de suivre l'évolution des échanges par période, contrairement à la première version de SYSAT qui calculait le nombre total de messages échangés. Cette vue permet d'identifier le rôle joué par les apprenants dans leur groupe, de repérer les apprenants entreprenants et ceux entrainés qui ne font que réagir aux actions des autres.
<figure><img src="image_9.png" /><figcaption>**Figure 8.** l'indicateur « degré de centralité des acteurs »</figcaption></figure>

Une comparaison entre les indicateurs « degré d'interactivité des groupes dans le mail » et « degré d'interactivité des groupes dans le forum » révèlent que 40% des échanges entre apprenants ont été effectués par mail, ce qui traduit l'importance accordée par les apprenants à l'aspect organisationnel dans la réalisation d'un travail collaboratif. Ce résultat constitue un acquis par rapport aux objectifs initiaux de l'expérience.

L'indicateur comportement des apprenants dans le mail qui présente, sous forme de courbe, l'évolution du nombre de messages relatifs à chaque catégorie (Figure 9), a révélé que durant la première semaine de la formation, les apprenants ont échangé des messages de salutations, dans le but de se connaitre ; ainsi, la première semaine était surtout l'occasion pour eux de faire connaissance. Durant la deuxième semaine, la catégorie de messages la plus utilisée était « Rendez-vous » suivi de la catégorie « Relance » ; cette semaine était dédié à l'organisation et à la répartition des tâches entre les membres de chaque groupe. Durant la troisième semaine le leader de groupe a envoyé plusieurs messages de relance vu que quelques membres n'étaient pas très impliqués dans le travail du groupe, durant cette semaine les apprenants ont échangé aussi des messages de type « Rendez-vous » pour définir la date de remise du rapport final. La dernière semaine a été marquée par l'envoi de messages de type « Dépôt ». Les tuteurs ont jugé cet indicateur très utile dans la mesure où il leur a permis de se faire une idée assez claire et synthétique des différents aspects organisationnels des groupes.
<figure><img src="image_10.png" /><figcaption>**Figure 9.** Evolution des catégories de messages du groupe 1</figcaption></figure>

Le tuteur a signalé que l'indicateur Profondeur de discussion (Figures 12 et 13), qui affiche l'arbre de discussion des forums de chaque groupe en fonction de la catégorie du message envoyé et de l'identifiant de l'apprenant qui l'a posté sur une période donnée, lui a permis d'identifier les groupes où il y a eu des débats dans le forum et ceux où il n'y a pas eu d'interactions ce qui a nécessité son intervention pour initier les interactions. L'affichage de l'arbre de discussion en fonction des catégories a permis au tuteur d'identifier les enchaînements de catégories (proposition → réponse → question → clarification → commentaire) et d'évaluer par conséquence la qualité d'une discussion dans le forum.
<figure><img src="image_11.png" /><figcaption>**Figure 12.** l'indicateur profondeur de discussion durant la première semaine de la formation</figcaption></figure>

<figure><img src="image_12.png" /><figcaption>**Figure 13.** l'indicateur profondeur de discussion après intervention du tuteur</figcaption></figure>

Dans la troisième partie consacrée aux recommandations d'amélioration, les tuteurs ont proposé d'adapter SYSAT pour le proposer aux apprenants afin de les aider à prendre conscience de leur position dans le groupe, de comprendre leur processus d'apprentissage et de s'autoréguler. Les tuteurs ont aussi exprimé le besoin de rajouter deux catégories (« Accord » et « Désaccord ») à la structuration du forum initialement proposée, afin de permettre aux apprenants d'évaluer une proposition donnée ou de clôturer une discussion.

L'analyse des questionnaires retournés par les apprenants a montré que ces derniers ont apprécié la structuration par catégories proposée pour le forum et le mail. De même, et contrairement à nos appréhensions, l'enquête n'a fait ressortir aucun caractère contraignant quand à l'usage de cette structuration. Bien au contraire, certains ont même estimé que cette structuration favorise l'organisation des échanges. Concernant la qualité du tutorat, trois groupes parmi les quatre suivis par SYSAT ont jugé le tutorat comme étant de bonne qualité et que les interventions du tuteur ont affecté positivement le travail du groupe. Tandis que 5 groupes parmi les six non assistés par SYSAT ont jugé le tutorat de qualité moyenne.
L'évaluation de cette expérience a montré que les tuteurs, en utilisant SYSAT pendant la formation, sur la base d'informations quantitatives, arrivent à dériver une information qualitative sur les états des apprenants et des groupes, et ainsi à estimer le besoin d'intervenir et de choisir les moments les plus appropriés pour le faire.

## 9. Conclusion

Nous avons présenté dans cet article notre système SYSAT, dont l'objectif est de regrouper les indicateurs d'analyse des interactions qui ont été développés dans des environnements différents et en même temps mettre en place une architecture qui pourra supporter l'intégration de nouveaux indicateurs. Afin de tester l'utilisablité de SYSAT, nous avons commencé par analyser les données recueillies lors d'une expérience antérieure menée dans le cadre du master Langue française et diversité linguistique. Cette expérimentation nous a permis de valider l'environnement SYSAT d'un point de vue fonctionnel et ergonomique, et d'affiner les choix que nous avons adoptés. Ensuite nous avons mené une deuxième expérimentation avec des étudiants du master qualité du logiciel au Maroc et du master QUASSI en France. Cette expérimentation nous a permis d'évaluer l'apport des différents indicateurs intégrés à notre système en montrant qu'il peut effectivement assister le tuteur dans le suivi des apprenants. Cependant, l'expérimentation a également montré des limites techniques du système auxquelles nous souhaitons répondre. Actuellement SYSAT répond uniquement aux besoins du tuteur. Ainsi, une première extension de ce travail consisterait à adapter notre système pour le proposer aux apprenants afin de les aider à prendre conscience de leur position dans le groupe, de comprendre leur processus d'apprentissage et de s'autoréguler.

Notre système d'analyse des interactions intègre pour le moment des indicateurs que nous pouvons qualifier de premier niveau, ils retournent des valeurs brutes. C'est au tuteur d'estimer lui même si la valeur fournie correspond à une situation ou à un comportement adéquat, en comparant éventuellement cette valeur à des normes implicites selon sa connaissance du contexte [1]. L'une des perspectives de ce travail concerne l'intégration d'indicateurs plus élaborés qui permettent d'offrir une assistance pour l'estimation ou, mieux encore, pour l'évaluation.

## 10. Bibliographie

[1] Dimitracopoulou, A., Bruillard, E. (2007). Enrichir les interfaces de forums par la visualisation d'analyses automatiques des interactions et du contenu. *Revue STICEF*. Volume 13, 2006, ISSN : 1764-7223.
[2] France, L., Heraud, J., Marty, J. (2007). Visualisation et régulation de l'activité des apprenants dans un EIAH tracé. *Environnements Informatiques pour l'Apprentissage Humain*, Lausanne 2007.

[3] Delium, C. (2003). OSCAR, un environnement de communication médiatisée structurée par les actes de langages. *Actes de la conférence EIAH 2003*. Strasbourg, (15 16 avril), 127-138.

[4] Dimitracopoulou, A. (2008). Analyse Automatique des Interactions pour le soutien à l'auto-régulation des participants dans des activités médiées, *Road In Eds*. A. Mille et J.-C. Marty, Observer Pour Personnaliser les Environnements Informatiques pour l'Apprentissage Humain, Editions Hermes.

[5] Michozuki, T., Kato, H., Hisamatsu, S., Yaehashi K., Fuzitani S., Nagata T., Nakahara J., Nishomori T., Suzuki M. (2005). Promotion of Self-Assessment for Learners in Online Discussion Using the Visualization Software. Computer Support for Collaborative Learning *Proceedings of the 2005 conference on Computer support for collaborative learning*: learning 2005: the next 10 years! Taipei, Taiwan Pages: 440 – 449, ISBN:0-8058-5782-6.

[6] Teplovs, C., Scardmalia, M. (2007). Visualizations for Knowledge Building Assessment. *CSCL 2007*.

[7] Bratitsis, T., Dimitracopoulou, A. (2006). Indicators for measuring quality in asynchronous discussion forums. International Conference on Cognition and Exploratory Learning in Digital Era (CELDA2006). *IADIS (International Association for Development of the Information Society)* 8-10 December, 2006, Barcelona, Spain.

[8] George, S. (2003). Analyse automatique de conversations textuelles synchrones d'apprenants pour la détermination de comportements sociaux. *Revue STICEF*, Volume 10, 2003, ISSN: 1764-7223, mis en ligne le 15-11-2003.

[9] Gerosa, M.A., Pimentel, M., Fuks, H. & Lucena, C.J.P. (2005). No Need to Read Messages Right Now: Helping Mediators to Steer Educational Forums Using Statistical and Visual Information. *Proceedings of the Computer Supported Collaborative Learning Conference – CSCL 2005*, 01-04 June, Taipei, Taiwan, ISBN 0-8058-5782-6, pp. 160-169.

[10] MARTÍNEZ A., DIMITRIADIS Y., RUBIA B., GÓMEZ E., & DE LA FUENTE P. (2003b), Combining qualitative and social network analysis for the study of social aspects of collaborative learning, *Computers and Education*, 41(4), p. 353-368.

[11] Oumaira, I., Messoussi, R. (2008), SYSAT : Système pour le soutien des apprenants et des tuteurs engagés dans une activités d'apprentissage en ligne. *Colloque JOCAIR 2008* (Journées Communication et Apprentissage Instrumentées en Réseau), Hermès Sciences, Lavoisier, Amiens, France, pages 277—289, Août 2008.

[12] Serge, K. (2004). Travail collaboratif sur Internet concepts, méthodes et pratiques des plateaux projets, Vuibert, ISBN 2-7117-4828-6

[13] WINOGRAD, T. (1987). A Language/Action Perspective on the Design of Cooperative Work. *Human-Computer Interaction*, Vol. 3 n°1, p. 3-30.
[14] FLORES, F., GRAVES, M., HARTFIELD, B., WINOGRAD, T. (1988). *Computer Systems and the Design of Organizational Interaction*, *ACM Transactions on Office Information Systems*, Vol. 6 n°2, p. 153-172.

[15] BAKER, J., LUND, K. (1997). Promoting reflective interactions in a computer-supported collaborative learning environment. *Journal of Computer Assisted Learning*, vol. 13, p. 175-193.

[16] Jermann, P., Computer Support for Interaction Regulation in Collaborative Problem Solving, PhD Thesis, University of Geneva, (2004).

[17] GEORGE, S., BOTHOREL, C. Conception d'outils de communication spécifiques au contexte éducatif, *Revue STICEF*, Volume 13, 2006, ISSN : 1764-7223, mis en ligne le 23/02/2007, http://sticef.org;

[18] CHEN W. (2004). Supporting teachers' interventions in collaborative knowledge building, *Journal of Network Computer Applications*, Elsevier, Science Direct.

[19] George, S., Leroux, P. (2002). Un environnement pédagogique dédié aux projets collectifs à distance intégrant une assistance aux apprenants et au chef de projet. *Technologies de l'Information et de la Communication dans les Enseignements d'ingénieurs et dans l'industrie*. Villeurbanne : France (2002).

[20] JADE (Java Agent Development Framework) : http://jade.tilab.com/

[21] Moodle : http://moodle.org/