# Evaluation des apprentissages au sein d'un environnement de type MOOC adaptatif

## Assessment of learning within an adaptive MOOC type environment

Soufiane Hamida<fnref n="1" />*, Bouchaib Cherradi<fnref n="1" />,<fnref n="2" />, Abdelhadi Raihani<fnref n="1" /> and Hassan Ouajji<fnref n="1" />

**Résumé.** La problématique de l'évaluation des apprentissages au sein d'un MOOC suscite un grand débat. Ce type d'environnements d'apprentissage offre des cours limités dans le temps, organisés en ligne et ouverts à tous. L'apprentissage au sein des MOOC consiste en l'échange du savoir entre les participants et l'interaction avec les concepteurs (forum, chat, etc.) en se libérant des contraintes de temps et d'espace. En effet, le MOOC est un outil d'apprentissage en ligne et rythmés. L'évaluation des apprentissages au sein des MOOC représente un pilier essentiel pour la favorisation d'un apprentissage rythmé. Cet apprentissage libère les apprenants dans le temps et dans l'espace. Les concepteurs des MOOC ont largement investi sur des modalités d'évaluation automatisées, tels que des modes de la correction automatique (les quiz ou les questionnaires à choix multiples). Pourtant, ces modalités restent très limitées face au développement d'une pensée critique au cours d'une séquence d'apprentissage. Dans ce papier nous allons aborder les techniques et les méthodes d'évaluation qui permettent de mesurer l'atteinte des objectifs d'apprentissage dans un MOOC. Ensuite, nous présentons l'architecture d'un modèle d'apprentissage basé sur les agents susceptibles de fournir une évaluation formative et personnalisé de cours en ligne massifs.

**Abstract.** Learning within MOOCs involves the exchange of knowledge between participants and interaction with designers (forum, chat, etc.), freeing themselves from the constraints of time and space. Indeed, the MOOC is an online and rhythmic learning tool. The evaluation of learning in MOOCs is an essential pillar for promoting rhythmic learning. This learning frees learners in time and space. MOOC designers have largely invested in automated assessment methods, such as automatic correction modes (quizzes or multiple-choice questionnaires). However, these modalities remain very limited in the face of the development of critical thinking during a learning sequence. In this paper, we will present and

<footnote n="1">¹Laboratoire Signaux Systèmes Distribués et Intelligence Artificielle (SSDIA), ENSET Mohammedia, Université Hassan 2 de Casablanca (UH2C), Maroc</footnote>

<footnote n="2">²Equipe STIE, CRM EF-Casablanca-Settat, Section provinciale d'El Jadida, Maroc</footnote>

<footnote>* Corresponding author: hamida.93s@gmail.com</footnote>
discuss the techniques and methods of evaluation that allow measuring the achievement of learning objectives in a MOOC environment. Finlay, we present the architecture of an agent-learning model based that could provide formative and personalized assessment of massive online courses.

# 1 Introduction

Le premier cours ouvert de formation en ligne pour un grand nombre de participants a été lancé il y a environ cinq ans, mais le concept s'est généralisé en 2012 lorsque plusieurs grandes universités ont lancé leurs propres MOOC. Selon Siemens [1], les cours en ligne ouverts, parfois appelés « Massifs» (MOOC) en raison de leur nombre élevé d'inscriptions, offrent un terrain d'entente pour l'enseignement et l'apprentissage entre l'environnement de classe hautement organisé et structuré et le Web ouvert chaotique d'informations fragmentées. Par conséquent, les MOOC ont des caractéristiques - et des défis - qui leurs sont propres, principalement en raison du grand nombre de participants simultanés, certains cours proposés par Coursera† et Udemy‡ dépassant les 100 000 inscrits. Les MOOCs sont des environnements informatiques pour l'apprentissage humain (EIAH) [2]. Ce type d'environnements d'apprentissage offre des cours limités dans le temps, organisés en ligne et ouverts à tous [3]. L'apprentissage au sein des MOOC consiste en l'échange entre les participants et l'interaction avec les concepteurs (forum, chat, etc) en se libérant des contraintes de temps et d'espace. En effet, le MOOC est un outil d'apprentissage en ligne et rythmés, C.-à-d. que l'apprenant peut suivre un cours quand il veut à travers son inscription sur la plateforme. Avec ce principe le MOOC assurera pour chaque apprenant un apprentissage à distance et progressif. Dans la forme la plus simple d'un apprentissage au sein d'un MOOC, l'apprenant s'inscrit sur la plateforme, démarre une session d'apprentissage, acquiert de nouvelles connaissances, réalise des exercices et répond à des quiz. A la fin de la session, l'apprenant est récompensé par l'obtention d'un certificat de réussite. L'évaluation des apprentissages sur ce type des EIAH [4] peut être réalisée par plusieurs techniques ou méthodes notamment la réponse aux quiz et aux exercices. Vu la déperdition au niveau d'une formation proposée, certains MOOCs évaluent parfois la participation et l'assiduité de l'apprenant inscrit plus que la compétence. L'évaluation des apprentissages au sein des MOOCs représente un pilier essentiel pour la favorisation d'un apprentissage rythmé. Cet apprentissage libère les apprenants dans le temps et dans l'espace. Les concepteurs des MOOC ont largement investi dans des modalités d'évaluation automatisées, tels que des modes favorisant la correction automatique (les quiz ou les questionnaires à choix multiples). Pourtant, ces modalités restent très limitées face au développement d'une pensée critique au cours d'une séquence d'apprentissage [5].

La problématique de l'évaluation des apprentissages au sein d'un MOOC ne cesse de susciter le débat autour de plusieurs questions fondamentales : Comment peut-on mesurer les performances et le dégrée d'acquisition des apprentissages durant et à la fin d'une session ? Quelles sont les techniques et les méthodes d'évaluation qui permettent de mesurer l'atteinte des objectifs d'apprentissage dans un MOOC ?

Afin de porter quelques éléments de réponse à ces questions, on se propose alors d'analyser le processus d'apprentissage au sein de quelques MOOC spécimen. Udemy, fondée en 2010, est l'une des plus grandes plateformes de cours en ligne grâce aux 80000 cours qui sont proposés. La grande particularité est que tout le monde peut publier son propre cours pour toucher des milliers d'élèves à travers le monde. L'autre différence avec les autres

<footnote>† https://fr.coursera.org/</footnote>

<footnote>‡ www.udemy.com/</footnote>
plateformes MOOC est qu'il n'y a pas d'abonnement et que les prix des cours sont à l'unité, à l'instar d'un site e-commerce. Udemy est donc une véritable place de marché de cours en ligne avec d'un côté les formateurs et de l'autre les élèves.

Coursera a été fondé en 2012 par deux professeurs d'informatique de Stanford et propose aujourd'hui près de 2700 cours. Grâce à une importante levée de fonds, son développement a été très fulgurant pour devenir la plateforme MOOC leader dans le monde. Sa particularité est d'avoir des partenariats de grande qualité comme University of London, HEC l'Ecole Polytechnique. Autant dire que Coursera mise avant tout sur la qualité. En effet, chaque cours est enseigné par des instructeurs hautement qualifiés dans un format qui peut inclure des vidéos, des devoirs notés, des jeux-questionnaires ou encore des forums de discussion.

<table><caption>**Tableau 1.** Tableau comparatif de quelques caractéristiques des MOOC.</caption><thead><tr><td></td><td><em>Udemy</em></td><td><em>Coursera</em></td></tr></thead><tbody><tr><td>Nombre de cours</td><td>80000</td><td>2700</td></tr><tr><td>Certifications</td><td>Non</td><td>Oui</td></tr><tr><td>Langues</td><td>Anglais et français</td><td>Anglais et français</td></tr><tr><td>Prix</td><td>à l'unité</td><td>à partir de 25€/mois</td></tr></tbody></table>

## 2 Aperçu sur le processus de l'évaluation dans les MOOCs

En se basant sur quelques travaux de recherche menés jusqu'à présent, nous présentons certaines caractéristiques de l'évaluation des MOOC et discutons des principaux défis dans chacun de ces domaines.

Coursera est l'un des leaders du mouvement MOOC, disposait, au 14 janvier 2013, d'au moins 213 cours (ceux terminés et non encore annoncés pour une future session n'étant pas comptés). Ces cours sont offerts par des universités partenaires qui en assurent la création. À la même date, 33 universités sont recensées, dont une grande majorité d'universités américaines et parmi elles de nombreuses universités prestigieuses ; 2 300 422 étudiants apparaissent comme inscrits sur le site de Coursera. Ces MOOCs proposent des cours au profit d'un grand nombre des apprenants sans faire appel aux prérequis. L'apprentissage dans ce cas favorise l'échange des connaissances entre les apprenants grâce au grand public inscrit sur la plateforme. Quand un apprenant pose une question sur le forum rattaché au cours, il ne s'adresse pas uniquement aux enseignants, mais à tous ceux qui dans le monde entier suivent le cours en même temps que lui [6]. Cela crée un environnement d'apprentissage autonome et socio-constructif puisque l'apprenant n'interagit pas uniquement avec l'enseignant mais les apprenants interagissent entre eux aussi. Ils peuvent partager des idées les uns avec les autres, se renseigner sur les modules à suivre, les exercices à faire etc. C'est davantage une logique de construction de connaissances collectives qu'une simple transmission d'informations ou de connaissances [7].

En général, nous distinguons deux grandes catégories de MOOC : une catégorie dite xMOOC que nous qualifierons « Classique » qui consiste à mettre à la disposition des apprenants un cours en ligne. Ce cours est accompagné par des travaux dirigés, travaux pratiques, proposition de ressources en ligne et évaluation. Le xMOOC a pour objectif principal la transmission du savoir. Des plateformes comme « Coursera » ou « Udemy » comptent essentiellement des xMOOC. L'autre catégorie dite « connectiviste » est beaucoup moins directive. La plateforme est mise à la disposition de l'apprenant, mais c'est lui qui construit son parcours d'apprentissage (c'est le cMOOC). Cette catégorie se base sur un modèle pédagogique innovant suivant une démarche participative dans laquelle chaque apprenant effectue sa propre recherche du meilleur parcours, échange avec ses pairs et publie ses propres conclusions. La connaissance étant distribuée, les apprenants peuvent enrichir le MOOC et la communauté impliquée contribue à « fabriquer » le contenu et à le diffuser. Le
cMOOC, quant à lui, il se rapproche de la vision du logiciel libre avec une vie en communauté très forte [8].

L'organisation d'un cours avec un grand nombre d'apprenants ne permet pas de fournir des notes et des commentaires qui ne sont ni automatisés ni évalués par les pairs [9]. Dans les MOOCs, il n'est pas possible pour les tuteurs humains de suivre chaque élève, ni de réviser et classer les travaux individuellement. La conception doit faciliter la rétroaction et l'interaction à grande échelle. Afin de relever les défis d'un grand nombre d'apprenants, les travaux sont classés par ordinateur dans les xMOOC [10]. Mais le classement sur ordinateur est souvent limité, décevant et insuffisant, sans notes et explications détaillées des réponses. Le Tableau 1 représente une comparaison des deux types des MOOC [11] :

<table><caption>Tableau 2. cMOOCs et xMOOCs.</caption><thead><tr><th></th><th>cMOOCs</th><th>xMOOCs</th></tr></thead><tbody><tr><td>Rôle de l'apprenant</td><td>Actif</td><td>Passif</td></tr><tr><td>Rôle d'instructeur</td><td>Facilitateur / co-apprenant</td><td>Guide sur le côté / sauge sur la scène vidéo</td></tr><tr><td>Théorie de l'apprentissage</td><td>Connectivisme / socio-constructivisme</td><td>Behaviorism / cognitivism</td></tr><tr><td>La pédagogie</td><td>Construction de connaissances</td><td>Duplication des connaissances</td></tr><tr><td>Livraison de l'instruction</td><td>Environnement d'apprentissage personnel (PLE)</td><td>Système de gestion de l'apprentissage (LMS)</td></tr><tr><td>Évaluation</td><td>Auto-évaluation / évaluation par les pairs</td><td>Évaluation externe / évaluation de l'instructeur</td></tr><tr><td>La certification</td><td>Rarement</td><td>Habituellement</td></tr><tr><td>Modèle d'affaires</td><td>Non lucratif</td><td>Pour le profit</td></tr></tbody></table>

## 1. Architecture d'un modèle d'apprentissage adaptatif

Dans les environnements d'apprentissage en ligne, les apprenants seraient également intéressés à savoir s'ils sont plus susceptibles de réussir ou d'échouer vers la réalisation de leurs objectifs éducatifs (apprentissage autorégulé). Ils souhaiteraient recevoir davantage d'éléments de rétroaction en plus des évaluations formelles. Il arrive également que les ressources de la méthode participative qui caractérisent les MOOCS doivent être limitées lors des tests, et que le contenu des tests doit être modifié avec chaque cohorte afin de réduire la tricherie. Ceci impose une charge de travail supplémentaire aux concepteurs de cours et aux tuteurs. Dans le même temps, le manque d'authentification des utilisateurs ne peut garantir la véritable identité du participant au MOOC, qui doit être vérifiée afin de satisfaire à l'accréditation [12].

Les tuteurs et les concepteurs de cours continuent généralement à vouloir savoir si leurs approches didactiques donnent des résultats positifs et souhaitent les ajuster en conséquence. Dans le même temps, et quelle que soit le nombre de leur public cible, ils apprécieraient de savoir qui sont leurs apprenants en termes d'identité, de profil, de préférences et de style d'apprentissage. Ils aimerait aussi les surveiller de manière continue et efficace leur évolution dans le temps et leur progression d'apprentissage. Les différents agents intervenants dans les MOOCs tels que les concepteurs de cours, les gestionnaires, les tuteurs, les participants et les décideurs des établissements d'enseignement pourraient tirer profit de l'exploitation de toutes les données collectées par les MOOC. Il se serviraient alors de ces données pour améliorer les activités éducatives, les cours dispensés, l'expérience d'apprentissage dans son ensemble et les investissements de toutes les offres éducatives [13]. Des agents logiciels pourraient être conçus pour collecter automatiquement des données à partir de l'environnement d'apprentissage en ligne selon des indicateurs prédéfinis. Ces agents sont généralement contenus dans un cadre utilisant des techniques et des outils avancés
d'exploration de données éducatives et d'analyse d'apprentissage. À partir de ces données, les administrateurs et les gestionnaires de cours pourraient connaître les éléments du profil d'utilisation tels que le temps d'accès ou à étudier les schémas, les problèmes d'accès à une ressource. Les gestionnaires de cours peuvent aussi détecter le contenu d'apprentissage qui n'est jamais utilisé ou trop consulté. Les tuteurs, quant à eux, ils peuvent détecter les tendances et être alertés lorsque leur implication est requise. Les apprenants pourraient être automatiquement avertis de la fin d'une tâche manquante, des délais, des écarts par rapport à la norme, etc.

L'évaluation des apprentissages dans le cadre d'un MOOC impose des difficultés énormes considérant le besoin d'évaluer un grand nombre d'apprenants libérés dans le temps et dans l'espace. L'évaluation dans un sens large est un outil qui permet à l'enseignant de s'assurer de la compréhension de ses apprenants [5]. Cette définition implique que l'évaluation est un élément indispensable pour la réussite du processus enseignement-apprentissage. Au début de ce processus, l'enseignant doit déterminer les ressources essentielles ainsi que le degré de préparation des apprenants avant l'engagement dans une séquence d'apprentissage (On parle d'une évaluation diagnostique). A travers une évaluation diagnostique, l'apprenant qui ne dispose pas des prérequis nécessaires à une séquence d'apprentissage sera soumis à des activités de récupération, de renforcement et de mise à niveau (figure 1).

Une minorité des MOOC qui implique ce type d'évaluation dans le processus d'apprentissage considèrent que la notion des prérequis n'est pas indispensable pour participer à un cours donné.

L'évaluation se présente également au cours du processus d'apprentissage, mais cette fois dans le but de mesurer les progrès de l'apprenant à chaque étape de réalisation d'une tâche (C'est l'évaluation formative). Ce type se présente en cours de toute l'activité d'apprentissage et vise à mesurer à quel point l'apprenant a intégré la connaissance. Il est difficile de parler d'un apprentissage adaptif ou personnalisé sans l'évaluation formative [14]. Le concept de la personnalisation des apprentissages dans le domaine des MOOC doit se manifester sur deux pratiques : (1) l'adaptation des ressources pédagogiques au contexte d'enseignement à savoir le niveau et le contenu de la formation et (2) l'adaptation à un apprenant ou un groupe d'apprenants ayant une même caractéristique [15]. C'est l'apprenant qui fait le choix des ressources qui lui semblent pertinentes après avoir mené une activité réflexive sur lui-même et sur son apprentissage. Les besoins de personnalisation portent sur le contenu des activités proposées à l'apprenant, l'interface de la plateforme, ses fonctionnalités (dont l'aide et le feedback), la présentation de certaines données et la séquence d'activités.

A la fin du processus d'apprentissage, nous pourrons parler d'une évaluation sommative qui vise l'attribution d'une note chiffrée qui débouche généralement sur une sanction de l'apprenant. La sanction se traduit par une note chiffrée évaluant la forme ou le fond de la production de l'apprenant. Le rôle principal de l'évaluation sommative est de vérifier l'atteinte des objectifs et l'acquisition des apprentissages par l'apprenant ; il ne s'agit pas de proposer des plans de remédiation et de soutien. Les concepteurs des MOOC exploitent fortement ce type d'évaluation pour rendre l'environnement d'apprentissage plus ludique. L'apprenant est récompensé à chaque réponse correcte par des points qui s'ajoute à son score. A la base de ce score le système certifié l'apprenant ou pas [16]
<figure><img src="image_1.png" /><figcaption>Figure 1. Processus d'apprentissage au sein d'un MOOC adaptatif.</figcaption></figure>

## 3 Discussion

Les cours d'apprentissage en ligne standard stockent une grande quantité de données précieuses sur l'utilisation et l'accès aux cours. Toutefois, il n'est pas toujours facile pour les tuteurs de les interpréter ou d'y accéder en cas de besoin. L'analyse des données offerte par les agents pourrait fournir aux tuteurs des informations statistiques sur les cours en temps réel. Ces informations pourraient être très utiles pour les tuteurs afin de détecter les tendances et les écarts entre les apprenants et agir en conséquence. En raison du grand volume de données collectées par les participants, les MOOC présentent une amélioration critique par rapport aux petites populations de la plupart des cours en ligne : les grandes populations peuvent être utilisées statistiquement pour détecter les tendances, faire des inférences plus précisément et identifier les anomalies avec plus de certitude.

Les tuteurs humains pourraient ne pas avoir le temps pour suivre les participants individuels et leurs courbes d'apprentissage, mais parce que les MOOC ont une grande population d'apprenants - statistiquement parlant - les agents pourraient alerter les tuteurs sur les anomalies, par exemple les extrêmes de la courbe gaussienne de la population pour tout paramètre donné, les gens qui font extrêmement en dessous ou au-dessus de la moyenne, et détectent les abandons potentiels, les problèmes, la tricherie ou les apprenants exceptionnels [17].

Les données collectées peuvent être extrêmement précieuses afin de fournir des informations utiles pour améliorer la conception et la prestation des cours en ligne, personnaliser l'expérience d'apprentissage, ajuster les temps d'apprentissage en fonction du profilage, mieux utiliser les ressources humaines limitées et détecter la perte d'intérêt et de potentiel abandons avant qu'ils ne surviennent.

## 4 Conclusion

Les données collectées à partir des environnements de type MOOC avec l'aide d'agents pourraient être utilisées pour améliorer la conception et l'évaluation. L'analyse de l'apprentissage peut également fournir des données inestimables sur les profils d'apprentissage de divers participants. Jusqu'à présent, les environnements MOOC existants ont partagé peu d'informations sur leurs modèles d'utilisation. Nous espérons qu'avec l'inclusion d'agents logiciels, le MOOC peut connaître des améliorations notables dans la qualité du contenu, la prestation des cours, des taux d'abandon réduits, un meilleur soutien aux participants et des méthodes d'évaluation améliorées.
En résumé, si on considère qu'il n'existe pas encore de documentation substantielle sur l'analyse de l'apprentissage des MOOC, une collecte et une analyse efficaces du grand volume de données provenant des MOOC et des systèmes connexes, ainsi que l'utilisation des résultats des activités de modélisation et de raisonnement appropriées sur ces données deviennent un besoin impératif. Cela peut non seulement améliorer l'utilisation des systèmes existants, mais aussi ouvrir la voie à l'amélioration des futures versions des MOOC, du point de vue du tuteur et de l'apprenant, ainsi que fournir aux décideurs des moyens innovants de structurer et de mettre à jour l'offre éducative.

Références

1. G. Siemens, “Massive open online courses: Innovation in education?,” *Commonwealth of learning, Perspectives on Open and Distance Learning: Open Educational Resources: Innovation, Research and Practice*, p. 5, (2013).

2. Pierre Tchounikine, *Précis de recherche en ingénierie des EIAH*. (2009).

3. Cisel, M. and Bruillard, E., "Chronique des MOOC," *Rubrique de la Revue STICEF*, vol. 19, (2012).

4. S. Hamida, B. Cherradi, H. Ouajji, and A. Raihani, "EIAH : Vers une classification basée sur la personnalisation des apprentissages," in *FORMATION ET ENSEIGNEMENT DES MATHEMATIQUES ET DES SCIENCES : Didactique, TIC et innovation pédagogique*, Hal., Archives-ouvertes, (2019), pp. 182-193.

5. S. Hamida, B. Cherradi, A. Raihani, and H. Ouajji, "Modélisation du processus d'apprentissage : Développement et implémentation d'une méthode basée sur la pédagogie active," *RSIEF*, vol. 3, no. 6, Art. no. 6, 2018.

6. Clow, D., "MOOCs and the funnel of participation," presented at the Third Conference on Learning Analytics and Knowledge, (2013).

7. Marilyne Rosselle, "Les MOOC : des dispositifs d'enseignement-apprentissage à personnaliser," presented at the EIAH, (2013).

8. Thanasis Daradoumis, Roxana Bassi, Fatos Xhafa, and Santi Caballé, “A review on massive e-learning (MOOC) design, delivery and assessment,” presented at the Eighth International Conference on P2P, Parallel, Grid, Cloud and Internet Computing, 2013.

9. D. Glance., M. Forsey., and M. Riley M., "The pedagogical foundation of massive online courses," *First Monday Journal*, (2012).

10. N. Mirriahi and S. Dawson, "The pairing of lecture recording data with assessment scores: a method of discovering pedagogical impact," in *Proceedings of the Third International Conference on Learning Analytics and Knowledge - LAK '13*, Leuven, Belgium, (2013), p. 180, doi: 10.1145/2460296.2460331.

11. Reeves, T. C. and Hedberg, J. G., "MOOCs: Let's Get REAL," in *Educational Technology*, (2014).

12. Martinez-Emin, V., "Modélisation dirigée par les intentions pour la conception, le partage et la réutilisation de scénarios pédagogique," Grenoble, (2010).

13. Baker, R., Evans, B., and Dee, T., "Understanding persistence in MOOCs: Descriptive & experimental evidence.," *EMOOCs 2014*, pp. 5–10, (2014).

14. Lefevre, M., Guin, N., and Jean-Daubias, S., "Personnaliser des activités pédagogiques de manière unifiée! une solution à la diversité des dispositifs.» 19, (2012)., "STICEF, vol. 19, (2012).
15. Duthoit, E., Mailles-Viard, S., and Pelissier, C., “Processus d’aide en contexte d’apprentissage : une adaptation pour individualiser et personnaliser,” *Sciences et Technologies de l’Information et de la Communication pour l’Éducation et la Formation*, vol. 19, 2012.

16. Clerc, F., Lefevre, M., and Guin, N., “Mise en Place de la Personnalisation Dans le Cadre des MOOCs.” Rapport LIRIS RR-LIRIS-2014-012, 2014.

17. Martins Giraffa, L.M. and Vicari Rosa, R.M, “The Use of Agents Techniques on Intelligent Tutoring Systems,” 1998.