# Regard sur l'accompagnement pédagogique de cours eLearning à l'université

## Hervé Platteaux

La recherche évaluative présentée dans cet article discute la qualité de l'accompagnement pédagogique mené par le Centre Nouvelles Technologies et Enseignement de Fribourg pour des projets de cours eLearning. Cet accompagnement se base sur un processus d'évaluation formative continue conduite avec les étudiants et les enseignants impliqués dans le développement des cours eLearning. En stimulant une activité de design participatif avec les acteurs des projets, leur évaluation vise à améliorer la qualité didactique des cours résultants. Des questionnaires, recueillant la perception qu'ont les étudiants du eLearning, et les discussions avec les enseignants à propos de leur cours sont les outils principaux de cette stimulation. Nous montrons d'abord les améliorations obtenues, grâce au processus d'accompagnement mis en place, dans trois projets menés par l'université de Fribourg et faisant partie du programme national Campus Virtuel Suisse durant la période 2000-2003: «Antiquit@s» (histoire ancienne, premier cycle), «A web-based training in embryology» (médecine, premier cycle) et «European Law Online» (droit européen, second cycle). Sont discutées ensuite les améliorations possibles du processus d'évaluation formative continue lui-même.

## Introduction

Créé en 1996, le Centre NTE (Nouvelles Technologies et Enseignement) de l'Université de Fribourg a pour but de développer l'usage des TIC (Technologies d'Information et de Communication) dans les cours que dispense cette institution d'enseignement supérieur. Pour ce faire, son équipe regroupe la double compétence informatique et pédagogique et ses activités sont focalisées sur le suivi de projets eLearning, la formation et la diffusion de résultats en ce domaine. En particulier, le Centre a mis en place un accompagnement pédagogique pour aider la conception et la réalisation des projets suscités par le corps enseignant, qu'ils soient développés localement, c'est-à-dire de façon interne à l'université de Fribourg, ou dans le cadre d'un programme eLearning comme le Campus Virtuel Suisse.
Une évaluation formative continue constitue le cœur du processus d'accompagnement. Elle est conduite avec les étudiants et les enseignants d'un projet en développement pour améliorer la qualité didactique du cours résultant, et de son dispositif, et s'appuie sur l'activité de design participatif qu'elle stimule. L'amélioration du projet s'établit au moyen d'une boucle constituée des informations recueillies, de leur analyse, de ses résultats et de leur apport dans le projet.

Les résultats de l'observation de cette boucle, durant ses trois années d'utilisation, constitue notre propos central. Sur la base de cette recherche évaluative (De Ketele, 1996), le présent article a pour but d'effectuer un bilan et une réflexion sur notre processus d'accompagnement pédagogique des projets eLearning. Les deux premières parties décrivent, en s'appuyant sur une analyse de la littérature, les principes du processus d'accompagnement puis l'évaluation formative continue et ses outils. Une troisième partie présente des améliorations mises en place grâce à l'application du processus d'accompagnement dans trois projets du Campus Virtuel Suisse dont l'Université de Fribourg a été le leader durant la période 2000-2003. Une quatrième partie discute alors les améliorations possibles du processus d'accompagnement eLearning.

# Principes pour un accompagnement du eLearning

## Design participatif et boucle d'évaluation formative

L'intégration des TIC dans l'enseignement supérieur amène la possibilité de nouveaux dispositifs éducatifs (Baron & Bruillard, 2003). Oliver (2000) remarque que les nombreux termes trouvés dans la littérature, par exemple «learning technology, educational multimedia, web-based learning, computer-assisted learning, hybrid learning, educational technology», sont employés pour désigner un usage des TIC qui aide et accompagne une innovation dans l'enseignement et l'apprentissage. Innovation est pris ici au sens d'une valeur ajoutée, par l'intégration des TIC, à une pédagogie traditionnelle en présence (Viens, 2003). Or, une caractéristique d'un projet innovant est que ses acteurs sont confrontés à des situations dont les composantes et les conséquences ne sont pas toutes prévisibles et qu'il faut pourtant pouvoir réguler. L'évaluation est donc un instrument important de l'innovation (Kezar, 1999). La formule «évaluer pour innover» de Giordan et de ses collègues (1993) en fait même une nécessité pour l'innovation.

Il est donc logique de baser l'accompagnement pédagogique des projets eLearning, mené par un centre de compétences comme le NTE, autour d'une activité d'évaluation. Elle permet que l'amélioration pédagogique des dispositifs développés devienne une tâche prioritaire (Bers, 1999) en donnant de précieuses indications sur les points forts et faibles des environnements d'apprentissage eLearning en cours d'élaboration. Toutefois cette amélioration ne peut se concrétiser que si ces informations sont réinjectées dans le projet. Autrement dit, l'évaluation ne devient formative que si elle repose sur une boucle continue: re-
cherche d'informations, analyse, définitions des améliorations souhaitables, mise en œuvre, nouvelle recherche d'informations, etc.

Oliver (2000) précise que vouloir cette dynamique implique de sortir d'une «évaluation-expert» pour aller vers une «évaluation-praticien». Le pédagogue doit être partie prenante du projet et ne peut pas jouer le rôle d'un expert restant en dehors et n'intervenant que de temps en temps pour diffuser la bonne parole. Il n'est pas non plus un arbitre, ou un commissionnaire, envoyé par l'autorité (Patton, 1997). Au contraire il devient membre à part entière de l'équipe du projet. Nous définissons ainsi l'accompagnement souhaité comme ayant le but de donner les moyens aux praticiens de procéder eux-mêmes à une évaluation réflexive de leur travail (Schön, 1983), comme une activité de design participatif.

Baron & Bruillard (2003) soulignent justement qu'en essayant de déterminer si une situation pédagogique est productive du point de vue éducatif, l'engagement de tous les acteurs du projet dans le processus de sa création est crucial. Différents auteurs insistent sur l'importance de la participation des créateurs de contenus et des développeurs dans les décisions relatives au design de cours tout particulièrement pour les projets eLearning (Meyen, 2002; Thompson, 1987). Leur complexité rend en effet nécessaire le rassemblement des connaissances des divers praticiens impliqués pour pouvoir co-construire la qualité recherchée.

## Des données du terrain pour illuminer le contexte

Dans ce processus, les données du terrain sont importantes pour plusieurs raisons. La première est que les données du terrain aident à faire entrer les praticiens dans une logique positive envers les suggestions d'améliorations (Thompson, 1987). La flexibilité et l'efficacité du projet sont ainsi augmentées. La deuxième est qu'un cours eLearning ne peut être conçu uniquement à partir des résultats des théories psychocognitives car, dans ce cas, des facteurs du processus d'apprentissage sont oubliés (Hannon et al., 2002). De plus, McFerlane (2001) indique que la compréhension du contexte facilite l'interprétation des données évaluatives alors que nous disposons de peu de modèles théoriques pour le faire. La troisième est que les descriptions des cours, de leurs modalités, objectifs, outils, etc., faites dans la littérature sur l'évaluation des cours eLearning ne sont pas assez précises pour que les résultats publiés soient utilisables directement dans un autre contexte.

La compréhension du contexte est en effet fondamentale pour améliorer la qualité d'un cours eLearning. Notre processus cherche à s'approcher le plus possible de l'authenticité, notion que Oliver et Conole (1998) utilisent pour exprimer le cas où l'évaluation permet de capturer, d'illuminer le contexte d'apprentissage (Parlett & Hamilton, 1972). Les jugements des étudiants et des enseignants sont les données principales à utiliser pour ce faire. Thompson (1987) dit qu'elles permettent aux concepteurs du cours de se faire une opinion de la valeur des matériels utilisés dans la situation pédagogique et de ce qui peut être amélioré. C'est la logique systémique que nous cherchons à créer.
# Un processus d'évaluation formative continue

## Différents niveaux d'évaluation possibles

Sherry (2003) distingue quatre niveaux d'évaluation d'un dispositif. Le premier concerne les attitudes des étudiants vis-à-vis de l'environnement d'apprentissage et de l'approche de l'apprentissage. Le second est centré sur l'évaluation des apprentissages (scores à des tests ou des examens). Le troisième estime le transfert possible, dans d'autres situations, des comportements appris dans le cours évalué. Le dernier est l'impact organisationnel qui détermine comment l'apprentissage antérieur contribue à des performances données.

Notre processus s'attache aux deux premiers niveaux et, en particulier au premier puisque nous cherchons à estimer la perception qu'ont les étudiants de la situation d'apprentissage. Bell (2001) montre combien l'oubli de cette notion peut entraîner un refus total des étudiants envers la situation eLearning. Cette perception apparaît comme une clé de voûte tenant ensemble l'utilisation des différents éléments de la situation d'apprentissage et les raisons de cette utilisation. Et c'est bien ce que nous cherchons à estimer.

L'évaluation de la perception de la situation d'apprentissage et celle des apprentissages sont complémentaires. En effet, si la perception de l'étudiant est positive, son apprentissage est souvent facilité car sa motivation est augmentée. Mais cela ne constitue pas en soi l'évidence d'un meilleur apprentissage (Alexander & McKenzie, 1998). De même, Thompson (1987) décrit la limite de l'évaluation des apprentissages de l'étudiant: «If off-campus students do well in a course it does not necessarily follow that the course materials are good. The co-rollary also applies. If students perform poorly it does not necessarily follow that the materials are inadequate».

## Facteurs à évaluer dans le dispositif

L'évaluation mise en place doit générer des données qui, nous l'avons déjà dit, illuminent le contexte éducationnel. Deux règles générales s'imposent ainsi pour créer nos outils évaluatifs. Il s'agit d'abord de garder en tête qu'un cours eLearning est avant tout une situation d'apprentissage. L'évaluation doit se focaliser sur les principes instructionels, le processus d'apprentissage et la nature des contenus plutôt que sur les capacités de la technologie (Meyen et al., 2002). Cela paraît une évidence, pourtant beaucoup de questionnaires d'évaluation ne suivent pas cette règle (Achtmeier et al., 2003). Un deuxième principe est de ne pas rechercher seulement à décrire quelle technologie est employée mais surtout comment et pourquoi elle l'est dans le contexte d'apprentissage (Sherry, 2003). Ces deux règles s'appliquent aussi bien lorsque l'évaluation aide la conception d'un élément de la situation d'apprentissage (phase 2: Conception, cf. Tableau 2) ou lorsqu'elle met à l'essai comment les étudiants et les enseignants vivent la situation dans son ensemble (phase 4: Mise à l'essai, cf. Tableau 2).
Thompson (1987) trace clairement les grandes catégories de facteurs à analyser. Il distingue ainsi: les objectifs précisés explicitement ou implicitement, les contenus du cours et leur extension, la présentation (style instructionel et expression des contenus), les activités faites par les étudiants (exercices et tâches d'apprentissage), les ressources pour l'apprentissage (aides supplémentaires), l'organisation des matériels du cours pour former un ensemble compréhensible. Les différents aspects de la communication (cf. Tableau 1), qui peuvent d'ailleurs se recouper avec des catégories de Thompson, sont d'autres facteurs très importants pour le eLearning. On peut les regrouper selon en quatre types d'interaction: enseignant-étudiant, étudiants-contenus, étudiants-étudiants (Moore, 1989) et étudiants-technologie (Hilman et al., 1994).

<table><caption>Tableau 1: Aspects communicationnels et leurs impacts dans une situation eLearning</caption><thead><tr><td>Aspects communicationnels du e-Learning</td><td>Impacts sur l'apprenant</td></tr></thead><tbody><tr><td>augmentation du travail à distance (notamment pour favoriser l'autonomie de l'étudiant) si communication à sens unique (enseignant vers étudiant)</td><td>l'étudiant peut ressentir un sentiment d'isolement qui diminue sa satisfaction (Fulford & Zhang, 1993) souvent création d'échec ou de graves problèmes (Gladieux & Swail, 1999)</td></tr><tr><td>interaction avec les contenus (pour pouvoir engager l'étudiant dans un apprentissage actif)</td><td>temps nécessaire à l'apprentissage et réception de feedbacks automatiques (Imman et al., 1999)</td></tr><tr><td>possibilités de coopérations étudiants-étudiants</td><td>besoin d'apprendre à les gérer (Chickering & Ehrmann, 1996)</td></tr><tr><td>interactivité étudiant-technologie (interactivité fonctionnelle)</td><td>dépend du type de technologie (synchrone ou asynchrone) et de la façon dont elle est utilisée (Wagner, 1994)</td></tr></tbody></table>

## Les moments et les outils du processus d'accompagnement

Un paramètre important dans la mise en oeuvre de notre processus d'accompagnement pédagogique est le temps. D'une part, prendre l'évaluation formative comme principe fait de celle-ci un moyen et non un but (Patton, 1997). Elle n'intervient alors pas pour tracer un bilan final du projet mais prend place à plusieurs moments, de façon presque continue, pour aider à trouver des indicateurs des améliorations à apporter. D'autre part, la complexité des projets eLearning oblige l'équipe de conception-réalisation à aller vite et les résultats d'une évaluation doivent aussi arriver vite pour ne pas bloquer le projet. Le processus d'accompagnement n'est donc formatif que si les durées de recueil et d'analyse des données évaluatives sont minimes (Meyen et al., 2002; Sherry, 2003). La quantité totale des données évaluatives doit aussi rester gérable en peu de temps par les ressources humaines du centre de compétences.
<table><caption>Tableau 2: Evaluation formative continue du eLearning: moments, buts et outils</caption><thead><tr><th></th><th></th></tr></thead><tbody><tr><td colspan="2"><strong>Phase 1 du projet: Analyse de besoins</strong></td></tr><tr><td>- Projet / Etat</td><td>Entre zéro et quelques idées, voire existence d'un prototype ou d'éléments d'un scénario pédagogique</td></tr><tr><td>- Evaluation / But</td><td>Garder les objectifs en tête de liste des préoccupations</td></tr><tr><td>- Evaluation / Outils</td><td>Discussion collective ouverte avec équipe, utilisation d'exemples de projets antérieurs</td></tr><tr><td colspan="2"><strong>Phase 2 du projet: Conception</strong></td></tr><tr><td>- Projet / Etat</td><td>Ebauche des éléments essentiels (par ex. un livre électronique) mais encore plusieurs possibilités pour les outils de navigation<br>Diverses fonctions des exercices médiatisés pas encore très ergonomiques<br>Outil de communication sans rôle explicite dans scénario pédagogique</td></tr><tr><td>- Evaluation / But</td><td>Améliorer l'efficacité de la navigation dans le système (Meyen et al., 2002)<br>Améliorer l'interactivité étudiant-technologie (Wagner, 1994)<br>Améliorer le scénario pédagogique</td></tr><tr><td>- Evaluation / Outils</td><td>Observation d'essais courts (libres ou dirigés) puis discussion individuelle semi-directive avec quelques étudiants candides<br>Discussion collective ouverte avec équipe, utilisation d'exemples de projets antérieurs</td></tr><tr><td colspan="2"><strong>Phase 3 du projet: Réalisation-Production 1</strong></td></tr><tr><td>- Projet / Etat</td><td>Réalisation des versions successives des éléments essentiels</td></tr><tr><td>- Evaluation / But</td><td>Veiller à l'application des décisions prises durant la conception</td></tr><tr><td>- Evaluation / Outils</td><td>Discussion collective semi-directive avec l'équipe sur versions successives</td></tr><tr><td colspan="2"><strong>Phase 4 du projet: Mise à l'essai</strong></td></tr><tr><td>- Projet / Etat</td><td>Ressources interactives articulées avec moments d'apprentissage prévus<br>Mise à l'essai possible du dispositif hybride et du scénario pédagogique</td></tr><tr><td>- Evaluation / But</td><td>Contexte d'apprentissage créé et son dispositif (objectifs, moments et ressources)<br>Familiarité des étudiants avec logiciels usuels et jugement a priori sur e-Learning</td></tr><tr><td>- Evaluation / Outils</td><td>Mise à l'essai avec des étudiants parfois à distance, parfois en présence<br>Questionnaire 1: début cours / quantitatif et qualitatif / familiarité et a priori des étudiants sur le e-Learning<br>Questionnaire 2: fin cours / quantitatif et qualitatif / jugement des étudiants pour la situation e-Learning vécue<br>Discussion avec étudiants : fin cours / collective et ouverte / réflexions et anecdotes<br>Première analyse des données avec logiciels usuels (excel, base de données)<br>Discussions avec enseignants et développeurs: collectives et semi-directives<br>- éclairer un point resté obscur avec les seules données des questionnaires<br>- voir leur analyse des données fournies par les étudiants<br>Discussion avec étudiant : collective et semi-directive / précise analyse des données<br>Deuxième analyse des résultats</td></tr><tr><td colspan="2"><strong>Phase 5 du projet: Révision (Réalisation-Production 2)</strong></td></tr><tr><td>- Projet / Etat</td><td>Réalisation des améliorations et changements sur les éléments du dispositif</td></tr><tr><td>- Evaluation / But</td><td>Veiller à l'application des améliorations et changements décidés à la phase 4</td></tr><tr><td>- Evaluation / Outils</td><td>Discussion collective ouverte avec l'équipe<br>Utilisation des données des phases antérieures du projet ou d'autres projets</td></tr><tr><td colspan="2"><strong>Phase 6 du projet: Implantation</strong></td></tr><tr><td>- Projet / Etat</td><td>Cours intégré dans le cursus dans la version améliorée et changée</td></tr><tr><td>- Evaluation / But</td><td>Voir concrètement les améliorations et valider la démarche</td></tr><tr><td>- Evaluation / Outils</td><td>Les mêmes que pour la mise à l'essai</td></tr></tbody></table>
Première conséquence, les outils de recueil des données doivent être centrés sur les rouages importants d'une situation eLearning. Deuxième conséquence, la méthode ne doit certes pas être celle qualifiée de «quick and dirty» par Patton (1997). Son but doit cependant rester celui d'une évaluation formative, c'est-à-dire d'indiquer des changements souhaitables et pas d'établir des preuves scientifiques. Troisième conséquence, les choix des moments et des outils d'observation (cf. Tableau 2) doivent être adéquats pour permettre une continuité de l'évaluation réaliste en fonction du temps et des moyens à disposition.

Les outils d'évaluation choisis dans notre dispositif évaluatif d'accompagnement pour les étudiants sont le couple observation directe et discussion (phase 2: Conception, cf. Tableau 2) et le couple questionnaires et discussions (phase 4: Mise à l'essai, cf. Tableau 2). Pour la Conception, le choix nous a semblé clair. L'efficacité de ce couple d'outils est reconnu pour de tels essais (Giordan & al., 1993) notamment parce qu'ils améliorent la complémentarité des informations quantitatives et qualitatives. Pour la Mise à l'essai, deux solutions s'offraient à nous. D'une part, faire reposer l'évaluation sur le couple observations et discussions et mettre en place une modalité d'observation avec un certain nombre d'étudiants volontaires. Mais la proportion d'étudiants favorables ou familiers avec le eLearning parmi les volontaires serait certainement plus grande qu'en réalité. De plus, la complexité des situations de cours eLearning aurait obligé à devoir trouver, organiser, observer et analyser un nombre de cas assez grand. Enfin, l'observation aurait été d'autant plus coûteuse en temps puisqu'il vaut mieux prendre chaque volontaire individuellement. Nous avons donc opté pour le couple questionnaires et discussions qui raccourcit considérablement le recueil des données tout en permettant de prendre en compte tous les étudiants. Pour les enseignants et les développeurs, la discussion est notre outil de recueil d'information primordial. Il apporte les avantages de la communication directe et, par les rapports de proximité qu'il instaure, il favorise aussi le design participatif. Notons que lors des discussions de la phase 4 (Mise à l'essai, cf. Tableau 2), les réponses des étudiants ne sont pas données d'emblée aux enseignants-développeurs afin que ceux-ci donnent aussi objectivement leur point de vue sur la situation d'apprentissage qu'ils viennent de vivre.

## Le processus améliore les dispositifs eLearning

La méthode d'évaluation formative continue mise en place permet l'amélioration de la qualité de l'enseignement et de l'apprentissage. L'analyse des données recueillies (cf. Tableau 3) a permis d'identifier des éléments clé pour améliorer, du point de vue pédagogique, les trois cours discutés dans cet article: «Antiquit@s» (histoire ancienne, premier cycle), «A web-based training in embryology» (médecine, premier cycle) et «European Law Online» (droit européen, second cycle).
<table><caption>Tableau 3: Données recueillies auprès des trois projets CVS 2000-2003 de l'Université de Fribourg</caption><thead><tr><td>Projet</td><td>Questionnaire 1</td><td>Questionnaire 2</td><td>Discussions équipe</td><td>Discussions étudiants</td></tr></thead><tbody><tr><td>Antiquit@s</td><td>120 distribués<br>106 rendus</td><td>105 distribués<br>57 rendus</td><td>1 à 2 par mois</td><td>2 par an</td></tr><tr><td>Embryology</td><td>130 distribués<br>124 rendus</td><td>240 distribués<br>153 rendus</td><td>1 à 2 par mois</td><td>2 par an</td></tr><tr><td>European Law Online</td><td>pas distribué</td><td>16 distribués<br>16 rendus</td><td>6 env. durant Réalisation-Production et Mise à l'essai (2002)</td><td>2 en 2002</td></tr></tbody></table>

Un résultat très important est que la perception des étudiants pour le eLearning ne dépend pas que de l'usage des TIC. L'amélioration de tels cours est liée aussi aux paramètres fondamentaux de toute situation d'enseignement. Par exemple, le cours d'embryologie montre que la perception de la quantité de travail hebdomadaire est un facteur influençant grandement l'étudiant (Platteaux, 2003). Les cours d'embryologie et Antiquitas indiquent également qu'une communication claire des objectifs d'apprentissage reste un facteur primordial (Platteaux, 2003; Platteaux & Dasen, 2004). Les données d'Antiquitas (années 2002-2003 et 2003-2004) permettent aussi de voir que le niveau du public a un impact sur sa perception du style instructionnel: les étudiants moins expérimentés estiment que les pédagogies actives sont peu efficaces pour apprendre (Platteaux & Dasen, 2004).

Pour les aspects spécifiques aux TIC dans les situations eLearning, le résultat le plus important concerne la communication enseignants-étudiants et étudiants-étudiants. Nous retrouvons les résultats généraux d'autres chercheurs: les étudiants ont tendance à préférer le contact en face à face (Phipps & Merisotis, 1999); leur perception est bien plus favorable si la communication enseignant-étudiant est bien ressentie (Hong, 2002) et n'amène pas l'étudiant à sentir une réduction du contact avec l'enseignant (Lockyer et al., 2001). Un scénario hybride, articulant moments à distance et en face à face, semble donc très efficace pour créer un cours eLearning bien perçu à ce niveau. Les premiers étudiants d'embryologie (janvier 2002) ont eu l'impression d'être livrés à eux-mêmes alors que leur enseignant se trouvait toujours «au bout du fil» grâce aux forum, chat et email. Ce sentiment est nettement moins marqué dans le second cours (novembre 2002) où le nombre de moments présentiels avait été augmenté (Platteaux, 2003). Antiquitas a été directement organisé selon une modalité hybride et ses étudiants n'ont pas paru souffrir du tout d'un manque de communication avec leur enseignant (Platteaux & Dasen, 2004). Cette inquiétude n'a pas non plus touché les étudiants du cours de droit qui restaient pourtant à distance assez longtemps, en travaillant plusieurs semaines avec le livre électronique, mais retrouvaient leurs enseignants en présence pour une simulation de procès.
Notre analyse montre aussi que la perception de la communication dans un cours eLearning est liée au degré d'autonomie d'apprentissage. Avec l'innovation amenée par le eLearning, le développement d'une autonomie de l'étudiant en situation d'apprentissage est envisagé. Toutefois, un étudiant en second cycle universitaire a déjà atteint un degré d'autonomie assez élevé alors qu'un étudiant en première année aura besoin d'une aide de l'enseignant, plus soutenue et plus «traditionnelle», pour développer son autonomie. Sans elle, il n'y parvient peut-être pas. Différentes formes et degrés d'hybridisme permettent certainement une adaptation efficace pour développer l'autonomie de l'étudiant dans un cours eLearning.

L'évaluation du cours European Law Online révèle aussi qu'on peut améliorer un dispositif en utilisant l'expérience antérieure des enseignants. L'équipe de ce projet a choisi une modalité d'apprentissage par problème mise en place grâce à une simulation de procès, modalité déjà expérimentée par ces enseignants. Le questionnaire 2 a permis d'enregistrer une perception globale très favorable dès la première session du cours. La qualité d'une situation d'apprentissage eLearning est donc plus facilement atteinte si elle repose sur des savoirs faire existants. L'efficacité de cette stratégie de conception a déjà été soulignée (Gurtner & al., 2003).

## Le processus peut être amélioré

L'utilisation de notre processus d'accompagnement durant presque trois ans permet d'en effectuer un bilan aux niveaux de ses points forts et de ceux qui peuvent être améliorés.

En interprétant les réponses des questionnaires (phases Conception et Mise à l'essai, cf. Tableau 2), l'évaluateur leur donne une signification et en dégage une vision, positive ou négative, du contexte éducatif. Le questionnaire génère ainsi les bases concrètes de deux sortes de discussion. La première, avec les étudiants et les enseignants, précise certains éléments qui restent obscurs avec le seul questionnaire et permet une meilleure interprétation des données. La seconde a lieu avec l'équipe de réalisation dans le but d'élaborer les améliorations nécessaires. Le couple questionnaires-discussions permet ainsi de définir les améliorations les plus appropriées du point de vue pédagogique. La complémentarité entre ces deux moments-outils d'analyse d'une situation eLearning est donc un élément méthodologique qui favorise le design participatif et notre processus d'accompagnement.

Pour aller plus loin dans ce sens, nous pensons à augmenter la diffusion des résultats en particulier vers les étudiants, ce qui est très important (Tolmie, 2001). On peut aussi améliorer la complémentarité du couple questionnaire-discussion en l'organisant en deux étapes. La première est une analyse globale des données qui permet de discuter rapidement avec l'enseignant pour conceptualiser
ser les améliorations à apporter. La seconde est plus approfondie et sert le projet sur sa durée. Par exemple, c'est parce qu'Antiquitas a été analysé sur deux années successives que l'impact de la différence de compétences des étudiants a pu être observé (Platteaux & Dasen, 2004).

Diverses pistes se dessinent pour améliorer le questionnaire de la phase de Mise à l'essai. Le but principal est de le rendre plus facilement adaptable aux différents projets. Pour ce faire, il s'agit d'établir les questions qui le composent sur une liste plus systématique. Trois variables essentielles permettent d'évaluer la perception qu'a un étudiant d'un dispositif d'enseignement eLearning: acceptance, utilité et utilisabilité (Tricot, 2003). L'acceptance évalue l'utilisation du dispositif par l'étudiant. L'utilité évalue l'efficacité d'apprentissage que l'étudiant attribue au dispositif. L'utilisabilité indique si le dispositif est simple à utiliser pour l'étudiant. Le questionnaire devient systématique si ses questions testent l'acceptance, l'utilité et l'utilisabilité de chacun des éléments importants du dispositif eLearning (cf. section 3). Une telle matrice de questions trace une structure stable pour le questionnaire, quel que soit le cours auquel il est appliqué. Ceci facilite le travail préparatoire à l'évaluation et empêche d'oublier un facteur essentiel.

D'autres données doivent intervenir systématiquement dans notre processus d'accompagnement. Si certaines questions du questionnaire concernent l'efficacité du dispositif, elles ne donnent que la perception qu'en a l'étudiant. Il serait alors fort utile de confronter cette perception avec la réalité des résultats d'examen de l'étudiant (Pascarella, 1996). Cela a pu être fait pour le cours Antiquitas (Platteaux & Dasen, 2004) mais, pour des raisons diverses, pas pour les cours d'embryologie et de droit. L'institution d'enseignement supérieur où se déroule le cours eLearning évalué devrait donner accès, de façon confidentielle, à de telles données aux centres de compétences analogue au NTE.

Le but de notre processus d'accompagnement peut aussi être étendu en permettant le transfert des résultats d'un projet vers un autre. Jusqu'à présent, l'évaluation formative continue mise en place renseigne et fait progresser le projet dont sont issues les informations. Mais ces informations, sur des problèmes à éviter et des solutions possibles, devraient aussi pouvoir servir d'autres projets eLearning. Il s'agit de voir comment notre processus d'accompagnement peut s'inscrire dans les actions de diffusion des résultats sur les situations eLearning et d'augmentation de la culture eLearning. Différents moyens sont à imaginer: production de guides, de formations, de rapports scientifiques et de publications, etc. Les différents publics à viser sont aussi à réfléchir mais on peut déjà identifier les étudiants, les enseignants et les développeurs comme étant les principaux.

Dans cette optique, il faut pouvoir distinguer ce qui n'est valide que dans un cas particulier et ce qui s'applique à toutes les situations eLearning. Tolmie (2001) montre que la variabilité des résultats d'évaluation dépend du contexte étudié. Autrement dit, un résultat obtenu dans un contexte est transférable dans un contexte similaire. Comme notre méthode d'évaluation prend largement en
compte le contexte, elle devrait aussi favoriser l'estimation du domaine de validité d'un résultat évaluatif et, en conséquence la détermination des autres projets auxquels ce résultat serait aussi applicable.

## Conclusions

Les résultats montrent que l'évaluation formative continue mise en place par le Centre NTE permet d'atteindre les objectifs visés. Primo, une dynamique de design participatif, avec l'équipe de conception-réalisation et les étudiants, se développe grâce au couple d'outils d'évaluation questionnaire et discussion. Secundo, l'analyse des données recueillies permet de définir des lignes directrices pour le travail de conception-réalisation d'un projet d'enseignement eLearning. Tertio, le processus permet d'améliorer un cours eLearning du point de vue pédagogique.

Pour conforter et développer notre accompagnement, deux pistes essentielles se présentent. D'une part, divers éléments du processus doivent être systématisés. Ainsi les outils de prise de données doivent être conçus selon une structure stable, identique pour chaque projet eLearning. De plus, les résultats d'examens des étudiants doivent toujours intervenir dans l'analyse de la situation pédagogique. Enfin, la diffusion des résultats de l'évaluation doit être étendue, en particulier vers les étudiants.

D'autre part, les résultats propres à un projet doivent pouvoir servir à d'autres projets similaires et, plus globalement, pouvoir contribuer à la logique générale de l'action menée par le Centre NTE. Concrètement, il faut distinguer les résultats transférables de ceux qui ne le sont pas, selon les projets. Il faut aussi imaginer et mettre en place les moyens de diffusion de ces résultats afin que notre processus d'accompagnement s'enrichisse d'une action dont profitent au mieux les projets présents et à venir.

## Remerciements

Les étudiants questionnés et interviewés.

Les membres des équipes des trois projets du Campus Virtuel Suisse 2000-2003 de l'Université de Fribourg.

Les personnes qui m'ont permis de faire considérablement évoluer cet article grâce à leurs commentaires.
Références

Achtmeier, S.D., Morris, L.V. & Finnegan, C.L. (2003). Considerations for developing evaluations of online courses. *Journal of Asynchronous Learning Networks, 7*, (1), 1-13.

Alexander, S. & Mckenzie, J. (1998). *An evaluation of information technology projects for university learning*. Canberra: Australian Government Publishing Service.

Baron, G.-L. & Bruillard, E. (2003). Information and communication technology: models of evaluation in France. *Evaluation and Program Planning, 26*, 177-184.

Bers, T. (1999). The impact of distance education on institutional research. *New directions for institutional research, 103*, 61-78.

Chickering, A.W. & Ehrmann, S. C. (1996). Implementing the seven principles: Technology as lever. *AAHE Bulletin. 49*, (2), 3-6.

De Ketele, J. M. (1996). *Méthodologie du recueil d'information*. Bruxelles: De Boeck (Série Université).

Fulford, C.P. & Zhang, S. (1993). Perceptions of interaction: a critical predictor in distance education. *American Journal of Distance Education, 7*, (3), 8-21.

Giordan A., Souchon C. & Cantor M. (1993). *Evaluer pour innover: musées, médias et écoles*. Nice: Z'Editions.

Gladieux, L.E. & Swail, W.S. (1999). *The virtual university and educational opportunity: Issues of equity and access for the next generation: Policy perspectives*. New York: College Board Publications (ERIC reproduction document service No. ED 428 637).

Gurtner, J.-L., Monbaron, J., Touvet, D., Zahnd, J., Collaud, G. & Platteaux, H. (2003). *Dynamique de l'évolution des institutions de formation tertiaire suscitée par l'introduction des TIC*. (Rapport final du PNR 43 - Projet No. 4043-058377/1).

Hannon, P., Umble, K.E., Alexander, L., Francisco, D., Steckler, A., Tudor, G. & Upshaw, V. (2002). Gagne's and Laurillard's models of instruction applied to distance education: a theoretically driven evaluation of an online curriculum in public health. *International Review of Research in Open and Distance Learning, 3* (2), (http://www.irrodl.org/content/v3.2/hannon.html)

Hillman, D.C., Willis, D.J. & Gunawardena, C. N. (1994). Learner-Interface interaction in distance education: an extension of contemporary models and strategies for practitioners. *The American Journal of Distance Education, 8*, (2), 30-42.

Hong, K.-S. (2002). Relationships between students' and instructional variables with satisfaction and learning from a Web-based course. *Internet and Higher Education, 5*, (3), 267-281.

Imman, E., Kerwin, M. & Mayes, L. (1999). Instructor and student attitudes toward distance learning. *Community College Journal of Research and Practice, 23*, 581-591.

Kezar, A.U. (1999). *Higher education trends (1997-1999): program evaluation*. Washington DC: George Washington University, Graduate School of Education and Human Development (ERIC reproduction document service No. ED 435 352).

Lockyer, L., Patterson, J. & Harper, B. (2001). ICT in higher education: evaluating outcomes for health education. *Journal of Computer Assisted Learning, 17*, (3), 275-283.

McFerlane, A. (2001). Perspectives on the relationships between ICT and assessment. *Journal of Computer Assisted Learning, 17*, (3), 227-234.

Meyen, E.L., Aust, R.J., Bui, Y.N., Ramp, E. & Smith, S.J. (2002). The online academy formative evaluation approach to evaluating online instruction. *Internet and Higher Education, 5*, (2), 98-108.

Moore, M.G. (1989). Editorial: Three types of interaction. *The American Journal of Distance Education, 3*, (2), 1-6.

Oliver, M. (2000). An introduction to the evaluation of learning technology. *Educational Technology & Society, 3*, (4), 20-30.

Oliver, M. & Conole, G. (1998). Evaluating communication and information technologies: a toolkit for practitioners. *Active Learning, 8*, 3-8.
Parlett, M. & Hamilton, D. (1972). Evaluation as illumination. In M. Parlett & G. Dearden (Ed.), *Introduction to illuminative evaluation: Studies in higher education* (pp. 9-29). University of Surrey, UK: Society for Research into Higher Education.

Pascarella, E.T., Whitt, E.J., Nora, A., Edison, M., Hagedorn, L.S. & Terenzini, P.T. (1996). What have we learned from the first year of the national study of student learning? *Journal of Student College Development, 37*, (2), 182-192.

Patton, M. (1997). *Utilization-focused evaluation*. London: Sage.

Phipps, R. & Merisotis, J. (1999). *What's the difference? A review of contemporary research on the effectiveness of distance learning in higher education*. Washington DC: Institute for Higher Education Policy (ERIC Reproduction Document Service No. ED 429 524).

Platteaux, H. & al. (2003). How students perceive eLearning situations? The case of the SVC WBT embryology course. In C. Jutz & al. (Ed.), *Proceedings of the 5th International Conference on New Educational Environments - Lucerne May 26th-28th* (pp. 21-26). Berne: net4net.

Platteaux, H. & Dasen, V. (2004). How different students perceive eLearning? The case of the Antiquitas ancient history course. In *Proceedings of the 6th International Conference on New Educational Environments - Neuchâtel September 27th-30th*. Berne: net4net. 4.1-4.6 (electronic publication on CD-Rom)

Schön, D. (1983). *The reflexive practitioner: how professionals think in action*. New York: Basic Books.

Sherry, A. C. (2003). Quality and its measurement in distance education. In M.G. Moore & W.G. Anderson (Ed.), *Handbook of distance education* (pp. 435-459). New Jersey: Lawrence Erlbaum.

Thompson, R. (1987). Responsive, formative evaluation: A flexible means for improving distance learning materials. *Journal of Distance Education, 2*, (1), (http://cade.icaap.org/vol2.1/thompson.html)

Tolmie, A. (2001). Examining learning in relation to the contexts of use of ICT. *Journal of Computer Assisted Learning, 17*, (3), 235-241.

Tricot, A. & al. (2003). Utilité, utilisabilité, acceptabilité: interpréter les relations entre trois dimensions de l'évaluation des EIAH. In Actes de la *Conférence Environnements Informatiques pour l'Apprentissage Humain - Strasbourg 2003* (pp. 391-402). Strasbourg et paris: ATIEF, Université Louis Pasteur et INRP

Viens, J. (2003). Towards general framework to assess and support innovative pedagogy in eLearning. In C. Jutz & al. (Ed.), *Proceedings of the 5th International Conference on New Educational Environments - Lucerne May 26th-28th* (pp. 171-176). Berne: net4net.

Wagner, E.D. (1994). In support of a functional definition of interaction. *American Journal of Distance Education, 8*, (2), 6-29.

**Mots clés:** acquisition de connaissances, contrôle de la qualité, didactique, évaluation, méthode d'enseignement, ordinateur, orientation, technologie de l'information et de la communication, université
# Ein Blick auf die pädagogische Begleitung von eLearning-Veranstaltungen an der Universität

## Zusammenfassung

Die in diesem Artikel vorgestellte evaluative Forschung diskutiert die Qualität der pädagogischen Begleitung, die vom «Centre Nouvelles Technologies et Enseignement» in Freiburg für eLearning Kursprojekte ausgeführt wurden. Diese Begleitung basiert auf fortlaufender formativer Evaluation bei den an der Entwicklung der e-Learning-Kurse beteiligten Studenten und Lehrern. Die Evaluation bezweckt, die didaktische Qualität der durchgeführten Kurse zu verbessern, indem die Beteiligten der Projekte zu partizipativen Designs angeregt werden. Fragebögen, die die Wahrnehmung der Studenten des e-Learning, erheben, und die Diskussionen mit den Lehrern über ihre Kurse sind die Hauptwerkzeuge dieser Anregungen. Wir weisen zuerst auf Verbesserungen hin, die dank dem geschaffenen Begleitvorgang in drei Projekten erzielt wurden, die von der Universität Freiburg geleitet wurden, und die Teil des nationalen Programms Swiss Virtual Campus der Periode 2000-2003 sind: «Antiquit@s» (alte Geschichte, erster Zyklus) «A web-based training in embryology» (Medizin, erster Zyklus), und «European Law Online» (europäisches Recht zweiter Zyklus). Danach werden die möglichen Verbesserungen des Vorgangs der fortlaufenden formativen Evaluationen selbst diskutiert.

**Schlagworte:** Beratung, Computer, Didaktik, Evaluation, Hochschule, Informations- und Kommunikationstechnologie, Lernen, Qualitätskontrolle, Unterrichtsmethode

# Uno sguardo sull'accompagnamento pedagogico di corsi eLearning all'università

## Riassunto

La ricerca valutativa presentata in quest'articolo discute la qualità dell'accompagnamento pedagogico condotto dal Centro NTE (Nouvelles Technologies et Enseignement) di Friborgo (CH) per dei progetti di corsi eLearning. Questo accompagnamento si fonda su un processo di valutazione formativa continua condotta con gli studenti e gli insegnanti implicati nello sviluppo dei corsi eLearning. Stimolando un'attività di design partecipativo con gli attori dei progetti, la loro valutazione mira a migliorare la qualità didattica dei corsi che ne risultano. Dei questionari, che raccolgono la percezione che hanno gli studenti dell'eLearning, e le discussioni con gli insegnanti a proposito del loro corso sono gli strumenti principali di questa stimolazione. Mostriamo in primo luogo i miglioramenti ottenuti, grazie al processo d'accompagnamento messo in piedi, nei tre progetti condotti dall'Università di Friborgo e facenti parte del programma na-
zionale Campus Virtuale Svizzero durante il periodo 2000-2003: "Antiquit@s" (storia antica, primo ciclo), "A web-based training in embryology" (medicina, primo ciclo) e "European Law Online" (diritto europeo, secondo ciclo). Sono discussi in seguito i miglioramenti possibili del processo di valutazione formativa continua stesso.

**Parole chiave:** apprendimento, computer, controllo della qualità, didattica, metodo di insegnamento, orientamento, tecnologie dell'informazione e della comunicazione, valutazione, università

# A Look at the pedagogical follow-up of e-learning courses at university

## Summary

A presentation of evaluative research, this article discusses the quality of pedagogical guidance carried out for eLearning course projects by the Centre «Nouvelles Technologies et Enseignement» at Fribourg. This guidance is based on a continuous process of formative evaluation done with the students and teachers involved in the development of eLearning courses. By stimulating participation of the projects' actors, the evaluation aims to improve the didactical quality of the resulting courses. The main tools of this stimulation are questionnaires about the students' perceptions of eLearning and discussions with the teachers about their courses. We first show the improvements made possible through the process of guidance used at the University of Fribourg during the period 2000-2003 with three projects of the national program Swiss Virtual Campus: Antiquit@s (Ancient History, first and second year students), «A Web-based Training in Embryology» (Medicine, first and second year students) and «European Law Online» (European Law, third and fourth year students). Then we discuss the possible improvements of the continuous process of formative evaluation itself.

**Key words:** computer, didactics, evaluation, guidance, information and communications technology, learning, quality control, teaching method, university