Editorial: Regards et
perspectives: l'évaluation au
service de la qualité
pédagogique des formations
eLearning.

Jacques Viens et Arnold Wyrsch

Associer l'évaluation au eLearning génère une problématique qui s'avère à la fois simple et complexe. A l'instar de Havelock (1976a), toute personne travaillant en éducation reconnaîtra d'emblée qu'il est important d'évaluer la qualité pédagogique des formations, surtout celles impliquant des transformations du système. Par ailleurs, les sommes et l'énergie investies dans l'acquisition de matériel, le développement de cours en ligne, le soutien et la formation des acteurs ainsi que dans les recherches sur l'intégration des technologies de l'information et de la communication (TIC) rendent légitimes les attentes de retombées significatives. Les projets d'envergure finançant le développement, la formation et le soutien au eLearning fourmillent à travers le monde. Par exemple, le Campus Virtuel Suisse (CVS), les programmes européens SOCRATES, Leonardo da Vinci et les Actions concertées, le fond canadien de l'Autoroute de l'information, le réseau canadien de centres d'excellence en télé-apprentissage (TL-NCE) et le programme américain PT3 «Preparing Tomorrow's Teachers to Use Technology», ont généré des investissements considérables.

Cependant, dans la pratique, l'évaluation est souvent un élément qui passe par-dessus bord face à d'autres priorités plus concrètes de production. Nous l'avons nous-mêmes constaté lors de la réalisation du mandat IntersTICES au sein du CVS (Viens, Bullat-Koelliker & Peraya, 2003; 2004). De plus, sur le terrain, l'évaluation est souvent réalisée de façon ad-hoc par des personnes dont la formation dans ce domaine est minimale (Oliver, 2000). Tout un courant d'interventions pour former les praticiens à l'évaluation a d'ailleurs été mis en place en Angleterre (Harvey, 1998) et en Australie (Phillips, Bain, McNaught, Rice & Tripp, 2000); dont notamment le site Web ELT toolkit (Oliver, 1999). Les perspectives adoptées actuellement s'étendent jusqu'au domaine du management de la qualité (Fend, 1999; Wilbers, 2002; Wyrsch, 2003). L'évaluation est un concept qui porte à un large éventail d'interprétations et qui, de ce fait, est appliqué, même dans le domaine circonscrit de l'intégration des technologies de l'apprentissage dans l'enseignement supérieur, avec des objectifs, selon des pratiques et avec des résultats fort différents (Conole, 2002). Voilà pourquoi, nous
désirons contribuer à clarifier un certain nombre de concepts, de perspectives et de pratiques de l'évaluation au service de la qualité pédagogique des formations eLearning.

Avant d'aborder plus à fond le sujet spécifique de ce numéro thématique, il nous semble important de clarifier les principaux concepts qui s'y rattachent: eLearning, formation, qualité pédagogique et évaluation; et ainsi, de circonscrire dans quelles perspectives nous les aborderons au sein de cet ouvrage. Nous enchaînerons par la suite avec un survol de la littérature alimentant l'articulation de ces concepts et générant les principales questions auxquelles nous tenterons d'apporter un éclairage puis poursuivrons par la proposition d'un cadre d'analyse de la thématique de l'évaluation ou selon les termes de Ehlers et al. (2003) d'une architecture référentielle au service de la qualité pédagogique des formations eLearning. Finalement, nous terminerons par une brève présentation de la contribution de chacun des chapitres constituant cet ouvrage collectif.

# Définir les principaux concepts

## Le eLearning

Le concept de eLearning est lui même à la fois simple et complexe. Simple, parce qu'à l'instar de Kearsley (1998) et d'Ally (2004) on peut le définir globalement comme les utilisations d'Internet et autres TIC pour soutenir l'apprentissage. Complexe, parce que à la source, associer aussi étroitement la technologie et l'apprentissage implique une transformation de l'un et de l'autre. Nous reviendrons plus loin sur cette question sous l'angle des impacts de la technologie sur l'apprentissage. Par ailleurs, le terme «technologies» associé au monde de l'éducation en général, est lui même une source de confusions importantes depuis les années 1970 et encore plus récemment depuis l'apparition d'Internet et des TIC (Peraya & Viens, 2004a). On a vu circuler des appellations forts semblables mais appor tant des nuances significatives lourdes de conséquences pour le domaine, principalement parce qu'elles impliquent des positions épistémologiques et une vision du domaine fort différentes: technologies de l'éducation, technologies éducatives, technologie éducative, technologies éducationnelles. Par exemple, le terme «technologies éducatives» suggère que ce sont les technologies qui éduquent ... pour une analyse plus détaillée de ces confusions et des implications pour le domaine, voir Peraya & Viens (2004a).

Dans la littérature rapportant des travaux d'évaluation du eLearning, ce terme est rarement défini de façon claire et précise. Parfois on couvre les activités réalisées entièrement à distance à l'aide des TIC, d'autres fois on intègre des approches mixtes ou hybrides «blended learning» combinant apprentissage en ligne et face à face. D'autres fois encore on s'étend aux utilisations complémentaires d'Internet intégrées à un cours face à face. Dans la littérature et sur le terrain, plusieurs termes sont donc associés et utilisés comme équivalent à eLearning
(TIC, TICE1, apprentissage en ligne, apprentissage virtuel, apprentissage distribué, apprentissage en réseau, télé-apprentissage, apprentissage multimédia, apprentissage flexible ou formation ouverte et à distance, formation en ligne, formation à distance, etc.). Ceci a deux conséquences majeures pour le domaine. Premièrement, sans description suffisamment détaillée des activités de formation, il est souvent difficile de savoir à quoi réfère exactement l'auteur d'un article qui rapporte une recherche sur le eLearning. Deuxièmement, cette distribution des travaux sous des appellations différentes réduit les chances d'établir des liens significatifs entre eux.

La complexité du concept relève aussi du fait que le eLearning est en fait une innovation à multiples polarités et dimensions: technologique, pédagogique, humaine, institutionnelle, sociétale, culturelle, sociologique, économique et politique (Peraya & Viens, Seidel & Perez, 1994; Unesco, 2002; Viens, 2003; 2004b). Évidemment, il est difficile et souvent trop lourd de prendre en compte l'ensemble de ces perspectives en même temps.

Par ailleurs, même si l'innovation en pédagogie fait l'objet d'études et de travaux considérables depuis les années 1960 (relevons par exemple Bennis, Benne, Chin, & Cory, 1976; Clark & Guba, 1967; Fullan 1982; Fullan, 1991; Hall, 1974; Havelock, 1968; Havelock, 1976a; House, 1971; Miles, 1964; Miles 1973; Paulsen 1976; Savoie-Zajc, 1993), les recherches n'ont pas encore permis d'identifier l'ensemble des facteurs qui interviennent dans son processus de développement et d'adoption, ainsi que leurs interactions. Par conséquent elles ne permettent pas encore de piloter l'innovation de façon tout à fait contrôlée (Peraya & Viens, 2004b).

Nous tenterons donc ici de préciser ce que nous entendons par eLearning. A l'instar du programme européen Leonardo da Vinci (2004), issu de la *Commission Européenne, Direction générale Éducation et Culture*, nous entendons ici le terme eLearning au sens large, c'est-à-dire dans toutes ses interprétations reliant les activités d'apprentissage aux utilisations des technologies de l'information et de la communication (TIC), principalement les technologies informatiques réseautées (hardware et software) mais sans exclure les outils de travail médiatisés non réseautés.

*Le plan d'action eLearning 2 définit l'apprentissage en ligne comme «l'utilisation des nouvelles technologies multimédias et de l'Internet, pour améliorer la qualité de l'apprentissage en facilitant l'accès à des ressources et des services, ainsi que les échanges et la collaboration à distance».* (AFEC-Info, 2004).

Plusieurs autres définitions existent et d'ailleurs le problème majeur réside dans la multitude de définitions correspondant à des nuances de vision et d'application du eLearning. Souvent elles laissent transparaître une orientation épistémo logique en mettant l'accent sur certains aspects ou en en omettant d'autres. Par exemple, la définition de Ally (2004), quoi qu'un peu réductive puisqu'elle met l'accent sur une approche épistémologique mettant le contenu à transmettre et acquérir à l'avant plan, s'intègre elle aussi à notre perspective:
[...] *the use of the internet to access learning materials; to interact with the content, instructor, and other learners, and to obtain support during the learning process, in order to acquire knowledge, to construct personal meaning, and to grow from the learning experience.* (p. 5).

La définition fournie par le portail suisse de l'éducation, EDUCA (2004), nous apparaît dans la même veine mais en moins explicite puisqu'elle réfère à une «méthode d'apprentissage spéciale» qui n'est pas précisée si ce n'est dans ses caractéristiques médiatiques. Elle a cependant l'avantage de suggérer qu'on ne peut simplement transposer l'apprentissage traditionnel et l'appliquer à des situations eLearning et sous-tend donc la complexité relative du eLearning:

[...] «eLearning» est une méthode d'apprentissage spéciale basée sur l'utilisation de l'ordinateur. Ce monde d'apprentissage virtuel se distingue par des systèmes et du matériel pédagogiques spéciaux:

- sous forme numérisée;

- sous forme multimédiale et/ou hypermédiale (information réticulaire);

- interactivité entre l'utilisatrice et l'utilisateur apprenant, le système, le coach et le coapprenant – sur place ou sur le réseau;

- directement à disposition de l'utilisatrice et de l'utilisateur en ligne.

Nous intégrons donc dans nos considérations les activités, les outils et les méthodes qui se rattachent à l'apprentissage à l'aide des TIC, que ce soit exclusivement ou partiellement à distance. Même si pour certains, le eLearning touche exclusivement les activités à distance et en ligne, nous adhérons plutôt à une approche articulant activités face à face et en ligne de façon à tirer un profit maximum selon les contraintes et conditions qui s'appliquent à chaque situation. L'expression «blended learnin », pour apprentissage en format mixte, rend bien cette notion d'articulation des deux modalités spacio-temporelles d'apprentissage. Notons finalement qu'en France, on utilise de plus en plus le terme de «formation ouverte et à distance» (FOAD) afin de référer au même concept d'utilisation des outils technologiques en réseau pour l'apprentissage.

## Les outils technologiques en réseau ... pour l'apprentissage

Après avoir relevé la flexibilité du eLearning quant à l'utilisation générale des technologies ainsi qu'aux dimensions relatives à l'espace et au temps, il nous semble indispensable d'aborder plus en détails les dimensions technologiques et pédagogiques de ces utilisations. Plusieurs auteurs font une description des principaux outils servant au eLearning. Keating (2003), dans ses travaux soutenant le travail collectif en formation à distance, relève 9 catégories d'outils, contenant chacun différents instruments spécifiques: courriel, groupes de discussion, conférences télématiques, chat (clavardage), téléphonie, visiophonie, listes de diffusion, foire aux questions, babillard et outils spécifiques de collaboration. Par exemple, pour cette dernière catégorie, elle mentionne notamment, les outils de dessin (comme le tableau blanc collectif), les pointeurs Web, les éditeurs d'orga-
nigramme ou de cartes conceptuelles, les calendriers, les outils de remue-mé-
ninges, de planification et de vote. La palette d'outils et de ressources technolo-
giques est très grande et ne cesse de s'enrichir. A cette liste qui de prime abord pa-
raît exhaustive il faut en ajouter plusieurs autres tels les espaces de dépôt de
fichiers et les outils avertisseurs d'événements, les wikis, les Weblogs ou journaux
de bord individuels et collectifs, les nouveaux outils des portails dynamiques de
type «awareness» (avertisseurs des nouveautés et de présence des collègues), etc.
De même, certains outils informatiques traditionnels peuvent servir au eLearn-
ning comme les logiciels de traitement de textes qui permettent de produire des
documents et de les sauver sous plusieurs formats et qui peuvent même être uti-
lisés pour produire un texte collectif en utilisant des fonctions de suivi des mo-
difications apportées par chacun des participants. L'ensemble des logiciels de
production informatisés peuvent eux aussi être mis à contribution (présentations
électroniques, tableurs, base de données, production de page Web, etc.). Il y au-
rait également des programmes de gestion et d'auto-gestion des apprentissages,
les logiciels de trace et l'ensemble des outils technologiques traditionnels d'en-
seignement comme les sites Web présentant des activités pédagogiques et du
contenu, les quiz et examens en ligne. L'énumération systématique de l'ensemble
des outils disponibles à l'enseignant, à l'apprenant et même au gestionnaire de la
formation en ligne (l'institution), n'est ni visé, ni possible ici, cependant, la liste
que nous avons faite permettra au lecteur de saisir l'envergure de l'outillage dis-
ponible et éveillera chez certains d'entre nous la question de l'appropriation et de
l'intégration de ces outils. L'accès potentiel à un outil ne garantie pas son utilisa-
tion et encore moins son utilisation appropriée et efficiente. Les usages planifiés
des outils et les activités proposées sont souvent détournées par les acteurs. De
plus, l'apprentissage des outils requiert un certain investissement et un temps
d'appropriation, et de ce fait peut parfois être un élément réduisant l'efficacité
d'un dispositif de formation lorsqu'il devient une surcharge cognitive pour les
apprenants et même les enseignants. D'ailleurs, l'évolution rapide des technolo-
gies et l'appropriation de nouveaux outils sont des facteurs régulièrement identi-
fiées comme des freins à l'adoption des TIC par les enseignants. Afin de guider
les acteurs du eLearning dans le développement des compétences requises pour
participer activement au développement et à l'implantation de ces nouveaux en-
vironnements d'apprentissage, il se développe de plus en plus de standards de dé-
veloppement (The Institute for Higher Education Policy, 2000; NCREL, 2004;
UNESCO, 2002a; UNESCO, 2002b) et de référentiels de compétences TIC
(MEQ, 2003; NCATE, 1997; UNESCO, 2002c).

L'élément essentiel à retenir ici est que l'éventail des outils est vaste et en plein
développement, qu'il nous reste de nombreux usages à découvrir, à développer et
à s'approprier et finalement qu'une contribution importante du eLearning est de
permettre le travail en réseau (donc la collaboration et la co-élaboration des
connaissances/compétences) par l'utilisation de ces outils.
Les utilisations ... et l'apprentissage

Depuis déjà quelques décennies, les chercheurs en éducation et plus spécifique-
ment ceux du domaine de la recherche en technologie éducationnelle ont abordé
la question des impacts des technologies sur l'apprentissage. Le fameux débat
entre Clark et Kulik, amorcé en 1983 et qui s'est poursuivi entre Clark et Kozma
jusqu'à récemment a permis de tirer deux conclusions importantes:

1. Ce n'est pas le média qui génère l'apprentissage mais les activités réalisées par l'apprenant à travers ce qui est planifié et mis en place par l'enseignant (Clark, 1983; 2001).

2. Le média soutien et influence un certain nombre de processus d'apprentissage et de ce fait permet d'enrichir les conditions d'apprentissage (Kozma, 1991; 1994).

Les médias influencent donc les activités et les conditions d'enseignement-ap-
prentissage, mais il n'en demeure pas moins que c'est ce que l'enseignant et l'ap-
prenant feront avec les technologies qui est l'élément déclencheur et médiateur
de l'apprentissage (Seidel & Perez, 1994). Dans cette perspective il nous apparaît
important de regarder les différentes approches d'utilisation des technologies en
eLearning. Par exemple, Taylor (2003), identifie cinq générations de formation à
distance à partir des évolutions technologiques: 1. la correspondance textuelle
basée sur l'imprimé; 2. les activités multimédias intégrant l'imprimé, les cassettes
audios et vidéos, les activités à l'ordinateur et la vidéo-interactive sous forme de
vidéodisque ou de cédéroms; 3. le télé-apprentissage ajoutant les audio-confé-
rences, les visio-conférences, les diffusions télévisuelles et radiophoniques; 4. les
activités d'apprentissage flexibles en ligne qui enrichissent le contexte d'appren-
tissage de multimédias interactifs en ligne, l'accès à Internet pour consulter des
informations et des ressources et pour communiquer; finalement, 5. les activités
flexibles en ligne mais intelligentes, qui offrent des prises en charges automatisées
par le système et qui incluent les portails enrichis d'outils intelligents (prenant
des décisions relativement éclairées). Il est intéressant de distinguer ainsi les types
d'activités qui peuvent être réalisés, cependant, il nous semble que cette analyse
est sensiblement réductive et qu'elle n'éclaire pas vraiment ce qui sera fait par
l'enseignant et les apprenants. Le positionnement épistémologique est à nos yeux
beaucoup plus important que l'outillage technologique et permettra mieux de ci-
bler les activités et conditions d'apprentissages appropriées aux objectifs visés et
aux caractéristiques et besoins des apprenants.

Le modèle de Reeves (1997a) inspiré de ses précédents travaux (Reeves,
1997), est beaucoup plus éclairant quant aux conditions et dimensions affectant
l'efficacité des apprentissages interactifs en ligne. Il met en relations 12 variables
dont les habitudes culturelles qui viennent influencer l'implication et la motiva-
tion des apprenants. Le positionnement épistémologique et la vision de l'ensei-
gnement/apprentissage qui est véhiculée par le dispositif de formation sont très
présents dans leur analyse. Depuis plus de dix ans, une importante littérature re-
lève l'importance de la position épistémologique de l'enseignant et donc de l'ap-
proche intégrée au dispositif de formation. Le débat entre behavioristes, cogniti-
vistes et socio-constructivistes articule bien les bases de ces positionnements (Co-
oper, 1993). Si certains adoptent une position dure et extrémiste, voire exclusive,
de plus en plus de chercheurs proposent d'adopter des positions éclectiques en
fonction du type d'objectifs visé et des conditions de formation (Ally, 2004:
Viens, 2004). Par exemple, Viens identifie sept indicateurs de plus value péda-
gogique et suggère de planifier les activités et les outils en fonction d'un en-
semble de facteurs contextuels (objectifs visés, temps, ressources, conditions/
contraintes matérielles et organisationnelles, etc.) et de la culture des acteurs
(leurs représentations, leurs habiletés et ressources, leurs attitudes, leurs pra-
tiques habituelles). De son côté, Ally (2004) propose une grille d'analyse qui per-
met de mettre à contribution les 3 approches de formation ci-haut mentionnées
en relevant leurs forces et faiblesses en situation de eLearning. Il présente de fa-
çon synthétique mais claire les caractéristiques des écoles behavioristes, cogniti-
vistes et socio-constructivistes, les met en relation et en ressort une série d'impli-
cations et de recommandations pour l'apprentissage eLearning. Cette approche
éclectique permet justement de relativiser et d'appuyer les choix pédagogiques
sur des fondements éclairés par la recherche.

La formation ... des activités et des outils, au dispositif complet en contexte

Pour bien saisir le eLearning, il ne convient pas seulement de situer les activités et les outils utilisés ainsi que le type d'utilisation qui en sera fait. Les formations eLearning doivent être étudiées comme des dispositifs complets de formation qui s'inscrivent dans des contextes spécifiques imposant un certain nombre de contraintes humaines, pédagogiques et institutionnelles (Blumenfeld, Fishman, Krajcik, & Marx, 2000; Bullat-Koelliker, & Peraya, 2003; Depover & Strebelle, 1996; Peraya & Viens, 2004; Viens, Viens et al. 2003). Depover & Strebelle par exemple insistent sur la prise en compte du contexte dans lesquels les produits sont développés et implantés. Ils insistent sur l'importance d'impliquer les acteurs dès le début du processus de développement. Cette prise en compte des ap-prenants dès les premières phases s'inscrit dans l'évolution des travaux de Ko-moski qui au début des années 1970 a développé la méthode «Learner Verification and Revision» (LVR), Komoski & Woodward (1985).

Le modèle ASPI, Analyzing, Sustaining, Piloting Innovation, né des travaux du projet européen EQUEL, et présenté par Peraya & Viens (2004b) est un excellent exemple d'élargissement du concept de cours en ligne à celui de dispositif de formation. Il y est abordé dans une perspective d'analyse et de pilotage de l'innovation et repose sur l'analyse de trois axes particuliers, articulés et intégrés dans une modélisation systémique:

1. D'abord, la description du dispositif de formation dans toute sa complexité, dans son «écologie d'implémentation» afin de donner une représentation du fonctionnement du dispositif aussi complète que possible et ainsi permettre
de prendre en compte les différentes dimensions et composantes qui affectent
le processus d'innovation. Le scénario d'intégration pédagogique décrivant les
actions de l'enseignant et de l'apprenant constitue le cœur de cet axe. L'ana-
lyse descriptive du dispositif doit prendre en compte plusieurs variables re-
groupées en quatre grandes familles: les variables structurelles, de nature sy-
stémique et institutionnelle, les variables actancielles, relatives aux acteurs du
dispositif (rôles et fonctions), les variables individuelles identifiant les carac-
téristiques des individus ou du groupe comme les représentations, les compé-
tences, les attitudes, les pratiques habituelles etc., et finalement les variables
de domaines ou de perspectives qui constituent des objets d'analyse, liées à la
pédagogie, aux disciplines, aux technologies et à la gestion du dispositif.

2. Ensuite la dimension évolutive de son développement permet de prendre en compte les priorités et contraintes propres à chaque phase de développement du dispositif (analyse, conception, développement, mise en place, évaluation, intégration dans la pratique quotidienne, maintien du processus et diffusion).

3. Finalement, la démarche de pilotage elle-même, inspirée d'une recherche/action/formation qui considère chaque acteur, quels que soient ses fonctions et ses rôles, comme un agent de changement impliqué dans le processus d'innovation.

Pratt, Collins & Jarvis Selinger (2001) proposent un cadre d'analyse des pratiques d'enseignement aux adultes qui est constitué de cinq approches de base: 1. la transmission, qui nécessite un investissement substantiel du professeur dans la matière à enseigner; 2. le compagnonnage, qui vise l'enrichissement culturel des apprenants par l'appropriation de règles, comportements sociaux et méthodes de travail; 3. l'approche développementale, qui est centrée sur une planification et une régulation de l'enseignement selon la perspective de l'apprenant; 4. l'approche de développement global « nurturing », qui part du postulat que l'individu se développe en profondeur et s'investit dans son apprentissage tant par ses émotions que par ses activités cognitives et qui s'inspire fortement des approches motivationnelles; 5. l'approche de transformation sociétale qui s'inspire des approches de réflexion critique articulées sous forme de débats et d'argumentation. Ce cadre d'analyse des pratiques d'enseignement est proposé pour stimuler et soutenir les changements institutionnels, le développement professionnel et la recherche en proposant des outils validés sur le terrain.

Depover & Strebelle (1996), qui adoptent eux aussi une approche systémique de l'innovation, ont identifié trois temps-clés à considérer lors de l'intégration des technologies en éducation: l'adoption (de la préparation à l'appropriation en passant par l'adaptation de l'innovation à son contexte, ses besoins et ses pratiques), l'implantation et la routinisation. Ces trois étapes constituent des moments critiques dans l'évolution d'un dispositif de formation et requièrent une attention particulière manifestée par des objets et des outils d'analyse spécifiques.

En prenant en compte chacune de ces perspectives, on se retrouve donc assez
éloigné d'une focalisation réductrice de l'évaluation qui se limiterait aux dimen-
sions technologiques, et même techno-pédagogiques si elle ne porte que sur l'analyse hors contexte d'une formation ou d'un outil pédagogique, situation en-core trop souvent adoptée par certains chercheurs et praticiens désirant évaluer l'intégration des TIC en éducation.

La qualité pédagogique, les objets d'analyse ... tirer profit des TIC

Après avoir pris en compte un aussi vaste ensemble d'éléments, nous en sommes toujours au cœur même du problème de l'évaluation, soit l'objet de l'évaluation. La qualité pédagogique est difficile à définir. Les travaux d'évaluation des stratégies et des impacts de l'enseignement sont depuis une dizaine d'années fortement critiqués (De Landshere, 2002). L'argument principal réside dans le fait que les fondements et les pratiques utilisées pour évaluer sont désuets et relèvent d'une vision de la pédagogie plus que centenaire, inspirée des premiers travaux béhavioristes. On constate ces lacunes dans la sélection des objets d'évaluation, dans l'absence d'articulation théorie/pratique et de regard critique sur les présupposés, souvent non explicites, qui alimentent les pratiques. A l'instar de cet auteur, nous considérons que l'évaluation, dans ses orientations et pratiques actuelles, consiste trop souvent à collecter des données à propos d'un phénomène ou d'un construit qui n'a pas été préalablement défini de façon précise, à tenter de répondre à des questions qui n'ont pas été contextualisées et ni articulées clairement, et de partir de ces bases pour porter des jugements sur la qualité de l'enseignement et de l'apprentissage, voire des systèmes d'éducation complets. Les objets les moins bien définis (ils sont souvent même totalement absents) dans les rapport d'évaluation sont généralement la perspective épistémologique liée à l'apprentissage, à son processus et à l'enseignement, et à partir desquels les choix méthodologiques et stratégiques de l'évaluation ont été réalisés. Selon de Landshere, il ne saurait y avoir de travaux sérieux d'évaluation sans une définition claire de ces objets. Reeves (1997b) est un des rares chercheurs qui situent l'identification de la vision épistémologique des acteurs comme un des éléments moteurs et qui lui réserve une place centrale dans son modèle d'évaluation. La perspective épistémologique adoptée, la vision de ce qu'est l'apprentissage et de comment il se réalise devrait sous-tendre et encadrer l'ensemble du processus d'évaluation de l'enseignement et de l'apprentissage. Par exemple, si on part du point de vue que l'apprentissage se réalise dans l'action par la participation à une collectivité et qu'il implique la transformation d'un individu dans un contexte social et culturel donné, il nous semble que des activités et outils d'apprentissage stimulant/soutenant une négociation de sens avec d'autres seront au cœur même du dispositif de formation. Si le produit de l'apprentissage est tout autant la connaissance, les compétences appliquées en situation réelle que les stratégies de résolutions de problèmes propres à un domaine donné, est-il possible de réaliser une évaluation basée sur une liste de concepts fermée, qui seront identifiés à travers une série d'énoncés hors contexte? Si l'apprentissage et ses utilisations ne résident pas uni-
quement et même principalement dans la tête de l'apprenant mais dans ses interactions avec les autres dans un contexte donné, est-il pertinent et suffisant de se baser sur un test normatif pour juger de l'efficacité d'un dispositif de formation? De Landshere, prône en fait pour une transformation en profondeur du concept d'évaluation et se dirige vers une approche plus inspirée des méthodologies d'enquête impliquant systématiquement les apprenants dans le processus d'évaluation, de la collecte à l'analyse, et l'interprétation des données.

Devant ces critiques largement étayées, il nous semble important ici de tenter de circonscrire notre conception de la qualité pédagogique. D'abord, la qualité ne doit pas se limiter à l'apprentissage mais englober, tel que proposé par EASI-ISAE (1999) et Viens (2003), le processus de développement (étude préalable, mise en forme, développement, utilisation), le produit pédagogique (technologie et techno-pédagogie: interface, interactivité, pédagogie, contenus, médias, technique, etc.) et l'action de formation qui sera organisée (scénarisée) autour du produit. L'évaluation de la qualité devra aussi prendre en compte les perspectives des acteurs (auteurs, développeurs, enseignants, étudiants, institutions, bailleurs de fond, etc.). Il existe maintenant une multitude de guides et de cadres d'évaluation de la qualité des dispositifs de formation médiatisés qui peuvent contribuer à outiller l'analyse de ces dimensions (à titre d'exemple consulter: Barker, 1999a; Barker, 1999b; Bibeau et Delisle, 2001; Le Préau, 2002; Oliver, 1999; Philipps, Bain, Mc Naught, Rice & Tripp, 2000; Millerand & Martial, 2001; Reeves & Sandberg, 2003; Thot, 2004a; Thot, 2004b; Wright, 2004).

## Quelques questions sur l'évaluation

L'évaluation constitue un acte par lequel nous portons un jugement sur la valeur, l'efficacité et l'efficience de l'élément évalué (Oliver, 2000). L'évaluation en éducation constitue une tâche difficile et complexe, mais elle devient encore plus complexe et même, selon les termes d'Oliver, source de profondes controverses, lorsqu'on l'applique aux technologies de l'apprentissage et qu'on essaie d'évaluer des systèmes ou des programmes de formation. L'évaluation est globalement divisée en deux grandes catégories, les évaluations sommatives visent à attribuer une valeur finale à des fins de prise de décision (critériées ou normatives) et les évaluations formatives, qui servent à diagnostiquer les améliorations à apporter (Legendre, 1993). Ce numéro thématique se penchera plus particulièrement sur des applications de l'évaluation formative puisqu'elles sont beaucoup plus enharmonie avec la thématique du présent numéro, l'évaluation au service de la qualité pédagogique. Mais au delà du choix de la finalité de l'évaluation, plusieurs questions doivent être posées afin d'éclairer les orientations et les méthodologies qui seront adoptées. Nous proposons donc d'aborder l'évaluation du eLearning dans une perspective modulaire interactive intégrant et articulant les dimensions suivantes, qui sous-tendent les questions de base relatives à l'évaluation:
i. Quels objets (évaluer quoi)?

ii. Quels processus (comment, avec quels outils)?

iii. Quels produits (avec quels résultats et effets)?

iv. Selon quel point de vue (qui évalue, pourquoi, quand)?

Ces questionnements ne sont pas présentés ici dans un ordre chronologique car c'est souvent la réalité de la situation rencontrée qui stimule l'arrivée des questions. Par exemple, situer le point de vue est généralement un élément de départ incontournable. S'identifier en tant qu'acteur de l'évaluation et même du système ou dispositif de formation permet de spécifier son rôle, ses attentes, les postulats qui nous alimentent, le pourquoi de l'évaluation et le moment où elle doit être réalisée. Cette verbalisation va éclairer et orienter la suite des questionnements et des prises de décision tout au long du processus.

## Quelques modèles d'évaluation appliqués à l'innovation techno-pédagogique

Plusieurs modèles d'évaluation ont été proposés depuis trente ans. Nous allons jeter un rapide regard sur cinq d'entre eux afin de présenter/répertorier différentes modalités d'articulation des dimensions de l'évaluation.

### Le modèle Kirkpatrick

Le modèle Kirkpatrick (1994) est un des plus répandus dans le milieu de la formation professionnelle. Il propose de procéder à une évaluation progressive à quatre niveaux:

1. **Réactions des apprenants:** comment les apprenants ont réagi et apprécié la formation?

2. **Apprentissage:** évaluation des apprentissages réalisés.

3. **Comportement après la formation:** application des connaissances/compétences en situation réelle de travail.

4. **Résultats pour l'entreprise:** quelles sont les retombées observées? Diminution du temps requis pour effectuer un travail? Qualité supérieure du produit? Augmentation des ventes? Etc.

Ce modèle a l'avantage d'aborder l'évaluation dans un contexte plus global que l'activité de formation proprement dite. Il permet de prendre en compte les visées de l'entreprise qui sont parfois assez distantes des objectifs de la formation comme telle. C'est un modèle qui a été adapté en situation de formation d'adultes au sein du milieu de l'éducation. La perspective de rentabilité de la formation peut alors être transformée dans une prise en compte des objectifs globaux de formation d'un programme et notamment selon la perspective dans des gestionnaires ou organismes subventionnaires de la formation. Il faut se rappeler que pour certains le eLearning est associé à un développement de programmes de formation qui représentent un nouveau marché pour l'institution.
Ce modèle a l'avantage de distinguer des perspectives d'évaluation, un peu comme si l'on adoptait le point de vue des développeurs, des enseignants, des apprenants et des patrons ou employeurs. C'est aussi comme si l'on évaluait le dispositif de formation dans son évolution chronologique, car il s'agit bien de phases temporelle du processus de développement et d'implantation, qui sont abordées dans une perspective d'acteurs de différents niveaux.

## Le modèle Seidel & Perez

Déjà, dans les années 1990, on a vu naître une préoccupation pour une évaluation plus systémique et systématique. Le modèle proposé par Seidel & Perez, issu de leur travaux auprès de l'armée américaine tente de palier les limites des études de l'époque qui visaient principalement à déterminer si les technologies avaient un impact à partir des variables d'apprentissage et d'analyses coût/efficacité/efficience. Leur principale contribution est de tenter de situer les transformations fondamentales au sein de l'environnement de formation et des processus d'apprentissage des apprenants, dues à l'introduction des technologies. Ils s'inspirent des travaux de Kulik (1994), et en tirent la leçon suivante: toute évaluation de formation à l'aide des ordinateurs doit prendre en compte les usages, les objectifs du recours aux technologies, le contexte ainsi que la maturité de l'innovation. On sent déjà ici une prise en compte systémique de la nature, des conditions d'efficacité et des facteurs d'appropriation des innovations technologiques. Leur modèle structuré à la manière d'une figure à trois dimensions intègre donc les dimensions des objectifs, du processus et des impacts selon la maturité de l'innovation. Sur l'axe horizontal il situe les étapes du processus d'innovation (adoption, implantation, institutionnalisation), sur l'axe vertical il intègre quatre niveaux cibles du système (les apprenants, la classe, l'école et la communauté), et sur l'axe de la profondeur il intègre les deux phases de l'apprentissage de Piaget, l'assimilation et l'accommodation qui selon les auteurs s'appliquent au degré d'exploitation des technologies. Le premier étant une application transposée de ses pratiques dans le nouvel environnement et le second une transformation de ses pratiques (enseignant et apprenant). La grille résultant de cette mise en perspective multidimensionnelle est passablement complexe, plus complexe en fait que la mise à plat des 4 niveaux de Kirkpatrick. Cependant, la richesse de l'analyse et de la compréhension qui est susceptible d'en émerger nous semble plus à même de répondre à des questions essentielles sur les usages et les conditions qui alimentent l'efficacité et l'efficience des TIC.

## Le modèle Flashlight

Ce modèle, en plus de proposer une série de perspectives et d'indicateurs à prendre en compte, propose une réflexion sur l'évaluation: définition, objets, pourquoi, comment, quand, par qui et quelles en sont les limites, ainsi qu'une série d'outils pratiques pour l'évaluateur. Il se situe plus dans une dimension de formation continue et d'accompagnement que de simple formalisation de la pro-
blématique de l'évaluation en éducation. Les auteurs vont dans la même direction que Seidel & Perez, mais poussent plus loin leurs réflexions et analyses en situant leur travaux dans une perspective plus pratique permettant d'aborder des contextes spécifiques d'évaluation. Par exemple, au lieu des quatre niveaux systématiques d'acteurs, ils identifient huit perspectives possibles d'analyse: l'enseignant, les apprenants, les coordonnateurs-matière, les doyens de facultés, les membres de conseils universitaires, les organismes subventionnaires, les employeurs et les organismes professionnels certificateurs. Ils proposent quatre parradigmes d'évaluation qui correspondent à des positions épistémologiques relevant des questions et orientations fondamentales relatives à la nature de l'apprentissage et de la connaissance alimentant les choix d'orientation en terme d'objets et de méthodologie d'évaluation: positiviste-quantitatif, constructiviste/interprétatif-qualitatif, critique-postmoderne, éclectique- méthode mixte pragmatique. Ils prennent aussi en compte les quatre phases classiques de l'ingénierie pédagogique appliquée à l'innovation techno-pédagogique: 1. l'analyse et le design du dispositif; 2. le développement; 3. la mise à l'essai; 4. l'institutionnalisation (adoption à large échelle). Pour chacune d'elles, ils proposent une méthodologie procédurale et des outils pratiques. La richesse de cette approche est de proposer une démarche intégrée et accompagnatrice de formation continue sur l'évaluation qui prend plusieurs dimensions en compte et qui outille tant les aspects théoriques que pratiques.

## Le modèle IntersTICES

Le modèle développé par Viens (soumis) et Peraya et Viens (2004b), à l'issue du mandat IntersTICES et de travaux précédents (Viens et al. 2001), intègre l'ensemble des perspectives abordées par les trois modèles précédents mais selon une focalisation plus spécifique sur les dimensions des apports pédagogiques de l'innovation. Ici l'évaluation est d'abord vue comme un processus de recherche-action qui vise à la fois la co-évaluation du dispositif de formation mais aussi l'enrichissement de la culture eLearning des acteurs. Ce modèle permet une prise en compte évolutif du dispositif selon l'étape de développement et la phase d'adoption des aspects innovants. Pour ce faire, il situe les conditions et contraintes de développement et d'appropriation de l'innovation techno-pédagogique dans une prise en compte, lors de l'évaluation, de la culture et de l'implication des acteurs localisés à plusieurs niveaux systémiques (micro: le dispositif de formation dont les acteurs immédiats et le contexte de réalisation de la formation; méso: les facteurs et acteurs institutionnels et inter-institutionnels au delà du cours; macro: les organismes et acteurs sociétaux comme les organismes subventionnaires dont le Campus Virtuel Suisse. Ils propose d'évaluer et de piloter l'apport pédagogique de l'intégration des TIC à partir de 7 indicateurs d'une plus-value pédagogique: 1. l'accès à l'information, aux ressources et aux personnes; 2. l'individualisation des activités d'apprentissage; 3. l'enrichissement des feedbacks et des échanges; 4. l'autonomie et l'investissement de l'apprenant
dans la régulation de son apprentissage; 5. la coopération, collaboration, co-éla-
boration des connaissances/compétences; 6. la contextualisation des activités
d'apprentissage et la visualisation des connaissances; 7. la focalisation sur des ap-
prentissages de haut niveau tels la réflexion critique, les compétences transver-
sales, la méta-cognition, les modèles mentaux. A partir du questionnement des
acteurs et du dispositif de formation sur ces indicateurs et une prise en compte
de la culture des acteurs en terme de: représentations, habiletés et ressources, at-
titudes et pratiques. Ce modèle constitue donc lui aussi une démarche à la fois
d'évaluation formative du dispositif et de formation continue des acteurs, dans
un contexte de travail concret.

Le modèle Baker

Le modèle proposé par Baker (2003) constitue une réponse aux faiblesses que l'auteur a relevées dans la littérature sur l'évaluation des cours en ligne: pauvreté et limite des listes de méthodes d'enseignement en ligne; non articulation des méthodes à un cadre spécifique comme la taxonomie de Bloom; absence du feed-back et de méthodes d'évaluation adaptées au eLearning pour l'évaluation de l'efficacité des cours; manque d'un cadre global éclairant le développement et l'évaluation des cours à distance en ligne. Il propose donc une méthodologie d'évaluation d'orientation béhavioriste basée sur les 4 grandes catégories de principes pédagogiques de Tyler (1949) soit ceux se rapportant aux objectifs, aux activités, à la structuration des activités et à l'évaluation ainsi qu'à la taxonomie des objectifs pédagogiques de Bloom (1956). Il intègre aussi les principes de développement des objectifs de Blanchard & Johnson (1984) et de Locke et Latham (1990) qui viennent éclairer et enrichir la construction de questionnaires d'évaluation. Il est beaucoup plus restrictif que les 3 précédents modèles d'abord parce qu'il focalise uniquement sur le dispositif de formation sans prendre en compte le contexte et l'ensemble des dimensions systémiques relevées par les autres modèles. De plus, il aborde l'évaluation principalement dans une perspective d'évaluation sommative critériée malgré le fait qu'il prétende servir aussi au développement de cours. Par exemple, il ne propose pas une méthodologie d'évaluation continue en cours de développement mais se limite à l'évaluation d'un cours utillé par des apprenants. Il n'aborde aussi qu'une seule perspective épistémologique proposant la même orientation pédagogique quelque soit le type d'objectif visé. Et, tel que reconnu dans la conclusion des auteurs suite à l'application de la méthode à un cas spécifique, le produit reste principalement un questionnaire articulé sur l'attribution d'une note pour les réponses positives à une série de questions, sans pondération ni adaptation au contexte spécifique du cas évalué. Il devient aussi trop complexe lorsque les objectifs visés touchent les niveaux supérieurs de la taxonomie de Bloom. Ce modèle étant directement inspiré des courants positivistes et béhavioristes en hérite des limites dont notamment la réduction de l'apprentissage à une série de comportements observables et l'adoption d'une méthodologie opérationnelle réduisant l'évaluation à l'attribution
d'une note à partir d'une série d'objectifs prédéfinis mais limités. Cependant, il faut reconnaître qu'il hérite aussi des avantages qui en découlent puisqu'il délibite et circonscrit les objets d'évaluation et qu'il propose une méthodologie systématique qui augmente la facilité de réalisation de l'évaluation. Malheureusement, à nos yeux, cette systématisation de l'évaluation n'en augmente ni la validité et ni l'utilité, même si les auteurs tenteront de valider le modèle par des études plus élargies touchant principalement la clientèle universitaire. L'intérêt de ce modèle est qu'il constitue un effort pour systématiser l'évaluation et l'articuler à un cadre théorique. Il sera utile donc aux personnes qui adhèrent à une vision positiviste de l'apprentissage (il y a des connaissances objectives que l'apprenant doit s'approprier grâce au dispositif de formation) et qui cherchent un modèle behavioriste basé sur les comportements observables des apprenants. Au delà de l'identification de dimensions à questionner, il laisse le développement des questions spécifiques sans éclairage, n'établi pas de lien entre les objectifs, les outils eLearning et les stratégies pédagogiques et ne propose pas d'outils spécifique d'évaluation. Il nous semble que ce modèle peut s'avérer dangereux s'il est appliqué aveuglément et dans une perspective exclusivement behavioriste cependant, combiné à l'approche de Ally (2004) qui articule les 3 grandes approches épistémologiques, il s'enrichirait grandement. Il pourrait contribuer à éclairer la perspective behavioriste de Ally et s'ouvrir aux deux autres.

## Une grille d'analyse pour la lecture du numéro thématique

Plusieurs aspects de la problématique de l'évaluation de dispositifs de formation eLearning ont été abordés. Plusieurs autres aspects et plusieurs autres modèles auraient pu être traités ici mais l'espace nous a contraint à faire des choix. Les modèles focalisant sur l'ergonomie de l'interface ou encore sur le concept de facilité/pertinence d'appropriation/utilisation «usability» apporte une contribution significative à la problématique de l'évaluation, ils seront abordés par quelques uns des contributeurs de cet ouvrage, nous n'avons donc pas jugé nécessaire de traiter ce sujet en introduction. Par ailleurs, nous n'avons pas jugé bon non plus d'aborder systématiquement les débats alimentés par la pertinence et l'utilité du recours à des évaluations quantitatives ou qualitatives. Rappelons ici que notre objectif de départ était de tenter de définir quelques concepts de bases reliés à l'évaluation des qualités pédagogiques des dispositifs de formation eLearning. Nous espérons avoir permis au lecteur de constater l'évolution de la problématique de l'évaluation et d'étendre sa vision au delà de la simple prise en compte du dispositif de formation pour embrasser de multiples dimensions influençant les apprentissages et l'ensemble des dimensions systémiques dans lesquelles il prend forme. Cet exposé aura aussi permis, nous l'espérons, de circonscrire dans quelles dimensions et sous quels angles le présent ouvrage aborde
sa thématique. Afin de synthétiser les éléments présentés jusqu'ici, nous proposons finalement une grille d'analyse qui permettra d'articuler les différentes dimensions abordées dans cette introduction et pourra éclairer les perspectives de l'évaluation abordés dans chacune des contributions.

Cette grille, synthétisée dans le tableau 1, est structurée en trois axes principaux pour en faciliter la lecture: 1. dans l'axe vertical, les dimensions structurelles (micro-méso-macro) et actancielles (acteurs); 2. dans l'axe horizontal, la culture des acteurs qui agit comme filtre selon le degré d'adoption/appropriation de l'innovation et ensuite les phases critiques de l'évolution (ou la production) du dispositif; 3. finalement dans l'axe de profondeur, d'une part les éléments caractéristiques et stratégiques du dispositif (objectifs, clientèle, stratégies et activités pédagogiques, outils et ressources, évaluation, interface, technologies) et d'autre part les éléments stratégiques de l'évaluation soit les buts et objectifs, les objets d'analyse, les méthodes et stratégies d'évaluation, les outils utilisés pour la collecte, l'analyse et l'interprétation des données, les choix de diffusion et les implications des résultats de l'évaluation. Cette articulation multidimensionnelle permet d'adresser les questions suivantes à propos de l'évaluation: qui? Pourquoi? Selon quelle perspective? A quel moment du processus? Comment (objets, méthodes, outils, diffusion)? Avec quel impact? Le modèle est prévu pour être utilisé par n'importe lequel des acteurs qui voudra analyser, planifier, réaliser ou réguler une évaluation. Par exemple ont peut imaginer l'un des acteurs définissant sa position, son rôle, sa vision épistémologique et ses caractéristiques culturelles, et puis ensuite, pour une étape donnée, préciser les éléments stratégiques (buts et objectifs, etc.). Ainsi, les questionnements sur les buts, objets stratégies, etc. seront-ils éclairés par une prise de conscience des dimensions structurelles, actancielles, culturelles et évolutives du dispositif. Il s'agit en fait d'un outil réflexif pour étayer le choix des éléments stratégiques de l'évaluation. Pour une analyse plus pointue des dimensions pédagogiques du dispositif on pourrait adopter une approche inspirée du modèle IntersTICES qui identifie des éléments de plus value pédagogique lors du recours aux technologies et qui questionne la congruence du dispositif de formation ainsi que sa pertinence en fonction du contexte spécifique incluant, entre autres, la culture des acteurs en terme de représentations, habiletés et ressources, attitudes et pratiques habituelles.
un historique de recherches contributoires qui, depuis plus de 40 années pour certaines, tentent de résoudre des problèmes de développement et d'évaluation relatifs à l'innovation et à la médiatisation de l'enseignement. Nous avons tenté de rendre compte de cet historique au sein de l'introduction et dans la grille d'analyse proposée.

Les articles de ce numéro spécial abordent divers sujets qui recoupent les pré-
occupations de ses différents champs contributoires. Nous avons invité les au-
teurs de façon à couvrir un éventail assez large de perspectives. Nous allons ten-
ter ici de situer la perspective abordée dans chacune des contributions puis de
localiser dans notre grille d'analyse les principales dimensions qu'ils touchent.

Le premier article, celui de Lepori et Perret, rapporte les travaux de l'équipe «edumanagement» du CVS menée par Benedetto Lepori. Le point de départ de leurs travaux est donc d'abord celui d'un mandataire du CVS, dimension macro du système, pour l'évaluation institutionnelle des projets. On comprendra que les auteurs s'inscrivent dans une analyse des relations entre les variables structurelles des différents niveaux systémiques et intègrent la convergence des dimensions culturelles (et épistémologiques) comme facteurs déterminants. Les impacts de leurs travaux touchent principalement les politiques et pratiques à implanter dans la phase 2 du développement du CVS qui pour la majorité des projets de la phase I correspond aux étapes de l'implantation/mise à jour en contexte réel et de la diffusion et maintenance à large échelle. Ces choix et orientations politiques auront évidemment un impact considérable pour les nouveaux projets.

Le deuxième article, celui de Viens & Peraya, témoigne des travaux du man-
dat IntersTICES obtenu par TECFA de la part du Campus Virtuel. L'approche
adoptée par IntersTICES a inscrit l'évaluation dans une dynamique de co-éva-
luation avec les acteurs à travers une communauté de pratique qui a permis de
co-organiser des activités de formation continue afin d'enrichir la culture des
participants et des collaborateurs périphériques. On y présente des éléments mé-
thodologiques et stratégiques relatifs à la méthodologie d'évaluation proposée.
Un cadre d'évaluation global, intégrant l'ensemble des dimensions du présent
modèle a été développé à travers les activités d'IntersTICES. Une série de 7 in-
dicateurs de plus value pédagogique de l'intégration des TIC a été identifiée et a
servi à organiser une réflexion critique sur les dispositifs de formation et la cul-
ture des acteurs, tant enseignants qu'apprenants. Finalement, les impacts ont été
forts positifs pour certains projets et se sont étendus à travers l'ensemble des va-
riables structurelles et actancielles. L'approche d'évaluation formative de type re-
cherche-action de formation a permis de faire financer, pour la phase 2 du CVS,
un réseau des centres de compétence eLearning des universités Romandes, inti-
tulé GIRAFE pour Groupe inter-universitaire romand d'accompagnement et de
formation en eLearning.

Le troisième chapitre, celui de Platteaux, présente la méthodologie et les ré-
sultats des travaux du groupe de soutien pédagogique aux projets de l'Université
de Fribourg, qui constitue en fait un acteur au niveau méso. La démarche adop-
tée s'inscrit dans l'évolution du développement du dispositif et a impliqué à la
fois les enseignants et les apprenants. Les retombées pour trois projets spécifiques
sont présentées et une réflexion critique est présentée afin d'offrir des pistes
d'amélioration d'enrichissement de la stratégie d'évaluation formative continue
adoptée.

Le quatrième chapitre, celui de Wyrstch, aborde l'évaluation du dispositif au niveau micro et à l'instar de Havelock (1976b, p. 236), considère l'évaluateur comme un des membres de l'équipe du projet. Au niveau méthodologique, l'autre s'inspire de la méthode Finite Element (FET), une technique pour évaluer les problèmes de solidité en génie civil. UN des objectifs du projet rapporté est de développer un manuel pour l'application de la méthode FET. On y aborde aussi les problèmes relatifs à l'interdisciplinarité et, en particulier, les éléments suivants:

- Le déroulement du projet dont fait partie l'évaluation pédagogique;

- Les méthodes d'évaluation;

- Les résultats spécifiques de l'évaluation réalisée;

- Les impacts des résultats sur le développement du manuel.

Le cinquième chapitre, celui de Charlier et Henri, part d'une perspective fort
différente. Les auteurs se situent au niveau méso de par leurs rôles et fonctions de
chercheur mais s'inscrivent d'emblée dans l'action sur le terrain, au sein même
du dispositif de formation. C'est avant tout une réflexion critique proposée par
deux chercheurs, à partir d'expériences sur le terrain et d'une revue de littérature.
Ils adoptent d'emblée une posture épistémologique socio-constructiviste. Dès le
départ ils décrivent l'évolution du concept de communauté et font ressortir les
eventuelles retombées positives de son application en formation professionnelle.
La démarche d'évaluation proposée, «l'évaluation pour la connaissance», est une
approche formative qui veut contribuer à mieux connaître et à mieux com-
prendre la spécificité des situations pédagogiques innovantes. Elle permet no-
tamment de décrire et d'analyser le processus et les produits de l'expérience d'ap-
prentissage des étudiants ainsi que les démarches et les effets de la mise en place
d'un dispositif de formation innovant dans des institutions universitaires. Par la
suite, les auteurs précisent les conditions d'émergence de communautés de pra-
tique puis, les caractéristiques de l'approche d'évaluation pour la connaissance
ainsi que leur degré de concordance Finalement, un cas illustre les propos des au-
teurs qui concluent en proposant quelques instruments pouvant être utilisés lors
de l'utilisation de l'évaluation pour la connaissance.

Le dernier chapitre, celui de Grund et Grote, présente les travaux d'un autre
groupe de soutien institutionnel ayant travaillé auprès des projets du CVS. Ils
proposent d'emblée une articulation de certains contextes de formation en ligne
à des fondements théoriques et à leurs implications didactiques en situation de
«blended learning». Il décrit ensuite la méthodologie d'évaluation utilisé qui s'in-
titule CIELT pour: «Concept and Instruments for Evaluation of Learning
Tools». Le modèle intègre les perspectives de différents acteurs, notamment l'enseignant, l'apprenant, l'ingénieur pédagogique et l'industrie. Une stratégie de prototypage est proposée afin de tester et d'améliorer le dispositif tout au long de son développement en faisant participer l'ensemble des acteurs au processus. Le rôle des apprenants est cependant limité à celui d'expérimentateur et de commentateur, ils ne s'impliquent pas dans l'analyse et l'interprétation des données comme ils sont appelés à le faire dans d'autres modèles. Progressivement en 4 étapes itératives, l'évaluation permet de tester la «usability», les comportements des apprenants, l'apprentissage et la coopération ainsi que les aspects organisationnels. Le chapitre se termine par la présentation d'un cas et des résultats de l'évaluation réalisée avec la méthode proposée.

Nous espérons que ce numéro saura apporter une contribution à la culture que, vous lecteur, avez de l'évaluation au service de la qualité de la formation eLearning. L'ouvrage ne se veut pas complet et exhaustif mais plutôt une source de réflexion sur le sujet qui permettra de remettre en cause et d'alimenter vos présentations, vos habiletés et ressources, vos attitudes et même vos pratiques d'intégration pédagogique des TIC.

## Notes

1. Formulation européenne courante de TIC: technologies de l'information et de la communication en éducation.

## Références

AFEC-Info (2004). Communication électronique «Programme Leonardo Da Vinci». [AFEC-Info] du 28 juin 2004, 16h00. http://afecinfo.free.fr/afec/index.htm.

Ally, M. (2004). Foundations of educational theory for online learning. In T. Anderson & F. Elloumi. *Theory and practice of online learning*. Athabasca: Athabasca University. Disponible en ligne: http://cde.athabascau.ca/online_book/

Baker, R. K. (2003). A Framework for Design and Evaluation of Internet-Based Distance Learning Courses Phase One – Framework Justification, Design and Evaluation. *Online Journal of Distance Learning Administration*, 6(2). Disponible en ligne: http://www.westga.edu/%7Edistance/jmain11.html

Barker K. (1999a). *Quality guidelines for technology-assisted distance education*, Futured. http://www.futured.com/pdf/distance.pdf

Barker K. (1999b). *The Electronic Learning Record: Assessment and Management of Skills and Knowledge – A Literature Review*. http://www.futured.com/pdf/ELR.pdf

Bennis, W.G., Benne, K.D., Chin, R. & Cory, K.E. (1976). *The planning of change* (3e éd.). New York: Holt, Rinehart et Winston.

Bersier, J., Fritzsche, P. & Wyrsch, A. (2003). FET-Transfer: Cours de post-formation sur l'application de la méthode des Eléments finis (S. 23-27) In: *Flash Informatique*. EPFL, Service informatique. Fl 5-3 juin 2003.

Bibeau R., Delisle C. (2001) *Critères de qualité d'un site Web. Disponible en ligne: http://concours2002.educationquebec.qc.ca/qualite2002.htm*

Blanchard, K. & Johnson, S. (1984). *The One Minute Manager*. New York: Berkley.

Bloom, B. (1953). *Taxonomy of Educational Objectives: The Classification of Educational Goals*. New York: McKay.
Blumenfeld, P., Fishman, B.J., Krajcik, J. & Marx, R. W. (2000). Creating Usable Innovations in Systemic Reform: Scaling Up Technology-Embedded Project-Based Science in Urban Schools. *Educational Psychologist, 35*, (3), p. 149-164.

Clark, D.L. & Guba, E.G. (1967). *An examination of potential change roles in education. In Rational planning in curriculum and instruction: Eight essays* (pp. 111-133). National Education Association Center for the Study of Instruction.

Clark, R.E. (1983). Reconsidering Research on Learning from Media. *Review of Educational Research* 53, (4), 445-459.

Clark, R.E. (2001). *Learning from Media: Arguments, Analysis and Evidence*. Greenwich, Conn: Information Age Publishers.

Conole, G. (Ed). (2002). Special issue: Evaluation of Learning Technologies in Higher Education. *Educational Technology & Society* 5, (3). Consulté en ligne le 15 juin 2004: http://ifets.ieee.org/periodical/vol_3_2002/v_3_2002.html.

Cooper, P.A. (1993). Paradigm shifts in Designed Instruction: from behaviorism to Cognitivism to Constructivism. *Educational Technology. 33*, (5), 12-19.

Delandshere, G. (2002) Assessment as inquiry. *Teachers College Record, 104*, (7). Disponible en ligne: http://www.tcrecord.org/pdf/10992.pdf

Depover, C. & Strebelle, A. (1996). Fondements d'un modèle d'intégration des activités liées aux nouvelles technologies de l'information dans les pratiques éducatives. G.-L. Baron & É. Bruillard (Dir.), *Informatique et éducation: regards cognitifs, pédagogiques et sociaux* (pp. 9-20), Paris: INRP.

EASI-ISAE (1999). *Cours destiné aux enseignants. Formation des auteurs à la conception d'un produit pédagogique multimédia interactif*. Consortium EASI-ISAE. Université de Derby Disponible en ligne. http://mediamatch.derby.ac.uk/french/Menu.htm

EDUCA. (2004). *Le portail de l'éducation sur le serveur Suisse de l'éducation. Définition du terme eLearning*. Disponible en ligne: http://www.educa.ch/dyn/1525.htm

Ehlers, U.D. et al. (2003). Qualität von E-Learning kontrollieren. A. Hohenstein & K. Wilbers, (Hrsg.) (6. Erg.-Lfg. Oktober 2003). *Handbuch E-Learning*. Köln: Deutscher Wirtschaftsdienst.

Fend, H. (1999). *Qualität im Bildungswesen*. Weinheim: Juventa.

Fullan, M. (1982). *The meaning of educational change*. Toronto: Ontario Institute for Studies in Education.

Fullan, M. (1991). *The new meaning of educational change*. New-York: Teachers College Press.

Hall, G.E. (1974). *The concern-based adoption (CBAM) model: A developmental conceptualisation of the adoption process within educational institutions*. Austin, Texas: University of Texas, The Research and development centre for teacher education. Document Eric. No. ED 111 791.

Harvey, J. (1998). *The LTDI Evaluation Cookbook*. Glasgow: Learning Technology Dissemination Initiative. Disponible en ligne: http://www.icbl.hw.ac.uk/ltdi/cookbook/contents.html

Havelock, R.G. (1968). Dissemination and translation roles. In T.L. Eidell & J.M. Kitchel (Eds), *Knowledge production and utilization in educational administration*. Columbus, Ohio: Ohio University Council for Educational Administration.

Havelock, R.G. (1976a). *Planning for innovation through dissemination and utilization of knowledge (6th ed.)*. Ann Arbor, Michigan: The University of Michigan center for Research on Utilization of Scientific Knowledge, Institute for Social Research.

Havelock, R.G. (1976b). *Schulinnovation – ein Leitfaden*. Bern: Haupt.

House, E.R. (1971). A critique of linear change models in education. *Educational Technology, 11*, (10), 35.

Kearsley G. (1998). *A Guide to Online Education*. Disponible en ligne: http://home.sprynet.com/~gkearsley/online.htm
Keating, C. A. (2003). *Exploitation pédagogique dans Internet. Modes de communication et functions de travail collectif*. Site Web disponible à l'adresse: http://benhur.teluq.uquebec.ca/-ckeating/COMMUNICATION ET INTERNET.htm

Kirkpatrick, D.L. (1994). *Evaluating Training Programs: The Four Levels*. San Francisco, CA: Berrett-Koehler.

Komoski, P.K. & Woodward, A. (1985). The continuing need for learner verification and revision of textual material. In D. Jonassen (Ed.). *The Technology of text. Volume 2*. Englewood Cliffs, N.J.: educational Technology Publications Inc..

Kozma, R.B. (1991). Learning with media. *Review of Educational Research*, 61(2), 179-211.

Kozma, R.B. (1994). Will media influence learning. *Educational Technology Research & Development*. 42(3), 7-19.

Kulik, J.A. (1994). Meta-analytic studies of findings on computer-based instruction. In E.L. Baker and H. F. Jr. O'Neil (Eds.), *Technology assessment in education and training*. (pp. 9-33). Hillsdale, NJ: Lawrence Erlbaum.

Le Préau (2002). *Quel modèle qualité pour la e-formation? «Les normes qualités existantes répondent-elles aux besoins des acteurs de la e-formation?»* http://www.preau.ccip.fr/qualite/index.php

Legendre, R. (1993). *Dictionnaire actuel de l'éducation*. 2e édition. Paris: Eska.

Leonardo da Vinci (2004). Appel à propositions (Direction générale de l'Éducation et de la Culture) dans le cadre de la deuxième phase du Programme Leonardo da Vinci (EAC/11/04). *Journal officiel de l'Union européenne*. C-113. 30/04/2004. P. 22-38. Accessible en ligne: http://www.clora.net/JOCE/pdf/2004/ap-xx-20040430-fr-04.pdf

Locke, E.A. & Latham, G.P. (1990). *A theory of goal setting & task performance*. Englewood Cliffs, N.J.: Prentice Hall.

MEQ. (2003). *Programmes de formation de l'école québécoise. Chapitre 2. Compétences transversales*. Québec: Ministère de l'Éducation du Québec, disponible en ligne: http://www.meq.gouv.qc.ca/DGF/dp/programme_de_formation/primaire/prform2001b.htm

Miles, M.B. (1964). Educational innovation: Some generalizations. In W.C. Meierhenry (Ed.), *Media and educational innovation: A symposium on identifying techniques and principles for gaining acceptance of research results of the use of newer media in education*. Rapport préliminaire. Lincoln, Nebraska: University of Nebraska.

Miles, M.B. (Ed.) (1973). *Innovation in Education (4th Ed.).* New-York: Columbia Teachers College.

Millerand F. & Martial O. (2001). *Guide pratique de conception et d'évaluation ergonomique de sites Web*, http://www.crim.ca/rd/Guide%20ergonomique.PDF

National Council for Accreditation of Teacher Education, NCATE (1997). Task Force on Technology and Teacher Education. *Technology and the new professional teacher: Preparing for the 21st century*. Washington, DC: NCATE.

North Central Regional Educational Laboratory (NCREL). (2004). *Technology Assessment and Evaluation*. Naperville, Illinois: Learning Points Associates. Disponible en ligne: http://www.ncrel.org/tech/aande.htm.

Oliver, M. (1999). The ELT Toolkit. 15/06/2004. http://www.unl.ac.uk/tltc/elt/toolkit.pdf

Oliver, M. (2000). An introduction to the evaluation of learning technology. In M. Oliver (Ed), Special issue: Evaluation of Learning Technology. *Educational Technology & Society* 3, (4). 15/06/2004. http://ifets.ieee.org/periodical/vol_4_2000/v_4_2000.html

Paulsen, R.G. (1976). *Conflicting theories of social and educational change: A typological review*. Pittsburg, PA: University Centre for International Studies, University of Pittsburg.

Peraya, D. & Viens, J. (2004a). Relire les projets «TIC et innovation pédagogique»: y a-t-il un pilote à bord, après Dieu bien sûr. In T. Karsenti & F. Larose (dir.), *Intégration pédagogique des TIC dans le travail enseignant: recherches et pratiques*. Ste-Foy: Presses de l'Université du Québec.
Peraya, D. & Viens, J. (2004b). Vers un modèle de pilotage et de soutien de l'intégration pédagogique des TIC: faire de la culture des acteurs et de la méthode d'intervention les éléments-clés du processus. In Actes du XIIème congrès mondial d'éducation comparée- Symposium francophone d'éducation comparée.

Phillips, R., Bain, J., McNaught, C., Rice, M. & Tripp D. (2000). *Handbook for Learning-centred Evaluation of Computer-facilitated Learning Projects in Higher Education*. Disponible en ligne: http://cleo.murdoch.edu.au/projects/cutsd99/handbook/handbook.htm.

Pratt, D.D., Collins, J.B. & Jarvis Selinger, S. (2001). *Development and Use of The Teaching perspectives Inventory (TPI)*. Paper presented on April 12th at the 82nd Annual Meeting of the American Educational Research Association, in Seattle. http://www.klick.org/2000aera/rbfiledisp.asp?sheadid=1165

Reeves T.C. & Sandberg, J.G. (2003). *Interactive Learning Systems Evaluation*. Englewood Cliffs, NJ: Educational Technology Publications. Matériel disponible en ligne: http://www.evaluateitnow.com/

Reeves, T. (1997b). *Evaluating What Really Matters in Computer-Based Education*. Accessible en ligne: http://www.educationau.edu.au/archives/cp/reeves.htm

Reeves, T. (1997a). *A Model of the Effective Dimensions of Interactive Learning on the World Wide Web*. Athens, GA: Instructional Technology, The University of Georgia. Accessible en ligne: http://it.coe.uga.edu/~treeves/WebPaper.pdf

Rogers, E.M. (1983). *Diffusion of Innovations (3rd Ed.)* New-York: The Free Press.

Savoie-Zajc, L. (1993). *Les modèles de changement planifié en éducation*. Montréal: Les Éditions Logiques.

Seidel, R.J. & Perez, R.S. (1994). An evaluation model for investigating the impact of innovative educational technology. In F. Oneil & E.L Baker, *Technology assessment in software applications*. Lawrence Erlbaum.

Taylor, J. (2003). *Fifth generation distance education. International Council for Open and Distance Education*. Consulté le 20 août 2003, texte complet en section membre seulement: http://www.icde.org/oslo/icde.nsfid/8FAD21A279C147E441256C5C004775D7?OpenDocument

The Institute for Higher Education Policy (2000). *Quality on the line. Benchmarks for success in internet based distance education*. Washington, DC: National Education association.

Thot (2004a). *Guide des pratiques d'apprentissage en ligne: les interactions à la loupe* http://thot.cursus.edu/rubrique.asp?no=17066

Thot (2004b). *Plates-formes e-learning: le dilemme des «fonctionnalités de gestion» et du mode d'évaluation*. http://thot.cursus.edu/rubrique.asp?no=17216

Unesco (2002a). *Information and communication technologies in teacher education*. A planning guide. Paris: Unesco, division of higher education.

Unesco (2002b). *Open and distance learning. Trends, policy and strategy considerations*. Paris: Unesco, division of higher education.

Unesco (2002c). *Information and communication technologies in teacher education*. A curriculum for schools and programme of teacher development. Paris: Unesco, division of higher education.

Viens, J. (2003). *An action-instruction-research framework: Towards a systemic evaluation of factors influencing the adoption of innovative pedagogy with ICT*, UNESCO Chair «ICT for All» International Workshop May 21th-23th 2003. Invited speaker. International Research Training Centre UNESCO/IIP, Kiev, Ukraine.

Viens, J. (soumis) *Intégration des savoirs d'expérience et de la recherche: l'incontournable systémique*. In D. Peraya & B. Charlier (Eds.). *Les technologies éducatives: une opportunité d'articuler les savoirs d'expérience et ceux issus de la recherche?* Bruxelles: deBoeck.

Viens, J., Bullat-Koelliker, C. & Peraya, D. (2003). Rapport synthèse des activités de recherche action-formation d'InterSTICES, TECFA, Université de Genève, Suisse. Document Internet disponible au http://tecfa.unige.ch/proj/cvs/doc/rapport_synth03.doc et an-
nexes du document aussi disponibles à: http://tecfa.unige.ch/proj/cvs/doc/rapport_synth-annex.doc

Viens, J., Bullat-Koelliker, C. & Peraya, D. (2004, à paraître). *Evaluation du travail du groupe Inters-TICES*. Rapport final d'activités (2001-2004). Genève: TECFA, FPSE, Université de Genève.

Viens, J., Rioux, S., Breuleux, A. & Bordeleau, P. (2003). Réussite d'une activité d'apprentissage. Maïeutique électronique et co-construction de savoirs. In C. Deaudelin et T. Nault (Eds.), *Collaborer pour apprendre. La place des outils technologiques*. Montréal: Presses de l'Université du Québec. (pp. 163-190).

Wilbers, K. (2002). E-Learning didaktisch gestalten. In: A. Hohenstein & K. Wilbers (Hrsg.) (2002), *Handbuch E-Learning*. Köln: Deutscher Wirtschaftsdienst.

Wright, C. R. (2004). Criteria for evaluating the quality of online courses. Alberta: Grant MacEwan College. Disponible en ligne: http://www.imd.macewan.ca/imd/content.php?contentid=36

Wyrsch, A. (2003). Differenzierung der Lehrgangsdidaktik dank Evluation. In: *Thema. Magzin der Fachhochschule Aargau Nordwestschweiz*, (11), 14-16.