# Retour d'expérience sur l'évaluation d'une formation des enseignants à la FAD dans le cadre de la crise de la COVID-19

Florent Michelot, Bruno Poellhuber, Bernard Bérubé, Sébastien Béland

► To cite this version:

Florent Michelot, Bruno Poellhuber, Bernard Bérubé, Sébastien Béland. Retour d'expérience sur l'évaluation d'une formation des enseignants à la FAD dans le cadre de la crise de la COVID-19. Revue internationale des technologies en pédagogie universitaire, 2021, 18 (1), pp.21-31. 10.18162/ritpu-2021-v18n1-04. hal-03144725

HAL Id: hal-03144725

https://hal.science/hal-03144725v1

Submitted on 17 Feb 2021

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons CC BY 4.0 - Attribution - International License
<figure><img src="image_2.png" /></figure>

RITPU | IJTHE

ritpu.org | ijthe.org

Revue internationale des technologies en pédagogie universitaire
International Journal of Technologies in Higher Education

ISSN 1708-7570

Volume 18, n°1, p. 21-31

2021

# Retour d'expérience sur l'évaluation d'une formation des enseignants à la FAD dans le cadre de la crise de la COVID-19

## Evaluation of an E-Learning Training Activity for Teachers During the COVID-19 Pandemic

https://doi.org/10.18162/ritpu-2021-v18n1-04

Florent MICHELOT<fnref n="1" />
florent.michelot@umontreal.ca

Bruno POELLHUBER<fnref n="1" />
bruno-poellhuber@umontreal.ca

Bernard BÉRUBÉ<fnref n="1" />
b.berube@umontreal.ca

Sébastien BÉLAND
sebastien.beland@umontreal.ca

Université de Montréal, Canada

Mis en ligne : 16 février 2021

## Résumé

Face au défi du passage à l'enseignement à distance, de nombreux établissements d'enseignement supérieur ont développé des programmes de formation pour leurs enseignants. À la fin de la session d'hiver 2020, le Centre de pédagogie universitaire de l'Université de Montréal a développé un cycle comprenant une vingtaine d'activités pour concevoir et encadrer des cours à distance. Cette première itération a fait l'objet d'un processus d'évaluation systématique pour bonifier les formations futures. Cette évaluation a reposé sur la rétroaction des formateurs et des enseignants. Nous présentons ici les instruments mobilisés, relevant des approches qualitatives et quantitatives, pour sonder les enseignants.

## Mots-clés

Formation des enseignants, évaluation de formation, formation à distance (FAD), pédagogie universitaire

## Abstract

In response to the issue of the transition to distance learning, many higher education institutions developed training programs for their teachers. At the end of the 2020 winter session, the Centre de pédagogie universitaire (Université de Montréal) developed a cycle of some 20 activities to design and supervise distance courses. This first iteration was the subject of a systematic evaluation process to improve future training. This evaluation was based on trainers' and teachers' feedback. We present instruments used, based on qualitative and quantitative approaches, to survey teachers.

## Keywords

Teacher training, training assessment, distance learning, university pedagogy

<figure><img src="image_3.png" /></figure>

© Auteurs. Cette oeuvre, disponible à https://doi.org/10.18162/ritpu-2021-v18n1-04, est distribuée sous licence Creative Commons Attribution 4.0 International http://creativecommons.org/licenses/by/4.0/deed.fr

<footnote n="1">1. Également Centre de pédagogie universitaire.</footnote>
## Introduction

La crise, pour reprendre l'une des définitions canoniques du concept, est un événement imprévisible, qui met en péril les objectifs prioritaires d'une organisation et se caractérise par le manque de temps pour répondre aux défis posés (Hermann, 1963). Parmi les nombreux impacts reliés à la crise sanitaire de la COVID-19 en éducation, la question du développement des compétences enseignantes a été centrale : pour maintenir leur mission d'enseignement, il aura fallu que les établissements supérieurs déploient, en très peu de temps, un grand nombre de ressources pour outiller les enseignants et ainsi faire face à un contexte tout à fait inattendu.

Parmi ces ressources, les établissements d'enseignement supérieur québécois ont mis sur pied des formations à destination de leur personnel enseignant (professeurs, chargés de cours, etc.). Comme la TÉLUQ<fnref n="2" /> ou l'UQAM<fnref n="3" />, l'Université de Montréal (UdeM), par son Centre de pédagogie universitaire, a déployé un parcours de formation pour continuer d'épauler les membres du personnel enseignant selon leurs besoins. Développé dans l'urgence de la crise, le parcours de formation « Concevoir et encadrer des activités pédagogiques à distance pour mon cours de l'été 2020 » était ouvert à l'ensemble des enseignantes et enseignants de l'UdeM. Il comprenait 21 activités (webinaires, ateliers et communautés de pratiques) réparties sur trois semaines (Centre de pédagogie universitaire, 2020). La hâte dans laquelle le parcours a été bâti a cependant révélé d'inévitables imperfections dont il fallait tenir compte. Une évaluation du parcours de formation apparaissait donc comme incontournable pour améliorer l'offre présente et future de formations, tout en prenant en considération le contexte extrêmement labile de la crise. En effet, considérant le fait que le confinement (d'abord présenté comme temporaire) allait s'étirer dans le temps, le passage à l'enseignement à distance devenait donc une nécessité à planifier sur plusieurs mois, nécessité qui, elle-même, exigerait de développer d'autres formations au fil de la crise. La stratégie d'évaluation allait donc permettre d'adapter l'offre de formation en fonction de la rétroaction des enseignants. Finalement, l'adoption (en tout ou partie) de stratégies de formation à distance par l'ensemble de la communauté éducative montre bien qu'il est nécessaire de développer des formations qui s'adaptent à l'évolution rapide des compétences enseignantes : en ce sens, une stratégie d'évaluation est d'autant plus importante pour s'adapter à cette réalité changeante.

Le présent article vise à détailler une partie du scénario d'évaluation des formations sur la conception et l'encadrement d'activités pédagogiques à distance en temps de confinement, et ce, en vue de la bonification de ces formations. À la suite de ce travail descriptif, la communauté éducative est invitée à mobiliser ce scénario et à l'adapter selon ses besoins, tandis que la communauté de recherche est invitée à l'éprouver empiriquement<fnref n="4" />. Cet article présentera le cadre conceptuel adopté pour bâtir la séquence d'évaluation. Nous exposerons ensuite les ressources élaborées, particulièrement pour connaître le point de vue des enseignants. Nous discuterons enfin des perspectives de cette instrumentation.

<footnote n="2">2. Cours J'enseigne à distance, soutenu par le Ministère de l'Éducation et de l'Enseignement supérieur</footnote>

<footnote n="3">3. Formations à la carte du Carrefour technopédagogique.</footnote>

<footnote n="4">4. Cet article ne vise donc pas à présenter l'analyse des données collectées durant le processus d'évaluation, analyse qui aurait exigé un certificat éthique ad hoc pour une utilisation secondaire des données (cf. section Éthique et déclaration de conflit d'intérêts). C'est la raison pour laquelle aucun n'est résultat n'a pu ici être rapporté. Sur la base des données ici recueillies, nos analyses feront l'objet d'une éventuelle publication ultérieure.</footnote>
## Les fondements de l'instrumentation utilisée

Dans un contexte de formation, la notion d'évolution renvoie à l'idée de déterminer et d'améliorer la valeur d'une formation (c.-à-d. maintenir ou non la formation en l'état) sur la base de standards ou de critères particuliers qui aident à la prise de décision (Gilibert et Gillet, 2010; McCain, 2016).

Le modèle adopté ici relève davantage de l'évaluation de formations professionnelles. Il s'agit du modèle de Kirkpatrick et Kirkpatrick (2006) à quatre niveaux d'impact (tableau 1) : malgré ses faiblesses (conceptuelles et instrumentales), il reste l'un des modèles parmi les plus employés (Gilibert et Gillet, 2010; Santos et Stuart, 2003). Nous nous sommes toutefois rapportés au modèle de Guskey (2002) en cinq niveaux pour bonifier ce premier modèle : d'abord, il évoque l'emploi de nouvelles connaissances et habiletés plutôt que de parler de simples changements de comportements; ensuite, l'auteur distingue le soutien de l'organisation de la simple satisfaction. Même si nous ne remobilisons pas cette distinction, la nuance que fait Guskey (2002) est utile : il faut tenir compte à la fois d'un élément de contentement<fnref n="5" /> et d'un élément plus organisationnel relatif au soutien reçu par l'équipe d'organisateurs.

<caption>**Tableau 1**</caption>

Synthèse adoptée des modèles de Kirkpatrick et Kirkpatrick (2006) et Guskey (2002)

<table><thead><tr><td>Niveau</td><td>Concept</td><td>Éléments recueillis</td></tr></thead><tbody><tr><td>Réaction</td><td>Satisfaction et soutien reçu</td><td>Perception de la formation par les participants</td></tr><tr><td>Apprentissages</td><td>Connaissances et compétences</td><td>Connaissances acquises ou compétences développées</td></tr><tr><td>Changements des pratiques</td><td>Intégration des apprentissages dans les comportements</td><td>Évolution des comportements</td></tr><tr><td>Résultats</td><td>Application dans l'activité visée ou répercussions</td><td>Atteinte des résultats escomptés grâce à l'évolution des comportements</td></tr></tbody></table>

## Présentation de la structure de l'évaluation

Dans notre stratégie d'évaluation, nous nous sommes concentrés sur les deux premiers niveaux que sont la réaction (1er niveau) et l'apprentissage (2e niveau). Quant au 3e niveau, même s'il est encore tôt pour établir un bilan sur le plan comportemental, nous pouvons évaluer les comportements anticipés, notamment en questionnant les enseignants sur les stratégies qu'ils pensent mobiliser dans leur pratique. Enfin, en ce qui a trait aux résultats (4e niveau), les stratégies existantes d'évaluation des enseignements par les étudiantes et étudiants permettront d'y répondre partiellement.

1. Le 1er niveau d'évaluation (réaction) a été renseigné : i) par les enseignants, avec un questionnaire de satisfaction et de qualité perçue après la formation; ii) par les conseillers pédagogiques impliqués dans le processus dans le cadre de deux activités de groupe. Ces deux éléments de « réaction » réfèrent aux dimensions de contentement et d'organisation soulignées par Guskey (2002).

<footnote n="5">5. Dans le niveau Réaction, Guskey (2002) souligne la qualité du matériel et le sentiment d'avoir bien utilisé son temps, mais aussi la température de la salle et la qualité des rafraîchissements.</footnote>
2. Le 2ᵉ niveau (apprentissage) a été documenté par les enseignants dans : i) un questionnaire sur le sentiment d'autoefficacité (ou sentiment d'efficacité personnelle, SEP) passé avant et après la formation; ii) une question ouverte sur les compétences ou connaissances développées dans le questionnaire post-formation; iii) une communauté de pratique dans laquelle les enseignants échangeaient sur leurs stratégies pédagogiques « coups de cœur ».

3. Le 3ᵉ niveau (changement des pratiques) a été évalué par les enseignants avec : i) une question ouverte sur les stratégies qu'ils comptaient déployer, dans le questionnaire post-formation; ii) un groupe de discussion auquel ont participé cinq enseignants (15 invitations envoyées); iii) une dernière communauté de pratique qui constituait une activité conclusion et dans laquelle les enseignants échangeaient sur les stratégies pédagogiques qu'ils comptaient mettre en œuvre à court et moyen terme.

## Détails sur les principaux instruments mobilisés pour recueillir la perception des enseignants

La consultation des enseignants a donc principalement reposé sur deux questionnaires, passés avant ou après la formation, ainsi que sur un groupe de discussion, que nous détaillons ici.

### Le questionnaire sur le sentiment d'autoefficacité avant et après la formation

Une difficulté inhérente aux formations libres et non certifiantes concerne l'évaluation des apprentissages et des compétences. En effet, on ne peut guère compter sur des évaluations sommatives. Le SEP constitue ainsi une option alternative simple à l'évaluation : le SEP est employé comme prédicteur de la capacité ou du désir d'un individu d'exécuter une tâche (Coutinho et Neuman, 2008; Pintrich et de Groot, 1990)<fnref n="6" />. Rappelons que le SEP est généralement défini comme correspondant aux capacités perçues dans un domaine spécifique (Bandura, 1986; Schunk, 1991). Nous avons adapté le modèle de Prior *et al.* (2016) en huit facteurs, modèle suggérant que l'attitude et les compétences numériques contribuent à l'autoefficacité<fnref n="7" />, elle-même contributive à la capacité d'interagir sur les environnements numériques d'apprentissage (ENA), notamment. Cette adaptation a été conçue pour quantifier l'autopositionnement sur la base de six facteurs latents :

i) l'attitude générale à l'égard des TIC;

ii) les compétences numériques au quotidien;

iii) les compétences génériques en enseignement;

iv) l'aptitude à animer des interactions avec un groupe-classe;

v) les compétences numériques en enseignement;

vi) les habiletés relatives à la manipulation des ENA.

Pour chacune des propositions, les enseignants devaient répondre à l'affirmation « Je me sens confiant(e) et compétent(e) pour… » sur une échelle de 1 (pas du tout) à 7 (tout à fait). Ce questionnaire (annexe, figure A.1) a été présenté avant et après la formation.

Cette échelle de six facteurs comporterait 45 items (annexe, tableau A.1). Des résultats partiels semblent attester d'une excellente précision de la mesure, autant quant à la fidélité des scores de

<footnote n="6">6. Talsma *et al.* (2018) suggèrent cependant que le SEP est plutôt le reflet de performance antérieure.</footnote>

<footnote n="7">7. Les *items* du facteur SEP ont été amendés pour correspondre aux compétences enseignantes en s'inspirant de Tondeur *et al.* (2020).</footnote>
l'échelle (α = 0,97; IC95[0,97; 0,98], ω<sub>t</sub> = 0,98; IC95[0,98; 1,00], ω<sub>h</sub> = 0,80; IC95[0,22; 0,97]) que pour les six facteurs, compris entre α = 0,85; IC95 (0,83; 0,92), ω<sub>t</sub> = 0,86; IC95 (0,84; 0,92) (facteur « Interactions avec le groupe classe ») et α = 0,97; IC95 (0,96; 0,97), ω<sub>t</sub> = 0,97; IC95 (0,96; 0,97) (facteur « Compétence numérique en enseignement »).

Le questionnaire de satisfaction et de qualité perçue après la formation

Nous nous sommes appuyés sur les travaux d'Aman (2009) qui a développé un questionnaire portant sur la satisfaction des participants à l'égard de formations en ligne. Ce questionnaire comporte une échelle qui vise principalement à quantifier la perception quant à la qualité de la formation. Cette échelle comporte cinq facteurs que sont : i) les objectifs d'apprentissage; ii) l'évaluation; iii) les ressources mises à disposition; iv) les interactions avec les formateurs; v) les technologies employées (annexe, tableau A.2). Nous avons retiré les items relatifs à l'évaluation des apprentissages puisqu'il n'y en avait pas. En plus de cette échelle, le questionnaire comprend plusieurs questions ayant trait au contexte général. Pour répondre à nos besoins, nous avons ajouté quelques questions relatives au temps (durée des activités et fréquence). Pour chacune des propositions, les enseignants devaient répondre à la question « Êtes-vous d'accord avec les énoncés suivants? » sur une échelle de 1 (pas du tout) à 7 (tout à fait), à l'exception des deux derniers items relatifs aux durées et pour lesquels on demandait de répondre à l'affirmation « Si le rythme de la formation et des différentes activités devait être modifié... » de 1 (beaucoup moins long) à 7 (beaucoup plus long). Enfin, un champ ouvert avait été ajouté pour recevoir des commentaires et suggestions. Ce questionnaire (annexe, figure A.2) a été présenté après la formation.

Concernant la précision de la mesure, les premiers indices de fidélité sont aussi excellents, tant
sur le plan de l'ensemble de l'échelle (α = 0,95; IC95[0,95; 0,98], ωt = 0,97; IC95[0,97; 0,99],
ωh = 0,82; IC95[0,81; 0,89]) que pour les cinq facteurs retenus, les indices étant compris entre
α = 0,85; IC95 (0,76; 0,93), ωt = 0,85; IC95 (0,73; 0,93) (facteur « Objectifs d'apprentissage ») et
α = 0,95; IC95 (0,95; 0,97), ωt = 0,95; IC95 (0,95; 0,97) (facteur « Technologies employées »).

Le groupe de discussion post-formation

Bien connu en recherches qualitatives, le *focus group* ou groupe focalisé en français<fnref n="8" /> (Thibeault, 2010) permet de générer des données par le biais de discussions de groupe (Morgan, 1997). Cinq enseignants, issus de facultés différentes, ont été invités à une rencontre synchrone pour effectuer un retour (*debriefing*) sur la formation, avec des questions prédéterminées proches de l'entretien semi-structuré. Les éléments de la grille d'Aman (2009) ont été autant de thèmes abordés durant cette heure, de même que les dimensions relatives à l'apprentissage et aux changements de pratiques. Cette approche permet de « creuser » davantage les données recueillies dans le cadre des questionnaires avec deux objectifs : i) détailler la nature des sources de mécontentement ou de satisfaction; ii) suggérer d'éventuelles améliorations. Sur cette base, nous avons bâti une grille souple et propice aux échanges :

- Le contexte général : clarté des informations accessibles en amont, simplicité du processus d'inscription, etc.

- Les objectifs d'apprentissage : Les enseignants en avaient-ils fixé en amont? Si oui, ont-ils été atteints? Correspondaient-ils aux attentes?

<footnote n="8">8. L'Office québécois de la langue française (s.d.) suggère la traduction « groupe de discussion », ce qui est toutefois légèrement différent du focus group.</footnote>
- Les apprentissages réalisés et les compétences développées

- Les ressources à disposition : Le matériel était-il pertinent? Était-il accessible?

- Les formations ont-elles permis les interactions avec les formateurs et les autres enseignants? Si oui, dans quelle proportion? Ces échanges ont-ils été de qualité?

- Les technologies mobilisées : Étaient-elles simples d'accès? Étaient-elles utiles?

- Qu'est-ce qui a changé ou qui va changer dans leurs pratiques en FAD?

## Discussion et conclusion

Parmi les outils mis sur pied par le Centre de pédagogie universitaire de l'UdeM pour évaluer et améliorer les cycles de formation offerts au personnel enseignant, trois visaient à recueillir directement leurs impressions. Une approche mixte a permis de couvrir différentes facettes de l'offre de formation, correspondant aux trois premiers niveaux du modèle de Kirkpatrick et Kirkpatrick (2006) et aux quatre premiers niveaux du modèle de Guskey (2003). Le développement d'une instrumentation francophone est indispensable, mais elle nécessiterait une démarche de validation plus aboutie sur le plan tant psychométrique que culturel et linguistique. Sur le plan psychométrique, l'échelle de SEP et le questionnaire de satisfaction, quoiqu'en développement, semblent être des indicateurs intéressants et rapides à mettre en œuvre dans le cadre de tests pré et post-formation. Des outils de sondage en ligne permettent de recueillir ce genre d'informations à coûts minimes, voire nuls.

La principale limite des mesures pré et post-formation réside cependant dans le fait que l'on peut légitimement supposer que les enseignants mécontents de leurs premiers pas dans une formation ne la poursuivent guère et ne vont pas l'évaluer. À l'inverse, ceux pour qui on porte un regard positif sur leurs premiers moments de formation vont possiblement s'y engager davantage et fournir une rétroaction positive. Cela est probablement particulièrement vrai pour la participation aux groupes focalisés dans lesquels on imagine mal les insatisfaits vouloir s'engager.

Grâce à l'échelle d'autoefficacité, il est possible d'observer une progression du score moyen de SEP quant aux différentes composantes et à la moyenne générale (passée de 5,00/7 à 5,29/7 à l'issue de la formation). Dans l'hypothèse où des recherches futures montreraient une diminution des scores au terme de la formation, il ne faudrait cependant pas pour autant en déduire que les connaissances ou compétences ont diminué en raison de la formation : il pourrait s'agir d'une illustration de l'effet Dunning-Kruger (Kruger et Dunning, 1999) selon lequel les personnes plus qualifiées ont une plus grande propension à més estimer leur compétence, ce qui a notamment été corroboré quant aux compétences informationnelles (Gross, 2005; Gross et Latham, 2012).

Il faudra aussi examiner la probable corrélation positive entre le niveau de SEP et le score à l'échelle de qualité. On sait déjà qu'un sentiment de satisfaction des enseignants au travail semble favoriser l'autoefficacité (Gkolia et al., 2014) : le sentiment de satisfaction, qui pourrait résulter de la perception d'un soutien de l'établissement, serait lié au SEP. Des analyses factorielles exploratoires et confirmatoires ultérieures contribueraient à raffiner les deux échelles proposées afin de les rendre plus parcimonieuses et de valider leur adéquation aux modèles. Surtout, la mobilisation d'une méthodologie de recherche contribuerait à éprouver ces quelques hypothèses.

En effet, le développement, dans l'urgence, de formations en soutien à l'enseignement a possiblement bousculé des modèles traditionnels de développement des compétences
numériques. Des travaux futurs pourraient ainsi remettre en question la validité, en contextes de crise, de modèles d'acceptation des technologies à l'image du *technology acceptance model* (TAM, Davis *et al.*, 1989) et de ses différentes versions (Venkatesh *et al.*, 2003; Venkatesh et Bala, 2008). Des facteurs contextuels (ici, la crise sanitaire) et des antécédents exogènes (par exemple, le SEP en compétence numérique, mais éventuellement le soutien institutionnel) pourraient être davantage pris en compte, comme cela a été évoqué pour certaines propositions de modifications du TAM (King et He, 2006).

## Éthique et déclaration de conflit d'intérêts

Trois des auteurs de cet article sont employés du service dans lequel le test a été réalisé. Cet article a fait appel à des méthodes et techniques utilisées en recherche à des fins d'assurance et d'amélioration de la qualité et ne nécessitant pas de certificat d'éthique.

## Références

Aman, R. R. (2009). *Improving student satisfaction and retention with online instruction through systematic faculty peer review of courses* [thèse de doctorat, Oregon State University]. ScholarsArchive@OSU. http://ir.library.oregonstate.edu/...

Bandura, A. (1986). *Social foundations of thought and action: A social cognitive theory*. Prentice-Hall.

Centre de pédagogie universitaire. (2020). *Programme du cycle de formation « Concevoir et encadrer des activités pédagogiques à distance pour mon cours de l'été 2020 »*. Université de Montréal. http://cpu.umontreal.ca/...

Coutinho, S. A. et Neuman, G. (2008). A model of metacognition, achievement goal orientation, learning style and self-efficacy. *Learning Environments Research, 11*(2), 131-151. https://doi.org/10.1007/s10984-008-9042-7

Davis, F. D., Bagozzi, R. P. et Warshaw, P. R. (1989). User acceptance of computer technology: A comparison of two theoretical models. *Management Science*, 35(8), 982-1003. https://doi.org/10.1287/mnsc.35.8.982

Gilibert, D. et Gillet, I. (2010). Revue des modèles en évaluation de formation : approches conceptuelles individuelles et sociales. *Pratiques psychologiques*, 16(3), 217-238. https://doi.org/10.1016/j.prps.2009.03.006

Gkolia, A., Belias, D. et Koustelios, A. (2014). Teacher's job satisfaction and self-efficacy: A review. *European Scientific Journal*, 10(22), 321-342. http://eujournal.org/...

Gross, M. (2005). The impact of low-level skills on information-seeking behavior: Implications of competency theory for research and practice. *Reference & User Services Quarterly*, 45(2), 155-162. http://jstor.org/...

Gross, M. et Latham, D. (2012). What's skill got to do with it? Information literacy skills and self-views of ability among first-year college students. *Journal of the American Society for Information Science and Technology*, 63(3), 574-583. https://doi.org/10.1002/asi.21681

Guskey, T. R. (2002). Does it make a difference? Evaluating professional development. *Educational Leadership*, 59(6), 45-51.
Hermann, C. F. (1963). Some consequences of crisis which limit the viability of organizations. *Administrative Science Quarterly*, 8(1), 61-82. https://doi.org/10.2307/2390887

King, W. R. et He, J. (2006). A meta-analysis of the technology acceptance model. *Information & Management*, 43(6), 740-755. https://doi.org/10.1016/j.im.2006.05.003

Kirkpatrick, D. et Kirkpatrick, J. (2006). *Evaluating training programs: The four levels* (3e éd.). Berrett-Koehler.

Kruger, J. et Dunning, D. (1999). Unskilled and unaware of it: How difficulties in recognizing one's own incompetence lead to inflated self-assessments. *Journal of Personality and Social Psychology*, 77(6), 1121-1134. https://doi.org/10.1037/0022-3514.77.6.1121

McCain, D. V. (2016). *Evaluation basics* (2e éd.). Association for Training Development.

Morgan, D. L. (1997). *The focus group guidebook*. SAGE.

Office québécois de la langue française. (s.d.). Focus. Dans *Banque de dépannage linguistique*. http://bdl.oqlf.gouv.qc.ca/...

Pintrich, P. R. et de Groot, E. V. (1990). Motivational and self-regulated learning components of classroom academic performance. *Journal of Educational Psychology*, 82(1), 33-40. https://doi.org/10.1037/0022-0663.82.1.33

Prior, D. D., Mazanov, J., Meacheam, D., Heaslip, G. et Hanson, J. (2016). Attitude, digital literacy and self efficacy: Flow-on effects for online learning behavior. *The Internet and Higher Education*, 29, 91-97. https://doi.org/10.1016/j.iheduc.2016.01.001

Santos, A. et Stuart, M. (2003). Employee perceptions and their influence on training effectiveness. *Human Resource Management Journal*, 13(1), 27-45. https://doi.org/10.1111/j.1748-8583.2003.tb00082.x

Schunk, D. H. (1991). Self-efficacy and academic motivation. *Educational Psychologist*, 26(3-4), 207-231. https://doi.org/10.1080/00461520.1991.9653133

Talsma, K., Schüz, B., Schwarzer, R. et Norris, K. (2018). I believe, therefore I achieve (and vice versa): A meta-analytic cross-lagged panel analysis of self-efficacy and academic performance. *Learning and Individual Differences*, 61(2018), 136-150. https://doi.org/10/gc32c5

Thibeault, E.-N. (2010). À propos de la méthodologie des entretiens de groupe focalisés. *Adjectif : analyses et recherches sur les TICE*, (T1). http://www.adjectif.net/...

Tondeur, J., Howard, S., Siddiq, F. et Scherer, R. (2020, avril). *So, we're all online? Readiness for online learning* [questionnaire]. Google Forms. https://t.co/ionAbGIMJj

Venkatesh, V. et Bala, H. (2008). Technology acceptance model 3 and a research agenda on interventions. *Decision Sciences*, 39(2), 273-315. https://doi.org/10.1111/j.1540-5915.2008.00192.x

Venkatesh, V., Morris, M. G., Davis, G. B. et Davis, F. D. (2003). User acceptance of information technology: Toward a unified view. *MIS Quarterly*, 27(3), 425-478. https://doi.org/10.2307/30036540
# Annexe – Questionnaires et listes d'items

<figure><img src="image_4.png" /><figcaption>**Figure A.1**
Questionnaire de prétest (peut être consulté et dupliqué à http://tiny.cc/pre-formation)</figcaption></figure>

<figure><img src="image_5.png" /><figcaption>**Figure A.2**
Questionnaire de post-test (peut être consulté et dupliqué à http://tiny.cc/post-formation)</figcaption></figure>
## Tableau A.1

### Liste des items de l'échelle d'autoefficacité

<table><thead><tr><td>Facteur</td><td>Énoncé</td></tr></thead><tbody><tr><td>Compétences numériques en enseignement</td><td>... organiser mon cours à distance, notamment à l'aide de Studium/Moodle.<br>... assurer un cours sous forme de webinaire, notamment à l'aide de Zoom.<br>... utiliser une diversité de logiciels pour ma prestation d'enseignement<br>... mobiliser les TIC, notamment Studium/Moodle, pour enseigner.<br>... mettre en œuvre différentes stratégies d'enseignement en ligne.<br>... encourager et « modérer » les interactions numériques entre les étudiants.<br>... organiser des examens et des évaluations en ligne.<br>... utiliser les TIC pour estimer la compréhension d'un sujet ou évaluer des compétences.<br>... utiliser des TIC pour illustrer efficacement du contenu à enseigner.<br>... répondre, de façon générale, aux exigences de l'enseignement à distance.<br>... utiliser les TIC pour accompagner et faire le suivi des étudiant·e·s.</td></tr><tr><td>Compétences numériques au quotidien</td><td>... résoudre les problèmes informatiques que je rencontre.<br>... apprendre comment utiliser de nouveaux outils technologiques.<br>... me tenir informé des dernières grandes avancées technologies.<br>... rechercher et évaluer des informations sur le Web.<br>... utiliser les technologies pour collaborer davantage avec des collègues sur des projets.<br>... développer de bonnes compétences numériques<br>... être au courant des défis reliés aux activités numériques (ex. : cybersécurité, fausses nouvelles, plagiat, etc.)<br>... connaître une variété d'outils technologiques.</td></tr><tr><td>Habiletés avec l'ENA</td><td>... téléverser (c.-à-d. déposer des fichiers) du matériel pour le partager.<br>... organiser, alimenter et modérer une conversation sur un forum de discussions.<br>... donner des consignes et fixer des objectifs pour des devoirs et travaux.<br>... gérer les évaluations et les rétroactions.<br>... paramétrer le carnet de notes.<br>... organiser des consultations et recevoir des commentaires<br>... utiliser les outils de publications (livres, wikis, liens URL, etc.)</td></tr><tr><td>Attitude avec les TIC</td><td>... j'apprécie l'utilisation des technologies à des fins de formation.<br>... l'apprentissage est facilité par le numérique en contexte de formation à distance.<br>... les TIC peuvent rendre l'apprentissage plus motivant.<br>... les TIC contribuent à stimuler l'autonomie des étudiant·e·s.<br>... les TIC offrent beaucoup de potentiel pour améliorer l'enseignement<br>... l'on aurait intérêt à mobiliser davantage les technologies pour enseigner.</td></tr><tr><td>Compétences génériques en enseignement</td><td>... communiquer clairement les objectifs de mon cours.<br>... fournir des instructions claires sur la façon de participer à des activités d'apprentissage.<br>... communiquer clairement les consignes et les dates de remises pour les activités d'apprentissage.<br>... garder les étudiant·e·s motivés et entretenir un dialogue stimulant avec eux·elles.<br>... garder les étudiant·e·s actif·ve·s dans leurs apprentissages.<br>... encourager les participants d'un cours à explorer de nouveaux concepts.<br>... renforcer le développement d'un sentiment d'appartenance dans un groupe d'étudiant·e·s.<br>... fournir une rétroaction qui aide les étudiants à comprendre leurs forces et leurs faiblesses par rapport aux objectifs de cours.<br>... apporter une rétroaction en temps opportun.</td></tr><tr><td>Compétences pour interagir avec le groupe-classe</td><td>... à utiliser le numérique pour échanger dans un cadre universitaire.<br>... communiquer efficacement avec les étudiant·e·s dans mes groupes.<br>... répondre à mes étudiant·e·s dans des délais respectables.<br>... fournir de l'aide à mes étudiants pour répondre à leurs besoins.</td></tr></tbody></table>
## Tableau A.2

### Liste des items du questionnaire de satisfaction, incluant l'échelle de qualité perçue de la formation

<table><thead><tr><td>Facteur</td><td>Énoncé</td></tr></thead><tbody><tr><td>Contexte général (hors échelle de qualité perçue)</td><td>Une introduction détaillée (comprenant une présentation de la structure générale, la description de la navigation et des renseignements sur le corps enseignant) a été présentée au début de...</td></tr><tr><td></td><td>Un soutien technologique était disponible pour l'utilisation des dispositifs numérique de ce cours.</td></tr><tr><td></td><td>Le soutien aux enseignant·e·s (par exemple en matière de conseils ou de procédures d'inscription) était disponible dans cette formation.</td></tr><tr><td>Objectifs d'apprentissage</td><td>Je trouve important que l'on me fournisse les objectifs d'apprentissage d'une formation et de ses différentes activités.<br>Les objectifs de la formation et des différentes activités ont été présentés et ont été clairement décrits.<br>Les objectifs de la formation et des différentes activités étaient étroitement liés à ce que je souhaitais apprendre.<br>Les objectifs de la formation et des différentes activités m'ont aidé à orienter mes enseignements.</td></tr><tr><td>Ressources mises à disposition</td><td>Je trouve important que l'on me fournisse les ressources et le matériel de formation durant une formation.<br>Les ressources et le matériel de la formation et des différentes activités étaient facilement accessibles durant la formation.<br>Les raisons pour lesquelles des ressources et du matériel étaient partagés durant cette formation ont été clairement décrites.<br>Les ressources et le matériel de la formation et des différentes activités m'ont aidé à atteindre les objectifs de la formation et des différentes activités.<br>Les ressources et le matériel de la formation et des différentes activités étaient variés.</td></tr><tr><td>Interactions</td><td>Je trouve qu'il est important d'interagir avec les formateur·trice·s durant une formation.<br>Les formateur·trice·s de cette formation ont interagi avec moi en temps utile.<br>Les interactions avec les formateur·trice·s de cette formation m'ont permis d'atteindre les objectifs du cours.<br>La fréquence des interactions avec l'ensemble des participants à ce cours en ligne a permis d'atteindre les objectifs de la formation et des différentes activités.<br>Je trouve qu'il est important de mobiliser des technologies qui améliorent l'apprentissage pendant une formation.</td></tr><tr><td>Technologies</td><td>Les technologies mobilisées pour cette formation ont très bien fonctionné.<br>Les technologies mobilisées pour cette formation ont été utiles pour atteindre les objectifs de la formation et des différentes activités.</td></tr><tr><td>Durée et fréquence (hors échelle de qualité perçue)</td><td>Le rythme général du cycle de formation était adéquat<br>Le rythme des activités du cycle de formation était adéquat<br>Le temps entre chacune des différentes activités devrait être...<br>La durée des activités devrait être...</td></tr></tbody></table>