# Expérience d'enseignants à la réalisation d'un dispositif numérique de formation basée sur la concordance de jugement

Teachers' Experience of Completing an Online
Concordance-of-Judgment Learning Tool

doi: 10.18162/fp.2022.704

Marie-France **Deschênes**
Université de Montréal (Canada)

Katia **Tremblay**
Collège de Maisonneuve (Canada)

Isabelle **Pelletier**
Cégep Marie-Victorin (Canada)

Bernard **Charlin**
Université de Montréal (Canada)

Nicolas **Fernandez**
Université de Montréal (Canada)

## Résumé

L'article présente l'expérience d'enseignants du collégial à la réalisation d'un dispositif numérique de formation basée sur la concordance de jugement en enseignement comme mode de soutien au développement professionnel continu. Dans ce dispositif, l'enseignant effectue des jugements dans des situations apparentées à sa pratique. Il peut ensuite vérifier si ses jugements se rapprochent de ceux d'un panel de référence ayant préalablement répondu aux mêmes questions. L'expérience d'avoir suivi la formation a suscité chez les enseignants une réflexion sur des décisions pédagogiques complexes, comme l'évaluation des apprentissages. L'utilisation pérenne du dispositif est suggérée dans une communauté de pratique en enseignement.

## Mots-clés

Jugement, dispositif de formation, pratique partagée, développement professionnel, éducation.

## Abstract

This article presents college teachers' experience of completing an online concordance-of-judgment learning tool as a way of supporting continuous professional development. In this tool, teachers make judgments in situations related to their practice. Then, teachers could validate whether their judgments are similar to those of a reference panel having previously answered the same questions. The experience of completing the tool led teachers to a reflection on several complex pedagogical decisions, such as learning assessment. The sustainable use of the device is suggested within a community of practice.

## Keywords

Judgment, online device, shared practice, professional development, education.

## Problématique

Depuis plus de vingt ans, les Collèges d'enseignement général et professionnel (CÉGEP)¹ du Québec ont mis en place de nombreux dispositifs pour assurer la qualité de la formation offerte, des pratiques de l'enseignement et des mesures de soutien à la réussite des étudiants. L'implantation et l'application d'une politique institutionnelle d'évaluation des apprentissages (PIEA) font partie des dispositifs mis en place (Commission de l'évaluation de l'enseignement collégial, 2021). La PIEA décrit les principes de justice, d'équité, de transparence et de rigueur de l'évaluation des apprentissages. Elle précise les responsabilités de chaque intervenant et de chaque instance en matière d'évaluation ainsi que les droits et obligations des étudiants. Néanmoins, la conformité des pratiques aux différentes règles et procédures contenues dans les PIEA ne diminue en rien le rôle du jugement professionnel des enseignants dans l'acte d'évaluer (Allal, 2021; Leroux et Bélair, 2015). La justice et l'équité des évaluations impliquent non seulement une application des balises adoptées à différents niveaux (collège, programme d'études, département, enseignants), donc un souci constant de concertation, mais aussi une interprétation sensée de ces balises dans divers contextes et lors de situations ambiguës. Dans de telles circonstances qui pourraient conduire à des disparités de traitement, les principes de justice et d'équité exigent davantage qu'une simple référence à la politique d'établissement. La formation des enseignants en la matière est indispensable (Dionne et Simões Forte, 2013; Leroux et Bélair, 2015; Smith, 2017).

En plus de ses responsabilités en matière d'évaluation des apprentissages, l'enseignant doit aussi composer avec d'autres situations, parfois complexes ou inédites, et l'intervention pédagogique à poser n'est pas toujours évidente. Par exemple, l'adaptation des
interventions pédagogiques pour répondre aux besoins particuliers et aux caractéristiques des étudiants présentant des difficultés d'apprentissage, d'adaptation ou un handicap peut générer de l'ambivalence ou de l'incertitude chez l'enseignant (Marceau, 2021). La détection et la gestion d'une situation de plagiat, l'évaluation et la rétroaction à l'aide du numérique, l'enseignement à distance, etc., sont d'autres situations, souvent teintées de zones grises, dans lesquelles l'enseignant est amené à soupeser ses interventions pédagogiques. Ces situations interpellent son jugement professionnel.

Le jugement professionnel correspond à tout processus décisionnel intégrant les démarches de collecte et d'analyse des données, lesquelles sont mises en relation avec l'intentionnalité, la finalité et les conséquences d'une intervention pédagogique (Allal et Lafortune, 2008; Lafortune et Turcotte, 2006; Leroux et Bélair, 2015). Toutefois, les décisions pédagogiques ne sont pas exclusivement guidées par un processus prévisible et rationnel. L'enseignant exerce son jugement à travers ses conceptions de l'enseignement, ses valeurs et ses expériences antérieures (Jutras et al., 2012; Laveault, 2008; Piot, 2008). Par ses caractéristiques cognitives de questionnement et d'ajustements créatifs, l'exercice du jugement en enseignement suppose une posture réflexive, une tolérance à l'incertitude et un engagement à se former et à se développer continuellement (Lafortune et Turcotte, 2006).

Le développement professionnel est considéré comme étant un processus dynamique menant à l'apprentissage continu, à la transformation et à l'amélioration des pratiques pédagogiques générant un sentiment d'efficacité et d'efficience dans les différents rôles et responsabilités de l'enseignant (Mukamurera, 2014). Ce processus développemental et professionnalisant est alimenté par la réflexivité de l'enseignant et par les échanges avec les pairs (Kennedy, 2014; Marceau, 2021; Roy et al., 2020; Uwamariya et Mukamurera, 2005). Aujourd'hui, quelques possibilités sont offertes à l'enseignant pour favoriser son développement professionnel, comme des activités d'insertion professionnelle, de formation continue lors de journées pédagogiques ou de colloques, etc. Les visioconférences Web, les MOOCs² ou les réseaux sociaux représentent aussi d'autres possibilités qu'offre le numérique pour favoriser le développement professionnel (Macià et García, 2016; Roy et al., 2020). Toutefois, plusieurs modalités numériques sont principalement axées sur la transmission d'informations, le partage ou la consultation de ressources, sans que cela engage une réflexion et une transformation des pratiques de l'enseignement.

Malgré la diversité des possibilités offertes aux enseignants, rares sont les occasions d'échanges structurés entre pairs pour résoudre collectivement des situations problématiques et pour réfléchir de façon concertée sur les pratiques pédagogiques (Jutras et al., 2012). De plus, peu de possibilités de formation visent précisément le soutien au développement du jugement où des éléments d'incertitude et d'ambiguïté constituent des parties prenantes des décisions pédagogiques (Dionne et Simões Forte, 2013; Smith, 2017). Nous connaissons peu les différentes représentations mentales, schèmes ou scripts qu'utilisent les enseignants dans leurs décisions pédagogiques. Il s'avère ainsi difficile de sonder les biais, les disparités ou les incongruences de ces décisions. En bref, rares sont les mécanismes disponibles pour permettre à l'enseignant de tester son interprétation d'une politique (par ex.: la PIEA), sans compter l'absence de rétroaction une fois la décision prise ou l'action engagée dans la pratique effective. Or, développer son jugement professionnel et se questionner quant à ses pratiques pédagogiques nécessite de tels mécanismes (Allal, 2021).
C'est dans ce contexte que les membres des directions des cégeps de Bois-de-Boulogne, de Maisonneuve et de Marie-Victorin ont identifié le besoin de mieux outiller leurs enseignants sur des questions courantes de la pratique enseignante. Il était souhaité de fournir aux enseignants un dispositif numérique de formation qui permette de soutenir le développement du jugement professionnel. Notre équipe de recherche, composée de chercheurs, de conseillers pédagogiques et d'enseignants du collégial, a exploré l'approche par concordance comme dispositif de formation pour les enseignants.

## Cadre de référence

L'étude s'est inscrite dans une perspective sociocognitiviste en intégrant la théorie des scripts (Schank et Abelson, 1977) et l'approche de compagnonnage cognitif (Bédard et al., 2000; Frenay et Bédard, 2004). La théorie des scripts postule qu'un professionnel agit dans une situation complexe en mobilisant des scripts qui constituent des réseaux de connaissances finement structurées et stockées en mémoire à long terme. Les scripts permettent de stéréotyper en unités de sens différentes informations liées à une situation (Schank et Abelson, 1977). Sur le plan cognitif, les scripts permettent à l'enseignant d'enclencher un raisonnement hypothétique-déductif, soit la génération d'hypothèses d'interventions pédagogiques lorsqu'il fait face à une situation. Précisément, l'enseignant confronte les données de la situation avec ses scripts, ce qui lui permet de reconnaître certains patterns, similitudes ou éléments clés (ex. : principes pédagogiques ou valeurs interpellés) pour orienter son jugement. Ensuite, l'enseignant recherche des données supplémentaires pour minimiser, renforcer, voire prioriser les hypothèses d'interventions afin de résoudre la situation et agir adéquatement.

De son côté, le compagnonnage cognitif (Bédard et al., 2000; Frenay et Bédard, 2004) ou le compagnonnage réflexif (Donnay et Charlier, 2006) se conçoit par une démarche dans laquelle une personne expérimentée assiste une autre personne moins expérimentée en lui fournissant du soutien et des explications relatives à la résolution d'une situation. Les savoirs de la personne expérimentée sont ainsi exploités et socialement partagés pour favoriser le développement des compétences (Frenay et Bédard, 2004). En enseignement, la démarche de compagnonnage cognitif s'entrevoit par l'analyse partagée des pratiques et des décisions pédagogiques (Donnay et Charlier, 2006; Fischer et al., 2019).

Bien qu'elle soit encore peu explorée comme soutien au développement professionnel, l'approche par concordance est une modalité qui permet de réfléchir sur des situations de la pratique et d'éclairer la prise de décision. Développée initialement en éducation médicale, l'approche consiste à utiliser un ensemble de scénarios constitués de problèmes courts et mal définis (Charlin et al., 2018). Les données incluses dans les scénarios sont incomplètes, ambiguës ou complexes pour effectuer un jugement avec un haut niveau de certitude. Des hypothèses sont ensuite présentées, lesquelles sont suivies d'une nouvelle information. Les nouvelles informations sont soit de nouvelles données, des éléments contextuels ou des éléments conflictuels suscitant une réflexion autour des valeurs sous-jacentes aux décisions. Enfin, la tâche cognitive sollicitée est de juger de l'effet produit par la nouvelle information sur l'hypothèse proposée.

Avant son utilisation auprès des apprenants, des personnes expérimentées issues de la communauté de pratique et constituant le panel de référence répondent individuellement aux questions et émettent des commentaires pour expliquer leurs choix de réponses. Lorsqu'il effectue un choix de réponse en
ligne, l'apprenant reçoit trois rétroactions automatisées. La première rétroaction permet de visualiser comment son choix de réponse se situe par rapport à celui des panélistes. La deuxième rétroaction expose les commentaires explicatifs des panélistes. Une troisième rétroaction inclut une synthèse éducative offrant à l'apprenant des ressources à consulter (par ex. : liens Web, articles, guides de pratique, etc.) (Charlin et al., 2018).

À ce jour, un tel dispositif de formation a été expérimenté pour favoriser le développement professionnel continu de médecins de famille (n=45) sur des situations problématiques en dermatologie (Lecours et al., 2018). Les participants ont jugé très utile le contenu de la formation pour améliorer leurs connaissances au regard de situations fréquemment rencontrées dans la pratique. La formule asynchrone de la formation avait plu aux participants, laquelle était agrémentée d'une conférence téléphonique avec un expert pour discuter des questions en suspens, une semaine suivant la réalisation du dispositif. De son côté, le récit de pratique d'Henriksen et al. (2020) relate l'utilisation d'un dispositif numérique basé sur la concordance des décisions médicales en contexte de la COVID-19 (ex. : port du masque, distanciation sociale, etc.). Suivant la réalisation du dispositif, les réponses des participants ont été comparées lors d'un webinaire. Une microbiologiste expérimentée a animé et commenté les réponses des participants tout en partageant son expertise. Henriksen et al. (2020) rapportent que le webinaire a permis une confluence de connaissances et d'expériences, offrant aux participants l'accès à des solutions nuancées et réfléchies par et dans une communauté de pratique professionnelle.

En sciences de l'éducation, Smith (2017) a mené une étude exploratoire afin de comprendre le processus de développement du jugement d'enseignants et de futurs enseignants. Smith (2017) a utilisé un test de concordance de jugement professionnel en évaluation des apprentissages (TJPEA) à partir des travaux de Dionne et Simões Forte (2013). À l'aide d'entrevues individuelles, les participants à l'étude (n = 12) énonçaient à voix haute leur jugement à partir de situations du TJPEA. Les résultats de l'étude de Smith (2017) ont montré que les experts en éducation et les praticiens étaient davantage en mesure de nommer les concepts clés en évaluation que les novices. La chercheuse recommande de sonder plus en profondeur, à l'aide d'un nombre plus élevé de scénarios et de participants, les concepts théoriques et éthiques sollicités dans un TJPEA afin de modéliser les processus cognitifs des enseignants et ainsi, mieux soutenir la formation de ces derniers.

À ce jour et à notre connaissance, aucune autre étude ne s'est intéressée à la réalisation d'un tel dispositif de formation auprès d'enseignants en exercice. Le but de cet article est de décrire l'expérience d'enseignants à réalisation du dispositif numérique de formation basée sur la concordance de jugement en enseignement. Nous tenterons de répondre aux questions de recherche suivantes : quel est le niveau d'appréciation des enseignants quant au contenu, à la structure, à l'utilité et à la pertinence du dispositif ? et quelle est l'expérience des enseignants au regard de l'utilisation du dispositif ?

## Méthode

Un devis de recherche issu des sciences de l'éducation et basé sur la méthode de recherche-développement (Van der Maren, 2014) a été utilisé. Les différentes étapes d'une recherche-développement proposées par Van der Maren ont été effectuées, à savoir l'analyse des besoins, la planification, la rédaction du contenu, la préparation technique³ et enfin, la réalisation du dispositif par les enseignants. Ce devis
qualitatif interprétatif impliquait une démarche participative et réflexive des enseignants afin d'évaluer le dispositif de formation et assurer la pérennité de son utilisation pour soutenir le développement du jugement professionnel.

## Description du dispositif

Le dispositif numérique était composé de soixante scénarios sur divers thèmes de la pratique. Les scénarios avaient été préalablement rédigés à l'aide de collaborateurs à la recherche (enseignants et conseillers pédagogiques) dans les trois cégeps. L'exemple ci-dessous présente une situation en évaluation des apprentissages (voir tableau 1).

<caption>Tableau 1</caption>

*Exemple d'un scénario pédagogique*

<table><thead><tr><th colspan="3">Michael reçoit deux travaux plutôt qu'un seul provenant d'une équipe. Les deux étudiants ont pris l'initiative de faire le travail individuellement plutôt que de le faire en équipe tel qu'indiqué dans les consignes.</th></tr><tr><th>Si vous pensez que Michael doit ...</th><th>Et qu'alors ...</th><th>L'intervention devient :</th></tr></thead><tbody><tr><td>... demander aux étudiants de soumettre un travail commun tel que spécifié dans les consignes.</td><td>... les deux étudiants ne s'entendent pas quant aux orientations à donner au travail.</td><td><ul><li>absolument contre-indiquée;</li><li>contre-indiquée;</li><li>ni plus ni moins indiquée;</li><li>indiquée;</li><li>fortement indiquée.</li></ul></td></tr><tr><td>... corriger les deux travaux en appliquant une pénalité pour non-respect des consignes.</td><td>... l'application de la pénalité risque de compromettre la réussite du cours pour un des étudiants.</td><td><ul><li>absolument contre-indiquée;</li><li>contre-indiquée;</li><li>ni plus ni moins indiquée;</li><li>indiquée;</li><li>fortement indiquée.</li></ul></td></tr><tr><td>... revoir la grille d'évaluation en considérant des modalités de remise différentes qui permettent, entre autres, le travail individuel ou en équipe.</td><td>... la capacité de travailler en équipe est un critère important pour la réussite de ce cours.</td><td><ul><li>absolument contre-indiquée;</li><li>contre-indiquée;</li><li>ni plus ni moins indiquée;</li><li>indiquée;</li><li>fortement indiquée.</li></ul></td></tr></tbody></table>

Identifiés par leurs pairs comme des personnes crédibles et susceptibles de fournir des rétroactions justes aux scénarios du dispositif de formation, dix-huit enseignants ou conseillers pédagogiques avaient accepté d'agir à titre de panélistes. Ils avaient répondu à l'ensemble des questions des scénarios sans consultation auprès de pairs ou d'ouvrages de référence.

La mise à l'essai du dispositif par les enseignants participant à l'étude a eu lieu sur une période de six semaines en mode asynchrone sur la plateforme Moodle⁴ et en plusieurs séquences, selon leurs disponibilités. Lorsqu'ils répondaient aux questions des scénarios, les enseignants obtenaient une rétroaction qui incluait les choix de réponses et les commentaires explicatifs des panélistes aux questions des scénarios ainsi que des ressources complémentaires à consulter (articles de références, liens Web, etc.).
## Participants et milieux

L'étude a eu lieu dans trois cégeps après l'obtention de l'approbation des comités d'éthique de la recherche. Ce choix était le fruit de la concertation préalable lors de la rédaction du contenu du dispositif, ce qui nous permettait de croire à la pérennité de son utilisation suivant les activités de recherche. Les enseignants ont été recrutés selon un échantillon de convenance à l'aide d'un courriel d'invitation. Le seul critère d'exclusion était d'avoir agi préalablement à titre de panéliste. Trente-sept enseignants ont accepté de participer à l'étude. Vingt-cinq provenaient du Collège de Maisonneuve, sept du Cégep Marie-Victorin et cinq du Collège de Bois-de-Boulogne.

## Collecte et analyse des données

Suivant la réalisation du dispositif, un questionnaire en ligne était présenté aux enseignants et des entrevues semi-dirigées de groupe focalisé ont été conduites. Le questionnaire visait à sonder l'appréciation des enseignants à l'aide d'une échelle de Likert à cinq niveaux d'«insatisfaisant» à «très satisfaisant» et sur les thèmes généraux suivants : contenu, structure, utilité et pertinence du dispositif. Les entrevues semi-dirigées de groupe focalisé avaient pour but d'explorer l'expérience de réalisation du dispositif par les enseignants. L'avantage du groupe focalisé réside, entre autres, dans la possibilité de faire émerger une nouvelle compréhension du phénomène étudié par les processus interactionnels engagés par le groupe (Krueger et Cassey, 2009). Lors des entrevues, quatre questions étaient posées aux participants : 1) Dites-nous pourquoi vous avez été intéressé à participer à l'étude ? 2) Comment avez-vous vécu votre expérience d'utilisation d'un tel dispositif de formation ? 3) Quelles sont vos suggestions quant à son utilisation ? et 4) Avez-vous d'autres éléments que vous trouvez pertinents à nous partager quant à votre expérience ? Les trois entrevues, d'une durée de 30 à 60 minutes, étaient animées par une conseillère pédagogique, membre externe de l'équipe de recherche. Un dispositif de captation audionumérique a permis d'enregistrer les entrevues afin d'assurer de la crédibilité et la transparence des données rapportées (Nowell et al., 2017).

La compilation par fréquence des réponses au questionnaire en ligne a permis de décrire l'appréciation du dispositif du point de vue des enseignants. Puis, des analyses ont été effectuées sur le corpus de données recueillies lors des entrevues. Les commentaires des enseignants ont été retranscrits au verbatim et ils ont été codés à l'aide du logiciel QDA Miner. L'analyse thématique a été menée selon les étapes suivantes : 1) familiarisation avec les données; 2) génération des codes initiaux de façon indépendante par deux membres de l'équipe de recherche (MFD, KT); 3) identification des thèmes qui regroupent les codes; 4) révision des thèmes; 5) définition et description des thèmes; et 6) production du rapport (Braun et Clarke, 2006; Nowell et al., 2017). Des segments de verbatim ont été identifiés afin d'exemplifier les interprétations des chercheurs quant à l'expérience des enseignants.

## Présentation des résultats

Vingt-cinq (68 %) des trente-sept enseignants ayant préalablement réalisé le dispositif de formation ont répondu au questionnaire, parmi lesquels 14 enseignants (38 %) ont également participé aux entrevues de groupe.
Les résultats entourant le niveau d'appréciation du dispositif par les enseignants sont présentés au Tableau 2. L'authenticité des situations dans les scénarios a été jugée satisfaisante à très satisfaisante pour 96 % des répondants. Vingt-deux répondants (88 %) considéraient satisfaisantes à très satisfaisantes la pertinence du contenu ainsi que la crédibilité des informations. Une majorité de répondants (84 %) jugeaient satisfaisante à très satisfaisante la pertinence des rétroactions offertes. Par ailleurs, 36 % d'entre eux ont indiqué que la qualité des ressources était plus ou moins satisfaisante. Par rapport à l'utilité du dispositif, la majorité des répondants (76 %) ont indiqué qu'ils étaient satisfaits ou très satisfaits. Pour ce qui est du temps dédié à la réalisation du dispositif, 56 % d'entre eux se disaient insatisfaits ou ni plus ni moins satisfaits. L'appréciation quant au nombre de scénarios montrait des résultats similaires. Enfin, pour la satisfaction générale des enseignants au regard du dispositif, il s'avère que 32 % d'entre eux se disent très satisfaits et 44 % satisfaits, ce qui représente une perception générale plutôt positive.

## Tableau 2

### Apppréciation des enseignants (n = 25) à la réalisation du dispositif

<table><thead><tr><th></th><th>Très insatisfaisant</th><th>Insatisfaisant</th><th>Ni plus ni moins satisfaisant</th><th>Satisfaisant</th><th>Très satisfaisant</th></tr></thead><tbody><tr><td>Authenticité des situations</td><td></td><td></td><td>1(4)</td><td>10(40)</td><td>14(56)</td></tr><tr><td>Pertinence du contenu</td><td></td><td>1(4)</td><td>2(8)</td><td>10(40)</td><td>12(48)</td></tr><tr><td>Crédibilité des informations</td><td></td><td></td><td>3(12)</td><td>12(48)</td><td>10(40)</td></tr><tr><td>Pertinence des rétroactions</td><td>1(4)</td><td>2(8)</td><td>1(4)</td><td>9(36)</td><td>12(48)</td></tr><tr><td>Qualité des ressources</td><td></td><td></td><td>9(36)</td><td>8(32)</td><td>8(32)</td></tr><tr><td>Utilité du dispositif</td><td></td><td>2(8)</td><td>4(16)</td><td>10(40)</td><td>9(36)</td></tr><tr><td>Temps dédié</td><td></td><td>7(28)</td><td>7(28)</td><td>9(36)</td><td>2(8)</td></tr><tr><td>Nombre de scénarios</td><td>1(4)</td><td>5(20)</td><td>5(20)</td><td>11(44)</td><td>3(12)</td></tr><tr><td>Apppréciation générale</td><td>1(4)</td><td>2(8)</td><td>3(12)</td><td>11(44)</td><td>8(32)</td></tr></tbody></table>

Notes : Les données sont des fréquences, les pourcentages sont entre parenthèses

Douze participants n'ont pas répondu au questionnaire (32 %)

Deux thèmes sont ressortis lors de l'analyse des données des entrevues, soit : réaliser un bilan de sa pratique et partager ses pratiques devant l'incertitude et la complexité des décisions pédagogiques.
## Réaliser un bilan de sa pratique

La plupart des enseignants (n=12) considéraient que l'utilisation du dispositif pouvait susciter une remise en question de leur pratique. Les rétroactions des panélistes leur permettaient de mieux comprendre le jugement d'autres enseignants tout en sollicitant une réflexion au regard des interventions pédagogiques proposées. La réalisation des scénarios dans le dispositif avait permis de cibler des thèmes dans lesquels des apprentissages demeuraient à explorer malgré un bagage d'expérience en enseignement, comme l'illustrent les deux commentaires ci-dessous.

> J'ai trouvé ça vraiment intéressant de voir le jugement des autres experts. J'ai plus de 20 ans d'expérience. On se dit qu'après tout ce temps, on sait quoi faire. Mais on se rend compte qu'il y a plusieurs options qui sont différentes des nôtres et ce n'est pas bête, c'est défendable. Encore aujourd'hui, ça me questionne sur les choix que je fais [...]. Ça nous oblige à confronter nos idées, les comprendre et les justifier.

> Ça circonscrivait certaines situations où je me rendais compte que je n'étais pas très à l'aise [...]. Ces questions-là, je voulais les lire, mais ne pas y répondre [...] ou je répondais tout le temps « ni plus ni moins indiquée »... Je passais... Et à un moment, je me suis dit : OK, tu as un problème à ce niveau-là.

Le propos suivant montrait aussi le potentiel du dispositif pour émettre et comprendre des jugements professionnels en zone de neutralité. Cela avait permis à trois enseignants interviewés d'émettre un jugement avec une certaine distanciation de la situation et de comprendre plus aisément l'interprétation d'autres jugements.

> L'outil dépersonnalise des situations. C'est bien intéressant pour ça, car tu n'es pas en situation. Tu n'es pas personnellement impliqué. Tu es mieux placé pour entendre les jugements adverses. J'ai beaucoup apprécié cette dimension, c.-à-d. être dans un jugement dépersonnalisé.

## Partager ses pratiques devant l'incertitude et la complexité des décisions pédagogiques

Le manque d'informations pour porter un jugement éclairé dans les scénarios et la variabilité des jugements d'experts ont toutefois freiné quatre enseignants interviewés (29 %), comme l'illustre le propos suivant : « Plusieurs interventions pédagogiques avaient une répartition quasi égale dans les choix des panélistes, ce qui nous place devant une situation sans solution ».

Les problèmes mal définis dans les scénarios, comportant des zones grises ou de l'incomplétude, ont créé une certaine embûche pour « affirmer » les jugements effectués par les enseignants, alors qu'une majorité d'entre eux (n=12) estimait que cela illustrait la complexité de leur pratique. Une enseignante resituait cette complexité :

> Je pensais au début de ma carrière que tout était campé dans les situations de travail. [...] Mais non ! Et cet outil nous montre cela. Tout dépend du contexte. On y retrouve notre compte dans cet outil. J'aurai aimé l'avoir plus tôt dans ma pratique.
Paradoxalement, au moins six enseignants interviewés voulaient s'assurer de la conformité de leurs jugements effectués dans les scénarios. Alors que les jugements des panélistes variaient considérablement, ces enseignants voulaient « être dans le mille » et s'expliquer lorsque leurs jugements divergeaient de ceux des panélistes. À cet effet, au moins quatre enseignants interviewés suggéraient qu'il serait opportun que les enseignants puissent aussi émettre des commentaires explicatifs suivant leurs jugements. Pour plus de la moitié des enseignants interviewés (n=8), l'expérimentation du dispositif confirmait ses limites à des fins d'évaluation du personnel enseignant. Ils affirmaient que cela pouvait les inciter à inscrire des choix conformes aux règles et aux politiques institutionnelles et non pas engager une réflexion sur la pratique. Ceci interroge la validité prédictive d'un tel dispositif sous le registre de l'évaluation de l'enseignement où les idéaux seront plus fréquemment énoncés que les véritables démonstrations de la compétence.

Enfin, la majorité des enseignants (n=11) ont reconnu l'utilité du dispositif lors de journées de formation dédiées à la réflexion entre enseignants. À ces réflexions devraient s'ajouter la consultation d'ouvrages de références ou des pratiques exemplaires en enseignement pour guider les décisions pédagogiques, comme l'illustrent les deux extraits suivants :

> *Il serait génial éventuellement de pouvoir échanger avec nos collègues sur de telles situations pédagogiques ambiguës pour partager sur les diverses perceptions et alimenter la réflexion critique des enseignants.*

> *Ça pourrait être un bon outil de discussion où l'on comprend que plusieurs réponses existent, mais qu'il existe des tendances pour assurer une certaine façon de faire [...]. Ça peut donner plus de poids ou de crédibilité pour des décisions afin de rallier les gens autour des politiques [...]. Comprendre pourquoi les politiques sont là pour le bien commun et avant tout, le bien de l'étudiant.*

## Discussion des résultats

Les résultats de l'étude montrent que les enseignants ont généralement apprécié l'expérience de réalisation du dispositif. Ils ont souligné la pertinence du contenu et la variété des scénarios suscitant la réflexion de décisions pédagogiques courantes. Une diminution du nombre de scénarios est toutefois souhaitée de même qu'une amélioration de la qualité des ressources offertes. Les résultats présentent aussi l'utilité du dispositif pour solliciter le jugement en contexte d'incertitude tout en fournissant un accès aux savoirs d'enseignants expérimentés en plus de favoriser les échanges entre pairs.

Les résultats montrent que les enseignants se basent sur leurs connaissances et expériences pour juger la pertinence des hypothèses proposées dans les scénarios du dispositif de formation. Pour ce faire, ils mobilisent leurs scripts, architectures de connaissances organisées en unités de sens (Schank et Abelson, 1977) (par ex. : planification des activités d'apprentissage et d'enseignement, principes guidant l'évaluation des apprentissages, conduite éthique en enseignement), pour interpréter les informations des scénarios et effectuer des choix de réponses aux questions. Ensuite, ils sont confrontés aux jugements des panélistes, des pairs enseignants ayant répondu préalablement aux mêmes questions. La validation de la concordance des jugements avec ceux des panélistes permettait à plusieurs d'effectuer un bilan de leur pratique. Ceci alimente une certaine posture réflexive des enseignants où ils peuvent reconsidérer leurs choix d'interventions pédagogiques en tenant compte de ceux de leurs pairs et des pratiques exemplaires (Perrenoud, 2008).
Dans notre étude, l'approche de compagnonnage cognitif (Bédard et al., 2000; Frenay et Bédard, 2004) s'est traduite par le dévoilement des jugements des panélistes aux questions du dispositif de formation. Le fait de rendre accessible le jugement d'enseignants expérimentés permettait aux enseignants apprenants d'examiner leurs propres jugements et d'identifier les similitudes, les divergences ou les écarts d'interprétation sur des questions fréquentes de la pratique. Ce partage des jugements des panélistes aux bénéfices de la formation des pairs enseignants fait du dispositif un exemple de compagnonnage cognitif.

La remarque selon laquelle certains enseignants voulaient énoncer des commentaires explicatifs, à l'exemple des panélistes, illustre le besoin de dialogue avec les pairs. Comme mentionné par plusieurs auteurs (Allal, 2021; Fischer et al., 2019; Lafortune et Bélanger, 2008; Mottier Lopez et Allal, 2008; Mottier Lopez et Tessaro, 2016), enseigner est une pratique professionnelle socialement située. La plupart des décisions pédagogiques se prennent en considérant le contexte académique, les règles institutionnelles, les savoirs issus de la théorie ainsi que les avis des collègues. Ceci nous fait penser à l'utilisation pérenne du dispositif lors d'activités composées de groupes d'enseignants afin de favoriser la réflexion sur différents thèmes de la pratique.

Ces observations font émerger le concept de communauté de pratique en enseignement, où la réflexion et la collaboration avec les pairs sont valorisées en plus d'être contributives aux apprentissages de chacun (Kennedy, 2014; Roy et al., 2020). L'inscription du dispositif au sein d'une communauté de pratique enseignante est ainsi recommandée en toute cohérence avec l'approche sociocognitiviste du compagnonnage cognitif (Bédard et al., 2000; Frenay et Bédard, 2004). L'analyse des pratiques et des décisions pédagogiques représente une source de savoirs de la pratique enseignante (Donnay et Charlier, 2006; Fischer et al., 2019). Les savoirs provenant du panel de référence sont mis à profit dans le dispositif pour favoriser l'apprentissage continu. La communauté pourrait mettre l'accent sur le partage d'expériences, sur la réflexion individuelle et sur des interactions structurées entre enseignants expérimentés et des enseignants novices (Mak et Pun, 2014), rendant ainsi plus « vivant » le compagnonnage cognitif (Bédard et al., 2000; Frenay et Bédard, 2004). Concrètement, la réalisation du dispositif pourrait être utile à tout nouvel enseignant pour apprivoiser des situations qui pourraient se présenter dans sa pratique. Ensuite, une période d'échange avec ses pairs ou dans le cadre d'activités d'insertion professionnelle soutenues par un mentor serait indiquée. En outre, une journée pédagogique portant sur un thème pourrait aussi être appuyée par quelques scénarios du dispositif afin de susciter le questionnement, forger l'interprétation des situations par les enseignants et ainsi, pousser les réflexions et les discussions entre pairs.

## Conclusion

Notre but était de décrire l'expérience d'enseignants à la réalisation du dispositif numérique de formation basée sur la concordance de jugement en enseignement. Les résultats nous permettent de considérer qu'il s'agit d'une piste intéressante et novatrice pour soutenir le développement professionnel. À partir de scénarios pédagogiques, le dispositif suscite des questionnements, mais aussi la réflexion de l'enseignant. Il permet de considérer les commentaires explicatifs des panélistes ou encore de tirer profit de la documentation scientifique pour éclairer, sous diverses perspectives, les décisions pédagogiques.
L'étude est toutefois hautement contextualisée. Bien qu'elle se soit déroulée dans trois cégeps, les données recueillies relatent l'expérience d'un nombre limité d'enseignants. Ceux-ci étaient peut-être aussi plus enclins à percevoir positivement toute nouvelle expérimentation d'un dispositif de formation. L'animation des entrevues par une conseillère pédagogique peut avoir généré un certain biais lié à la désirabilité sociale des réponses fournies par les enseignants. Enfin, le pourcentage de participation à l'étude était mince, en deçà des attentes et variable d'un cégep à l'autre. Ceci peut s'expliquer par différents facteurs comme la densité du contenu ou le temps limité pour réaliser l'activité de formation. Somme toute, la description de l'expérience de réalisation du dispositif par les enseignants a fourni des suggestions de son utilité pour soutenir le développement professionnel des enseignants. Soulignant sa pertinence au sein d'une communauté de pratique, d'autres études seront nécessaires pour pérenniser l'utilisation du dispositif et approfondir notre compréhension des facteurs susceptibles de favoriser le développement du jugement en enseignement.

## Notes

## Références

Allal, L. (2021). *Évaluation : mesure, jugement, régulation*. Dans C. B. da Costa, D. Leduc et I. Nizet (dir.), *40 ans de mesure et d'évaluation* (p. 7-18). Presses de l'Université du Québec.

Allal, L. et Lafortune, L. (2008). *Jugement professionnel en évaluation. Pratiques enseignantes au Québec et à Genève*. Presses de l'Université du Québec.

Bédard, D., Frenay, M., Turgeon, J. et Paquay, L. (2000). Les fondements des dispositifs pédagogiques visant à favoriser le transfert de connaissances : les perspectives de l'apprentissage et de l'enseignement contextualisés authentiques. *Res Academica*, *18*(1-2), 21-46.

Braun, V. et Clarke, V. (2006). Using thematic analysis in psychology. *Qualitative Research in Psychology*, *3*(2), 77-101.
https://doi.org/10.1191/1478088706qp063oa

Charlin, B., Deschênes, M.-F., Dumas, J.-P., Lecours, J., Vincent, A.-M., Kassis, J., Guertin, L., Gagnon, R., Robert, D., Foucault, A., Lubarsky, S. et Fernandez, N. (2018). Concevoir une formation par concordance pour développer le raisonnement professionnel : quelles étapes faut-il parcourir ? *Pédagogie médicale*, *19*, 143-149.
https://doi.org/10.1051/pmed/2019019

Commission de l'évaluation de l'enseignement collégial. (2021). *Évaluation des politiques institutionnelles d'évaluation des apprentissages*. Cadre de référence (3e éd.). Gouvernement du Québec.

Deschênes, M.-F., Dubé, S., Tremblay, K., Buisson, A., Pelletier, I., Jacques-Bélair, G. et Ostiguy, D. (2019). *Élaboration d'une autoévaluation basée sur la concordance de jugement professionnel des enseignants. Programme d'aide à la recherche sur l'enseignement et l'apprentissage (PAREA)*. Cégep Marie-Victorin, Collège de Bois-de-Boulogne et Collège de Maisonneuve.

<footnote n="1">¹ Au Québec, les Collèges d'enseignement général et d'enseignement professionnel (CÉGEP) sont considérés comme des établissements d'enseignement supérieur.</footnote>

<footnote n="2">² MOOC : massive open online courses.</footnote>

<footnote n="3">³ Pour une description détaillée des étapes menant à la conception du dispositif numérique de formation et son contenu, le lecteur est invité à consulter le rapport de recherche (Deschênes et al., 2019).</footnote>

<footnote n="4">⁴ Moodle : *Modular object-oriented dynamic learning environment*.</footnote>
Dionne, É. et Simões Forte, L. A. (2013). Le test de jugement professionnel en évaluation des apprentissages (TJPEA) : un outil visant à mesurer des compétences avec des télévoteurs. Dans K. Thierry, C. Simon et D. Gabriel (dir.), *Actes du Colloque scientifique international sur les TIC en éducation : bilan, enjeux actuels et perspectives futures*. (p. 492-498). Centre de recherche interuniversitaire sur la formation et la profession enseignante (CRIFPE). http://ticeducation.org/files/actes/Actes_ticeducation2012.pdf

Donnay, J. et Charlier, E. (2006). *Apprendre par l'analyse des pratiques : Initiation au compagnonnage réflexif*. Presses universitaires de Namur.

Fischer, L., Dantinne, F. et Charlier, E. (2019). Évaluation des effets d'un dispositif de formation initiale visant à susciter la réflexivité chez les futurs enseignants. *Formation et profession, 27*(2), 45-57. https://doi.org/10.18162/fp.2019.494

Frenay, M. et Bédard, D. (2004). Des dispositifs de formation universitaire s'inscrivant dans la perspective d'un apprentissage et d'un enseignement contextualisé pour favoriser la construction de connaissances et leur transfert. Dans A. Presseau et M. Frenay (dir.), *Le transfert des apprentissages : comprendre pour mieux intervenir* (p. 241-268). Les Presses de l'Université Laval.

Henriksen, C., Jobin, V., Deschênes, M.-F., Tremblay, C., Charlin, B. et Fernandez, N. (2020). Formation par concordance avec rétroaction multi-source aux questions qui émergent de la pratique médicale en contexte de pandémie COVID-19. *Pédagogie médicale, 21*, 204-205. https://doi.org/10.1051/pmed/2020049

Jutras, F., Gohier, C. et Desautels, L. (2012). L'éthique professionnelle des enseignants du collegial : de l'autonomie personnelle à la responsabilité professionnelle. Dans L. St-Pierre (dir.), *La formation continue et l'accompagnement du personnel enseignant du collégial. Quelques leçons tirées de l'innovation et de la recherche* (p. 75-104). Association québécoise de pédagogie collégiale (AQPC).

Kennedy, A. (2014). Understanding continuing professional development: The need for theory to impact on policy and practice. *Professional Development in Education, 40*(5), 688-697. https://doi.org/10.1080/19415257.2014.955122

Krueger, R. A. et Cassey, M. A. (2009). *Focus Groups: A practical guide for applied research*. Sage publications Inc.

Lafortune, L. et Bélanger, K. (2008). Exercer un jugement professionnel dans l'action : des résultats de recherche québécois qui ouvrent des perspectives. Dans L. Lafortune et L. Allal (dir.), *Jugement professionnel en évaluation: pratiques enseignantes au Québec et à Genève* (p. 37-78). Les Presses de l'Université du Québec.

Lafortune, L. et Turcotte, L. (2006). *Exercice et développement du jugement professionnel. Accompagner l'évaluation des apprentissages dans l'école québécoise. Aide à l'apprentissage et reconnaissance des compétences*. Fascicule 3, Document inédit. Université du Québec à Trois-Rivières. www.uqtr.ca/accompagnement-recherche

Laveault, D. (2008). Le jugement professionnel : foyer de tensions et de synergies nouvelles en évaluation scolaire. *Revue suisse des sciences de l'éducation, 30*(3), 483-500. https://doi.org/10.25656/01:4230

Lecours, J., Bernier, F., Friedmann, D., Jobin, V., Charlin, B. et Fernandez, N. (2018, 17 octobre). Learning-by-Concordance for Family Physicians: Revealing its Value for Continuing Professional Development in Dermatology. *MedEdPublish, 7*(4), article. https://doi.org/10.15694/mep.2018.0000236.1

Leroux, J. et Bélair, L. (2015). Exercer son jugement professionnel en enseignement supérieur. Dans J. Leroux (dir.), *Évaluer les compétences au collégial et à l'université : un guide pratique* (p. 67-104). Association québécoise de pédagogie collégiale (AQPC).

Macià, M. et García, I. (2016). Informal online communities and networks as a source of teacher professional development: A review. *Teaching and teacher education, 55*, 291-307. https://doi.org/10.1016/j.tate.2016.01.021

Mak, B. et Pun, S.-H. (2014). Cultivating a teacher community of practice for sustainable professional development: beyond planned efforts. *Teachers and Teaching, 21*(1), 4-21. https://doi.org/10.1080/13540602.2014.928120

Marceau, N. (2021). Autorégulation de l'apprentissage professionnel et pratiques d'enseignement: intersections à considérer pour le développement professionnel des enseignants. *Formation et profession, 29*(2), 1-14. https://doi.org/10.18162/fp.2021.560

Mottier Lopez, L. et Allal, L. (2008). Le jugement professionnel en évaluation : un acte cognitif et une pratique sociale située. *Revue suisse des sciences de l'éducation, 30*(3), 465-482. https://doi.org/10.24452/sjer.30.3.4798
Mottier Lopez, L. et Tessaro, W. (2016). Introduction : pourquoi interroger le jugement professionnel dans l'évaluation et la régulation des apprentissages des élèves? Dans L. M. Lopez et W. Tessaro (dir.), *Le jugement professionnel, au cœur de l'évaluation et de la régulation des apprentissages* (p. 7-22). Peter Lang.

Mukamurera, J. (2014). Le développement professionnel des enseignants : pertinence et éclairage conceptuel. Dans L. Portelance, S. Martineau et J. Mukamurera (dir.), *Développement et persévérance professionnels dans l'enseignement : oui, mais comment?* (p. 9-27). Presses de l'Université Laval.

Nowell, L. S., Norris, J. M., White, D. E. et Moules, N. J. (2017). Thematic analysis: Striving to meet the trustworthiness criteria. *International Journal of Qualitative Methods, 16*, 1-13. https://doi.org/10.1177/1609406917733847

Perrenoud, P. (2008). *Développer la pratique réflexive dans le métier d'enseignant* (4e éd.). ESF Editeurs

Piot, T. (2008). La construction des compétences pour enseigner. *McGill Journal of Education/Revue des sciences de l'éducation de McGill, 43*(2), 95-110. https://doi.org/10.7202/019577ar

Roy, N., Gruslin, É. et Poellhuber, B. (2020). Le développement professionnel au postsecondaire à l'ère du numérique. *Revue internationale des technologies en pédagogie universitaire, 17*(1), 63-75. https://doi.org/10.18162/ritpu-2020-v17n1-13

Schank, R. et Abelson, R. (1977). *Script, Plans, Goals and Understanding: An Inquiry into Human Knowledge Structures*. Lawrence Erlbaum Associates.

Smith, J. (2017). *Application d'un test de concordance : étude exploratoire du développement de la compétence à évaluer les élèves chez les enseignants* [Mémoire de maîtrise, Université d'Ottawa].

Uwamariya, A. et Mukamurera, J. (2005). Le concept de «développement professionnel» en enseignement: approches théoriques. *Revue des sciences de l'éducation, 31*(1), 133-155. https://doi.org/10.7202/012361ar

Van der Maren, J.-M. (2014). *La recherche appliquée pour les professionnels : éducation, (para)médical, travail social*. De Boeck.

## Pour citer cet article

Deschênes, M.-F., Tremblay, K., Pelletier, I., Charlin, B. et Fernandez, N. (2022). Expérience d'enseignants à la réalisation d'un dispositif numérique de formation basée sur la concordance de jugement. *Formation et profession, 30*(2), 1-13. https://dx.doi.org/10.18162/fp.2022.704