# L'évaluation des dispositifs pédagogiques innovants

Franck Tarpin-Bernard, Julian Alvarez, Olivia Collet, Nicolas Mascret

<figure><img src="image_1.png" /></figure>

## To cite this version:

Franck Tarpin-Bernard, Julian Alvarez, Olivia Collet, Nicolas Mascret. L'évaluation des dispositifs pédagogiques innovants. L'évaluation des dispositifs pédagogiques innovants, Association Nationale Recherche Technologie (ANRT); AMPIRIC; France 2030; Banque des Territoires, Jan 2024, Paris, France. hal-04745203

HAL Id: hal-04745203

https://hal.science/hal-04745203v1

Submitted on 18 Feb 2025

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_2.png" /></figure>
# L'ÉVALUATION DES DISPOSITIFS PÉDAGOGIQUES INNOVANTS

Coordonné par Violette Nemessany, ANRT
en collaboration avec Ampiric,
pôle pilote de formation des enseignants et de recherche pour l'éducation

<figure><img src="image_3.png" /></figure>
# L'ÉVALUATION DES DISPOSITIFS PÉDAGOGIQUES INNOVANTS

Coordination :

Violette Nemessany, ANRT

Président du groupe de travail :

Franck Tarpin-Bernard, Humans Matter

Directrice de publication :

Clarisse Angelier, ANRT

En collaboration avec Ampriric, pôle pilote de formation des enseignants et de recherche pour l'éducation.

Soutenu par l'État dans le cadre de l'action « Territoires d'innovation pédagogique » du Programme d'investissements d'avenir, opéré par la Caisse des Dépôts.
Ces travaux sont soutenus financièrement par les souscripteurs FutuRIS

<figure><img src="image_4.png" /></figure>

Cet ouvrage collectif rend compte des travaux menés, en 2022 et 2023, dans le cadre du groupe de travail « Pédagogie par le jeu » de l'ANRT, présidé par Franck Tarpin-Bernard, directeur général délégué de Humans Matter.

Son contenu n'engage que la responsabilité des auteurs, et non celle des institutions qui apportent leur soutien à l'ANRT.

L'ANRT et le président du groupe de travail remercient chaleureusement toutes les personnes qui, de près ou de loin, ont apporté leurs compétences, leur temps et leur soutien à l'élaboration de cet ouvrage.
# SOMMAIRE

## PRÉFACES 3

Elie Allouche 3

Jean-Philippe Lachaux 6

## LISTE DES AUTEURS 9

## INTRODUCTION 15

Franck Tarpin-Bernard

## PARTIE 1: Cadrage 18

## Évaluer les dispositifs pédagogiques ludiques 19

Violette Nemessany

## Développer, expérimenter et évaluer des dispositifs pédagogiques innovants : l'exemple du CréativLab d'Ampiric et la question du passage à l'échelle 37

Nicolas Mascret, Thierry Berthet, Pascale Brandt-Pomares, Magali Coupaud, Mathilde Favier, Jonathan Mirault, Johannes C. Ziegler

## PARTIE 2: Les outils 55

## Les neurosciences cognitives entrent à l'école : évaluer la collaboration de recherche ? 56

Pascale Toscani

## Sentiment d'efficacité personnelle : déterminant ou médiateur du lien entre stress perçu et agentivité 68

Stéphanie de Chalvron, Hanna Chainay, Franck Tarpin-Bernard, Alexandre Beaussier, Riadh Lebib, Valentine Facque, Florence Cousson-Gélie

## CEPAJe, un outil pour évaluer une séance ludopédagogique 80

Julian Alvarez

## Les biomarqueurs numériques sont-ils des outils puissants et agnostiques d'évaluation des dispositifs pédagogiques numériques ? 98

Théo Marchand, Laurence Vanin, Vanessa Douet-Vannucci

## PARTIE 3: Les dispositifs 112

## Création et évaluation d'un programme pédagogique inclusif basé sur l'activite physique et le jeu sportif à destination d'enfants ayant un trouble du spectre de l'autisme 113

Olivia Collet, Geneviève Cabagno, Sandrine Le Sourn-Bissaoui

## Utilisation d'un jeu en pédagogie universitaire ; évaluation de l'attention des étudiants 128

François Lecellier

## La place des jeux au sein de la formation 140

Élodie Delahaye, Jean Marc Ferrandi, Lionel Muniglia

## Sciado Tracker : un module pour le suivi des apprenants dans les simulateurs 155

Nesrine Rahmouni, Laurent Lavogiez
# PRÉFACES

Elie Allouche

Chef de projet recherche appliquée et incubateur de projets numériques, bureau du soutien à l'innovation numérique et à la recherche appliquée (DNE-TN2), ministère de l'Éducation nationale et de la Jeunesse

En visant à fournir aux enseignants un ensemble d'outils, de ressources et de formations en soutien à leur liberté pédagogique et à leurs innovations, la stratégie du numérique pour l'éducation, publiée en janvier 2023 (MENJ, 2023a) a pour ambition de développer les compétences numériques des professeurs et de leurs élèves. Ces compétences, évaluées par la certification Pix, ont désormais un rôle déterminant dans la capacité d'innover et de faire face aux défis du monde contemporain. Pour les élèves, développées tout au long de leur parcours scolaire, ces compétences sont aussi centrales pour l'exercice d'une citoyenneté éclairée comme pour l'insertion dans la vie professionnelle.

Mais il faut rappeler ici que la mise en œuvre de dispositifs innovants et leur évaluation, dans le cadre de pratiques numériques disciplinaires et interdisciplinaires en constante évolution – voire par exemple la richesse des productions des travaux académiques mutualisés (MENJ, 2023b) – constituent d'abord une part essentielle des pratiques pédagogiques quotidiennes des enseignants. Cela leur permet d'être à l'écoute de leurs élèves, de les accompagner dans leurs apprentissages, et de contribuer à leur réussite personnelle et professionnelle.

Pour accompagner l'innovation des acteurs de terrain, la direction du Numérique pour l'éducation a mis en place notamment les dispositifs des territoires numériques éducatifs et des challenges innovation, grâce au financement France 2030. Par ces actions, la DNE accompagne et soutient la dynamique d'innovation de l'ensemble des acteurs de l'écosystème, dont les collectivités territoriales et les acteurs de la filière industrielle. L'un des enjeux est l'orientation des élèves, en particulier des filles, vers les formations et les filières du numérique. Cette dynamique d'innovation inclut l'enseignement professionnel ou technologique, « qui nécessite des outils techniques avancés, et qui doit pouvoir tirer profit d'innovations technologiques, comme l'immersion virtuelle ou les jumeaux numériques ».

Les actions et projets de la DNE en matière d'innovation, entendue ici comme un soutien aux processus de socialisation d'inventions (Cerisier, 2014), vont de pair avec un soutien à la recherche appliquée via la coordination des groupes thématiques numériques – les #GTnum. À l'issue d'un
processus de sélection conduit avec la DGESCO, le Conseil scientifique de l'éducation nationale et l'inspection générale de l'Éducation, du Sport et de la Recherche, les #GTnum associent laboratoires et territoires académiques pour produire des connaissances et participer à leur diffusion, tout particulièrement sur éduscol (MENJ, 2023c) et le carnet Hypothèses « Éducation, numérique et recherche » (DNE-TN2, 2019).

L'innovation et la recherche appliquée à la DNE ont ainsi pour but d'améliorer la diffusion, la prise en compte et l'appropriation professionnelle des résultats de la recherche scientifique, pour mieux comprendre et accompagner la transformation numérique de l'éducation, enseigner, se former et apprendre. Accompagner la transformation numérique de l'éducation intègre essentiellement trois dimensions :

- l'impact des mutations socioculturelles sur le système éducatif et les acteurs de la communauté éducative ;

- la façon dont l'institution et les acteurs prennent part à ces mutations ;

- le déploiement d'infrastructures, d'équipements, de services, de ressources et de formations destinés à accompagner les équipes éducatives dans leur parcours d'appropriation, notamment par la transformation des outils en instruments pédagogiques (Allouche, 2022).

Cette transformation s'effectue avec l'impulsion et l'accompagnement de la DNE, qui définit et met en œuvre le service public du numérique éducatif dans le cadre d'une gouvernance qui associe les collectivités territoriales.

À ce titre, la recherche participative, « du laboratoire à la classe et de la classe au laboratoire », conduite dans le cadre des #GTnum, permet de construire une démarche ouverte et pluraliste, valorisant la diversité des perspectives, des données et des méthodes, associant les acteurs de terrain à divers degrés avec l'idée de faire de la recherche « avec » plutôt que « sur » (DNE-TN2, 2021) pour favoriser et réussir les passages à l'échelle.

Parmi les thématiques traitées par les #GTnum figurent, entre autres, celles qui sont traitées dans le présent ouvrage, à savoir l'apprentissage par le jeu, l'inclusion, l'hybridation (présentiel/distanciel) des enseignements et apprentissages, et l'intelligence artificielle (IA). Cette thématique de l'IA, déjà traitée en 2020-2022 par deux #GTnum, est certainement l'un des faits marquants de l'année 2023, avec la montée en puissance des IA généra-tives et des grands modèles de langage, qui constituent à la fois un défi de taille et un ensemble d'opportunités pour tous les acteurs de l'éducation et de la formation (DNE-TN2, 2023a).

Pour conclure cette préface, nous souhaitons saluer, d'une part, l'ANRT, à l'initiative de ce recueil et partenaire précieux de l'Éducation nationale en matière de recherche et d'innovation, en particulier par le soutien et la
valorisation des doctorants Cifre, ainsi que l'organisation du colloque du 9 mars 2023 sur la recherche partenariale en éducation (DNE-TN2, 2023b), et d'autre part, l'ensemble des collègues rédactrices et rédacteurs du présent ouvrage pour leurs apports et leurs réflexions sur l'évaluation des dispositifs pédagogiques innovants.

## Bibliographie

Elie Allouche. (2022, décembre 5). Numérique éducatif et recherche appliquée : les actions de la DNE. *Innovation pédagogique*. [En ligne].

Jean-François Cerisier. (2014). « On demande toujours des inventeurs et l'on cherche encore les innovateurs », *Distances et médiations des savoirs*. Article 8. [En ligne].

DNE-TN2. (2019). Éducation, numérique et recherche – Veille et diffusion des travaux de recherche sur le numérique dans l'éducation. *Éducation, numérique et recherche*.

DNE-TN2. (2021, septembre 9). Les formes de partenariat recherche/éducation : références, repères et pistes de travail [Billet]. *Éducation, numérique et recherche*.

DNE-TN2. (2023a). Intelligence artificielle et éducation : apports de la recherche et enjeux pour les politiques publiques [Billet]. *Éducation, numérique et recherche*.

DNE-TN2. (2023b, janvier 11). Colloque « Recherche partenariale : éducation, enseignement et formation » (09/03/23) [Billet]. *Éducation, numérique et recherche*.

MENJ. (2023a, janvier). Stratégie du numérique pour l'éducation 2023-2027. *Ministère de l'Éducation nationale et de la Jeunesse*.

MENJ. (2023b, mai). Les travaux académiques mutualisés (TraAM) : des laboratoires de pratiques numériques. Eduscol. *Ministère de l'Éducation nationale et de la Jeunesse - Direction générale de l'Enseignement scolaire*.

MENJ. (2023c, mai). Enseigner et apprendre avec la recherche : les groupes thématiques numériques (GTnum). Eduscol. *Ministère de l'Éducation nationale et de la Jeunesse - Direction générale de l'Enseignement scolaire*.
Jean-Philippe Lachaux

Directeur de recherche à l'INSERM
Centre de recherche en neurosciences de Lyon

N'attendez pas de cette préface qu'elle vous éclaire davantage sur le sujet traité par cet ouvrage : ce serait bien difficile, tant ce livre est complet. Je peux juste m'honorer d'avoir été l'un de ses premiers lecteurs, avec, au fil de ma lecture, le sentiment récurrent que toutes les interrogations qui mearnaient à l'esprit trouvaient très rapidement leur réponse. Je ne saurais trop le recommander à toute personne désireuse de développer ou de tester un dispositif pédagogique innovant, car, immanquablement, se posera à elle la question de son évaluation : une tâche ardue, qui demande à être abordée, et définie, avec soin.

Sous ce terme générique d'évaluation se cache une multitude d'objectifs différents, qui vous seront dévoilés dans toute leur diversité à travers ces pages. On peut évaluer dans l'idée d'aboutir à un jugement couperet et définitif : « ça marche », ou « ça ne marche pas ». Mais il est bien sûr bien plus utile d'envisager l'évaluation comme un diagnostic intermédiaire dans un processus d'amélioration d'un dispositif, à l'affût de tout ce qui ne fonctionne pas, ou pas assez bien, et dans un but d'amélioration. On retrouve alors le rapport à l'erreur que l'on cherche ardemment à développer chez l'élève : l'erreur comme information et comme guide pour progresser.

J'ai volontairement utilisé une formulation caricaturale – « ça marche » – pour susciter une réaction de la part du lecteur : qu'entend-on par ce terme ? Et qui décide que « ça marche », selon quels critères ? À nouveau, vous trouverez toutes les réponses dans ce livre. Il sera beaucoup question de la « pyramide des preuves », un concept emprunté à la recherche clinique et sur lequel j'aimerais revenir un instant. La pyramide des preuves établit une hiérarchie entre différents niveaux de preuve – concernant l'effet d'un dispositif ou d'un traitement –, depuis l'observation anecdotique isolée, jusqu'à la synthèse de plusieurs études conçues selon les standards de rigueur acceptés par la recherche. Toutefois, je voudrais ici suggérer qu'il est possible de renverser cette pyramide, et que c'est même utile, non pas dans un simple but de provocation et de contestation, mais dans l'idée d'une évaluation plus complète.

Je m'explique : quand les grandes compagnies pharmaceutiques travaillaient d'arrache-pied à développer un vaccin contre le COVID-19, il était évidemment absolument nécessaire d'employer un dispositif d'évaluation le plus rigoureux possible, pour convaincre, sans l'ombre d'un doute, que le vaccin avait un effet sur une population large, qui ne pouvait être expliqué par aucun autre facteur. Les chercheurs impliqués devaient adopter la position extrême que l'on attend d'eux dans ce cas-là, la seule garande d'une évaluation impartiale : chercher par tous les moyens à montrer que leur vac-
cin ne marchait pas, à l'affût de la moindre faille dans la procédure de test, jusqu'à devoir admettre, de guerre lasse, que l'effet est réel. Un évaluateur rigoureux doit donc se comporter comme un ennemi de sa création, ce qui exige une bonne flexibilité psychologique, vous en conviendrez. Dans ce processus d'évaluation du vaccin, l'anecdote isolée n'a bien sûr pas sa place : que le docteur Lebon ait observé un effet intéressant chez madame Triffeuil à Amiens n'a évidemment aucune importance. Et pourtant... Ce qui intéresse ce monsieur Lebon, c'est d'immuniser sa patiente ! Que le vaccin ait un effet de protection de 80 % chez 90 % des patients lui fournit une indication intéressante, qui doit l'encourager à vacciner cette bonne dame, mais qui ne garantit pas à 100 % un effet (notez bien que j'ai pris cet exemple au fil de ma plume, en inventant des chiffres farfelus, et sans aucune volonté de réouvrir le débat sur le vaccin !).

Revenons à l'apprentissage, avec un parallèle évident : l'évaluation rigou-
reuse d'un dispositif innovant, avec le plus haut niveau de preuve, est évi-
demment une étape importante pour sa diffusion et son financement. On ne
peut rien conclure de quelques commentaires enthousiastes d'enseignants
épars, c'est entendu. Il n'en demeure pas moins que pour madame Tilleul,
professeure d'histoire-géographie à Nantes, la démonstration rigoureuse
que tel dispositif a augmenté le taux d'apprentissage de telle notion du pro-
gramme de 70 %, chez 60 % des élèves, est une information intéressante,
qui doit l'encourager à s'y intéresser ; mais qui ne garantit aucunement que
l'application de ce dispositif par elle-même, avec ses élèves, va produire l'ef-
fet qu'elle attend, pour subvenir à ses « besoins ». La seule évaluation vrai-
ment utile pour cette enseignante, c'est celle qu'elle peut faire elle-même
en l'utilisant avec ses élèves. C'est en fonction de son ressenti – le niveau de
preuve le plus « faible » de la pyramide – qu'elle décidera ou non d'investir
le temps nécessaire pour l'utiliser une année de plus. Pour cette dame, les
résultats des méta-analyses constituent finalement une preuve moins forte.
C'est une donnée théorique qui doit être confrontée à sa propre pratique.
Et c'est encore plus vrai dans le cadre de l'enseignement que dans celui
de la clinique, car, si on peut concevoir qu'un traitement mette en jeu des
mécanismes chimiques universels, ce n'est pas le cas d'un dispositif péda-
gogique, qui implique des processus psychologiques et sociaux beaucoup
plus complexes et variables : l'influence des facteurs particuliers à la rela-
tion classe-enseignant est majeure. On pourra rétorquer que cette influence
peut être réduite considérablement par des dispositifs numériques confron-
tant directement l'élève à une machine, sans l'influence « parasite » d'un
médiateur humain, mais cela nous renvoie à d'autres débats.

En conclusion de cette courte préface, je souhaiterais vous relater une anec-
dote dont j'ai fait personnellement l'expérience, et que je trouve particu-
lièrement éclairante sur les limites d'une certaine rigueur scientifique. Mon
équipe et moi-même souhaitions évaluer l'impact d'un programme sur les
capacités attentionnelles des élèves. Inspirés par nos pratiques de labo-
ratoire, nous avions assez logiquement mis en place un protocole soigné,
mêlant des tests neuropsychologiques classiques et une mesure informa-
tisée de l'attention, sur tablette. Mes collègues et moi assurions la passa-
tion des tests, après un accueil bienveillant des enseignants, cantonnés au
rôle « d'ouvreurs de portes », tels Passe-Muraille dans le jeu Fort Boyard.
Les résultats aux tests furent bluffants, tant dans les classes ayant suivi le
programme que dans les classes contrôle, comme si aucun élève n'avait
le moindre problème d'attention. Si tous les élèves sont parfaitement at-
tentifs, pourquoi envisager une éducation de l'attention ? Bien sûr, nous
avions fait deux erreurs majeures, que ne manquèrent pas de souligner les
professeurs de ces classes : la première, c'était d'être venus nous-mêmes
réaliser les tests, dans le but de contrôler aussi précisément que possible
tous les paramètres de la passation. Certes, la précaution était louable,
mais notre présence avait complètement modifié l'état attentionnel des
élèves. Autant aller photographier les animaux de la forêt la nuit, en voiture,
tous phares allumés ! La deuxième erreur, soulignée par les enseignants,
était d'avoir utilisé des tests de laboratoire totalement déconnectés du
travail quotidien des élèves. Nous avions voulu transformer la classe en un
laboratoire d'un jour, dans un but de rigueur. Mais dans cette tentative d'éli-
miner tout facteur confondant, nous avions jeté le bébé avec l'eau du bain.

La leçon de cette mésaventure, c'est que l'évaluation d'un dispositif in-
novant – comme sa conception – doit être envisagée main dans la main
avec les acteurs de terrain, dans le but d'atteindre des conclusions aussi
générales que possible, mais sans oublier le cas particulier de madame
Tilleul à Nantes.
LISTE DES AUTEURS

**Elie Allouche** est chef de projet recherche appliquée et incubateur de projets numériques au sein de la direction du Numérique pour l'éducation (bureau TN2 chargé du soutien à l'innovation numérique et à la recherche appliquée) au ministère de l'Éducation nationale et de la Jeunesse. Engagé dans le champ des humanités numériques, pour la production et la diffusion des savoirs en accès ouvert, Elie Allouche est notamment chargé du carnet Hypothèses « Éducation, numérique et recherche » https://edunumrech.hypotheses.org/ et des groupes thématiques numériques #GTnum. Auparavant, il a occupé plusieurs postes dans l'enseignement, la recherche et l'accompagnement de la transformation numérique de l'éducation, en tant que directeur de l'Atelier Canopé du Val-de-Marne, chargé de cours en technologies éducatives à l'université Paris Descartes, directeur du centre départemental de documentation pédagogique des Hauts-de-Seine, et professeur agrégé d'histoire-géographie dans l'enseignement secondaire.

**Julian Alvarez** est responsable de la R&D en ludopédagogie chez Immersive Factory. En parallèle, il est professeur associé aux Laboratoires LARSH (Université Polytechnique Hauts-de-France) et CRISTAL (université de Lille). Julian Alvarez est responsable pédagogique du diplôme d'université « Apprendre par le jeu » à l'Inspé Lille Nord-de-France. Depuis 1991, il a été impliqué dans plus de 150 réalisations de jeux et de serious games pour le compte d'acteurs privés et publics.

**Alexandre Beaussier** est ingénieur de formation à ENSTA, titulaire d'un mastère en sciences, « Space Science », de l'University College London, ainsi que d'un mastère spécialisé en management de projets technologiques de l'ESSEC. Il dirige le pôle « innovation » de Humans Matter, en explorant les nouveaux modes d'apprentissage, de décision et d'engagement à la lumière des sciences cognitives.

**Thierry Berthet** est politiste, directeur de recherche CNRS et directeur du laboratoire d'économie et de sociologie du travail (LEST). Ses travaux portent sur les politiques comparées de lutte contre le décrochage scolaire, l'action publique en matière d'orientation, la territorialisation des politiques publiques et les politiques de l'emploi. Ses travaux sur le décrochage scolaire portent notamment sur l'expérience des dispositifs de remédiation par les jeunes décrocheurs et les opérateurs de terrain. Thierry Berthet pilote le dispositif de suivi et d'évaluation (DSE) du pôle pilote Ampiric.

**Pascale Brandt-Pomares** est professeure en sciences de l'éducation et de la formation ; vice-présidente déléguée au centre d'innovation pédagogique et d'évaluation d'Aix-Marseille Université et directrice de l'Inspé d'Aix-Marseille. Didacticienne des enseignements technologiques, elle s'intéresse aux
processus d'enseignement-apprentissage. Ses travaux portent en particulier sur les rôles et fonctions du numérique dans l'activité enseignante. Elle est coresponsable du programme de recherche Artefacts de formation de l'UR 4671 ADEF, et pilote l'Action 1 du pôle pilote Ampiric sur la formation initiale et continue des enseignants.

**Geneviève Cabagno** est professeure en STAPS à l'université Rennes 2. Elle est affiliée au laboratoire Valeurs, innovations, politiques, socialisations et sports (VIPS², UR 4636). Ses recherches investiguent plus particulièrement les processus psychosociaux favorisant l'engagement dans la pratique physique ou résultant de celle-ci, notamment dans le cas de publics vulnérables.

**Hanna Chainay** est professeure en psychologie cognitive à l'université de Lyon 2. Elle codirige l'école doctorale de neurosciences et cognition (NSCo, ED 476) et est membre du comité d'éthique de l'université de Lyon. Ses recherches portent sur les processus normaux et pathologiques de la mémoire, et plus particulièrement, les effets des émotions sur la mémoire.

**Stéphanie de Chalvron** est docteure en psychologie, chercheuse associée au Laboratoire Paragraphe (EA349) de l'université Paris VIII, chargée de cours, et directrice scientifique de Humans Matter, centre international de design cognitif. Ses recherches explorent l'impact des processus psychosociaux dans le développement de la capacité d'agir dans les domaines de l'éducation et de la santé.

**Olivia Collet** est doctorante en STAPS, affiliée au laboratoire VIPS² et LP3C de l'université Rennes 2. Doctorante CIFRE au sein de l'ONG PLAY International, sa thèse porte sur « la création et l'évaluation d'impact d'un programme pédagogique inclusif basé sur l'activité physique et le jeu sportif pour des enfants ayant un trouble du spectre de l'autisme (TSA) », sous la direction de Geneviève Cabagno et de Sandrine Le Sourn-Bissaoui.

**Magali Coupaud** est ingénieure de recherche au sein du pôle pilote Ampiric en charge de l'ingénierie de formation, et membre du Laboratoire Apprentissage, Didactique, Évaluation, Formation (ADEF) d'Aix-Marseille Université. Elle s'intéresse à la didactique de la biologie, et en particulier aux enjeux didactiques de l'enseignement de l'évolution du vivant.

**Florence Cousson-Gélie** est professeure en psychologie de la santé et du développement de l'université Paul-Valéry-Montpellier 3. Elle est également directrice scientifique d'Epidaure, département de l'institut du cancer de Montpellier (ICM). Le cadre général de ses recherches est d'étudier le processus dynamique de la relation entre l'individu et son environnement, en particulier lorsque l'individu est confronté à un cancer.

**Élodie Delahaye** est ingénieure pédagogique innovation, chargée de mission sur le projet PIA3 Hybrid Innovative Learning Lab (HILL) et ingénieure agroalimentaire à ONIRIS.
**Vanessa Douet-Vannucci** est chercheuse clinicienne (CNU 69, ED85). Elle combine expérience universitaire et entrepreneuriale pour examiner les potentialités de l'épidémiologie numérique dans la compréhension et l'approche transdiagnostique des troubles du neurodéveloppement et de santé mentale associés chez les enfants et adolescents.

**Valentine Facque** est docteure en neurosciences cognitives et cheffe de projet en innovation chez Humans Matter. Elle contribue notamment à la création de parcours innovants et à la mesure objective de fonctions cognitives.

**Mathilde Favier** est cheffe de projet du pôle pilote Ampiric. Elle en coordonne le pilotage stratégique, opérationnel, et scientifique. Elle s'interroge sur la mise en œuvre de l'interdisciplinarité en éducation, et la facilitation de conditions propices à un dialogue constructif et apaisé entre les différentes traditions disciplinaires autour des questions d'éducation.

**Jean-Marc Ferrandi** est professeur de marketing à Oniris. Il participe au pilotage du PIA3 HILL. Cofondateur de l'Institut du marketing social, il est coresponsable de la chaire MARÉSON « Marketing responsable et bien-être ». Ses recherches, au sein du Laboratoire d'économie et de management Nantes-Atlantique (LEMNA), portent sur les fondements psychologiques et culturels du comportement du consommateur (distance psychologique, changement comportemental) et sur l'éco-innovation.

**Jean-Philippe Lachaux** est directeur de recherche à l'INSERM, et travaille au Centre de recherche en neurosciences de Lyon. Ses travaux concernent les mécanismes neuronaux de l'attention et de la concentration. En dehors de son travail de recherche, il mène une action sur le long terme pour promouvoir la maîtrise douce de l'attention comme une valeur dans notre société, notamment à travers ATOLE, un programme de découverte et de développement de l'attention à destination des élèves.

**Laurent Lavogiez** est directeur conception de Sciado Partenaires. Il est expert en formation et certification, avec plus de vingt ans d'expérience en gamification et simulation pédagogique. Il a créé plusieurs entreprises spécialisées dans le domaine de la pédagogie ludique, au sein desquelles il a occupé différentes fonctions telles que la modélisation, le développement d'outils et l'animation de dispositifs pédagogiques. Il a également travaillé avec des universités, des écoles d'ingénieurs et de management pour les aider à mettre en place des programmes de formation efficaces et innovants.

**Sandrine Le Sourn-Bissaoui** est maître de conférences en psychologie à l'université Rennes 2. Elle est affiliée au Laboratoire de Psychologie, Cognition, Comportement, Communication (UR1285, LP3C) et membre de la FHU EXcellence Center for Autism – Tours (EXac-t). Dans un contexte sociétal inclusif, ses recherches investiguent les trajectoires développementales des personnes avec un trouble du neurodéveloppement, et plus spécifiquement d'un trouble du spectre de l'autisme, à différents âges de la vie.
**Riadh Lebib** est docteur en neurosciences, chargé de cours à Sciences Po et l'EFAP. Designer cognitif chez Humans Matter, son travail consiste à imaginer et développer des solutions opérationnelles pour les professionnels de l'humain (santé, éducation, travail, société), qui s'appuient sur les connaissances théoriques issues des sciences cognitives, des sciences du comportement, des sciences de l'économie, ou encore de la sociologie.

**François Lecellier** est maître de conférences en traitement du signal et des images à l'université de Poitiers au sein de l'Institut Xlim (UMR CNRS 7252). Il enseigne l'informatique et la gestion de projet. Ses activités de recherche actuelles concernent la mesure et l'analyse de l'attention visuelle des utilisateurs en situation d'apprentissage. Il est également vice-représentant du groupe de travail « Éducation Innovation » au sein du groupe de Coimbra, et chargé de mission pour l'accompagnement renforcé des étudiants à l'Université.

**Théo Marchand** est titulaire d'un master en sciences cognitives. Il effectue une thèse CIFRE, intitulée « Combining innovative mobile electroencephalographic devices and gamified tasks to pre-diagnose neurodevelopmental disorders in ecological context », sous la codirection de Rod O'Connor du laboratoire de bioélectronique (ED SIS 488488) et Vanessa Douet-Vannucci du département R&D de O-Kidia.

**Nicolas Mascret** est professeur à l'Inspé d'Aix-Marseille Université. Il effectue ses recherches en psychologie sociale et en psychologie sociale expérimentale au sein de l'Institut des sciences du mouvement de Marseille (UMR7287, ISM, AMU-CNRS), dont il est directeur adjoint. Elles portent notamment sur la motivation, le stress, l'anxiété et l'acceptabilité des technologies, qui sont étudiés dans le domaine scolaire et dans le domaine du sport et de l'activité physique. Nicolas Mascret est le responsable scientifique et technique du pôle pilote Ampiric.

**Jonathan Mirault** est ingénieur de recherche en expérimentation et analyse de données au sein du pôle pilote Ampiric. Il conçoit et met en place des expériences scientifiques, collecte et analyse les données recueillies sur les projets déployés par le pôle pilote. Il se focalise particulièrement sur l'utilisation de méthodologies telles que l'oculométrie, l'électro-encéphalographie, la réalité virtuelle, la chronométrie mentale et la psychophysique.

**Lionel Muniglia** est maître de conférences en chimie alimentaire et innovation, au Laboratoire d'ingénierie des biomolécules, à l'ENSAIA-Université de Lorraine de Nancy. Il collabore au PIA3 HILL sur les questions de pédagogie innovante. Lionel Muniglia est aussi directeur scientifique de la start-up Bioli. Ses projets portent notamment sur l'éco-innovation en alimentaire et en cosmétique.

**Violette Nemessany** est docteure en sociologie et ethnologie. Elle occupe un poste de directrice de projets à l'ANRT. Auparavant, elle a occupé un
poste d'attachée temporaire d'enseignement et de recherche (ATER), puis d'ingénieure de recherche à l'université de Lorraine. Elle a ensuite travaillé dans une société d'études et de conseil en marketing. Depuis 2018, elle coordonne le groupe de travail « Pédagogie par le jeu » de l'ANRT et, depuis 2020, le CréativLab du pôle pilote Ampiric.

**Nesrine Rahmouni** est doctorante et ingénieure de recherche chez Sciado Partenaires. Ses travaux de recherche se concentrent principalement sur les environnements informatiques de l'apprentissage, en particulier sur la personnalisation de l'apprentissage en utilisant des méthodes automatiques et d'intelligence artificielle.

**Franck Tarpin-Bernard** est directeur général délégué de Humans Matter. Ingénieur de formation et passionné d'innovations, il s'est tout d'abord tourné vers le monde de la recherche dans les nouvelles technologies d'information et de communication, en embrassant une carrière universitaire d'enseignant-chercheur en informatique. Spécialiste de l'interaction homme-machine et des technologies interactives d'apprentissage humain, auteur d'une cinquantaine de publications, il s'est progressivement rapproché des sciences cognitives. En 2000, il a cofondé la société SBT Humans Matter, qui marie le digital et les sciences cognitives au sein d'une approche dite de design cognitif, afin d'accompagner la transformation des composements dans les secteurs de la santé, de l'éducation et des organisations. Depuis 2021, Franck Tarpin-Bernard préside le groupe de travail « Pédagogie par le jeu » de l'ANRT.

**Pascale Toscani** est docteure en psychologie cognitive. Elle a été maître de conférences en psychologie cognitive à l'université catholique de l'Ouest (UCO) d'Angers pendant 12 ans. Elle est aujourd'hui chercheuse associée au Laboratoire du LIRDEF, à l'université de Montpellier. Elle a créé le Laboratoire collaboratif indépendant multidisciplinaire et multiprofessionnel du GRENE MONDE (Neurosciences cognitives, apprentissages et transitions éducatives).

**Laurence Vanin** est philosophe, essayiste et auteure de nombreux ouvrages. Docteure en philosophie politique, épistémologie, et habilitée à diriger les recherches en épistémologie et histoire des sciences (HDR, CNU72), elle enseigne à l'université Côte d'Azur, et dirige la chaire « Smart-City : philosophie et éthique », dans laquelle elle porte une réflexion philosophique appliquée aux technosciences. Elle a notamment axé ses travaux sur les vulnérabilités et le numérique en santé (éthique des relations aux objets connectés et aux robots.).

**Johannes Ziegler** est chercheur en sciences cognitives, directeur de recherche au CNRS, directeur du Laboratoire de psychologie cognitive, directeur de l'Institut Convergences « Langage, communication et cerveau » à Aix-Marseille Université. Il coordonne les actions de recherches fondamentales au sein du pôle pilote Ampiric. Ses recherches portent sur l'apprentissage.
sage de la lecture, ses dysfonctionnements et ses bases neurales, ainsi que
le développement et l'évaluation d'outils d'entraînement et de remédiation.
Johannes Ziegler est membre du Conseil scientifique de l'éducation natio-
nale (CSEN).
# INTRODUCTION

Franck Tarpin-Bernard

Directeur général délégué, Humans Matter,
président du groupe de travail « Pédagogie par le jeu », ANRT

L'arrivée des technologies digitales, tout comme l'apparition de pédagogies alternatives au modèle traditionnel descendant ont ouvert un champ des possibles extrêmement riche. Les formateurs, qu'ils soient enseignants en formation initiale ou continue, se voient proposer une multitude de dispositifs ludopédagogiques présentant des caractéristiques très variées. Face à cette profusion, il nous a semblé, au sein du groupe de travail « Pédagogie par le jeu » de l'ANRT, que nous pouvions croiser les expériences et les connaissances de nos membres académiques et socio-économiques pour revisiter la question de l'évaluation de ces dispositifs.

Cet ouvrage rassemble dix articles proposés par certains de nos membres, ayant fait l'objet de relectures croisées exigeantes. Nous les avons rassemblés en trois parties, qui éclairent différentes problématiques liées à l'évaluation des dispositifs pédagogiques innovants.

La première partie pose le cadre de nos travaux. Violette Nemessany présente, dans son article, une synthèse des travaux du groupe de travail autour de cette question de l'évaluation. Tout d'abord, elle y décrit les enjeux et les motivations qui poussent les acteurs à évaluer les jeux pédagogiques. Puis, elle présente les différentes méthodes d'évaluation des dispositifs pédagogiques ludiques, les difficultés rencontrées par les acteurs, et les impacts de ces évaluations. En conclusion, les membres de l'ANRT ont identifié douze critères indispensables à l'évaluation d'un jeu pédagogique. Ils constituent une grille devant permettre à tout praticien ou décideur d'éclairer son choix de déployer tel ou tel dispositif.

Nicolas Mascret et ses coauteurs proposent ensuite d'explorer les questions du développement, de l'expérimentation et de l'évaluation de dispositifs innovants à travers l'exemple du CréativLab du pôle pilote Ampiric et le défi du passage à l'échelle. Ces questions s'inscrivent dans un processus complexe lorsque les évaluations sont réalisées selon une démarche scientifique rigoureuse, et lorsque l'ambition est d'envisager le déploiement à grande échelle des dispositifs. L'article décrit les procédures et modalités d'évaluation de ces dispositifs pédagogiques innovants, issus d'une collaboration entre entreprises, chercheurs et enseignants. Les enjeux du passage à l'échelle de ces dispositifs sont également examinés dans le contexte de l'éducation fondée sur les données probantes, tout en identifiant les limites liées à la pérennisation et la généralisation de ces dispositifs, ainsi que les limites liées à l'influence des prescriptions chez les enseignants.
Le cadre étant posé, les trois articles suivants, qui composent la deuxième partie de l'ouvrage, s'intéressent à différents outils innovants d'évaluation. Le premier article, écrit par Pascale Toscani, traite de la question difficile de l'évaluation de l'impact de l'introduction des neurosciences cognitives dans les pratiques pédagogiques. Pour intégrer les neurosciences cognitives dans leurs pratiques, les enseignants ont adopté des choix professionnels différents. Certains ont été en recherche d'outils, de techniques, de modèles types, à appliquer « clés en main » dans leurs classes. D'autres ont souhaité être accompagnés par des laboratoires de neurosciences pour appliquer, dans des protocoles, des recherches tout autant « clés en main ». Ce constat pose un problème dans les deux cas : les enseignants ne connaissent pas les neurosciences, et les chercheurs ne connaissent pas la classe. Dès lors, comment évaluer des dispositifs dont on est censé mesurer l'efficacité dans la classe, à travers des critères et indicateurs stables ? L'article propose un état des lieux des dispositifs d'intégration des neurosciences cognitives à l'école, et pose la problématique de l'évaluation complexe de ces dispositifs qui impliquent de puissants paradigmes d'apprentissage.

Stéphanie de Chalvron et ses collègues nous invitent ensuite à plonger dans les notions d'« agentivité » et de « sentiment d'efficacité personnelle » (SEP), et à étudier le rôle joué par le stress perçu dans la relation qui unit ces deux notions. En utilisant une méthodologie statistique poussée, les auteurs démontrent que les formations professionnelles visant à améliorer l'agentivité devraient en priorité s'attacher à développer le SEP des participants. À travers des outils de mesure faciles à déployer, ils proposent de les mobiliser systématiquement pour évaluer l'impact des dispositifs pédagogiques.

L'article rédigé par Julian Alvarez présente le modèle CEPA Je, un outil conçu pour évaluer une séance ludopédagogique. À partir d'exemples concrets d'emploi de jeux sérieux (serious games), l'auteur montre comment ce modèle permet de préparer, en amont, une séance ludopédagogique, puis, en aval, d'évaluer cette dernière afin de pouvoir améliorer l'activité pour la fois prochaine.

Pour clôturer cette deuxième partie dédiée aux outils, Théo Marchand et ses collègues analysent la notion de biomarqueur numérique. Avec l'avènement des technologies numériques, les biomarqueurs issus de la collecte massive de traces constituent un nouveau type de donnée pouvant traduire les comportements et les processus cognitifs. Depuis plusieurs décennies, l'industrie du jeu vidéo a développé des méthodologies d'évaluation pour maximiser l'expérience utilisateur. Aujourd'hui, une approche hybride d'évaluation combinant jeu vidéo et biomarqueurs numériques émerge, afin d'examiner l'usabilité des contenus pédagogiques, leur pertinence, et leur efficacité sur les performances de l'utilisateur.

La troisième partie de cet ouvrage met en lumière la problématique de l'évaluation des dispositifs pédagogiques innovants à travers quatre expériences extrêmement variées. L'article proposé par Olivia Collet et ses collègues se
concentre sur la création et l'évaluation d'un programme pédagogique inclusif basé sur l'activité physique et le jeu sportif à destination d'enfants ayant un trouble du spectre de l'autisme (TSA). En effet, si l'activité physique semble constituer un moyen efficace pour améliorer les compétences sociales des enfants présentant un TSA, les professionnels ne proposent pas toujours les activités physiques en lien avec cet objectif. Par ailleurs, l'évaluation de l'effet de telles activités est rarement étudiée. Ce texte vise à présenter la démarche de cocréation d'un programme pédagogique inclusif, basé sur l'activité physique et le jeu sportif, à destination d'enfants présentant un TSA. Il s'agit d'évaluer l'effet de ce programme aussi bien pour les enfants avec un TSA que pour les enfants neurotypiques, leurs parents, et les professionnels impliqués dans le dispositif.

François Lecellier décrit trois manières distinctes d'évaluer l'utilisation du jeu vidéo Minecraft au sein de l'université de Poitiers. D'abord, au moyen des notes obtenues par les étudiants traduisant leur acquisition de compétences. Puis, par le biais de questionnaires anonymes transmis aux étudiants. Et enfin, au travers de la mesure de l'attention visuelle des étudiants lors des séances. L'ensemble des trois évaluations montre une augmentation de l'attention et de l'engagement des étudiants pendant l'utilisation du jeu, par rapport à des séances plus traditionnelles.

Quant à Élodie Delahaye et ses collègues, ils explorent la place des jeux au sein de la formation ingénieur agroalimentaire. À partir d'une enquête de grande ampleur, ils caractérisent la place des dispositifs ludopédagogiques dans la formation, et identifient les motivations, attentes et craintes sous-jacentes différenciées des apprenants et des formateurs. L'étude souligne toute l'importance de proposer une évaluation adaptée des dispositifs selon l'acteur. Elle permet de poser les bases des indicateurs à intégrer pour faciliter l'adhésion aux dispositifs ludiques, et évaluer leur efficacité en termes d'apprentissage.

Pour clore cet ouvrage, Nesrine Rahmouni et Laurent Lavogiez s'intéressent aux simulateurs pédagogiques. Si ces simulateurs sont des environnements particulièrement utiles pour aider à l'apprentissage par la pratique, il s'avère nécessaire de travailler sur leur personnalisation pour répondre aux besoins individuels de chaque apprenant. L'article décrit alors un module pour permettre aux formateurs d'obtenir des informations sur le processus d'apprentissage de chaque apprenant, afin de lui offrir une expérience adaptée. L'évaluation d'un dispositif de personnalisation est une tâche difficile, puisque, par définition, chaque expérience individuelle est unique.

Voilà, nous espérons que ce voyage autour de la question de l'évaluation de dispositifs pédagogiques innovants vous ouvrira de nouvelles perspectives. En tout cas, nous avons pris beaucoup de plaisir à l'élaborer, en partageant nos diverses et enrichissantes expériences en tant que formateurs, chercheurs et industriels.

Bonne lecture.
# PARTIE I

## Cadrage
# Évaluer les dispositifs pédagogiques ludiques

Violette Nemessany

## Résumé

Comment mesurer l'efficacité des jeux pédagogiques dans le domaine de l'éducation, l'enseignement et la formation ? Quels sont les critères d'évaluation qui fournissent une mesure fiable de la performance atteinte, et des compétences socio-comportementales acquises par les apprenants ? Autant de questions auxquelles les membres du groupe de travail « Pédagogie par le jeu » de l'ANRT ont apporté des éléments de réponse à l'occasion des travaux menés en 2022. Cet article décrit, en premier lieu, les enjeux et les motivations qui poussent les acteurs à évaluer les jeux pédagogiques. En second lieu, il présente les différentes méthodes d'évaluation des dispositifs pédagogiques ludiques, les difficultés rencontrées par les acteurs, et les impacts de ces évaluations. Pour conclure, les membres de l'ANRT ont identifié douze critères indispensables à l'évaluation d'un jeu pédagogique.
# INTRODUCTION

Depuis plusieurs années, on assiste, en France, à un développement des jeux pédagogiques dans le domaine de l'éducation, l'enseignement et la formation. Ils sont, le plus souvent, le fruit de l'initiative individuelle et isolée de pédagogues passionnés, soucieux d'accroître l'efficacité de leur action par des moyens originaux. Mais leur multiplication est aussi le résultat de collaborations, de plus en plus fréquentes, qui s'établissent d'une part entre des enseignants, des formateurs, et des chercheurs qui poursuivent des objectifs pédagogiques scientifiques, et d'autre part, des professionnels du jeu, et des responsables de structures socio-économiques à la recherche de produits innovants. Cette dynamique à la fois pédagogique, scientifique et économique fait surgir la question de l'évaluation des jeux pédagogiques. Comment mesurer précisément ces innovations, et distinguer, dans les nouveaux jeux mis au point, les plus susceptibles d'enrichir effectivement les pratiques d'enseignement, d'éducation et de formation ? Il s'agit d'une étape incontournable pour « (re)penser, concevoir, mettre en œuvre, opérationnaliser, améliorer »<fnref n="1" /> et ainsi, légitimer les jeux pédagogiques qui méritent d'être diffusés à grande échelle.

Une chose est sûre : le seul jugement d'un des acteurs de l'innovation pédagogique — enseignant, chercheur ou développeur — ne suffit pas pour prouver la pertinence, ni la valeur d'usage, du jeu proposé. Cette mesure exige la prise en compte du point de vue de chacun des différents acteurs concernés, mis en situation d'éprouver pratiquement la justesse d'une innovation. Mais alors, comment faire ? Existe-t-il des critères d'évaluation, qui fournissent une mesure fiable de la performance atteinte et des compétences socio-comportementales acquises par les apprenants ? Quelles sont les conditions à respecter pour garantir la rigueur et l'impartialité des résultats ? Comment les évaluations sont-elles perçues et acceptées par les pédagogues, leur hiérarchie, les parents et les concepteurs des dispositifs ludiques ? Au-delà, contribuent-elles à faire évoluer les pratiques d'apprentissage ? Parviennent-elles à convaincre les responsables institutionnels et politiques de réformer le système éducatif ?

Autant de questions auxquelles les membres de l'ANRT s'efforcent d'apporter des éléments de réponse dans le cadre de leur groupe de travail sur la « Pédagogie par le jeu ». Après avoir décrit les enjeux et les motivations qui poussent les acteurs à évaluer les jeux pédagogiques, la première partie de cet article présentera les différentes méthodes d'évaluation, chacune reposant sur des règles quantitatives, qualitatives et éthiques qui lui sont propres. La deuxième partie éclairera les obstacles et les résistances auxquels les enseignants, les chercheurs et les responsables de structures so-

<footnote n="1">1. Anne Jorro, Nathalie Droyer (ss la dir.), (2019), *L'Évaluation, levier pour l'enseignement et la formation*, De Boeck Supérieur, p. 8.</footnote>
ciо-économiques sont confrontés dans le cadre des évaluations des dispositifs pédagogiques à caractère ludique. Elle soulignera également les efforts d'acculturation et d'ajustement nécessaires pour les amenuiser. Enfin, la troisième partie analysera comment les résultats des évaluations des jeux pédagogiques permettent d'accompagner les transformations pédagogiques, techniques, culturelles et politiques.

# I. MULTIPLES STRATÉGIES D'ÉVALUATION

## 1. OBJECTIFS ET MOTIVATIONS

Évaluer l'efficacité des jeux pédagogiques est devenu une préoccupation majeure, tant pour leurs concepteurs que pour les utilisateurs et les institutions publiques. L'objectif est « d'analyser précisément quels effets produisent ces dispositifs ludiques sur l'ensemble de la communauté éducative afin d'identifier les initiatives qui mériteraient d'être généralisées »<fnref n="2" />. Pour y parvenir, « le processus d'évaluation consiste à recueillir un ensemble d'informations pertinentes à confronter, par une démarche adéquate, à un ensemble de critères valides dans l'opérationnalisation, et fiables dans l'utilisation. Les résultats de cette confrontation doivent permettre une prise de décision cohérente avec la fonction visée par l'évaluation »<fnref n="3" />. Cette dernière peut prendre des formes différentes selon les besoins et les enjeux auxquels sont confrontés les acteurs. Par exemple :

* Du point de vue des *pédagogues-maîtres du jeu*, l'évaluation répond à une stratégie de légitimation. Elle fournit les preuves susceptibles de faire reconnaitre, auprès non seulement des apprenants et de leur famille, mais aussi des collègues et de la hiérarchie :

1) leurs compétences en tant que concepteurs de jeux pédagogiques, qui, pour la plupart, ont été conçus pendant leur temps de loisir, en dehors de toute reconnaissance académique,

2) et la valeur éducative de ces jeux dans le cadre de la pratique pédagogique.

* Du côté, des *entreprises de la EdTech*, l'évaluation s'inscrit dans une stratégie d'innovation. Elle vise à accompagner la transformation des dispositifs pédagogiques ludiques en cours de conception. Dans

<footnote n="2">2. Eric Sanchez, Margarida Romero (2020), *Mythes et réalités : apprendre en jouant*, Éditions Retz, p. 123.</footnote>

<footnote n="3">3. Olivier Rey, Annie Freyfant (2014), « Évaluer pour (mieux) faire apprendre », *Dossier de veille de l'Institut français de l'éducation*, n° 94, septembre, p. 7.</footnote>
cette perspective, les indicateurs d'évaluation doivent permettre de
« donner des précisions sur la qualité pédagogique des outils, leur
potentiel ludique ainsi que leur utilité dans un contexte de formation.
Ils servent également à mesurer le respect du cahier des charges
initial et notamment, le fait que toutes les compétences ciblées au
début du projet sont bien intégrées dans le scénario »<fnref n="4" />. En bref, l'éva-
luation aide les entreprises à « apprécier le potentiel d'un concept
innovant, mesurer une performance atteinte à un certain stade de
maturité du projet »<fnref n="5" />, « repérer les difficultés de réalisation et remé-
dier aux problèmes au plus vite afin de réduire le temps et le coût de
conception »<fnref n="6" />.

* En ce qui concerne les familles, l'évaluation est au service d'une stratégie d'intéressement. Elle leur offre des connaissances capables d'orienter leur choix vers les dispositifs ludiques les plus appropriés pour les besoins de leurs enfants. Dans ce cas, l'évaluation répond à un souci de modernisation des méthodes d'apprentissage, des modes de transmission des savoirs, et de la formation aux métiers de demain.

* Enfin, pour les politiques publiques, l'évaluation s'intègre dans une stratégie de financement, de communication et de contrôle. Elle peut servir, à la fois, à justifier les investissements publics dans les entreprises du secteur de la EdTech, qui proposent des solutions numériques susceptibles d'améliorer l'expérience de l'apprentissage, à en mesurer les effets, et à éclairer les orientations à donner à l'action publique.

## 2. SE DONNER UN AVAL ACADÉMIQUE

Pour que les résultats d'une évaluation soient valides et fiables, il importe
de suivre un protocole scientifique rigoureux. C'est pourquoi la collabora-
tion avec des chercheurs issus des établissements publics de recherche est
indispensable. Ceux-ci sont engagés à concevoir, coordonner, et valoriser
des méthodes d'évaluation rigoureuses reposant sur des règles quantita-
tives, qualitatives et éthiques, indispensables pour mesurer l'efficacité des
dispositifs pédagogiques innovants. En effet, dans le cadre de leur activité
de recherche, les chercheurs s'engagent à respecter quatre principes fon-

<footnote n="4">4. Iza Marfisi-Schottman, Sébastien George, Franck Tarpin-Bernard, Patrick Prévot (2012), « Comment évaluer la qualité d'un learning game pendant sa conception ? », *Conférence Technologies de l'Information et de la Communication pour l'Enseignement*, TICE 2012, décembre, p. 4.</footnote>

<footnote n="5">5. Axelle Charpentier (2020), « Comment évaluer les innovations pédagogiques », in *Sciences humaines*, « Bonheur d'apprendre et d'enseigner. Enquête sur ces profs qui changent l'école », *Les grands dossiers de sciences humaines*, n° 58, mars-avril-mai, p. 77.</footnote>

<footnote n="6">6. Iza Marfisi-Schottman, Sébastien George, Franck Tarpin-Bernard, Patrick Prévot (2012), *Ibid.*, p. 4.</footnote>
damentaux. Ces principes ont été énoncés dans la Charte européenne du chercheur, en 2005 :

* « la fiabilité : visant à garantir la qualité de la recherche dans la conception, la méthodologie, l'analyse et l'utilisation des ressources ;

* l'honnêteté : qui consiste à élaborer, entreprendre, évaluer, déclarer et faire connaître la recherche d'une manière transparente, juste, complète et objective ;

* l'intégrité scientifique : qui signifie le refus de se plier à des pressions financières, sociales ou politiques ;

* et la responsabilité : tout au long de l'activité de recherche, de l'idée à la publication, en passant par l'organisation et la gestion du projet »<fnref n="7" />.

Plusieurs motivations justifient le rapprochement entre le monde éducatif, économique et académique. Pour les pédagogues, le partenariat avec les chercheurs « peut leur permettre de comprendre de l'intérieur les méthodes utilisées par la science, leurs atouts et leurs limites. L'interaction structurée entre chercheurs et éducateurs favorise une culture commune de l'éducation basée sur des preuves. Il ne faut pas oublier que beaucoup d'enseignants innovent au quotidien en testant de nouvelles pratiques dans leur classe. Ils sont les premiers observateurs des effets des innovations pédagogiques et techniques »<fnref n="8" />.

Inversement, du point de vue des chercheurs, les collaborations avec des enseignants et des responsables des entreprises du secteur de la EdTech leur offrent l'avantage d'accéder à des connaissances, des compétences ainsi que des moyens techniques et financiers supplémentaires. « Dans certains cas, cela peut être une source de revenus récurrente pour l'établissement public de recherche ». Le partenariat multiplie aussi les occasions de renouveler des thématiques de recherche. En effet, les échanges avec les pédagogues et les entreprises permettent « d'identifier des sujets porteurs, d'orienter des stratégies de recherche futures, voire de faire pro-

<footnote n="7">7. « Ces principes ont été explicités dans la déclaration de Singapour sur l'intégrité en recherche en 2010, dont le préambule souligne que : « quelle que soit la manière dont la recherche est menée et organisée selon les disciplines et les pays, il existe des principes communs et des obligations professionnelles similaires qui constituent le fondement de l'intégrité en recherche où qu'elle soit menée. », in Lucienne Letellier (2014), « Pratiquer une recherche intègre et responsable », Guide, Comité d'éthique du CNRS, p. 4, www.cnrs.fr/comets ; ALLEA (2018), « Code de conduite européen pour l'intégrité en recherche », Édition révisée, p. 4, www.allea.org.</footnote>

<footnote n="8">8. Stanislas Dehaene, Elena Pasquinelli, Franck Ramus, Marc Gurgand, Elisabeth Spelke (2021), « La recherche translationnelle en éducation », Rapport, Conseil scientifique de l'éducation nationale, MENJS, Réseau Canopé, p. 12, www.education.gouv.fr.</footnote>
gresser les connaissances sur des projets originaux, interdisciplinaires et à
dimension internationale »<fnref n="9" />.

Cette nécessité de « créer un lien étroit entre la recherche publique, l'éducation et les entreprises » n'est pas démentie par Jean-Marc Monteil, de la mission interministérielle Éducation et Numérique. Il ajoute que « de véritables travaux de recherche pluridisciplinaire doivent être entrepris pour mesurer précisément l'efficacité de ces outils ludiques ». Or, « à ce jour, aucune étude scientifique n'a réellement fait la preuve de leur impact ». Jean-Marc Monteil regrette que « les enquêtes existant sur ces nouvelles façons d'apprendre portent sur de trop petits échantillons. Elles ressemblent plus à des enquêtes de satisfaction ou d'opinion qu'à des études de performance »<fnref n="10" />. C'est la raison pour laquelle il est impossible « de convaincre les acteurs de l'innovation du caractère extrapolable des résultats de ces études dans d'autres environnements pédagogiques »<fnref n="11" />.

### 3. VERS DES MÉTHODOLOGIES D'ÉVALUATION ADAPTABLES

Il existe aujourd'hui une grande variété de méthodes d'évaluation (observations, entretiens, comparaisons, questionnaires, études expérimentales, etc.). « La pratique s'est institutionnalisée avec le déploiement d'évaluations standardisées ». Toutefois, la plupart de ces méthodes reposent sur des normes qui « sanctionnent les «bons» résultats selon les critères définis à l'avance ». Elles ne permettent pas de questionner l'efficacité des jeux pédagogiques sur :

* le développement des compétences transverses, comme l'autonomie, la créativité, l'esprit critique, l'acceptation de l'échec, etc. ;

* le sentiment d'efficacité personnelle des apprenants ;

* et leur capacité d'agir (l'agentivité).

Il est par conséquent nécessaire de développer des instruments de mesure adaptés au cas par cas, capables « d'accompagner les transformations, d'identifier les conséquences inattendues ou de justifier les options prises au cours d'un processus d'innovation »<fnref n="12" />.

<footnote n="9">9. Violette Nemessany (2016), « Regards croisés sur la recherche partenariale. Comment se construisent les relations entre les établissements publics de recherche et les entreprises », Rapport, ANRT, p. 23-24.</footnote>

<footnote n="10">10. Mireille Broussous, Centre-Inffo, « L'apprentissage par le jeu est-il efficace ? », 18 février 2020, www.centre-inffo.fr/.</footnote>

<footnote n="11">11. Axelle Charpentier (2020), op. cit., p. 75.</footnote>

<footnote n="12">12. Axelle Charpentier (2020), op. cit., p. 77.</footnote>
La recherche translationnelle

Dans le rapport « La recherche translationnelle en éducation » publié par le Conseil scientifique de l'éducation nationale<fnref n="13" />, les auteurs soulignent l'importance de :

« renforcer, en éducation, la place de la recherche dite «translationnelle». Ce terme trouve son origine en médecine, où il indique le mariage de la recherche fondamentale avec celle du terrain. Car la recherche translationnelle est à deux voies : elle permet à la fois d'identifier des méthodes efficaces d'intervention et d'augmenter les connaissances fondamentales, dans un aller-retour constant entre les deux. Mais son objectif fondamental reste celui de proposer et d'évaluer des solutions aux problèmes concrets pour qu'elles soient fondées sur les meilleures preuves disponibles »<fnref n="14" />.

Ce constat est partagé par Johannes Ziegler, directeur de recherche au CNRS et du Laboratoire de psychologie cognitive à Aix-Marseille Université<fnref n="15" />. Dans le cadre d'une réunion du groupe de travail de l'ANRT<fnref n="16" />, il va plus loin en proposant de se référer à la « pyramide des preuves ». Il s'agit :

« d'une liste de méthodes de recherche permettant d'apporter des preuves. À la base de la pyramide se trouvent les méthodes qui donnent les résultats les plus incertains. En se déplaçant vers le haut de la pyramide, on trouve les méthodes qui permettent de contrôler en partie ou totalement les biais et donc d'arriver à un plus haut niveau degré de certitude »<fnref n="17" />.

Johannes Ziegler poursuit en décrivant les quatre niveaux de la « pyramide des preuves » :

1) « *Les observations informelles* : qui peuvent prendre la forme d'un essai réalisé par un pédagogue dans sa classe, le recueil d'un témoignage, ou la passation d'un questionnaire. Elles sont utiles dans la première phase d'un projet, également dénommée “étude pilote”. Mais du fait de leur caractère subjectif, elles possèdent une faible valeur de preuve.

<footnote n="13">13. Stanislas Dehaene, Elena Pasquinelli, Franck Ramus, Marc Gurgand, Elisabeth Spelke (2021), op. cit., p. 12.</footnote>

<footnote n="14">14. Stanislas Dehaene, Elena Pasquinelli, Franck Ramus, Marc Gurgand, Elisabeth Spelke (2021), op. cit., p. 3-4.</footnote>

<footnote n="15">15. Johannes Ziegler est aussi membre du Conseil scientifique de l'éducation nationale.</footnote>

<footnote n="16">16. Réunion du groupe de travail de l'ANRT, sous la présidence de Franck Tarpin-Bernard, « Comment évaluer les impacts d'un dispositif pédagogique ? », 1er juin 2022.</footnote>

<footnote n="17">17. Stanislas Dehaene, Elena Pasquinelli, Franck Ramus, Marc Gurgand, Elisabeth Spelke (2021), op. cit., p. 21.</footnote>
2) L'étude quasi expérimentale : elle compare au moins deux groupes, avec des effectifs faibles et moyens. Le but est de recueillir des mesures objectives. Cette étude s'inscrit dans une expérimentation préliminaire.

3) L'étude expérimentale ou "randomisée contrôlée" : est à privilégier auprès d'un effectif suffisamment important pour obtenir un niveau de preuve élevé. Elle en tire des enseignements, des données statistiques, etc. Elle consiste à comparer deux groupes (expérimental d'un côté, et témoin de l'autre) constitués par tirage aléatoire. Ce type d'étude peut être long et coûteux en termes de contraintes administratives, de ressources humaines et financières. Pour être menée à bien, elle doit être soigneusement planifiée et la collaboration avec les chercheurs est indispensable.

4) L'étude de passage à l'échelle : doit être déployée dès lors que les résultats des études randomisées contrôlées se sont avérés concluants. Elle concerne l'expérimentation des dispositifs auprès de très grands effectifs, sur le plan régional ou national. Elle implique la formation de nombreux intervenants entièrement indépendants des chercheurs ».

Pour conclure, « la référence à cette pyramide des preuves permet de mobiliser une grande variété de méthodes. Loin d'être en concurrence les unes avec les autres, ces méthodes créent des synergies et soutiennent collectivement la découverte de moyens pour améliorer l'éducation à tous les niveaux. Il serait contre-productif d'affirmer que seuls une méthode ou un petit nombre de méthodes ont de la valeur dans le domaine de l'éducation fondée sur les preuves. Il est souvent utile de commencer par des études observationnelles, avant de mener des études randomisées contrôlées »<fnref n="18" />.

# II. LES OBSTACLES À L'ÉVALUATION DES DISPOSITIFS PÉDAGOGIQUES LUDIQUES

## 1. DIFFICULTÉS ET RÉSISTANCES

L'évaluation de l'efficacité des dispositifs ludiques en milieu scolaire, universitaire et professionnel n'est pas sans poser de nombreuses difficultés. Certaines concernent la définition des critères d'évaluation. Ces critères jouent un rôle normatif. Ils doivent être déterminés par la finalité de l'évaluation, adaptés au contexte, cohérents avec les objectifs, traduits en indicateurs

<footnote n="18">18. Stanislas Dehaene, Elena Pasquinelli, Franck Ramus, Marc Gurgand, Elisabeth Spelke (2021), op. cit., p. 23.</footnote>
quantitatifs et qualitatifs<fnref n="19" />. Reste que dans de nombreux cas, « force est de constater que les critères ne font pas toujours sens pour ceux qui les suivent parce qu'ils ne répondent pas nécessairement à des préoccupations de terrain, et peut-être aussi, parce que ceux qui sont en charge de les mesurer n'ont généralement pas participé à leur définition et ne s'en approprient pas les résultats »<fnref n="20" />.

**ENCADRÉ 1 — Exemple d'une bonne pratique : construire des critères d'évaluation valides grâce à la « méthode de Churchill »<fnref n="21" />**

Stéphanie de Chalvon, directrice scientifique chez Humans Matter, résume en quelques phrases une méthode de recueil de données développée en 2010 :
> « Il s'agit de demander aux personnes interrogées d'aider à la construction d'un questionnaire en suivant les recommandations de la méthode de Churchill. Le but est ici de récolter le plus d'avis et de verbatims possible. Le fichier est ensuite analysé selon la "méthode Q", qui permet de dégager les grands thèmes et de les catégoriser. Les assertions sont codées sur ces thèmes et une analyse factorielle permet d'extraire lesSATURATIONS (poids factoriels) de chaque assertion (verbatim) et donc de les sélectionner, non pas sur la base de la fréquence, mais sur le pourcentage d'explication de variance de tel ou tel phénomène qu'une assertion proposée permet d'obtenir. Cette méthode, également dénommée méthode de "Churchill 2.0", se distingue de la méthode scientifique, validée par des publications mais elle s'en inspire et fait l'objet actuel de la rédaction d'un article scientifique. Elle a été expérimentée sur de très gros échantillons et sur divers sujets dont le "numérique à l'école" en collaboration avec l'université de Poitiers ».

D'autres difficultés résultent des contraintes méthodologiques. En effet, « la montée en puissance, depuis les années 1980, d'une demande générale pour que le système éducatif puisse "rendre des comptes" publiquement, régulièrement et à tous les niveaux, sur ses performances, a renforcé cette pression à la production d'indicateurs standardisés »<fnref n="22" />. Entre autres, cela a des conséquences sur les différentes méthodologies d'évaluation habituellement employées pour mesurer les effets des dispositifs pédagogiques innovants. Il est alors difficile de prendre en compte, non seulement les caractéristiques individuelles des apprenants et leurs besoins éducatifs parti-

<footnote n="19">19. OCDE (2020), « Des critères améliorés pour des évaluations meilleures », février, p. 1, www.oecd.org/fr.</footnote>

<footnote n="20">20. Claudine Golka (2010), « L'évaluation, un levier du changement ? », *Bulletin des bibliothèques de France*, T. 55, n° 4, p. 12, https://bbf.enssib.fr.</footnote>

<footnote n="21">21. Gary A. Churchill (1979), "A paradigm for developing better measures of marketing constructs", *Journal of Marketing Research*, 16, pp. 64-73.</footnote>

<footnote n="22">22. Olivier Rey, Annie Freyfant (2014), op. cit., p. 4.</footnote>
culiers, mais aussi le rôle du pédagogue-maître du jeu dans la réussite d'une séquence pédagogique ludique. À cet égard, plusieurs travaux scientifiques attestent que « l'usage d'un même jeu peut avoir des conséquences différentes selon la manière dont il est utilisé dans une situation pédagogique »<fnref n="23" />. En un mot, aucun dispositif innovant « n'est valable pour tous les publics ou toutes les disciplines indépendamment des contextes sociaux et institutionnels dans lesquels elle se réalise. [...] On dispose aussi de preuves de l'existence d'un effet propre des pratiques enseignantes »<fnref n="24" />. De manière plus précise, il est observable que l'enthousiasme des pédagogues, leur créativité, leur habileté et l'intérêt qu'ils portent aux méthodes de pédagogie active exercent une influence, difficilement mesurable par les évaluations, sur le désir d'apprendre des individus<fnref n="25" />. À cela s'ajoutent les difficultés liées à l'évaluation des compétences socio-comportementales, telles que l'estime de soi, le sentiment d'efficacité personnelle, la capacité à agir, etc. Cette question est épineuse. En effet, ces savoir-être ne sont pas officiellement reconnus dans les programmes pédagogiques nationaux.

**ENCADRÉ 2 — Exemple d'une bonne pratique : l'Observatoire dynamique de la capacité à agir pour mesurer le sentiment d'efficacité personnelle (SEP) et l'agentivité.**

L'Observatoire dynamique de la capacité d'agir a été lancé par l'entreprise Humans Matter. Cet outil permet de mesurer des variables liées aux compétences psychologiques, cognitives et comportementales que les apprenants peuvent développer pendant la formation. L'objectif est d'améliorer le SEP et l'agentivité. Le concept du SEP a été développé par Albert Bandura dans les années 80. « Il correspond à la croyance des personnes en leur capacité personnelle à organiser et réaliser des ensembles d'actions requises pour atteindre des types de performances attendus ». Le SEP est le principal moteur de la capacité d'agir. « Il s'agit d'une compétence qui n'est pas innée, mais qui peut s'acquérir. Il est le moteur et le marqueur de l'agentivité, définie comme "la volonté de tout individu d'être auteur et acteur de son propre développement". L'agentivité désigne le fait pour un individu d'avoir conscience qu'il est lui-même l'auteur de ses actions. En d'autres termes, si l'agentivité d'une personne est élevée, c'est qu'elle est animée par la volonté d'agir par elle-même ».

Du point de vue de Stéphanie de Chalvron, directrice scientifique chez Humans Matter :

<footnote n="23">23. Eric Sanchez, Margarida Romero (2020), op. cit., p. 123.</footnote>

<footnote n="24">24.Pascal Bressoux (2012), *L'influence des pratiques enseignantes sur les acquisitions scolaires des élèves*, La Découverte, « Regards croisés sur l'économie », 2012/2 n° 12, p. 210.</footnote>

<footnote n="25">25. « Depuis quatre décennies, un ensemble de recherches menées dans le domaine de l'éducation a pu confirmer l'intuition de nombreux parents : les progrès de leurs enfants dépendent de manière significative du talent et des compétences de leurs professeurs ». C'est ce qu'on appelle « l'effet enseignant ». Cf. Pierre-Yves Cusset (2011), « Que disent les recherches sur "l'effet enseignant" ? », *La Note d'analyse*, n° 232, Centre d'analyse stratégique.</footnote>
« la formation professionnelle doit amener les individus à développer leur SEP, et en même temps, leur agentivité. C'est pourquoi l'entreprise Humans Matter s'est donnée pour mission de créer l'Observatoire dynamique de la capacité d'agir. Celui-ci se propose de se focaliser sur trois axes :

* *la prévention* : en détectant précocement des signaux faibles et des risques sur le facteur humain et la capacité d'agir ;

* *l'impact* : en mesurant l'efficacité des dispositifs de formation et d'accompagnement ;

* *le développement* : en orientant des stratégies de développement du facteur humain et d'évolution des comportements ».

L'Observatoire a été testé auprès d'un grand nombre de personnes. Il a été développé autour de quatre temps de mesure : 1) avant ; 2) pendant ; 3) juste après ; 4) et au minimum trois ou quatre mois après la formation. Ceci, car il cherche à dégager non pas des mesures à des instants T, mais des trajets-toires de développement selon une approche "lifespan" (collecte des données, quatre vagues de baromètre autour d'un même groupe d'individus sur un an, voire plus) ».

Dans un autre registre, « si du point de vue économétrique, les évaluations apparaissent comme un moyen privilégié pour fournir une mesure fiable des effets des outils pédagogiques innovants, elles ne sont pas toujours acceptées par les acteurs de terrain »<fnref n="26" />. Des résistances humaines se font jour, comme en témoignent les chercheurs du Conseil scientifique de l'éducation nationale :

« Certains s'opposent à l'idée même d'expérimentation en éducation, pour des raisons faussement éthiques : les élèves ne sont pas des "cobayes". Mais cet argument ignore le fait que chaque jour, les enseignants testent de nouvelles pratiques sur les élèves, sans que personne n'y trouve à redire. Malheureusement, ces tentatives se font selon une méthodologie qui ne permet pas de tirer de conclusions rigoureuses, et ne permet donc pas de faire avancer la connaissance au bénéfice de tous. D'un point de vue éthique, il est donc nettement préférable de soumettre moins d'élèves à de vraies expérimentations, guère différentes de celles qui ont lieu tous les jours, mais qui en plus permettent d'accumuler de la connaissance »<fnref n="27" />.

## 2. LES ENJEUX ÉTHIQUES

L'évaluation des dispositifs pédagogiques innovants amène à s'interroger sur les questions éthiques. « Quelle est la valeur des outils d'évaluation utilisés ? Comment être assuré que ce sont les meilleurs outils d'évalua-

<footnote n="26">26. Axelle Charpentier, op. cit., p. 75.</footnote>

<footnote n="27">27. Stanislas Dehaene, Elena Pasquinelli, Franck Ramus, Marc Gurgand, Elisabeth Spelke (2021), op. cit., p. 27.</footnote>
tion, compte tenu des contenus d'apprentissage et du niveau cognitif des apprenants ? Qu'est-ce qui doit être évalué ? Comment être certain que le jugement évaluatif est neutre et impartial ? »<fnref n="28" />.

Mais au-delà, il y a un autre défi à relever. La multiplication des évaluations produit une masse de données personnelles sur le comportement des apprenants. Comme le soulignent les chercheurs en sciences de l'éducation, il est indispensable que « la collecte et l'analyse de ces datas suivent des règles éthiques strictes »<fnref n="29" />. Dans cette perspective, il convient de mentionner :

- d'une part, le « cadre éthique de l'expérimentation pédagogique en situation réelle » du Comité national consultatif d'éthique<fnref n="30" />, qui « prend en compte les risques liés aux expérimentations éducatives chez les apprenants et y répond avec des recommandations ciblées »<fnref n="31" />;

- et d'autre part, l'installation du comité d'éthique pour les données d'éducation.

« Ces avancées récentes dans le domaine de l'éducation pourraient contribuer à la mise en œuvre d'une régulation éthique des évaluations »<fnref n="32" />.

### III. LES TRANSFORMATIONS ENGENDRÉES PAR LES ÉVALUATIONS

Ainsi, comme on a pu le constater, l'évaluation des dispositifs pédagogiques ludiques n'est pas un exercice facile. Elle se heurte à des écueils et des résistances. Pour les dépasser, trois conditions doivent être réunies. Il est indispensable que l'évaluation soit :

1) **coconstruite** dans le cadre d'un partenariat entre pédagogues, chercheurs et responsables de structures socio-économiques;

<footnote n="28">28. Denis Jeffrey (2013), *L'Éthique dans l'évaluation scolaire*. Québec, Presses de l'université Laval, p. 12.</footnote>

<footnote n="29">29. Laurent Tardif, Jérôme Clerget, Antoine Lafontaine, Anas Knefati (2021), « Les Learning Analytics et la transformation pédagogique et numérique : un champ en construction », in Collectif DESIR, *Transformations pédagogique et numérique dans l'enseignement supérieur. Quatre années pour changer les pratiques*, Presses des Mines, p. 65.</footnote>

<footnote n="30">30. Cadre éthique de l'expérimentation pédagogique en situation réelle (2019), cf. www.ccne-ethique.fr.</footnote>

<footnote n="31">31. Stanislas Dehaene, Elena Pasquinelli, Franck Ramus, Marc Gurgand, Elisabeth Spelke (2021), op. cit., p. 27.</footnote>

<footnote n="32">32. Axelle Charpentier, op. cit., p. 76.</footnote>
2) *comprise* par les pédagogues ;

3) et *bien menée*, sur la base « des critères de crédibilité, fiabilité, trans-
férabilité et de reproductibilité »<fnref n="33" />.

Dès lors, les résultats des évaluations des dispositifs ludiques conduisent les
acteurs à modifier les pratiques pédagogiques. Il est possible de distinguer
quatre transformations caractéristiques : technique, pédagogique, culturelle
et politique.

1. LA TRANSFORMATION TECHNIQUE

Du point de vue des concepteurs, l'évaluation de l'expérience utilisateur d'un jeu pédagogique apparaît comme un moyen privilégié de rendre compte des disparités d'usages pouvant être à l'origine des résistances vis-à-vis du dispositif ludique. Du même coup, les conclusions des évaluations permettent d'identifier ce sur quoi des efforts sont nécessaires pour améliorer techniquement le jeu. En d'autres termes, elles donnent la possibilité aux concepteurs de faire évoluer leur outil en mettant en place des moyens pour l'adapter aux objectifs pédagogiques et aux besoins des apprenants.

2. LA TRANSFORMATION PÉDAGOGIQUE

Lorsque les indicateurs d'évaluation valident l'efficacité d'un dispositif lu-
dique, ils constituent, pour les pédagogues, une preuve de la qualité d'un
jeu pédagogique. Cette appréciation positive contribue à assurer la pé-
rennité de l'outil innovant et « va lui permettre de trouver des applications
plus larges »<fnref n="34" />. En effet, elle offre la possibilité aux pédagogues de faire
reconnaitre d'autres façons de faire, d'autres pratiques et d'autres compé-
tences. Les données recueillies dans le cadre des évaluations jouent, par
conséquent, un rôle de levier. Ils rassurent la communauté éducative sur le
bien-fondé des jeux pédagogiques ; et ils encouragent les plus sceptiques
à faire évoluer leurs pratiques d'apprentissage en intégrant ces jeux à l'en-
semble des outils pédagogiques.

3. LA TRANSFORMATION CULTURELLE

Tant pour les pédagogues que pour les responsables des entreprises du

<footnote n="33">33. Document de travail de l'ANRT (2022), Pascale Toscani, « L'évaluation des dispositifs pédagogiques innovants, en neurosciences cognitives et apprentissages dans les systèmes éducatifs français », résumé, Groupe de travail, 9 août.</footnote>

<footnote n="34">34. Elsa Chusseau, Charleyne Caroll (2022), « Les conditions de pérennisation et d'essaimage », in Collectif DESIR, *Transformations pédagogique et numérique dans l'enseignement supérieur. Quatre années pour changer les pratiques*, Presses des Mines, Collection Libres opinions, p. 54.</footnote>
secteur de la EdTech, la collecte et le traitement des données issues des évaluations des jeux pédagogiques nécessitent la collaboration avec des chercheurs opérant dans des établissements publics de recherche. Cette évolution se traduit par une transformation culturelle. En effet, la collaboration entre pédagogues, chercheurs et responsables du monde socio-économique ne se décrète pas. Elle s'organise pour créer les conditions mutuellement bénéfiques. Cela suppose un effort d'ajustement de chaque côté, pour à la fois apprendre à parler le même langage et repenser les modes de fonctionnement, chacun pouvant se faire de l'autre une idée déformée.

## 4. LA TRANSFORMATION POLITIQUE

Les évaluations positives des jeux pédagogiques, fondées sur la science et les preuves, sont des outils indispensables à la décision politique. Elles donnent aux décideurs une bonne raison – comprendre une raison conforme à l'intérêt général – de mettre en place les réformes pour accompagner, accélérer et pérenniser la pédagogie par le jeu. Pour Stanislas Dehaene, professeur au Collège de France et titulaire de la chaire de psychologie cognitive expérimentale, « il y a urgence à agir »<fnref n="35" />. En effet, à ce jour, la transition pédagogique demeure embryonnaire, et sa trajectoire est encore instable. C'est pourquoi il importe d'apporter les preuves de la valeur éducative des dispositifs ludiques pour que la transformation des méthodes d'apprentissage et de formation prenne une place prioritaire dans les agendas politiques.

# CONCLUSION

## LES CRITÈRES D'ÉVALUATION D'UN DISPOSITIF PÉDAGOGIQUE LUDIQUE

Afin d'aider les acteurs à apporter les preuves de la justesse des outils pédagogiques innovants, les membres de l'ANRT, sous la présidence de Franck Tarpin-Bernard, directeur général délégué chez Humans Matter, ont identifié différents critères indispensables à l'évaluation d'un dispositif pédagogique ludique<fnref n="36" />.

<footnote n="35">35. Stanislas Dehaene (2020), « Il y a urgence à développer le plaisir à l'école », in Sciences humaines, « Bonheur d'apprendre et d'enseigner. Enquête sur ces profs qui changent l'école », Les grands dossiers de Sciences humaines, n° 58, mars-avril-mai 2020, p. 10.</footnote>

<footnote n="36">36. ANRT (2022), « Atelier d'intelligence collectif », réalisé par Franck Tarpin-Bernard, séance du groupe de travail « Pédagogie par le jeu », 27 janvier.</footnote>
# 1. FICHE PRODUIT

Tout dispositif pédagogique ludique doit d'abord fournir un ensemble minimal d'informations avant d'être évalué. Il s'agit de :

* la caractérisation de la cible :

* âge,

* niveau prérequis ;

* l'identification des connaissances apprises et/ou compétences développées ;

* le positionnement sur la finalité :

* **ouverture** : permet une entrée en matière ludique pour capter l'attention et l'intérêt ;

* **complémentaire** : permet un renforcement d'une approche traditionnelle ;

* **autoportant** : remplace une autre approche pédagogique traditionnelle ;

* la caractérisation des modalités d'utilisation :

* individuelle vs collective – taille des groupes ;

* durée d'une session, voire plusieurs ;

* intégration dans le parcours avec des phases amont et/ou aval du type débriefing ;

* matériel nécessaire (exemple, tablette).

# 2. LES CRITÈRES

Les membres de l'ANRT ont ensuite dressé une liste de facteurs à considérer pour évaluer un jeu pédagogique. Ces facteurs peuvent être regroupés en douze critères, répartis dans quatre familles.

## Critères liés à la conception du dispositif

<table><tr><td>Solidité des bases scientifiques</td><td>Est-ce que les contenus, les principes pédagogiques, les mécanismes cognitifs utilisés dans le dispositif s'appuient sur des bases reconnues ?</td></tr></table>
<table><tr><td>Qualité du game design</td><td>Est-ce que le dispositif a été conçu en exploitant des principes reconnus de game design ? Certaines mécaniques proposées enfreignent-elles des principes fondamentaux ?</td></tr><tr><td>Qualité de réalisation</td><td>Les éléments matériels et/ou digitaux ont-ils un niveau qualitatif avéré (solidité du matériel, qualité des univers visuels/sonores, pertinence du thème, etc.) pour une réutilisation ?</td></tr></table>

## Critères liés à l'expérience apprenant

<table><tr><td>Utilisabilité, accessibilité et engagement</td><td>L'utilisation est-elle suffisamment intuitive pour les apprenants joueurs, le dispositif est-il accessible au plus grand nombre (RGA), tolerant aux erreurs de manipulation et les limitations sont-elles explicitées, le dispositif génére-t-il un bon niveau d'engagement ?</td></tr><tr><td>Qualité du feed-back</td><td>Le dispositif explicite-t-il les compétences mises en œuvre (y compris les soft skills), permet-il de voir/mesurer des progrès ?</td></tr><tr><td>Transférabilité</td><td>Le dispositif intègre-t-il des éléments facilitant la transférabilité des apprentissages (débrieffing, ancrage dans la réalité, travail métacognitif, etc.) ?</td></tr></table>

## Critères liés à l'expérience formateur

<table><tr><td>Simplicité d'appropriation</td><td>Le dispositif s'accompagne-t-il de moyens appropriés pour son bon usage (guides de prise en main, formations, communautés d'utilisateurs, etc.) ?</td></tr><tr><td>Capacité de personnalisation</td><td>Le dispositif permet-il d'être adapté au contexte d'utilisation et aux envies du formateur (flexibilité d'usage, paramétrage, insertion de contenus personnalisés, etc.) ?</td></tr><tr><td>Coût et simplicité de mise en œuvre</td><td>Évaluation des coûts directs (achat matériel, licence d'utilisation, formation) et indirects (temps de prise en main, durée des sessions, mises à jour).</td></tr></table>
## Critères liés à l'usage à long terme

<table><tr><td>Qualité des éléments de preuve</td><td>Nombre et validité (méthodologie, taille des groupes) des études scientifiques ou enquêtes menées sur le dispositif.</td></tr><tr><td>Accès aux données d'usage</td><td>Fourniture de données exploitables (par le formateur ou des équipes scientifiques tierces) permettant d'évaluer les apports du dispositif.</td></tr><tr><td>Niveau de maturité</td><td>Informations sur les volumes d'apprenants/ formateurs ayant utilisé le dispositif, ancien-neté de la mise sur le marché, et historique des mises à jour tenant compte des retours utilisateurs.</td></tr></table>

Enfin, sur la base de ces critères, il serait utile de concevoir une plateforme numérique, destinée à collecter et partager des évaluations de dispositifs pédagogiques innovants. Un label pourrait être attribué aux outils qui auront démontré leur efficacité en termes de capacité à faire progresser les apprenants. Ce gage de qualité, tout à la fois pédagogique, technique et éthique, garantirait la valeur éducative objectivement attribuable aux ressources évaluées. Il favoriserait leur référencement, améliorant ainsi leur visibilité auprès des utilisateurs tels que les pédagogues, les apprenants et les familles. Cette reconnaissance officielle justifierait notamment l'octroi de financements par les pouvoirs publics.

## Bibliographie

* Pascal Bressoux (2012). *L'Influence des pratiques enseignantes sur les acquisitions spo-laires des élèves*, Paris, La Découverte, « Regards croisés sur l'économie », 2012/2 n° 12.

* Axelle Charpentier (2020). « Comment évaluer les innovations pédagogiques », in *Sciences humaines*, « Bonheur d'apprendre et d'enseigner. Enquête sur ces profs qui changent l'école », *Les grands dossiers de Sciences humaines*, n° 58, mars-avril-mai.

* Elsa Chusseau, Charleyne Caroll (2022). « Les conditions de pérennisation et d'essai-mage », in *Collectif DESIR, Transformations pédagogique et numérique dans l'enseigne-ment supérieur. Quatre années pour changer les pratiques*, Presses des Mines, Collection Libres opinions.

* Pierre-Yves Cusset (2011). « Que disent les recherches sur “l'effet enseignant” ? », *La Note d'analyse*, Centre d'analyse stratégique, n° 232.
Stanislas Dehaene (2020). « Il y a urgence à développer le plaisir à l'école », in *Sciences humaines*, « Bonheur d'apprendre et d'enseigner. Enquête sur ces profs qui changent l'école », Les grands dossiers de Sciences humaines, n° 58, mars-avril-mai.

Stanislas Dehaene, Elena Pasquinelli, Franck Ramus, Marc Gurgand, Elisabeth Spelke (2021). « La recherche translationnelle en éducation », Rapport, Conseil scientifique de l'éducation nationale, MENJS, Réseau Canopé.

Claudine Golka (2010). « L'évaluation, un levier du changement ? », *Bulletin des bibliothèques de France*, T. 55, n° 4.

Denis Jeffrey (2013). *L'Éthique dans l'évaluation scolaire*. Québec, Presses de l'université Laval.

Anne Jorro, Nathalie Droyer, ss la dir. (2019). *L'Évaluation, levier pour l'enseignement et la formation*, Louvain-la-Neuve, De Boeck Supérieur.

Lucienne Letellier (2014). « Pratiquer une recherche intègre et responsable », Guide, Comité d'éthique du CNRS.

ALLEA (2018). « Code de conduite européen pour l'intégrité en recherche », Édition révisée.

Violette Nemessany (2016). « Regards croisés sur la recherche partenariale. Comment se construisent les relations entre les établissements publics de recherche et les entreprises », *Les Cahiers FutuRIS*, ANRT.

OCDE (2020). « Des critères améliorés pour des évaluations meilleures », février.

Olivier Rey, Annie Freyfant (2014). « Évaluer pour (mieux) faire apprendre », *Dossier de veille de l'Institut français de l'éducation*, n° 94, septembre.

Eric Sanchez, Margarida Romero (2020). *Mythes et réalités : apprendre en jouant*, Paris, Éditions Retz.

Laurent Tardif, Jérôme Clerget, Antoine Lafontaine, Anas Knefati (2021). « Les learning analytics et la transformation pédagogique et numérique : un champ en construction », in *Collectif DESIR, Transformations pédagogique et numérique dans l'enseignement supérieur. Quatre années pour changer les pratiques*, Paris, Presses des Mines.
# Développer, expérimenter et évaluer des dispositifs pédagogiques innovants : l'exemple du CréativLab d'Ampiric et la question du passage à l'échelle

Nicolas Mascret, Thierry Berthet, Pascale Brandt-Pomares, Magali Coupaud, Mathilde Favier, Jonathan Mirault, Johannes C. Ziegler

## Résumé

Le développement, l'expérimentation et l'évaluation des dispositifs innovants s'inscrivent dans un processus complexe, lorsqu'ils sont réalisés selon une démarche scientifique rigoureuse, et lorsque l'ambition est d'envisager leur passage à l'échelle. En appui sur le CréativLab du pôle pilote Ampiric, les procédures et modalités d'évaluation de dispositifs pédagogiques innovants, issus d'une collaboration entre entreprises, chercheurs et enseignants, seront présentées. Dans un second temps, les enjeux du passage à l'échelle de ces dispositifs seront examinés dans le contexte de l'éducation fondée sur les données probantes ; tout en identifiant les limites liées à la pérennisation et la généralisation de ces dispositifs, ainsi que les limites liées à l'influence des prescriptions chez les enseignants.
# INTRODUCTION

L'efficacité d'un nouveau dispositif pédagogique ne va pas de soi. Ce n'est pas parce qu'il est dit « innovant » qu'il est par définition « plus efficace ». L'évaluation et l'expérimentation sont donc crucales pour connaître la valeur d'un dispositif dans la vie réelle à l'échelle d'une classe, d'une école, d'une académie, ou même d'un pays tout entier.

## 1. POURQUOI EXPÉRIMENTER ET ÉVALUER DES DISPOSITIFS PÉ-DAGOGIQUES INNOVANTS ?

Le mot « expérimenter » est souvent utilisé dans un sens assez vague, celui d'essayer, sur un groupe restreint, quelque chose qui sort de l'ordinaire. Cette idée de l'expérimentation dans le quotidien est assez éloignée de l'expérimentation qui consiste à mettre à l'épreuve une hypothèse à l'aide de méthodes susceptibles de contrôler les biais. Expérimenter permet de tester la véracité d'une hypothèse, ou de déterminer l'efficacité d'une méthode pédagogique. Avant chaque expérimentation, les chercheurs, comme les enseignants, doivent veiller à la pertinence de l'intervention proposée, penser à son éventuel passage à l'échelle et à son adoptabilité, aussi bien qu'à son impact potentiel. La conception expérimentale d'une recherche fait partie intégrante des aspects éthiques, car il n'est jamais éthique de mener une recherche dont on sait à l'avance qu'elle ne permettra pas de tirer la moindre conclusion solide. Par exemple, parce qu'elle comprend des biais importants, qu'aucun groupe contrôle n'est prévu, ou qu'elle concerne trop peu d'enfants pour être significative. Quelle serait en effet l'alternative à l'expérimentation ? La prise de décision sur la base de simples intuitions, sans savoir si elles sont fondées ? Certains s'opposent à l'idée même d'expérimentation en éducation pour des raisons faussement éthiques. Mais les enseignants testent tous les jours de nouvelles pratiques sur leurs élèves, sans que personne ne s'y oppose. Malheureusement, ces tentatives se font selon une méthodologie qui ne permet pas de tirer de conclusions rigoureuses, de diffuser les avancées, et ne permet donc pas de faire avancer la connaissance au bénéfice de tous. Le pôle pilote Ampiric (Aix-Marseille – Pôle d'Innovation, de Recherche, d'enseignement pour l'éducation) est né de la volonté de rapprocher les acteurs du domaine éducatif, qu'ils soient enseignants, scientifiques ou entrepreneurs, dans un seul et même but : améliorer l'éducation des enfants afin de maximiser leur bien-être, leurs connaissances et leurs compétences.

## 2. LE PÔLE PILOTE AMPIRIC

Financé par le Programme d'investissement d'avenir (PIA3) et s'inscrivant dans la stratégie France 2030, Ampiric est un pôle pilote porté par Aix-Mar-
seille Université en partenariat avec l'académie d'Aix-Marseille, Avignon Université, l'université Côte d'Azur, le CNRS, l'Association nationale de la recherche et de la technologie (ANRT), le Réseau Canopé, et la Région Sud. Le pôle pilote Ampiric (dénommé Ampiric dans la suite de cet article) vise à améliorer durablement l'apprentissage des savoirs fondamentaux des élèves tout au long de leur parcours scolaire, notamment de ceux qui sont en difficulté. Ampiric se fonde sur le développement de travaux de recherche innovants, pour mieux documenter l'évolution de la formation initiale et continue des enseignants, et développer, expérimenter, diffuser des approches pédagogiques innovantes. L'écosystème Ampiric se fonde ainsi sur une meilleure articulation entre la recherche, la formation et le terrain.

Ampiric poursuit cinq objectifs stratégiques :

* transformer la formation et l'accompagnement des enseignants pour faire évoluer leurs pratiques face aux défis liés aux apprentissages fondamentaux ;

* favoriser les coopérations recherche-terrain en soutenant les recherches collaboratives ;

* améliorer la compréhension des processus d'enseignement-apprentissage des savoirs fondamentaux en soutenant des recherches fondamentales, finalisées par les besoins de l'éducation et de la formation;

* coproduire des outils et des applications au service des apprentissages fondamentaux au sein d'un CréativLab ;

* diffuser et valoriser les ressources pédagogiques sur les apprentissages fondamentaux.

### 3. LE CRÉATIVLAB D'AMPIRIC

Dans le cadre de cet article, nous nous centrerons plus spécifiquement sur le quatrième objectif stratégique afin d'investiguer l'évaluation des dispositifs pédagogiques innovants dans le cadre du CréativLab d'Ampiric. Le CréativLab est un espace de coopération, de recherche et d'action dédié aux enseignants, chercheurs et entreprises. Coordonné par l'ANRT, et à travers elle, par son groupe de travail sur la « Pédagogie par le jeu », il bénéficie du soutien et de l'accompagnement de tous les partenaires d'Ampiric. En appui sur la recherche, l'objectif principal du CréativLab est de coproduire, d'expérimenter et de labelliser des ressources pédagogiques permettant d'améliorer les apprentissages fondamentaux.
Le fonctionnement du CréativLab est articulé autour des actions suivantes :

* **L'initiation et l'accompagnement de projets collaboratifs.** Chaque année, des projets portés conjointement par des responsables d'entreprises, des chercheurs et des enseignants sont sélectionnés, au service de l'amélioration de l'apprentissage des savoirs fondamentaux.

* **La mise en réseau des acteurs, entre terrain, formation, recherche et entrepreneuriat.** Diverses manifestations sont organisées pour opérationnaliser cette mise en réseau.

* **Une évaluation des ressources produites ou perfectionnées.** Les outils pédagogiques développés ont vocation à être évalués auprès de classes partenaires au sein du plateau expérimental « Jacques Ginestié » d'Ampiric, ou directement dans les établissements scolaires.

L'ambition de ce texte est donc double : d'une part, présenter les modalités d'évaluation des projets mises en œuvre dans le CréativLab d'Ampiric, et d'autre part, identifier dans quelle mesure cette évaluation spécifique interroge de façon plus transversale toutes les modalités d'évaluation des dispositifs pédagogiques innovants.

# I. L'ÉVALUATION DES PROJETS DANS LE CRÉATIVLAB D'AMPIRIC

L'évaluation des projets au sein du CréativLab répond à un double enjeu : accompagner des projets de recherche partenariale, co-portés par des chercheurs et des acteurs du monde socio-économique en lien avec l'éducation (entreprises, associations, parents d'élèves, enseignants), et évaluer les ressources produites ou développées afin d'envisager un éventuel passage à l'échelle. Deux niveaux d'évaluation des projets sont identifiés : le premier correspond à la procédure de sélection des projets qui intègrent le CréativLab, et le second correspond au suivi et à l'évaluation des projets retenus.

## 1. LA PROCÉDURE DE SÉLECTION DES PROJETS

Le premier niveau d'évaluation, visant à initier les collaborations, suit une procédure de sélection en deux temps : tout d'abord, les acteurs répondent à un appel à manifestation d'intérêt (AMI) pour soumettre leur projet. Cet appel ne fait pas l'objet d'une sélection particulière, bien que les projets doivent répondre aux objectifs du CréativLab, et plus largement à ceux d'Ampiric, à savoir l'amélioration de l'apprentissage des savoirs fondamentaux.
taux des élèves. L'ensemble des projets déposés dans le cadre de cet AMI sont présentés lors d'un « speed-dating » organisé annuellement. L'objectif est de permettre aux porteurs de rencontrer les acteurs du monde socio-économique et de la recherche afin de réfléchir ensemble à une collaboration potentielle. Cette collaboration se concrétise par le dépôt d'un projet commun dans le second temps de l'appel. Les projets déposés font l'objet d'une double évaluation conduite par des chercheurs du périmètre d'Ampiric en fonction des disciplines et thématiques concernées. Cette évaluation porte sur les éléments suivants :

* la qualité scientifique du projet ;

* les perspectives de succès de la recherche partenariale ;

* l'implication de l'entreprise et la pertinence du projet dans son contexte entrepreneurial ;

* l'adéquation avec le laboratoire partenaire et sa pertinence dans le projet ;

* la participation des enseignants et la pertinence du projet au service de l'amélioration de l'apprentissage des savoirs fondamentaux.

Au terme de cette évaluation, les rapporteurs doivent émettre un avis sur l'opportunité de recevoir les porteurs de projets pour une audition. Cette dernière permet de clarifier certains aspects liés au projet, qui n'auraient pas été précisés dans le dossier écrit. Elle constitue la dernière phase de ce processus de sélection. Les projets doivent recevoir deux avis favorables pour être reçus en audition, lors de laquelle la commission de sélection émet un avis final sur l'opportunité de soutenir et d'accompagner le projet dans le cadre du CréativLab.

Ce processus de sélection très rigoureux a été élaboré pour s'assurer de la mise en place de conditions favorables au bon déploiement des projets, en termes de déroulement et d'atteinte des objectifs. Financés par de l'argent public dans le cadre du Plan France 2030, les projets soutenus doivent en effet répondre aux exigences fixées par les objectifs du pôle Ampiric relatifs à l'évolution de la professionnalité des enseignants et de l'amélioration de l'apprentissage des élèves. Pour ce faire, la problématique de recherche doit être pertinente et explicitée, et les conditions propices à une collaboration fructueuse entre les chercheurs et leurs partenaires doivent être réunies. Des zones d'ombre sur les modalités de collaboration ou sur l'implication et la motivation d'un partenaire à s'engager dans un projet, ou des incertitudes concernant des questions de méthodologie, de validation des résultats et des impacts de l'outil sur les apprentissages sont autant de facteurs qui ne permettront pas aux projets d'être retenus. À l'inverse, une méthodologie expérimentale rigoureuse et clairement explicitée, contrôlant un maximum de paramètres et en gardant une situation écologique (en salle de classe par exemple), l'articulation avec les recherches actuelles, la plus-value de tel ou
tel laboratoire en termes de compétences et d'approche scientifique et une collaboration active et pertinente entre la recherche et son partenaire sont autant d'éléments qui permettront aux projets de devenir lauréats.

## 2. LE SUIVI ET L'ÉVALUATION DES PROJETS

Le suivi et l'évaluation des projets retenus forment le deuxième niveau du processus mis en œuvre par le CréativLab. Ainsi, il est demandé aux projets lauréats de compléter un bilan annuel intermédiaire et de présenter leurs avancées lors des « speed-datings » des années suivantes. Ce bilan intermédiaire permet de mettre à jour les acteurs impliqués, de rendre compte des avancées par rapport aux objectifs initiaux, de signaler toute réorientation éventuelle, de présenter les premiers résultats potentiels, et de partager les difficultés rencontrées dans l'organisation de la collaboration, ou tout autre aspect du déploiement du projet. Le suivi des projets met aussi en évidence que les critères d'évaluation peuvent varier au fil des différentes étapes du développement du projet, comme l'illustre le projet de recherche basé sur le jeu Darwinium (encadré 1). De plus, les bilans intermédiaires offrent la possibilité au comité de suivi des projets lauréats de juger du respect des engagements initiaux par les parties prenantes, et d'examiner d'éventuels problèmes. Si les projets ne correspondent pas aux objectifs énoncés, le comité se réserve le droit de cesser son soutien. Cette situation s'est produite à plusieurs reprises. Certains projets ont été interrompus en raison du départ de collaborateurs (chercheurs ou équipes pédagogiques) ou de difficultés techniques/technologiques dans le déploiement des outils proposés.

Ce processus présente des avantages. Il permet tout d'abord de garantir la bonne utilisation et/ou l'optimisation des moyens mis à disposition, qu'ils soient financiers, humains ou matériels. Il assure par ailleurs l'adhésion collective de tous les acteurs et le bon déroulement de la collaboration, en garantissant la possibilité de se retirer d'une collaboration qui ne donnerait pas satisfaction. Cela est particulièrement important dans le développement de dispositifs pédagogiques innovants pour deux raisons : la première concerne le temps extrêmement précieux des équipes pédagogiques de terrain, qui doivent pouvoir trouver une utilité aux dispositifs mis en œuvre en relation avec leur pratique professionnelle. La seconde répond au devoir de vigilance que l'on se doit d'avoir à l'égard des élèves impliqués dans le déploiement des dispositifs, afin que ceux-ci ne soient pas délétères pour leur expérience éducative. Enfin, le suivi rigoureux des projets contribue au développement d'une culture commune au regard de critères de réussite constitutifs des projets soutenus. À mesure du déploiement du second niveau de suivi et d'évaluation, ces critères pourront venir constituer la base d'un référentiel visant à permettre la labellisation de certaines ressources et/ou certains outils dans le cadre du développement d'une filière française spécialisée dans le développement de dispositifs pédagogiques ludiques innovants.
ENCADRÉ 1 — Développement, expérimentation et évaluation du jeu Darwinium

Le projet de recherche présenté ici repose sur la conception du jeu Darwinium intégré à des ressources pédagogiques destinées aux enseignants de collège, afin d'aborder les concepts de hasard et d'évolution. Environné par Ampiric, il s'inscrit dans le cadre du projet ANR EGRESS (Educational Game about Randomness and Evolution for Students in Science). Ce jeu place des élèves de collège dans la situation de chercheurs observant l'évolution de populations chimériques placées dans un dôme expérimental, et devant rendre compte de cette évolution sous forme verbale narrative (explication écrite et orale de l'évolution) et graphique (représentation de la population). Ce projet s'inscrit dans la continuité de travaux qui ont souligné les difficultés d'appréhension de l'évolution du vivant et des idées de hasard qui y sont liées (Fielder et al., 2019). L'objectif de cet encadré est de mettre en évidence la diversité des choix méthodologiques retenus pour guider les étapes de conception du jeu et mesurer son efficacité.

La conception du jeu Darwinium s'inscrit dans un projet plus large de méta-conception du jeu intégré à une intervention didactique en classe (Ardito et al., 2015). Le principe général de ce processus de méta-conception est d'intégrer différents acteurs, comme des experts (didacticiens, spécialistes de l'évolution, ou joueurs experts), des utilisateurs (comme des enseignants, des élèves), dans le processus de conception même. L'activité de conception implique des cycles itératifs de développement avec réalisation de différents prototypes (éléments et mécaniques du jeu différents) et feed-back (Bonnardel et Didier, 2016). À différentes phases de test du jeu, plusieurs données sont collectées en contexte d'activité de classe ou non : verbatims, récits et dessins d'utilisateurs. La méthodologie est basée sur des analyses sémio-cognitives avec une attention particulière accordée aux spécificités d'une activité créative, aux interactions entre différents experts dans le processus de conception, à la place donnée aux utilisateurs finaux (enseignants et élèves) dans le processus de conception, et au retour d'expérience sur l'effet du jeu par rapport aux différents objectifs.

La deuxième partie du projet vise à mesurer l'impact du dispositif conçu sur le raisonnement évolutionniste de collégiens. L'étude en cours sera menée en situation écologique de classe de troisième, lors d'un enseignement des sciences de la vie et de la Terre (SVT), sur un large échantillon. Les mesures seront réalisées selon une méthode de pré-test / post-test, à partir d'un questionnaire fermé (Coupaud et al., 2019). Au sein d'une vingtaine de classes, un groupe contrôle et un groupe test seront constitués. La méthodologie est basée sur des analyses statistiques multivariées permettant une approche comparative des résultats.

Les procédures de sélection des projets dans le CréativLab et de suivi des projets retenus sont des illustrations, au sein d'Ampiric, du processus de développement, d'expérimentation et d'évaluation de dispositifs pédagogiques innovants. Toutefois, bien que spécifiques, ces procédures interrogent au-delà du CréativLab, et interpellent la question du passage à
l'échelle, transversale à toute évaluation de dispositifs pédagogiques innovants. En effet, la validation des outils ainsi développés doit faire l'objet de différents niveaux de preuve afin de permettre leur passage à une échelle plus large, et à terme aboutir à un transfert éventuel vers le marché. Au-delà du CréativLab d'Ampiric, les enjeux et les limites du passage à l'échelle des dispositifs pédagogiques innovants en contexte d'éducation se doivent alors d'être examinés de façon transversale.

# II. LE PASSAGE À L'ÉCHELLE : ENJEUX ET LIMITES

## 1. L'ÉDUCATION FONDÉE SUR LES DONNÉES PROBANTES

Se développant au début du XXe siècle, les bonnes pratiques scientifiques basées sur les niveaux de preuves voient le jour petit à petit dans le monde de la recherche. De nos jours, c'est un ensemble de pratiques qui tend à se systématiser pour optimiser l'impact de la recherche dans nos sociétés. Le rapport de la Haute Autorité de santé (HAS) publié en 2013 a défini le niveau de preuve d'une étude comme étant la capacité de celle-ci à répondre à une question précise, en appui sur les quatre critères suivants : 1) adéquation du protocole à la question, 2) existence de biais dans la réalisation, 3) adaptation de l'analyse statistique aux objectifs et 4) puissance statistique et taille de l'échantillon.

L'ensemble de ces bonnes pratiques basées sur les niveaux de preuves (evidence-based practices en anglais) est conceptualisé de manière globale, mais elles se spécifient en fonction du domaine de prédilection de l'étude en question. L'approche « éducation fondée sur des données probantes » ou *evidence-based education* apparaît dans les années 90 (Barrett, 1991). Elle réside dans des pratiques et des politiques éducatives préconisant le fondement des études sur les données les plus probantes produites par la recherche (Saussez et Lessard, 2009) afin de limiter l'influence des modes, des croyances et des idéologies (Davies, 1999 ; Slavin, 2002 ; 2008) dans le monde de l'éducation. Cette démarche, qui se veut un outil d'aide à la décision scientifique et rationnelle pour les praticiens et les politiques, est fondée sur quatre étapes : 1) formuler une question précise, 2) effectuer une revue systématique de recherche, 3) évaluer la qualité des preuves récueillies en se basant sur un système de production de la preuve, l'essai contrôlé randomisé et 4) formuler une réponse claire à la question posée, établir si la solution fonctionne et rendre ces preuves disponibles (Davies, 1999 ; Gough, 2007 ; Oakley, 2004).

L'ambition du passage à l'échelle s'inscrit donc dans un mouvement plus large qui accorde un rôle important à l'utilisation des méthodes scientifiques
pour faire progresser les pratiques pédagogiques. Ce mouvement est par exemple mis en avant en France par le Conseil scientifique de l'éducation nationale (CSEN), ou en Angleterre par l'Education Endowment Foundation (encadré 2).

## ENCADRÉ 2 – Education Endowment Foundation (EEF)

Le secrétaire d'État britannique à l'éducation, Michael Gove, a annoncé fin 2010 son intention de créer un programme d'aide pour améliorer les conditions dans les écoles difficiles en Angleterre, et c'est en 2011 que l'EEF est fondée par une association caritative, The Sutton Trust, en partenariat avec Impetus. Le programme EEF est alors doté d'une subvention du ministère de l'Éducation de 125 millions de livres sterling. Il emboîte le pas du mouvement « What Works » aux États-Unis et au Royaume-Uni (White, 2019).

Ce fonds lance chaque année de nombreuses expérimentations en éducation, ayant pour but l'identification des pratiques et des aménagements efficaces, et répondant le mieux possible aux objectifs définis par les acteurs de l'éducation. Avant chaque expérimentation, l'EEF réalise d'abord une revue de la littérature scientifique, afin de savoir si une intervention est justifiée par des connaissances fondamentales ou empiriques. Puis, l'intervention est testée en situation réelle, en utilisant principalement des paradigmes en essais contrôlés randomisés (ECR) avec randomisation des groupes témoin et expérimentaux. L'expérimentation est caractérisée par plusieurs étapes :

1. Dans un premier temps, les enseignants et les chercheurs coconstruisent une intervention qui est à la fois faisable et souhaitable, du point de vue des pratiques éducatives des enseignants et de celui de la recherche.

2. Dans un deuxième temps, les enseignants et les chercheurs mènent une étude pilote sur un petit échantillon, afin de savoir si les conditions sont réunies pour que l'intervention puisse faire l'objet d'un ECR.

3. Ensuite, une première expérimentation est conduite sur un échantillon étendu de classes, dans des conditions idéales puisque l'intervention est réalisée par les chercheurs et les enseignants qui ont élaboré cette action.

4. Si cette première expérimentation produit des résultats positifs, l'intervention est alors testée à grande échelle par des enseignants et des expérimentateurs totalement indépendants de l'équipe initiale, après une formation du personnel censé la mettre en place dans la réalité.

Lorsque les résultats sont positifs, afin de multiplier les chances d'adoption des bonnes pratiques, l'EEF produit des boîtes à outils d'indications pratiques pour les enseignants, propose des formations, un accompagnement, et la création de réseaux pour la dissémination des résultats et l'échange des pratiques. L'EEF a démontré qu'il est aujourd'hui possible de mener de nombreuses expérimentations en éducation, en utilisant principalement des paradigmes en ECR.
Il est à noter que les premières tentatives de l'EEF ont souffert d'un taux d'acceptabilité relativement bas, avec une moyenne de 24 % d'élèves qui ont abandonné entre 2011 et 2012. Toutefois, depuis, l'EEF a introduit de nouvelles stratégies pour recruter et retenir les écoles. Par exemple, avec un développement des communications sur les avantages des ECR dans les écoles, par le biais d'événements de recrutement ; et par la diffusion de documents expliquant clairement la conception et l'évaluation des études, mais aussi le rôle central des écoles (Dawson et al., 2017).

En termes d'évaluation, par le biais d'un appel d'offres, l'EEF a nommé un panel d'organismes de recherche spécialisés dans l'évaluation de l'éducation, qui se mettraient en concurrence pour évaluer les programmes et seraient ensuite assoţiés aux développeurs. Un point d'honneur a été mis en avant : publier toutes les conclusions, quel que soit le résultat (Nevill, 2016). Certains des premiers essais de l'EEF ont souffert de l'absence d'évaluation de qualité. Ce qui signifie qu'ils n'étaient pas en mesure d'expliquer les processus causaux qui sous-tenaient les résultats, ou de décrire leur mise en œuvre (Morris et al., 2016). Début 2012, l'EEF a publié des directives strictes sur la sélection des tests dans ses évaluations, les principaux critères étant qu'ils devaient avoir une large validité externe, et être fortement corrélés aux performances dans les évaluations nationales à fort enjeu (The EEF, 2012). Grâce aux efforts réalisés, ce programme a engendré un grand nombre de preuves qui aident à identifier ce qui fonctionne, et ce qui ne fonctionne pas, dans les écoles anglaises (pour une revue plus complète, voir Edovald et Nevill, 2021).

Le passage à l'échelle, comme envisagé par les méthodologies qui se basent sur une éducation fondée sur des données probantes, a pour ambition de s'appuyer sur une collaboration inédite entre les enseignants et les chercheurs, dans le but de faire émerger une véritable « recherche translationnelle » en éducation (Dehaene et Pasquinelli, 2021). Ce terme trouve son origine en médecine. Son objectif premier est de proposer et d'évaluer des solutions aux problèmes concrets que pose la santé, afin que ces solutions soient fondées sur les meilleures preuves disponibles. Cette approche s'applique également au domaine de l'éducation, qui constitue un enjeu social aussi important que la santé. Tout comme la recherche médicale, la recherche en éducation doit aider à identifier des pratiques, des aménagements et des interventions efficaces, qui répondent le mieux possible aux objectifs définis par les acteurs de l'éducation. La recherche translationnelle doit aider à évaluer ce qui marche dans la vie réelle, à l'échelle d'une classe, d'une école, d'une académie, ou même d'un pays tout entier. Le terme fait donc référence à l'ensemble des étapes qui permettent de passer d'une connaissance scientifique fondamentale à sa mise en application pratique. Ce processus est progressif : du laboratoire à la salle de classe, en passant par une série de recherches sur des cohortes de plus en plus grandes d'élèves, jusqu'à la mise en pratique à grande échelle.
Comme le soulignent Stanislas Dehaene et Elena Pasquinelli (2021) dans la synthèse du CSEN, « en éducation comme en médecine, il n’est raisonnable de tester une nouvelle intervention que lorsque des recherches préalables indiquent qu’elle a de bonnes chances d’être plus efficace que les meilleures pratiques éducatives actuellement disponibles (présomption d’efficacité). La pré-identification des interventions potentiellement efficaces est indispensable pour éviter les coûts inutiles, aussi bien en termes de temps et d’argent que d’effets indésirables ». Le speed-dating d’Ampiric est un bon exemple de moment où les idées des partenaires économiques se confrontent aux regards des scientifiques.

Avant le passage à l'échelle d'un dispositif pédagogique innovant, il existe un continuum de méthodes, de plus en plus sophistiquées, fournissant une hiérarchie de niveaux de preuves (encadré 3).

## ENCADRÉ 3 — La pyramide des preuves

L'approche basée sur les preuves a produit une liste de méthodes de recherche permettant d'apporter des preuves en faveur ou à l'encontre d'une intervention, ordonnées selon leur susceptibilité à des biais de différente nature. Dans son rapport sur la « recherche translationnelle », le CSEN (Dehaene et Pasquinelli, 2021) fait la proposition suivante :

### Preuves de niveau 0 : Témoignages, questionnaires, interactions entre enseignants, parents, apprenants, chercheurs.

Ce riche tissu d'échanges permet de définir les buts des interventions de façon collégiale, mais aussi de recueillir la sagesse collective des personnes impliquées dans le processus éducatif. Même si les résultats de ces échanges ne fournissent pas une preuve de « ce qui marche », ils sont très importants à prendre en compte. En effet, ils sont la principale source d'hypothèses sur « ce qui pourrait marcher ».

### Preuves de niveau 1 : Connaissances d'ordre fondamental obtenues en laboratoire.

Par ordre croissant de fiabilité pour la recherche translationnelle, on distingue :

- les connaissances issues de recherches de laboratoire éloignées des conditions réelles, ou avec des échantillons limités ;

- les connaissances issues de recherches de laboratoire avec conditions proches du réel, ou réalisées sur de nombreux sujets ;

- les résultats convergents de différentes lignes de recherche, avec réplikation et confirmation des résultats, sur de vastes échantillons.
## Preuves de niveau 2 : Études observationnelles dans les classes.

Sans modification des conditions initiales, ces études examinent la corrélation entre les pratiques et les progrès des élèves. La qualité de ces études varie selon l'utilisation de supports objectifs pour l'observation (grilles, questionnaires, tests), et d'outils statistiques pour contrôler les autres variables qui pourraient expliquer les résultats.

## Preuves de niveau 3 : Études expérimentales avec modification contrôlée des conditions d'apprentissage et observation des conséquences.

Par ordre de fiabilité, on distingue :

- les études qui comparent un pré-test et un post-test (un design expérimental souvent très insuffisant, car tous les élèves s'améliorent avec le temps);

- les études qui comparent un groupe d'intervention et un groupe témoin en pré- et post-test, mais sans les randomiser;

- les études randomisées contrôlées, dans lesquelles les élèves ou les classes sont assignés aléatoirement à la condition d'intervention ou de contrôle, et sont comparés en pré- et post-tests.

## Preuves de niveau 4 : Synthèses et méta-analyses.

Résultats répliqués et confirmés par plusieurs groupes de recherche indépendants, idéalement réunis dans des analyses systématiques de la littérature (méta-analyses).

Il est important de souligner que toutes ces méthodes différentes ont un rôle à jouer dans la recherche en éducation. Elles ne sont pas en concurrence, mais créent des synergies, et soutiennent collectivement la découverte de moyens pour améliorer l'éducation à tous les niveaux. Il serait contre-productif d'affirmer que seuls une méthode ou un petit nombre de méthodes ont de la valeur dans le domaine de l'éducation fondée sur les preuves. Par exemple, il est souvent utile de commencer par des études observationnelles, avant de mener des études plus définitives (par études randomisées contrôlées) quant à l'efficacité causale des interventions éducatives.

Très souvent, les idées viennent d'abord des préoccupations du terrain, par exemple d'un enseignant qui souhaite tester une nouvelle idée avec ses élèves. Il est toutefois important d'être conscient que ces observations informelles ne fourniront pas de preuve. Si ces observations informelles sugèrent que l'idée est prometteuse, il est important de mener une véritable expérimentation – il ne s'agit pas encore d'un véritable essai randomisé contrôlé à grande échelle, mais d'une expérience à petite échelle (quelques classes), avec des mesures objectives des compétences cibles avant et
après intervention, et autant que possible un groupe contrôle (voir la méthodologie proposée par EEF). Si cette expérimentation produit des effets espérés, il peut être judicieux de chercher à obtenir le niveau de preuve le plus élevé, en menant un essai randomisé contrôlé à une échelle qui dépassé celle d'un seul établissement. Pour autant, le passage à très grande échelle, à savoir le déploiement d'une nouvelle pratique pédagogique auprès de nombreux enseignants, pose d'autres problèmes.

## 2. LE PASSAGE À L'ÉCHELLE : LA QUESTION DE LA PÉRENNISATION ET DE LA GÉNÉRALISATION

L'évaluation d'une expérimentation pose de redoutables questions théoriques et pratiques, notamment quand il s'agit de décider de l'opportunité de pérenniser et éventuellement généraliser le dispositif expérimenté. Le développement de logiques d'expérimentation de nouveaux dispositifs, à petite échelle, en vue de leur possible généralisation, tend à s'imposer comme une nouvelle technique de policy making. L'évaluation de ces innovations expérimentales a donc une responsabilité particulière, puisqu'il s'agit au fond de décider *ex-ante* du bien-fondé d'un dispositif ; et elle soulève des questions inhabituelles en termes évaluatifs, dont la plus prégnante est sans nul doute celle de sa pérennisation/généralisation. Cette évaluation suppose donc de prendre en compte un certain nombre de points de vigilance.

Premier de ces points, les expérimentations s'inscrivent le plus souvent dans l'écosystème local qui les porte ; et elles visent à répondre à des problématiques elles aussi localisées, dont il est souvent difficile de mesurer la validité externe pour d'autres écosystèmes. Il est ainsi plutôt rare que les expérimentations soient construites en intégrant dans leur design la perspective de leur généralisation. Il importe donc, dans l'évaluation, de bien mesurer le degré d'endogénéité de l'expérimentation en question, pour analyser sa transférabilité. C'est là souvent un point critique des évaluations randomisées, puisqu'il s'agit, dans le protocole expérimental d'évaluation, de neutraliser tous les biais endogènes possibles lors de la constitution des échantillons (Conseil d'État, 2019).

Second point critique, la représentativité de l'échantillon – ou des échantillons test et témoin en cas d'évaluation randomisée –, qui supposerait que celui-ci soit représentatif de la population cible d'un processus de généralisation. Évaluer la possibilité de généraliser les expérimentations conduites dans le cadre d'un pôle pilote, comme Ampiric, supposerait d'avoir la capacité de garantir que les populations d'élèves et d'enseignants soient représentatives de la population cible régionale ou nationale visée.

La conscience, pour les parties prenantes, de participer à une expérimentation peut également porter en soi un biais ; cela nécessite de s'interroger sur l'effet de la disparition de ce phénomène potentiel en phase de généralisation. Le caractère volontaire généralement en œuvre pour la participation
à une expérimentation dans le cadre des projets Ampiric suppose de s'in-
terroger sur l'impact de la disparition de ce caractère en phase de généra-
lisation. Il n'est ainsi pas dit qu'une expérimentation produisant un résultat
positif auprès d'enseignants volontaires produise les mêmes effets dans le
cadre d'une politique académique. Ce que rappelle également judicieuse-
ment Gordon Stobart à propos des conditions de généralisation, à toutes
les écoles britanniques, d'une expérimentation d'évaluation par les appren-
tissages d'abord localisée, lorsqu'il écrit : « la manière dont les politiques
centralisées sont parfois mises en œuvre empêche que la généralisation de
l'expérimentation atteigne ceux pour lesquels le dispositif est pourtant une
clé essentielle de leur réussite, à savoir les enseignants de terrain » (2011,
p. 47).

Comme le rappellent Bérard et Valdenaire (2013, p. 5), « le changement
d'échelle peut induire des effets dits d'équilibre général qui n'affectent pas
un dispositif expérimental ». Dit autrement, rien ne garantit que la générali-
sation d'un dispositif expérimental, par la montée en généralité qu'elle pro-
duit, se traduise par la réplication à l'identique des effets constatés sur une
population réduite. Ce qui rejoint la question de la représentativité.

Si l'évaluation d'une expérimentation permet de contrôler des effets de
court terme – ceux mesurables dans le temps de la phase expérimentation/
évaluation –, on peut s'interroger sur l'émergence d'effets de moyen terme,
car on fait comme si « la généralisation se déroulerait dans les conditions
de l'expérimentation sans évolution du contexte, ni des normes, et repré-
sentations sociales » (Beupère, Bosse et Lemistre, 2014). Ces évolutions
échappent de fait à une observation temporellement située. Ce questionne-
ment est particulièrement prégnant au regard de la préconisation de péren-
niser, ou pas, le dispositif au moment de son évaluation.

Pour finir, on peut rajouter que l'évaluation d'un dispositif tel qu'Ampiric, et
en son sein le CréativLab, parmi d'autres actions et projets, engendre un
bouquet de difficultés supplémentaires liées à sa complexité. En effet, le
caractère emboité et multiniveau des projets et des expérimentations dans
l'expérimentation suppose d'adopter une démarche évaluative elle aus-
si multiniveau, touchant à des domaines éducatifs divers, des populations
scolarisées hétérogènes (élèves, étudiants, enseignants), tant en formation
initiale que continue, des territoires différenciés et des problématiques nom-
breuses. En évaluer la possibilité de pérennisation, et plus encore de géné-
ralisation, représente un challenge évaluatif de premier ordre.

Si la question de la pérennisation et de la généralisation des dispositifs éva-
lués se pose pour les raisons évoquées plus tôt, elle s'accompagne de celle
des limites des prescriptions lors de la confrontation au terrain.
### 3. LE PASSAGE À L'ÉCHELLE : LES LIMITES DES PRESCRIPTIONS

L'innovation ne se décrète pas. Pas plus en pédagogie qu'ailleurs. Pour advenir, elle suppose de faire différemment dans un but d'amélioration des méthodes d'enseignement, des ressources pédagogiques, des apprentissages... La question de la généralisation de l'innovation dans la classe, du changement là où les résultats de la recherche les plus probants doivent arriver, concerne *in fine* celle ou celui qui en a la responsabilité : l'enseignante ou l'enseignant. Or, il peut s'avérer qu'arrivée en bout de chaîne, la verticalité de prescriptions trouve parfois des obstacles dans la confrontation au réel. En France, les programmes d'enseignement et leurs documents d'accompagnement ne manquent pas de détails. Pour autant, certains aspects du programme peuvent être plus ou moins traités ; tout comme certaines pratiques, qu'ils ne préconisent pas particulièrement, peuvent largement se répandre. Cette distinction entre prescrit et réel s'inscrit dans l'analyse de l'activité enseignante, qui intéresse particulièrement la formation professionnelle des enseignants. À un niveau de master universitaire, celle-ci s'inscrit en faux avec la diffusion de méthodes pédagogiques, voire de recettes, peu étayées sur le plan scientifique, qui renverraient l'exercice de la profession d'enseignant à un métier d'exécution, loin d'être à la hauteur des enjeux de société en matière d'éducation. L'adossement de cette formation aux savoirs produits par la recherche est donc un enjeu majeur du travail de l'enseignant, pour lequel les processus d'enseignement-apprentissage occupent une place centrale. L'ancrage relatif aux savoirs à transmettre et à leur dactique disciplinaire conditionne l'organisation de l'enseignement, et induit des processus de transmission-appropriation de savoirs. La discipline joue un rôle majeur qui situe l'enseignement dans un champ épistémologique et dans un format scolaire précis (programmes, niveaux, enseignants...).

Toutefois, bien que lié au travail et à la professionnalité enseignante, cet ancrage disciplinaire ne suffit pas totalement à caractériser le travail de l'enseignant, ni les processus d'enseignement-apprentissage pour lesquels l'activité de l'enseignant, à l'origine de celle de l'élève, est déterminante. Les ressources, les matériels et les dispositifs pédagogiques sont des médiateurs instruments (Vérillon et Rabardel, 1995 ; Engeström et Sannino, 2010) de l'activité du professeur, activité dont l'efficacité se mesure au fait que les élèves ont appris. En d'autres termes, c'est ce que l'enseignant demande de réaliser qui est porteur de l'activité de l'élève. L'élaboration et le choix des tâches sont donc capitaux (Brandt-Pomares, 2008). Aussi, réunir les conditions pour que les enseignants développent leur activité pour favoriser l'apprentissage des élèves interroge la question de l'articulation entre le monde de la recherche en éducation et celui des pratiques enseignantes. Elle bute aujourd'hui sur la difficulté à répartir le travail d'ingénierie, de coconstruction entre chercheurs et enseignants. Le CréativLab apporte une solution en amont de ce qui peut devenir une innovation pédagogique efficace, par un travail d'articulation entre le monde de la R&D et celui de son application.
Sans exclure que, pour leur généralisation, la mise en œuvre des ingénieries développées dans le cadre du CréativLab fasse l'objet d'analyse en contexte écologique, le processus proposé par le CréativLab tient compte de la professionnalité des enseignants et de la complexité de leur tâche. Ce type d'élaboration qui intègre cette dimension professionnelle dès la conception des dispositifs favorise le processus d'appropriation des innovations par les enseignants, et leur pilotage de l'enseignement par les apprentissages.

## CONCLUSION

Développer, expérimenter et évaluer des dispositifs pédagogiques innovants est un processus long et complexe. Le CréativLab d'Ampiric en est un exemple particulièrement illustratif, et des précautions d'évaluation sont prises pour donner aux projets retenus les meilleures chances de succès, en appui sur une collaboration étroite entre entreprises, chercheurs et enseignants. Mais le développement, l'expérimentation et l'évaluation des projets dans le cadre du CréativLab posent aussi la question du passage à l'échelle, qui est transversale à tous les dispositifs innovants. Ce passage à l'échelle est un enjeu, notamment dans le contexte de l'éducation, mais certaines précautions doivent être prises, tout comme les limites doivent être connues. Lors de l'évaluation de dispositifs innovants, il s'agit d'être vigilant pour placer le curseur de l'évaluation au bon niveau, permettant de trouver un équilibre entre rigueur de la méthodologie scientifique, échelle envisagée et finalité du dispositif.

## Bibliographie

C. Ardito, P. Buono, M. F. Costabile, R. Lanzilotti, A. Piccinno, L. Zhu (2015). « On the transferability of a meta-design model supporting end-user development », in *Universal Access in the Information Society*, 14(2), p.169-186.

B. H. Barrett, R. Beck, C. Binder, D. A Cook, S. Engelmann, R. D. Greer, C. L. Watkins (1991). The right to effective education, in *The Behavior Analyst*, 14, p.79.

N. Beaupère, N. Bosse & P. Lemistre (2014). « Expérimenter pour généraliser le portefeuille d'expériences et de compétences à l'université : le sens de l'évaluation », in *Formation Emploi*, 126, p. 99-117.

J. Berard & M. Valdenaire (2013). « L'expérimentation pour renouveler les politiques publiques ? », in *laviedesidées.fr*.

N. Bonnardel & J. Didier (2016). « Enhancing creativity in the educational design context:
An exploration of the effects of design project-oriented methods on students' evocation processes and creative output », in *Journal of Cognitive Education and Psychology*, 15(1), p.80-101.

P. Brandt-Pomares (2008). Searching for information on the internet about the link between task and activity. In J. Ginestié (Ed.), *The cultural transmission of artefacts, skills and knowledge: Eleven studies in technology education*, Rotterdam: Sense Publishers, p.173-192.

Conseil d'État (2019). « Les expérimentations : comment innover dans la conduite des politiques publiques ? », Collection « Les études du Conseil d'État ».

M. Coupaud, J. Castéra, H. Armand, P. Brandt-Pomares & A. Delserieys (2019). « Validité et fiabilité d'un questionnaire visant à situer les conceptions de l'évolution du vivant de collégiens », in *Recherche en didactique des sciences et des technologies*, 20, p.27-59.

P. Davies (1999). « What is evidence-based education? », in *British Journal of Educational Studies*, 47, p. 108-121.

P. Davies (2004). Systematic reviews and the Campbell collaboration. *Evidence-based practice in education*, Corwall: Open university Press.

A. Dawson, E. Yeomans & E. R. Brown (2018). « Methodological challenges in education RCTs: reflections from England's Education Endowment Foundation », in *Educational Research*, 60(3), p.292-310.

S. Dehaene, E. Pasquinelli (2021). *La recherche translationnelle en éducation. Synthèse de la recherche et recommandations*. Conseil scientifique de l'éducation nationale, MEN-JS, Réseau Canopé.

T. Edovald & C. Nevill (2021). « Working out what works: The case of the Education Endowment Foundation in England », in *ECNU Review of Education*, 4(1), p.46-64.

Y. Engeström & A. Sannino (2010). « Studies of expansive learning: Foundations, findings and future challenges », in *Educational Research Review*, 5(1), 1-24.

D. Fiedler, G. Sbglia, R. Nehm & U. Harms (2019). « How strongly does statistical reasoning influence knowledge and acceptance of evolution? », in *Journal of Research in Science Teaching*, p.1-24.

D. Gough (2004). *Systematic research synthesis*. Evidence-based practice in education, Corwall: Open university Press.

D. Gough (2007). « Weight of evidence: a framework for the appraisal of the quality and relevance of evidence », in *Research Papers in Education*, 22, p. 213-228.

Haute Autorité de santé (2013). *Niveau de preuve et gradation des recommandations de bonne pratique. État des lieux*, Paris: HAS.

S. Morris, T. Edovald, C. Lloyd & Z. Kiss (2016). « The importance of specifying and studying causal mechanisms in school-based randomised controlled trials: Lessons from two studies of cross-age peer tutoring », in *Education Research and Evaluation*, 22(7-8), p.422-439.

C. Nevill (2016). EEF blog : Do EEF trials meet the new gold standard? [Blog post]. https://educationendowmentfoundation.org.uk.
A. Oakley (2004). Who's afraid of the randomized controlled trial? *Social research methods: a reader*, Londres: Routledge, p. 261-268.

F. Saussez & C. Lessard (2009). « Entre orthodoxie et pluralisme, les enjeux de l'éducation basée sur la preuve », in *Revue française de pédagogie. Recherches en éducation*, 168, p.111-136.

R. Slavin (2002). « Evidence-based educational policies: transforming educational practice and research », in *Educational Researcher*, 31, pp.15-21.

R. Slavin (2008). « What works? Issues in synthesizing educational programs evaluations », in *Educational Researcher*, 37, p.5-15.

G. Stobart (2011). « L'évaluation par les apprentissages : d'une expérimentation locale à une politique nationale », in *Revue française de pédagogie*, 174, p.41-48.

The Education Endowment Foundation (2012). *EEF guidance on choosing and delivering attainment tests*.

P. Vérillon & P. Rabardel (1995). « Cognition and artifacts - a contribution to the study of though in relation to instrumented activity », in *European journal of psychology of education*, 10(1), p.77-101.
# PARTIE II

## Les outils
# Les neurosciences cognitives entrent à l'école : évaluer la collaboration de recherche ?

Pascale Toscani

## Résumé

Au début du 21e siècle, l'école a connu une rupture épistémologique de taille, par l'arrivée des neurosciences cognitives, qui n'avaient pas franchi jusque-là le seuil de la classe. Pour intégrer les neurosciences cognitives dans leurs pratiques, les enseignants ont adopté des choix professionnels différents. Certains ont cherché des outils, des techniques et des modèles types prêts à l'emploi pour les implémenter dans leurs classes. D'autres ont préféré bénéficier de l'accompagnement de laboratoires de neurosciences pour appliquer, des recherches tout aussi « clés-en-mains » au sein de protocoles. Pour autant, cela pose un problème dans les deux cas : les enseignants ne connaissent pas les neurosciences, et les chercheurs ne connaissent pas la classe. Dès lors, comment évaluer des dispositifs dont on est censé mesurer l'efficacité dans la classe, à travers des critères et indicateurs stables ? Il s'agira, dans cet article, de faire un état des lieux des dispositifs d'intégration des neurosciences cognitives à l'école, et de poser la problématique de l'évaluation complexe de ces dispositifs qui impliquent de puissants paradigmes d'apprentissage.
# INTRODUCTION

En cherchant à comprendre le fonctionnement du cerveau, grâce aux progrès de l'imagerie cérébrale, les neuroscientifiques ont été conduits à s'intéresser de près aux mécanismes de l'apprentissage. Les applications les plus spectaculaires de ces recherches se sont tournées vers les pathologies neurologiques et vers la création de toutes les formes d'intelligence artificielle. Dans un premier temps, l'école s'est tenue à distance de ce qui lui apparaissait alors comme relevant du monde médical et technologique. Dans un deuxième temps, lorsque les recherches se sont intéressées au développement de l'enfant, aux méthodes de lecture ou à l'apprentissage des mathématiques, les enseignants se sont quelque peu méfiés de la mainmise des chercheurs sur leur terrain professionnel, l'apprentissage.

Mais au fur et à mesure que les études internationales faisaient douter de la performance de notre système scolaire français, pointaient les inégalités récurrentes ou le faible niveau en mathématiques, les enseignants se sont davantage intéressés à l'ensemble des recherches en neurosciences cognitives. Aujourd'hui, beaucoup attendent effectivement que les neurosciences apportent des réponses aux questions que leur posent les situations d'apprentissage. L'idée qu'une approche scientifique de l'apprentissage pourrait interroger des pratiques anciennes, bousculées par l'attitude actuelle des élèves, a fait son chemin.

Les neurosciences sont alors entrées dans la classe, sous des formes diversifiées. Tantôt de façon individuelle, tantôt de façon collective. Certains pédagogues ont fait le choix, de façon « autonome », d'utiliser des outils trouvés principalement sur le Net, ou dans des ouvrages de vulgarisation scientifique. Il s'agit d'une recherche d'efficacité la plus rapide possible, qui implique un « prêt-à-porter » pédagogique sans connaître forcément les théories sous-jacentes. D'autres ont rencontré les neurosciences lors de journées pédagogiques « one shot ». Moments intéressants comme moyen d'information, mais qui ne laissent aucunement le temps de construire une réflexion sur le sujet.

Lorsque les enseignants mettent en pratique les connaissances acquises, et déploient des dispositifs appelés « expérimentations » dans leur enseignement, l'évaluation de leurs résultats auprès des élèves n'est quasiment jamais réalisée, il est donc impossible d'en mesurer l'efficacité. Pourtant, l'évaluation de ces dispositifs expérimentaux, tout comme celle de la recherche, devrait répondre à des critères précis tels que la crédibilité, la transférabilité, la fiabilité, et la reproductibilité. Pour le dire autrement, d'après les termes de Stanislas Dehaene et Elena Pasquinelli, il est nécessaire qu'une expérimentation soit basée sur la preuve. Ces deux auteurs décrivent, en référence à la recherche médicale, les niveaux possibles d'une « pyramide des preuves » pour les expérimentations réalisées à l'école :
• « Niveau 0 : témoignages, questionnaires, interactions entre enseignants, parents, apprenants, chercheurs. Ce niveau est source d'hypothèse.

• **Niveau 1** : connaissances d'ordre fondamental obtenues en laboratoires.

• **Niveau 2** : études observationnelles dans les classes. Il s'agit de partir d'un phénomène dysfonctionnant afin de repérer les causes et les améliorations efficaces possibles.

• **Niveau 3** : études expérimentales avec modification contrôlée des conditions d'apprentissage et observation des conséquences.

• **Niveau 4** : synthèse et méta-analyse »<fnref n="37" />.

Les enseignants ne sont pas formés à s'engager dans des recherches co-
construites avec les laboratoires, qui positionneraient leur recherche aux ni-
veaux 3 et 4 de la pyramide. Il semble important de commencer par accom-
pagner les enseignants à intégrer dans leurs pratiques les niveaux 0, 1 et 2.

Dans le système éducatif, la progression des élèves est très dépendante de l'évolution des paradigmes professionnels des enseignants, ainsi que de leurs biais cognitifs sur l'apprentissage et son évaluation. L'évaluation sommative, dominante et surtout déterminante dans le monde scolaire, repose sur une norme, qui n'est pas applicable à tous les élèves au même âge, sur les mêmes temps scolaires, selon les mêmes méthodes. Entre liberté pédagogique, obligation de réalisation des programmes, volonté de changement, il y a peu de place pour l'évaluation des dispositifs d'intégration des neurosciences dans la classe et de leurs impacts, alors qu'elles constituent un enjeu majeur pour l'école de demain.

# I. LA COLLABORATION DE RECHERCHE
ENTRE L'ÉCOLE ET LE LABORATOIRE

1. UNE VOIE DE DÉVELOPPEMENT PROFESSIONNEL POUR TOUS LES ACTEURS IMPLIQUÉS DANS L'ÉDUCATION.

Dans une tribune du journal *Le Monde*, Eirick Prairat proposait de cerner la notion de liberté pédagogique dans sa dimension collective :

<footnote n="37">37. S. Dehaene, E. Pasquinelli (2021). « La recherche translationnelle en éducation », in *L'École éclairée par la science*, Odile Jacob, p. 44.</footnote>
« Un professeur est libre de ses options didactiques et de ses choix pédagogiques, sous réserve qu'ils correspondent à l'état actuel des connaissances et au niveau intellectuel des élèves dont il a la charge. Ce n'est pas une liberté restreinte mais raisonnée, car il n'y a de liberté qu'éclairée par la connaissance et le sens de la responsabilité »<fnref n="38" />.

Cette définition fait référence à ce qu'il appelle « l'état actuel des connaissances ». Ce concept ne saurait se limiter à celui des sciences de l'éducation. Se profilent en arrière-plan la formation initiale et continue des enseignants en tant que moyen, mais surtout leur développement professionnel en tant qu'objectif. Il ne s'agit pas seulement d'imposer des connaissances de l'extérieur, mais plutôt de les sélectionner, de les étudier, de les adapter aux contextes, et de les faire expérimenter par les enseignants eux-mêmes, en collaboration avec ceux qui les ont fait émerger et les ont diffusées.

Au-delà de cette déclaration d'intention, chacun sait bien qu'il ne suffit pas de distribuer les partitions pour qu'un orchestre soit en mesure de donner un concert. La collaboration entre un laboratoire de recherche et une école suppose de définir des étapes qui prennent en compte les résistances, les habitudes et les routines de chacun des partenaires.

Ainsi, est-il important de pointer trois repères afin de baliser le cheminement et de clarifier la démarche :

* déterminer ce qui caractérise la recherche ;

* préciser ce qui caractérise la recherche-action et plus spécifiquement la recherche-action collaborative ;

* expliquer ce qui caractérise la particularité de cette recherche-action quand elle s'adresse à l'école, dont il est difficile aujourd'hui de cerner tous les enjeux, tant la variété de ses acteurs et de ses missions est complexe, et parfois même buissonneuse.

Pour ce qui est de la recherche, je m'en tiendrai au singulier, alors que nous savons bien qu'elle se décline de façon très différente selon les disciplines et les postures épistémologiques des chercheurs. Toutefois, ce qui la caractérise, c'est d'être en mesure de répondre à quatre critères : la crédibilité, la transférabilité, la fiabilité, et sa reproductibilité, c'est-à-dire la capacité à conduire aux mêmes résultats chaque fois que les expérimentations sont reconduites dans des conditions identiques. Afin de respecter ces critères, toute recherche s'impose une méthodologie rigoureuse composée de six étapes, avec des variantes selon les disciplines : l'analyse du contexte, la question de recherche, la recension des théories convoquées par le sujet, la problématique, l'expérimentation, et l'analyse des résultats.

<footnote n="38">38. Tribune du journal *Le Monde* parue le 25 mars 2019.</footnote>
À partir de cette première approche de la recherche, comment peut-on définir la recherche-action collaborative ? Les objectifs de la recherche collaborative visent à produire un changement dans un milieu professionnel donné, et à améliorer les pratiques qui y sont liées. Elle implique les acteurs, qui deviendront co-chercheurs. C'est une investigation conjointe, et à ce titre, elle suppose le respect des valeurs et des principes démocratiques, comme l'engagement, l'équité, le partage des ressources et le respect de la diversité humaine. Tous les acteurs d'une recherche-action s'engagent à respecter la méthodologie propre à ce type de recherche, mais sont toujours invités, par ailleurs, à s'exprimer librement en sachant que leur point de vue sera entendu. Tous prennent part aux décisions qui balisent les étapes du processus de recherche.

Par sa nature, la recherche-action collaborative ne peut pas répondre à tous les critères de la recherche académique, notamment celui de la reproducibilité, dans la mesure où elle produit des résultats contextualisés, qui ne prétendent pas forcément à leur généralisation. D'un laboratoire à un autre, il est possible et même indispensable de recréer les mêmes conditions d'expérimentation pour confirmer la véracité des conclusions. Mais d'une école à une autre, d'une classe à une autre, d'une entreprise à une autre, d'une situation d'apprentissage à une autre, il serait illusoire de vouloir dégager des conclusions valables pour toutes les autres structures qui semblent similaires. Néanmoins, toute recherche-action éclaire des situations qui se révèlent souvent analogues, et peut, parfois, favoriser des transferts pour des problématiques équivalentes. Par ailleurs, la particularité de la contextualisation ne dédouane pas la recherche-action des autres contraintes de la recherche académique. Elle n'échappe ni à l'éthique des procédures, ni à la planification d'un projet qui tient compte des contraintes du milieu, ni à la viabilité du changement ou des solutions qui découlent des résultats.

Au-delà de la clarification des termes, nous devons aller plus loin dans l'étude comparative entre la recherche académique et la recherche-action collaborative, parce que c'est dans leur mise en œuvre réciproque que se jouent de multiples nuances. Ces nuances transparaissent derrière trois mots : collaboration, coopération, et terrain. Sylvain Connac (2021)<fnref n="39" /> décrit :

* la collaboration comme une situation dans laquelle les acteurs travaillent individuellement sur un même projet : « je fais quelque chose avec l'autre parce que j'y trouve un avantage pour moi-même »

* et la coopération comme une situation dans laquelle les acteurs sont complètement interdépendants : « je fais quelque chose avec l'autre et pour l'autre parce que j'éprouve une satisfaction à l'idée de la satisfaction de l'autre ». Dans ce cas, le groupe ne peut atteindre le résultat attendu qu'à condition que chaque membre contribue d'une façon ou d'une autre à la production de l'ensemble.

<footnote n="39">39. Sylvain Connac (2017). *La Coopération entre les élèves*, Canopé Éditions, Collection Éclairer, p. 21.</footnote>
Pour faire référence à la contextualisation évoquée plus haut, cela suppose que la recherche prenne en compte la particularité du lieu où elle se déroule, qu'il s'agisse d'une école, d'un lieu de formation ou d'une entreprise. La recherche académique ou la recherche fondamentale se confrontent aux savoirs que partage l'humanité, c'est-à-dire aux connaissances et aux théories qui fondent ces savoirs. Dans le cas de la recherche-action, nous parlons de terrain non seulement en tant que lieu, mais bien davantage en tant que source même des observations qui sont menées. C'est un peu comme si nous avions affaire à une science du terrain. Ce que nous désignons généralement par le terme de savoirs expérientiels. Il convient de noter que la recherche-action ne se dispense pas de faire référence aux théories qui président aux choix des pédagogues ou des formateurs. En somme, elle se donne une double mission, à savoir les exigences de la recherche académique, et la quête de savoirs expérientiels.

La deuxième fonction du terrain, c'est d'être le lieu du questionnement. Toute recherche est fondée sur une question, qu'on appelle précisément question de recherche. Or, dans le cas d'une recherche-action, cette question émane du terrain lui-même. Elle est l'expression de problématiques qui émergent des pratiques ou des situations auxquelles doivent répondre les pratiques professionnelles. C'est ce qui la rend passionnante, contextualisée. Mais ce qui la rend aussi fragile, parce que le terrain se dérobe souvent, étant donné qu'il est composé d'un nombre impressionnant de sédiments qui appartiennent à des disciplines différentes : de la pédagogie à la sociologie, en passant par la psychologie, la didactique, les sciences de l'éducation ou les sciences cognitives.

Mais pour autant, dans toute recherche, les chercheurs sont confrontés à la validité et la pertinence de la question de départ, à savoir : « cette question est-elle une bonne question ? ». Il s'agit de déterminer ce que l'on appelle une « question scientifique ». Et de ce fait, d'être clairvoyant pour limiter le risque de se leurrer, lorsque l'on est confronté à un regard sur sa propre pratique, pour ne pas tomber dans le piège de ses propres croyances, ou pour confirmer ses propres biais cognitifs. La recherche comme la recherche-action collaborative s'insèrent généralement dans un paradigme interprétatif dont il faut parfois se méfier. Daniel Favre précise que :

> « La peur de se tromper développe alors chez les individus une appétence exagérée pour les connaissances sûres et immeables, celles sur lesquelles on peut s'appuyer sans crainte. Il s'ensuit un besoin de certitudes peu compatibles avec le développement de l'esprit critique, la critique n'étant pas perçue comme ce qui fait avancer, mais comme ce qui mortifie »<fnref n="40" />.

<footnote n="40">40. Daniel Favre (2021). *Reconnecter l'école avec le vivant. 10 pratiques pédagogiques à changer pour un nouveau paradigme*, Dunod, p. 125.</footnote>
La science ne doit pas devenir une machine à fournir des vérités réclamées par ceux qui ont besoin de certitudes. Au contraire, elle doit avancer en assumant et en travaillant sur ses paradigmes, ses croyances et ses erreurs. Comme le résume François Jacob, « l'important dans la recherche, c'est l'imprévisible ». Dans chacun de ces dispositifs ancrés dans une configuration systémique, il y a des angles morts.

Les neurosciences n'échappent pas à cet enjeu de la complexité. Si elles viennent bousculer la philosophie, la sociologie, la psychanalyse ou la pédagogie, elles sont aussi interrogées par ces mêmes disciplines. Se former à des contenus neuroscientifiques ne peut se concevoir sans une analyse réflexive profonde sur sa propre vision de l'homme, que cette vision soit cognitive, psychique ou sociale. Il ne s'agit pas, ici, de remettre en cause les pratiques scientifiques de la recherche. Il s'agit plutôt de questionner son application stricte dans le domaine des apprentissages. Toutes les conditions de la recherche ne peuvent pas être réunies dans une école ou une entreprise comme elles le sont dans un laboratoire, et en particulier, la condition de disposer de structures de contrôle au cours des expérimentations.

Pour répondre au mieux aux exigences de rigueur, il est indispensable, dès le départ, de clarifier les sources d'informations dont disposent les enseignants pour fonder leur questionnement. Edouard Gentaz (2022)<fnref n="41" /> définit quatre types de ressources d'informations en sciences cognitives :

* les connaissances scientifiques des revues scientifiques avec comité de lecture ;

* les connaissances scientifiques des revues scientifiques pour les professionnels, qui permettent de décoder ces mêmes sources scientifiques ;

* les connaissances scientifiques destinées à une large diffusion (revue de kiosque) ;

* les connaissances scientifiques présentées dans des ouvrages de synthèse.

Dans une situation idéale, chaque enseignant engagé dans un travail de recherche devrait avoir accès aux trois premiers types de ressources d'information. De plus, bien que cela ne fasse pas partie de sa formation, ni de ses activités quotidiennes, il devrait adopter une méthodologie de recherche rigoureuse. Dès lors, peut-on vraiment appeler « recherche collaborative » des méthodologies qui se limitent à des exigences unilatérales ? Cela ne va pas sans rappeler les écrits de Josse Clichtove, professeur à la Sorbonne en 1520, qui distingue les « arts libéraux », nobles, des « arts mécaniques » ou « serviles ». Il insiste ainsi sur le privilège de la dignité de l'esprit. L'Université se pose comme toute puissante dans ce domaine, et fait globalement fi des

<footnote n="41">41. Edouard Gentaz (2022). *Les Neurosciences à l'école : leur véritable apport*, Odile Jacob, p. 64.</footnote>
savoirs expérientiels, dans le domaine de l'éducation. D'ailleurs, le modèle universitaire ressemble au modèle scolaire, en ce qu'ils sont prioritairement descendants. Les sachants enseignent aux non-sachants sans prendre suf-fisamment en compte les écarts entre les acquis et les compétences né-cessaires à de nouvelles connaissances. Afin qu'enseignants et chercheurs puissent coopérer en interdépendance, il serait équitable que les chercheurs se donnent les mêmes règles que celles qu'ils attendent des enseignants. Stanislas Dehaene et Elena Pasquinelli (2021)<fnref n="42" /> précisent que :

> « La recherche translationnelle est une démarche qui vise à évaluer ce qui marche dans la vie réelle à l'échelle d'une classe, d'une école, d'une académie, ou même d'un pays tout entier, et pas seulement en théorie, dans des expériences de laboratoires ou à petite échelle ».

Connaitre les grandes étapes de la méthodologie de la recherche pour les uns, connaître l'univers scolaire et ses contraintes pour les autres. Cette bi-latéralité des informations est d'autant plus importante que beaucoup d'en-seignants pensent qu'ils ne sont pas à la hauteur d'une activité de recherche, même collaborative. Pourtant, dans les écoles et les entreprises, nom-breuses sont les demandes d'accompagnement de recherche en neuros-ciences cognitives pour mieux comprendre l'humain. Mais le désir s'affronte souvent à diverses formes d'inquiétude, notamment celle engendrée par le complexe de l'imposteur. Les enseignants craignent de ne pas être à la hauteur, de voir leur hypothèse invalidée, ce qui laisserait supposer que rien n'a été appris. Ils doutent de la pertinence de leur question de recherche, de leur légitimité. En somme, ils se regardent comme des amateurs. Pourtant, au-delà de ces craintes, s'ouvrent les possibilités de comprendre l'incidence de ce type de travail sur la pratique, à long terme, des uns et des autres, et de favoriser des changements de postures professionnelles.

Les dispositifs d'intégration des neurosciences cognitives à l'école sont très variés. Parfois, les protocoles sont imposés à l'école, qui devient alors un terrain d'expérimentation permettant d'enrichir des bases de données utiles pour les laboratoires. Dans ce cas, la méthodologie correspond aux critères de la recherche. Mais l'école est alors peu participative. Parfois, l'école de-mande à un laboratoire de l'accompagner pour mener une recherche sur un thème propre à la problématique d'apprentissage. La question de re-recherche, dans ce cas, correspond souvent à un dysfonctionnement ou à un besoin qui appelle une solution. Trouver une réponse à « qu'est-ce que la mémoire », pour un chercheur, n'est pas de même nature que de répondre à la question : « comment améliorer la mémoire des élèves », pour les ensei-gnants. Savoir ce qu'est la mémoire n'implique pas forcément la possibilité de sa mise en œuvre en neurodidactique et en pédagogie.

<footnote n="42">42. Stanislas Dehaene, Elena Pasquinelli (2021). *Op. cit.*</footnote>
Dans le contexte de la recherche collaborative en milieu scolaire, le partenaire s'étend sur trois ans, durée minimale pour mettre en place un dispositif de recherche. Au cours de cette démarche, les différents acteurs s'engagent dans une investigation conjointe. Tous « se mettent en recherche », chacun à sa manière, avec une expertise différente mais complémentaire. L'objectif commun implique de travailler pour un codéveloppement d'expertises pour l'avenir. Dans cette perspective, il s'agit d'instaurer une dynamique de changement, en remodelant la pratique et le développement professionnel des enseignants, les méthodes d'apprentissage des élèves, et bien sûr, les paradigmes éducatifs. Cette démarche implique à la fois l'équipe éducative et les chercheurs, deux composantes qui font partie intégrante de ce dispositif.

L'aide proposée par les laboratoires à l'équipe d'enseignants ressemble à un dispositif de recherche, à savoir :

* partir d'un constat qui émane du terrain scolaire ;

* travailler sur une question de recherche, qui fait suite à l'analyse des constats ;

* réaliser une recension de références scientifiques pouvant répondre à la question de recherche ;

* formuler une problématique qui engagera une expérimentation ;

* expérimenter dans la classe ;

* évaluer et critiquer des résultats ;

* communiquer par l'écriture commune d'un article, et une présentation éventuelle à un colloque.

Néanmoins, cette forme de collaboration ne peut se réaliser que dans les établissements capables de libérer du temps à leur équipe d'enseignants, soit en moyenne trois à neuf jours de disponibilité par an (totalisant entre dix et trente jours sur trois ans). Ces périodes correspondent à des moments où les enseignants ne seront pas face aux élèves. Ajoutons à cela la lecture personnelle et/ou collective d'articles et d'ouvrages scientifiques. Enfin, pour que ce dispositif puisse se réaliser, il est nécessaire que le chef d'établissement soit à la fois leader et porteur du projet, puisqu'il est responsable des ressources humaines de son équipe, de l'évolution de leurs compétences, et de l'évolution de son projet d'établissement. Un projet d'action collaborative engage tout l'établissement, sous peine de rester... lettre morte.

Ce partage de regard et de compétences non hiérarchisées est fondamental. Car, si les uns sont dans la recherche fondamentale, et les autres sont en recherche de solutions ou d'applications possibles dans l'apprentissage, une alliance méthodologique sera complexe. Gentaz (2021)43 engage les
enseignants à se fier aux méta-analyses diffusées par les chercheurs pour
trouver des résultats à leur problématique concernant les apprentissages.
C'est nécessaire et important, sans aucun doute, mais encore faudrait-il que
les enseignants soient en mesure de passer de la méta-analyse à des si-
tuations contextualisées, ce qui est l'un des objectifs de la recherche col-
laborative. Quel serait l'élément qui pourrait venir débloquer l'engrenage
engagé depuis si longtemps, pour qu'une autre logique de collaboration
entre un laboratoire et une école puisse émerger ? Peut-être en explorant
les représentations des savoirs, qui animent encore les pratiques d'ensei-
gnement scolaire et universitaire pour faire évoluer les paradigmes liés à
l'apprentissage. « Apprendre » est encore synonyme de « recevoir ». L'école
comme l'Université peinent à s'adapter aux évolutions du monde, tant dans
les changements sociétaux, environnementaux, que dans l'extension des
diffusions du savoir par l'intelligence artificielle. Par exemple, « l'intelligence
artificielle pourrait faire évoluer les pratiques pédagogiques, en mettant en
place des dispositifs d'apprentissage adaptatif, pour guider les apprenants
dans leurs apprentissages »<fnref n="44" />.

Enfin, l'organisation de l'espace et du temps, immuable depuis des décen-
nies, ne correspond plus à ce que les neurosciences cognitives nous ap-
prennent actuellement sur les conditions optimales des apprentissages.
Pourtant, à partir des recherches en neurosciences cognitives, il est envisa-
geable que l'école et l'université s'engagent dans une réflexion collective sur
l'apprentissage, pour entreprendre des actions favorisant un changement
profond des pratiques. Le cerveau ne fonctionne pas à partir d'un empilage
d'informations ou de blocs agglomérés les uns aux autres. Il répond à une
algorithmicité cérébrale déclinée en fonctionnalités.

En bref, le cerveau est :

* projectif, donc anticipateur et générateur d'hypothèses ;

* narrateur et interprétateur ;

* simulateur d'actions et prédicteur des conséquences des actions ;

* émulateur ou transformateur du monde. En quelque sorte, il est hu-
manisateur ou créateur de sens.

Aussi l'apprentissage doit-il être envisagé à partir de ces puissantes compé-
tences neurologiques, et non selon un schéma de simple transmission.

<footnote n="44">44. UNESCO (2022), « L'apprentissage adaptatif : réflexions de la Fondation l'IA pour l'école », *Institut de France*, BIE, Bureau international d'éducation.</footnote>
# CONCLUSION

Isabelle Stengers, philosophe des sciences, nous invite à être à la hauteur du monde tel qu'il se fait, et ainsi, à vivre l'aventure du savoir à travers ce monde tel qu'il évolue ! En ce quart de siècle bien engagé, la recherche collaborative pourrait répondre à d'autres critères, et se développer à partir de quelques principes clairement définis. Les laboratoires de neurosciences cognitives s'intéressent à l'école ; mais, pour rejoindre l'école, peut-être faudrait-il en effet qu'ils acceptent les différents niveaux de la pyramide des preuves, afin d'amener peu à peu les enseignants à des protocoles plus rigoureux. Cette ascension vers la rigueur scientifique impose des règles éthiques d'égalité de paroles et de pensées. De leur côté, les enseignants sont prêts à adopter une approche scientifique de l'apprentissage. Ce qui implique de remettre en question certains paradigmes, hérités de leur passé d'élève ou de leur formation initiale.

Le point de convergence entre tous les acteurs d'une recherche collaborative serait de situer leur travail dans une logique de développement professionnel partagé. Concrètement, cela signifie d'encourager le doute, le scepticisme, l'écoute, permettant la remise en question des certitudes établies. Cette approche favorise le débat, la polémique et la créativité, contribuant à un échange constructif de savoirs en neurosciences de l'éducation. Chacun détient une partie de la réponse, mais cette réponse n'a de sens que dans une réflexion commune, engendrant des ruptures avec d'anciens schémas, et créant de nouvelles perspectives pour le système scolaire dans son ensemble. À ce jour, il n'existe pas de méthodologie clairement définie qui engagerait cette collaboration entre un laboratoire et une école. Pour la simple raison que ses contours n'ont pas encore été tracés de manière collaborative. Le chemin est entrepris, puisque le sujet est controversé. Il suscite des débats, voire des conflits, et peut même donner lieu à une crise. Cette situation est illustrée de manière intéressante par deux idéogrammes de la langue chinoise : l'un symbolise le danger, et l'autre représente l'opportunité.

## Bibliographie

* Bruno Bourassa, Mehdi Boudjaou (2012). *Des recherches collaboratives en sciences humaines et sociales. Enjeux, modalités et limites*, Laval, Presses de l'université Laval.

* Edouard Gentaz (2022). *Les Neurosciences à l'école : leur véritable apport*, Paris, Odile Jacob, pp. 64-66.

* Edouard Gentaz (2017). « Co-construction de recherches en sciences cognitives interventionnelles : un outil pour développer la formation initiale et continue des enseignants », éditorial, ANAE, n° 146.

* Elena Pasquinelli, Mathieu Farina (2020). *L'Art de faire confiance : pour un nouveau contrat entre la science et les citoyens*, Paris, Odile Jacob.
Eric Tardif, Pierre-André Doudin [dir] (2016). *Neurosciences et cognition : perspectives pour les sciences de l'éducation*, Bruxelles, De Boeck Supérieur, Collection Pédagogie en développement.

François Taddei (2022). *Et si nous ? Comment relever ensemble les défis du XXI<sup>ème</sup> siècle, Calmann Levy*.

Guy Le Bouedec, Titoune Lavenier, Luc Pasquier (2016). *Les Postures éducatives : de la relation interpersonnelle à la communauté apprenante*. L'Harmattan.

Isabelle Stengers (2013). Une autre science est possible : manifeste pour un ralentissement des sciences, Paris, La Découverte, collection Les empêcheurs de penser en rond.

Isabelle Stengers (2017). *Another Science is Possible: A Manifesto for Slow Science*.

Jacques Attali (2022). *Histoires et avenirs de l'éducation*, Flammarion.

Les chercheurs ignorants (2015). *Les Recherches-actions collaboratives : une révolution de la connaissance*, Rennes, Presses de l'EHESP, collection Politiques et interventions sociales.

Marie-Anne Hugo, Claude Siebel (2018). *Recherches impliquées - recherche-action : le cas de l'éducation*, Bruxelles, De Boeck Université.

Michel Serres (1992). *Le Tiers-Instruit*. Folio, Essais.

Stanislas Dehaene (2018). *Apprendre ! Les talents du cerveau, le défi des machines*, Paris, Odile Jacob.

Stanislas Dehaene [dir] (2021). *L'École éclairée par la science : travaux du Conseil scientifique de l'éducation nationale*, Paris, Odile Jacob.

Stuart Firestein (2021). *Les Continents de l'ignorance*, Paris, Odile Jacob, collection sciences.

Sylvain Connac 2017). *La Coopération entre les élèves*, Poitiers, Canopé Éditions, Collection Éclairer.

Catherine Becchetti-Bizot, Guillaume Houzel et François Taddei (2017). *Vers une société apprenante : rapport sur la recherche et développement de l'éducation tout au long de la vie*. Ministère de l'Éducation nationale, de l'Enseignement supérieur et de la Recherche. Mars.
# Sentiment d'efficacité personnelle : déterminant ou médiateur du lien entre stress perçu et agentivité

Stéphanie de Chalvron, Hanna Chainay, Franck Tarpin-Bernard, Alexandre Beaussier, Riadh Lebib, Valentine Facque, Florence Cousson-Gélie

## Résumé

L'agentivité, concept clé dans le contexte professionnel, repose sur le sentiment d'efficacité personnelle (SEP, Bandura, 2000). Toutefois, son impact positif sur l'agentivité serait altéré par le stress perçu (Myers et al., 2012). Ou bien, est-ce peut-être le SEP qui permet de diminuer l'effet négatif du stress sur l'agentivité ? Pour le savoir, nous avons comparé le rôle du stress perçu dans la relation qui unit le SEP à l'agentivité (modèle 1), et celui du SEP dans la relation qui unit le stress perçu à l'agentivité (modèle 2). De manière générale, nos résultats indiquent que le SEP atténue l'effet du stress, et que ce dernier a finalement peu d'effet sur le SEP. En conséquence, les formations professionnelles visant à améliorer l'agentivité devraient se concentrer sur le développement du SEP des participants. Nos outils de mesure pourraient être utilisés systématiquement pour évaluer l'impact des dispositifs pédagogiques.
# INTRODUCTION

L'agentivité, définie par Bandura (2000) comme la capacité d'un individu à exercer un contrôle sur son propre fonctionnement et sur les phénomènes environnementaux, est un concept clé dans l'univers professionnel, et notamment pour ce qui concerne la formation. Il ne s'agit plus uniquement de considérer l'apprentissage comme ayant une valeur économique, mais comme un moyen d'autonomisation et de réalisation personnelle et professionnelle en tenant compte d'un environnement en évolution constante (Alheit & Dausien, 2005). Par ailleurs, les dispositifs pédagogiques ludiques portent en eux des caractéristiques qui semblent favorables au développement de l'agentivité des apprenants. En proposant des situations pédagogiques peu stressantes, mais au contraire très engageantes, ces dispositifs peuvent en effet agir sur l'agentivité et le sentiment d'efficacité personnelle (SEP). Dès lors, il nous semble essentiel d'être en mesure d'évaluer l'effet d'un dispositif pédagogique ludique sur l'ensemble des éléments constitutifs de la capacité d'agir des apprenants et des formateurs.

Dans cet article, à travers l'exploration des liens entre stress perçu et agentivité, nous construisons les bases de ce qui peut constituer un outil de mesure de l'usage d'un dispositif pédagogique afin d'évaluer son impact sur la capacité d'agir. L'agentivité s'enracine dans la théorie sociale cognitive de Bandura (1986), selon laquelle les conduites humaines sont régulées à la fois par l'environnement dans lequel un individu se trouve, et par ses caractéristiques personnelles, les deux étant en interaction permanente. Selon cette théorie, l'agentivité se produit quand l'individu exerce volontairement, et en toute conscience, son influence sur ses propres actions, sur autrui, et sur l'ensemble des systèmes qui forment son environnement (Bandura, 2006). En d'autres termes, quand il s'autorégule en mobilisant l'ensemble de ses ressources (cognitives, émotionnelles, physiques et environnementales). En ce sens, l'agentivité est aussi reliée à l'autodétermination. En effet, elle suppose que l'individu se fixe un objectif, qu'il soit en mesure de faire des choix, de s'engager, et de persévérer pour atteindre l'objectif fixé. L'autorégulation et l'autodétermination sont donc le fondement de l'agentivité, et elles sont sous-tendues par une ressource individuelle fondamentale, à savoir le sentiment d'efficacité personnelle (SEP) (Bandura, 2001).

Le SEP s'appuie sur la croyance en nos motivations et en nos ressources cognitives (raisonnement, mémoire, attention...), et surtout sur la croyance qu'on est capable – ou non – de mettre en place les comportements nécessaires pour réaliser une tâche particulière. Ainsi, pour Bandura & Cervone (1983), le SEP serait le principal mécanisme régulateur des comportements. D'ailleurs, les résultats de la méta-analyse de Sadri & Robertson (1993) démontrent que le SEP est relié positivement à la performance et au choix du comportement. Le SEP n'est donc pas une mesure des aptitudes réelles ou objectives d'une personne, mais reflète une croyance relative à ce qu'elle
se sent capable de faire dans diverses situations, quelles que soient ses aptitudes, difficultés ou facilités, à agir. Le SEP participe non seulement à la prise de décision, mais aussi au fait de s'investir, ou non – et de poursuivre cet investissement –, dans divers projets. Enfin, il régule les réactions émotionnelles face aux obstacles ou défis rencontrés. Il a été démontré que le niveau de SEP se révèle un bon prédicteur d'une pluralité d'issues, que ce soit dans les domaines de la santé mentale, des apprentissages, des choix et développements de carrière professionnelle, de l'employabilité... (Lecomte, 2004). Un SEP élevé influence positivement la performance d'un individu directement, en lui permettant de mobiliser et d'organiser ses compétences, et/ou indirectement, en influençant le choix de ses objectifs et de ses actions. Par ailleurs, un SEP élevé réduit le stress, car les personnes pensent avoir un certain contrôle sur les situations qu'elles rencontrent, et il diminue la vulnérabilité à la dépression.

Lazarus & Folkman (1984) définissent le stress comme relevant d'une transaction entre, d'une part, un individu ; et, d'autre part, la situation à laquelle il est confronté, et plus globalement, son environnement au sens large, dont il perçoit l'issue comme « débordant ses ressources et pouvant mettre en danger son bien-être ». Cette perspective transactionnelle du stress est proche de celle de Bandura, puisqu'elle insiste sur l'aller-retour permanent entre l'individu et son environnement, dans lequel l'individu n'est pas le seul à se trouver modifié (par la situation, mais aussi par ses propres cognitions et conduites). En effet, l'environnement est également modifié, et ce, en fonction de la manière dont l'individu réagit. Tout comme dans la théorie de Bandura, qui insiste sur la bi-directionnalité des influences, c'est-à-dire le fait que les individus sont à la fois produits et producteurs de leur environnement, la théorie transactionnelle du stress (Lazarus & Folkman, 1984) considère l'individu comme l'agent principal dans l'interaction, entre des dimensions biologiques, psychologiques et sociales qui lui sont propres, et les caractéristiques de la situation à laquelle il fait face. Il va tout d'abord évaluer cette situation (représente-t-elle une menace, un défi, a-t-il quelque chose à y gagner ou à y perdre ?), et ensuite il va s'évaluer lui-même en termes de ressources (cognitives, physiques, sociales...). Cette évaluation va donner lieu à une perception du stress (la situation est-elle finalement stressante ou pas ?).

Si l'effet direct du SEP sur l'agentivité n'est plus à démontrer (Bandura & Lecomte, 2019; Corner et al., 2015; Tapal et al., 2017), la nature des effets du stress perçu dans cette relation est un peu moins claire. En effet, Bandura affirme que le SEP permet, de manière générale, de réduire le stress, et ceci chez différentes populations, des adolescents (Faurie et al., 2016), des adultes au travail (Pérez-Fuentes et al., 2018; Pérez-Fuentes et al., 2019) ou encore des personnes âgées (Tovel et al., 2019; Trouillet et al., 2009). Ainsi, le SEP aurait un effet direct sur le stress perçu. Parallèlement, quelques recherches se sont penchées sur le rôle du stress perçu sur l'agentivité. Elles indiquent qu'il diminue l'agentivité notamment à prendre soin de soi (Myers et al., 2012). Dans cette étude, les auteurs démontrent que chez des étu-
diants, le stress limite les comportements de santé sains, comme s'alimenter correctement, faire du sport, respecter son sommeil. On peut donc supposer que le stress perçu diminue de manière générale l'effet bénéfique du SEP sur l'agentivité (modèle 1). L'étude de Schwarzer & Hallum (2008) démontre aussi cet effet du stress perçu. Le SEP y apparaît bien comme une ressource protectrice contre le stress au travail. Mais le stress perçu se traduit directement en épuisement professionnel. De même, l'étude de O'Leary (1992) montre que le SEP favorise l'adoption de bons comportements de santé, mais que le stress perçu diminue l'effet du SEP sur cette relation. On peut supposer que le stress perçu agit de la même manière pour ce qui concerne l'effet du SEP sur l'agentivité au travail. Un SEP élevé augmente l'agentivité des employés. Toutefois, si le stress perçu est élevé, alors il est possible que l'effet positif du SEP sur l'agentivité s'en trouve diminué. Toutes ces études mentionnent donc que le SEP est un déterminant (ou un précurseur) de l'agentivité, mais que cette relation est ce qu'on apporte médiatisée par le stress perçu, c'est-à-dire qu'elle dépend du niveau de stress perçu. Pour autant, certaines études démontrent que c'est plutôt le SEP qui est un médiateur, et le stress perçu, un déterminant (modèle 2). Par exemple, l'étude de Yakimova et al. (2021) montre que le SEP médiatise la relation entre les traits de personnalité et la qualité de vie (QdV). Celle de Lee et al. (2016) montre qu'il médiatise le lien entre le stress perçu et la satisfaction de vie. Par ailleurs, dans l'étude longitudinale de Maciejewski et al. (2000), il a été montré que le SEP est un médiateur des événements stressants, à la fois dans un groupe de personnes avec des antécédents de dépression, et dans un groupe de personnes sans antécédent. Plus précisément, dans le premier groupe, les personnes ayant un SEP élevé font moins de récidives (ou les symptômes sont moins graves). Dans le second, un SEP élevé protège contre la dépression.

L'absence de consensus dans la littérature, quant aux rôles de déterminant ou de médiateur attribués au SEP et au stress perçu, nous amène à nous demander quel est le meilleur modèle. D'un côté, le rôle bien établi du médiateur du stress perçu dans le modèle de Lazarus & Folkman (1984), de même que celui de déterminant de l'agentivité pour le SEP dans le modèle de Bandura (2000), suggèrent l'existence d'un modèle (modèle 1) où le SEP est déterminant (x), le stress perçu médiateur (m) et l'agentivité le critère (y). D'un autre côté, plusieurs travaux (Lee et al., 2016 ; Maciejewski et al., 2000 ; Yakimova et al., 2021) éclairent l'existence d'un autre modèle (modèle 2), où le stress perçu est le déterminant (x), le SEP le médiateur (m) et l'agentivité le critère (y). C'est une question importante, car, selon le cas, les formations destinées à augmenter l'agentivité des personnes devront soit plus se centrer sur l'amélioration du SEP, dans le cas où il serait médiateur ; soit se centrer sur la gestion des émotions, dans le cas où le stress perçu serait médiateur. En effet, si le SEP médiatise la relation entre le stress perçu et l'agentivité, cela signifie qu'il absorbe une part ou le total de l'effet du stress, et donc qu'il représente le facteur le plus important pour développer l'agentivité. En revanche, si le stress est médiateur, l'inverse se produit, c'est-à-dire qu'il absorbe une partie ou la totalité de l'effet du SEP ;
et donc il serait nécessaire de d'abord permettre aux personnes de bien
gérer leur ajustement au stress, avant de chercher à développer le SEP.
C'est une question importante dans le cadre de la mesure de l'efficacité
des dispositifs pédagogiques innovants, notamment pour ceux qui portent
en eux des caractéristiques favorables au développement de l'agentivité.
Selon que ces dispositifs proposent des situations pédagogiques plus ou
moins stressantes, comment agissent-ils sur l'agentivité et sur la gestion du
stress ? In fine, comment doivent-ils également organiser les parcours pour
mieux aider à la gestion du stress, et donc au développement du SEP et
de l'agentivité ? S'il semble essentiel d'être en mesure d'évaluer l'effet d'un
dispositif pédagogique ludique sur la capacité d'agir des apprenants et des
formateurs, comment s'organisent réellement les variables constitutives de
cette capacité d'agir ?

# I. MÉTHODOLOGIE

## 1. DESCRIPTION DE L'ÉCHANTILLON

Au cours de l'année 2021, une série de questionnaires a été proposée en
deux vagues (à deux mois d'intervalle) dans le cadre de l'observatoire de la
Fabrique Spinoza®, à des personnes en activité professionnelle via l'institut
Think®.

La première vague (étude 1) a rassemblé 1 005 répondants, dont 487 hommes âgés en moyenne de 44,24 ans (ET = 9,28) et 518 femmes âgées en moyenne de 41,28 ans (ET = 10,46). La seconde vague (étude 2) a rassemblé 1 004 individus, dont 483 hommes âgés en moyenne de 44,81 ans (ET = 10,08) et 521 femmes âgées en moyenne de 42,94 ans (ET = 10,34). Au total, les âges vont de 18 à 64 ans.

## 2. OUTILS DE MESURE

### SEP

Nous avons utilisé quatorze items de l'échelle de Sherer et al. (1982) traduite en français par Chambon et al. (1992). Elle comporte à l'origine vingt et un items mesurés sur une échelle de Likert en cinq points de : 1 = pas du tout d'accord à 5 = tout à fait d'accord. Ces points sont répartis en deux dimensions : le sentiment d'efficacité générale et le sentiment d'efficacité personnelle sociale. Nous avons choisi de ne conserver que les quatorze items mesurant le sentiment d'efficacité personnelle. La consistance interne est bonne dans les deux échantillons (α = 0,85 et α = 0,84).
## Agentivité

Il n'existe pas d'échelle courte déjà validée en français. Nous avons donc choisi de traduire et de valider l'échelle de Yamaguchi et al. (2020). Il s'agit d'une échelle de cinq items mesurés sur une échelle de Likert en cinq points : de 1 = fortement en désaccord à 5 = fortement d'accord. La consistance interne est bonne dans les deux échantillons (α = 0,81 et α = 0,83).

## Stress

Nous avons utilisé la PSS-4 de Warttig et al. (2013), qui est une version courte de l'échelle de stress perçu de Cohen et al. (1983). Il s'agit donc d'une échelle de quatre items mesurés sur une échelle de Likert en cinq points allant : de 0 = jamais à 4 = souvent. La consistance interne est bonne dans nos deux échantillons (α = 0,78 et α = 0,80).

## 3. PROCÉDURE ET TESTS STATISTIQUES

Nous avons suivi la méthode indiquée par Baron et Kenny (1986). Mais nous avons utilisé des équations structurelles, car, selon El Akremi (2005), elles se prêtent mieux au traitement de variables latentes, en réduisant les biais d'estimation dus aux erreurs de mesure, à la multicolinéarité et aux échelles ordinales (Kenny et al., 1998). En outre, elles permettent de tester simultanément les effets directs et indirects (MacKinnon et al., 2002).

Dans le cadre d'une analyse de médiation, trois variables sont en jeu : la variable indépendante (X), la variable dépendante (Y) et le médiateur (Me). La variable indépendante doit avoir un effet significatif sur la variable dépendante (effet direct ou effet C'), mais également sur le médiateur (effet A). La variable médiatrice doit avoir un effet sur la variable dépendante quand la variable indépendante est contrôlée (effet B). L'effet indirect (AB ou C-C') doit être significatif ; et l'effet total (effet C) doit non seulement être significatif, mais être plus élevé que l'effet direct (médiation partielle), voire l'annuler (médiation parfaite).

L'ensemble des analyses a été réalisé à l'aide de STATA 17® et nous avons utilisé le package medsem (Mehmetoglu, 2018) pour les analyses de médiation modérée.

<figure><img src="image_5.png" /><figcaption>FIGURE 1 — Modèle d'analyse de médiation</figcaption></figure>
II. RÉSULTATS

Tout d'abord, nous avons examiné les effets médiateurs du stress perçu (modèle 1 : SEP en X, Stress perçu en M et agentivité en Y) et du SEP (modèle 2 : Stress perçu en X, SEP en M et agentivité en Y) dans chacune des deux études. Les indices d'ajustement des modèles sont bons (tableau 1).

Dans l'étude 1, tous les effets indirects sont significatifs, dans le modèle 1 $\beta$ = 0,10, $p$ < 0,005 comme dans le modèle 2, $\beta$ = -0,28, $p$ < 0,005. L'effet total est significatif dans les deux cas, $\beta_{modèle1}$ = 0,61, $p$ < 0,001 et $\beta_{modèle2}$ = -0,45, $p$ < 0,001, mais n'annule pas l'effet direct, $\beta_{modèle1}$ = 0,52, $p$ < 0,001 et $\beta_{modèle2}$ = -0,17, $p$ < 0,001.

On retrouve sensiblement les mêmes coefficients, quoiqu'un peu plus faibles dans l'étude 2, puisque là aussi les effets indirects sont significatifs, $\beta_{modèle1}$ = 0,06, $p$ < 0,001 et $\beta_{modèle2}$ = -0,27, $p$ < 0,001, de même que l'effet total, $\beta_{modèle1}$ = 0,58, $p$ < 0,001 et $\beta_{modèle2}$ = -0,38, $p$ < 0,001 qui n'annule pourtant pas l'effet direct, $\beta_{modèle1}$ = 0,53, $p$ < 0,001 et $\beta_{modèle2}$ = -0,12, $p$ < 0,001. Le stress perçu reste également un bon indicateur. En effet, dans tous les cas, il diminue fortement l'agentivité, de même pour le SEP qui l'augmente fortement. Ces résultats sont résumés dans le tableau 1.
<table><caption>TABLEAU 1 — Effets médiateurs du stress perçu (modèle 1) et du SEP (modèle 2)</caption><thead><tr><th></th><th>βdirect</th><th>βindirect</th><th>βtotal</th><th>R<sup>2</sup>adj</th><th>Prop. Effet total médiatisé</th><th>Ratio indirect/direct</th></tr></thead><tbody><tr><td>Modèle 1 – Étude 1</td><td></td><td></td><td></td><td>0,48****</td><td>0,16</td><td>0,18</td></tr><tr><td>Agentivité</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>Stress perçu</td><td>-0,17****</td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>SEP</td><td>0,52****</td><td>0,10***</td><td>0,61****</td><td></td><td></td><td></td></tr><tr><td>Stress perçu</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>SEP</td><td>-0,56****</td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>Modèle 1 bis – Étude 2</td><td></td><td></td><td></td><td>0,43****</td><td>0,10</td><td>0,11</td></tr><tr><td>Agentivité</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>Stress perçu</td><td>-0,12****</td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>SEP</td><td>0,53****</td><td>0,06****</td><td>0,58****</td><td></td><td></td><td></td></tr><tr><td>Stress perçu</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>SEP</td><td>-0,50****</td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>Modèle 2 – Étude 1</td><td></td><td></td><td></td><td>0,34****</td><td>0,63</td><td>1,73</td></tr><tr><td>Agentivité</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>SEP</td><td>0,52****</td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>Stress perçu</td><td>-0,17****</td><td>-0,28***</td><td>-0,45****</td><td></td><td></td><td></td></tr><tr><td>SEP</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>Stress perçu</td><td>-0,56****</td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>Modèle 2 bis – Étude 2</td><td></td><td></td><td></td><td>0,26****</td><td>0,69</td><td>2,29</td></tr><tr><td>Agentivité</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>SEP</td><td>0,53****</td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>Stress perçu</td><td>-0,12****</td><td>-0,27****</td><td>-0,38****</td><td></td><td></td><td></td></tr><tr><td>SEP</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>Stress perçu</td><td>-0,50****</td><td></td><td></td><td></td><td></td><td></td></tr></tbody></table>

<footnote>**** p < 0,001; *** p < 0,005</footnote>
Le SEP comme le stress perçu sont donc des médiateurs partiels. Le modèle 1 explique cependant plus de variance, respectivement 48 % et 43 % dans les deux études, que le modèle 2, respectivement 34 % et 26 %. Pour autant, dans les deux études, le stress perçu ne médiatise que 16 % et 10 % de l'effet total, alors que le SEP en médiatise 63 % et 69 %. Les résultats des analyses des bootstraps confirment cependant les effets de chaque médiateur (tableau 2).

<table><caption>TABLEAU 2 — Résultats du bootstrap des analyses de médiation</caption><thead><tr><th></th><th>Effet conditionnel indirect</th><th>Biais</th><th>SE</th><th>IC 95 %</th></tr></thead><tbody><tr><td>Modèle 1 étude 1</td><td>0,10</td><td>-0,0001</td><td>0,02</td><td>[0,6 - 0,13]</td></tr><tr><td>Modèle 1 étude 2</td><td>0,06</td><td>0,0002</td><td>0,02</td><td>[0,3 - 0,09]</td></tr><tr><td>Modèle 2 étude 1</td><td>-0,29</td><td>-0,0005</td><td>0,02</td><td>[-0,34 - -0,25]</td></tr><tr><td>Modèle 2 étude 2</td><td>-0,27</td><td>0,0002</td><td>0,02</td><td>[-0,31 - 0,22]</td></tr></tbody></table>

Note : réplications 5000 – méthode par percentiles – IC = Intervalle de confiance -

### III. DISCUSSION

Cette étude a pour objectif de comprendre le rôle joué par le stress perçu dans la relation qui unit le SEP et l'agentivité. Le SEP est le déterminant principal de l'agentivité (Bandura, 2000). Si on connaît les leviers qui permettent de développer le SEP, à savoir l'apprentissage social, la persuasion par autrui, la gestion des émotions, la maîtrise de soi (Lecomte, 2004), on ne connaît pas précisément le rôle joué par le stress perçu sur l'action du SEP sur l'agentivité. Puisque le stress est un médiateur de la relation entre SEP et burn-out, ou encore un médiateur entre SEP et adoption de bons comportements de santé (O'Leary, 1992b), nous nous sommes demandé s'il médiatise aussi la relation entre SEP et agentivité ; ou si, au contraire, comme l'affirmement d'autres auteurs (Maciejewski et al., 2000; Yakimova et al., 2021), c'est le SEP qui médiatise la relation entre stress perçu et agentivité. La question reste ouverte. En effet, nos résultats indiquent que les deux sont bien des médiateurs partiels. Cela dit, nos résultats indiquent aussi que le SEP est un bien meilleur médiateur de l'effet du stress perçu sur l'agentivité.
té (modèle 2), que l'est le stress perçu sur l'effet du SEP sur l'agentivité (modèle 1). Par ailleurs, même si les effets directs nous montrent que le stress perçu fait baisser le SEP et l'agentivité, le poids du SEP sur l'agentivité est très important, peu importe qu'il soit placé en déterminant ou en médiateur. Le modèle où le SEP médiatise la relation entre stress perçu et agentivité est donc le meilleur modèle. Ce qui signifie que le SEP, comme Bandura (2000) l'affirme, permet de mieux s'ajuster aux situations stressantes, et donc que d'aider à son développement notamment via l'ensemble de ses sources (maîtrise personnelle, apprentissage social, persuasion par autrui, régulation des émotions). Le SEP contribuerait à augmenter l'agentivité et à mieux se prémunir des effets délétères et pathologiques (dépression, anxiété, burn-out) du stress.

De manière générale, nos résultats confirment l'ensemble des recherches de Bandura. Le SEP est un puissant prédicteur de l'agentivité humaine. En effet, il peut en être à la fois un déterminant et un médiateur. Le modèle ainsi que les outils développés dans cette étude permettront également d'évaluer des dispositifs pédagogiques non plus sur leur finalité primaire (apprendre telle ou telle connaissance) ; mais sur une finalité plus large, en posant l'hypothèse globale qu'un dispositif innovant dit « efficace » doit permettre de développer à long terme l'agentivité des individus et groupes d'individus.

## Limites

L'une des limites de cette étude est sa validité écologique, liée au mode de recueil des données. Toutefois, il s'agit d'une étude exploratoire. Les modèles doivent donc être confirmés par des recherches ultérieures en milieu professionnel direct (dans les entreprises). Par ailleurs, nous n'avons pas contrôlé l'âge des personnes, alors qu'il est parfois indiqué que le SEP est plus faible chez les personnes plus jeunes que chez les personnes plus âgées. Enfin, nous n'avons pas tenu compte des revenus perçus, dans un contexte social délicat où les revenus pourraient avoir une influence sur l'agentivité, notamment via l'engagement ou le désengagement.

## CONCLUSION

Notre étude démontre l'importance du SEP dans le développement de l'agentivité, ainsi que sa capacité à diminuer le stress perçu. Les formations d'adultes, qui visent à développer l'agentivité devraient donc d'abord chercher à améliorer le SEP, avant de chercher à aider les individus à mieux réguler leurs émotions. Nous disposons désormais de premiers outils fiables capables de mesurer les différentes composantes de la capacité d'agir, et ainsi, capables d'évaluer l'impact d'un dispositif pédagogique ludique sur la capacité d'agir des apprenants.
Bibliographie

P. Alheit & B. Dausien (2005). Processus de formation et apprentissage tout au long de la vie. L'Orientation scolaire et professionnelle, 34/1, 57-83.

A. Bandura (1986). Social Foundation of Thought and Action : A Social Cognitive Theory. Prentice-Hall.

A. Bandura (1993). Perceived Self-Efficacy in Cognitive Development and Functioning. Educational Psychologist, 28(2), 117-148.

A. Bandura (2000). Self-efficacy : The foundation of agency. In Control of human behavior, mental processes, and consciousness : Essays in honor of the 60th birthday of August Flammer. (p. 17-33). Lawrence Erlbaum Associates Publishers.

A. Bandura & D. Cervone (1983). Self-evaluative and self-efficacy mechanisms governing the motivational effects of goal systems. Journal of Personality and Social Psychology, 45(5), 1017-1028.

A. Bandura & J. Lecomte (2019). *Auto-efficacité : comment le sentiment d'efficacité personnelle influence notre qualité de vie* (3e éd.). De Boeck Supérieur.

S. Cohen, T. Kamarck & R. Mermelstein (1983). A Global Measure of Perceived Stress. Journal of Health and Social Behavior, 24(4), 385. https://doi.org/10.2307/2136404

A. Corner, O. Roberts, S. Chiari, S. Völler, E. S. Mayrhuber, S. Mandl & K. Monson (2015). How do young people engage with climate change? The role of knowledge, values, message framing, and trusted communicators. WIREs Climate Change, 6(5), 523-534.

A. El Akremi (2005). Chapitre 12. Analyse des variables modératrices et médiatrices par les méthodes d'équations structurelles : in *Méthodes & Recherches* (p. 325-348). De Boeck Supérieur.

Émilie Morin, G. Therriault & B. Bader (2019). La pertinence du concept de sentiment de pouvoir agir, dans la recherche en éducation, pour faire face aux changements climatiques.

I. Faurie, C. Thouin & C. Sauvezon (2016). Étude longitudinale du stress perçu chez les étudiant·e·s : Effets modérateurs de l'estime de soi et du sentiment d'efficacité personnelle. L'Orientation scolaire et professionnelle, 45/1.

D. A. Kenny, D. Kashy & N. Bolger (1998). Data Analysis in Social Psychology. In S. Gilbert, S. Fiske, & G. Lindsey (Éds.), *Handbook of social psychology* (p. 233-265). McGraw-Hill.

R. S. Lazarus & S. Folkman (1984). *Stress, coping and adaptation*. Springer.

J. Lecomte (2004). Les applications du sentiment d'efficacité personnelle. *Savoirs*, Hors série(5), 59.

J. Lee, K. EunYoung & A. vWachholtz, (2016). The effect of perceived stress on life satisfaction. *Korean Journal of Youth Studies*, 23(10), 29.

P. K. Maciejewski, H. G. Prigerson & C. M. Mazure (2000). Self-efficacy as a mediator between stressful life events and depressive symptoms : Differences based on history of prior depression. *British Journal of Psychiatry*, 176(4), 373-378.
D. P. MacKinnon, C. M. Lockwood, J. M. Hoffman, S. G. West & V. Sheets (2002). A comparison of methods to test mediation and other intervening variable effects. *Psychological Methods*, 7(1), 83-104.

M. Mehmetoglu (2018). medsem : A Stata package for statistical mediation analysis. *International Journal of Computational Economics and Econometrics*, 8(1), 63.

S. B. Myers, A. C. Sweeney, V. Popick, K. Wesley, A. Bordfeld & R. Fingerhut (2012). Self-care practices and perceived stress levels among psychology graduate students. *Training and Education in Professional Psychology*, 6(1), 55-66.

A. O'Leary (1992). Self-efficacy and health : Behavioral and stress-physiological me-
diation. Cognitive Therapy and Research, 16(2), 229-245. https://doi.org/10.1007/
BF01173490

G. Sadri & I. T. Robertson (1993). Self-efficacy and Work-related Behaviour : A Review and Meta-analysis. *Applied Psychology*, 42(2), 139-152.

M. Sherer, J. E. Maddux, B. Mercandante, S. Prentice-Dunn, B. Jacobs, R. W. Rogers (1982). The Self-Efficacy Scale : Construction and Validation. *Psychological Reports*, 51(2), 663-671.

A. Tapal, E. Oren, R. Dar & B. Eitam (2017). The Sense of Agency Scale : A Measure of Consciously Perceived Control over One's Mind, Body, and the Immediate Environment. *Frontiers in Psychology*, 8, 1552.

H. Tovel, S. Carmel & V. H. Raveis (2019). Relationships Among Self-perception of Aging, Physical Functioning, and Self-efficacy in Late Life. *The Journals of Gerontology: Series B*, 74(2), 212-221.

R. Trouillet, K. Gana, M. Lourel & I. Fort (2009). Predictive value of age for coping : The role of self-efficacy, social support satisfaction and perceived stress. *Aging & Mental Health*, 13(3), 357-366.

S. L. Warttig, M. J. Forshaw, J. South & A. K. White (2013). New, normative, English-sample data for the Short Form Perceived Stress Scale (PSS-4). *Journal of Health Psychology*, 18(12), 1617-1628.

S. Yakimova, C. Pocnet, A. Congard & D. Jopp (2021). Rôle médiateur du sentiment d'efficacité personnel et des dimensions d'ouverture émotionnelle sur les liens entre personnalité et qualité de vie.

S. Yamaguchi, T. Shiozawa, A. Matsunaga, P. Bernick, U. Sawada, A. Taneda, T. Osumi & C. Fujii (2020). Development and psychometric properties of a new brief scale for subjective personal agency (SPA-5) in people with schizophrenia. *Epidemiology and Psychiatric Sciences*, 29, e111.
# CEPAJe, un outil pour évaluer une séance ludopédagogique

Julian Alvarez

## Résumé

Cet article décrit le modèle CEPAJe, qui permet de concevoir et d'évaluer une séquence ludopédagogique. De manière concrète, il s'agira de présenter le modèle CEPAJe, et d'illustrer par des exemples d'emploi de jeux sérieux (serious games), comment il permet de préparer, en amont, une séance ludopédagogique ; puis, en aval, d'évaluer cette dernière afin de pouvoir améliorer l'activité pour la fois prochaine.
# INTRODUCTION

Quelles évaluations opérer dans le cadre de la ludopédagogie ? Est-ce pertinent de se cantonner à évaluer uniquement les apprenants, ou bien doit-on prendre en considération d'autres dimensions encore ? Par exemple, le jeu que l'on choisit de mobiliser joue un rôle prépondérant à son niveau. En effet, la capacité du jeu à engager, ou bien encore la nature et la qualité des feed-back proposés vont nécessairement influer sur les apprentissages des utilisateurs. Mais d'autres facteurs peuvent aussi être pris en compte, comme le contexte : une connexion internet capricieuse, se trouver à proximité d'un chantier bruyant, etc., peuvent nuire à l'expérience proposée. Quant au professeur lui-même, il peut jouer un rôle significatif sur l'engagement des apprenants.

Ces exemples nous invitent à reconsidérer le périmètre de l'approche évaluative. Doit-il se focaliser sur l'apprenant, ou convient-il de l'élargir à l'ensemble du dispositif sociotechnique mobilisé ? À la nature des feed-back dispensés ? Au contexte d'utilisation ? À la manière d'animer l'activité ? etc. Outre ces questionnements non exhaustifs, il faut également prendre en considération que chaque session d'une même activité ludopédagogique est unique et non reproductible (Laudati et Leleu-Merviel, 2018 : 26-27). Ainsi, la nature des feed-back offerts aux participants varie nécessairement d'une session à une autre. En fonction des événements, des prises de décisions, des références culturelles, de l'humeur du moment, les organisateurs de l'activité et les participants verront leurs performances améliorées ou altérées.

Dès lors, avec une telle approche systémique, on comprend rapidement que nous sommes très loin de pouvoir nous contenter d'une évaluation sommative, à l'instar d'un simple QCM visant à mesurer un stock de connaissances pour un sujet donné à un instant donné. Dans le cadre de cet article, nous proposons ainsi de présenter le méta-modèle évaluatif CEPAJe pour « Contexte, Enseignant, Pédagogie, Apprenant, Jeu » (Alvarez et Chaumette, 2017), qui correspond à la prise en compte de cinq dimensions distinctes, et ce, au regard des différentes phases de l'activité : son introduction, son animation et son débriefing. Si CEPAJe se destine à évaluer une séquence ludopédagogique, il est nécessaire d'illustrer concrètement comment faire usage d'un tel modèle au regard d'un exemple de jeu sérieux. Ceci, tant pour préparer une séance ludopédagogique en amont que pour en évaluer la mise en œuvre en aval.
# I. PRÉSENTATION DU MODÈLE CEPAJE

L'un des premiers modèles s'attachant à évaluer une activité de jeu en situation formelle est le « Four-dimensional framework » (modèle à quatre dimensions) élaboré par De Freitas et Martin Oliver (De Freitas et Oliver, 2006). Si leur modèle ouvre des perspectives, il lui manque une représentation temporelle, à l'instar de ce que proposent les trois temps pédagogiques de Tremblay (2007) et la prise en compte de la médiation opérée par le professeur. C'est pourquoi il a été proposé de faire évoluer ce modèle pour concevoir CEPAJe. Ce dernier se présente sous la forme d'un tableau à double entrée, croisant les trois temps pédagogiques de Tremblay (Introduction l'activité, Animer l'activité, Débriefer l'activité) avec cinq dimensions qui composent les principaux items entrant en jeu dans une séquence ludo-pédagogique : le contexte, l'enseignant ou formateur, le scénario pédagogique, les apprenants et le jeu mobilisé.