# CEPAJe, un outil pour évaluer une séance ludopédagogique

Julian Alvarez

► To cite this version:

Julian Alvarez. CEPAJe, un outil pour évaluer une séance ludopédagogique. L'ÉVALUATION DES DISPOSITIFS PÉDAGOGIQUES INNOVANTS, 2024, 978-2-9591124-1-6. hal-04682876

HAL Id: hal-04682876

https://hal.science/hal-04682876v1

Submitted on 3 Oct 2024

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# CEPAJe, un outil pour évaluer une séance ludopédagogique

Julian Alvarez, Professeur associé,
Université de Lille & Université Polytechnique Hauts-de-France, Société Immersive Factory

## Notice biographique de ou des auteurs

Julian Alvarez est responsable de la R&D en ludopédagogie chez Immersive Factory. En parallèle, il est professeur associé aux laboratoires LARSH (Université Polytechnique Hauts-de-France) & CRISTAL (Université de Lille) et responsable pédagogique du DU Apprendre Par Le Jeu à l'INSPE Lille Nord-de-France. Depuis 1991, Julian Alvarez a été impliqué dans plus de 150 réalisations de Jeux et de Serious Games pour le compte d'acteurs privés et publics.

## Résumé de l'article

Ce chapitre décrit le modèle CEPAJe qui permet de concevoir et évaluer une séquence ludopédagogique. De manière concrète, il s'agira de présenter le modèle CEPAJe et d'illustrer par des exemples concrets d'emploi de jeux sérieux (Serious Games), comment il permet de préparer, en amont, une séance ludopédagogique puis, en aval, d'évaluer cette dernière afin de pouvoir améliorer l'activité pour la fois prochaine.

## Mots-clés

Ludopédagogie, Serious Game, Évaluation, Médiation, Formation
# INTRODUCTION

Quelles évaluations opérer dans le cadre de la ludopédagogie ? Est-ce pertinent de se cantonner à évaluer uniquement les apprenants ou bien doit-on prendre en considération d'autres dimensions encore ? Par exemple, le jeu que l'on choisit de mobiliser joue un rôle prépondérant à son niveau. En effet, la capacité du jeu à engager ou bien encore la nature et la qualité des feedbacks proposés vont nécessairement influer sur les apprentissages des utilisateurs. Mais, d'autres facteurs peuvent aussi être pris en compte comme le contexte : une connexion Internet capricieuse, se trouver à proximité d'un chantier bruyant, etc., peuvent nuire à l'expérience proposée. Quant au professeur lui-même, il peut jouer un rôle significatif sur l'engagement des apprenants.

Ces exemples nous invitent à reconsidérer le périmètre de l'approche évaluative. Doit-il se focaliser sur l'apprenant ou convient-il de l'élargir à l'ensemble du dispositif sociotechnique mobilisé ? à la nature des feedbacks dispensés ? au contexte d'utilisation ? à la manière d'animer l'activité ? etc. Outre ces questionnements non exhaustifs, il faut également prendre en considération que chaque session d'une même activité ludopédagogique est unique et non reproductible (Laudati & Leleu-Merviel, 2018 : 26-27). Ainsi, la nature des feedbacks offerts aux participants varie nécessairement d'une session à une autre. En fonction des événements, des prises de décisions, des références culturelles, de l'humeur du moment, les organisateurs de l'activité et les participants verront leurs performances améliorées ou altérées.

Dès lors, avec une telle approche systémique, on comprend rapidement que nous sommes très loin de pouvoir nous contenter d'une évaluation sommative, à l'instar d'un simple QCM visant à mesurer un stock de connaissances pour un sujet donné à un instant donné. Dans le cadre de ce chapitre, nous proposons ainsi de présenter le méta-modèle évaluatif *CEPAJe* pour « Contexte, Enseignant, Pédagogie, Apprenant, Jeu » (Alvarez et Chaumette, 2017) qui correspond à la prise en compte de cinq dimensions distinctes, et ce, au regard des différentes phases de l'activité : son introduction, son animation et son débriefing. Si *CEPAJe* se destine à évaluer une séquence ludopédagogique, il est nécessaire d'illustrer concrètement comment faire usage d'un tel modèle au regard d'un exemple de jeu sérieux. Ceci, tant pour préparer une séance ludopédagogique en amont que pour en évaluer la mise en œuvre en aval.

# PRESENTATION DU MODELE CEPAJE

L'un des premiers modèles s'attachant à évaluer une activité de jeu en situation formelle est le « Four-dimensional Framework » (modèle à quatre dimensions) élaboré par De Freitas et Martin Oliver (De Freitas et Oliver, 2006). Si leur modèle ouvre des perspectives, il lui manque une représentation temporelle, à l'instar de ce que propose les trois temps pédagogiques de Tremblay (2007) et la prise en compte de la médiation opérée par le professeur. C'est pourquoi, il a été proposé de faire évoluer ce modèle pour concevoir *CEPAJe*. Ce dernier se présente sous la forme d'un tableau à double entrée croisant les trois temps pédagogiques de Tremblay (Introduire l'activité, Animer l'activité, Débriefer l'activité) avec cinq dimensions qui composent les principaux items entrant en jeu dans une séquence ludopédagogique : le
contexte, l'enseignant ou formateur, le scénario pédagogique, les apprenants et le jeu mobilisé.

<table><caption>Tableau 1. Exemple de modèle CEPAJe</caption><thead><tr><td>Critères évaluatifs/ Dimensions</td><td>Introduction de l'activité (briefing)</td><td>Animation de l'activité</td><td>Débriefing de l'activité</td></tr></thead><tbody><tr><td>Contexte</td><td>Le contexte est-il propice à introduire l'activité ?<br/>...<br/>Y a-t-il des éléments de contexte qui viennent favoriser l'activité ?<br/>...</td><td>Le contexte perturbe-t-il l'activité ?<br/>...<br/>Y a-t-il des éléments de contexte qui viennent favoriser l'activité ?<br/>...</td><td>Le contexte est-il propice à débriefer l'activité ?<br/>...<br/>Y a-t-il des éléments de contexte qui viennent favoriser l'activité ?<br/>...</td></tr><tr><td>Enseignant(e)<br/>(Tuteur, Médiateur pédagogique...)</td><td>Les objectifs de l'activité sont-ils clairement présentés tant sur le plan du jeu que sur le plan utilitaire ?<br/>Est-ce présenté de manière engageante ?<br/>...</td><td>Habileté à animer le jeu et à accompagner les apprenants durant l'activité de jeu (aide à la lecture et à l'utilisation du jeu...)<br/>Les stratégies pour tenter de motiver les apprenant(e)s sont-elles adaptées à leurs profils ?<br/>...</td><td>Le débriefing est-il bien mené pour amener les apprenants à faire le lien entre jeu et apprentissages ?<br/>...<br/>Les stratégies pour tenter de motiver les apprenant(e)s sont-elles adaptées à leurs profils ?<br/>...</td></tr><tr><td>Pédagogie<br/>(Scénario de l'activité prenant place dans le scénario pédagogique)</td><td>Le scénario propose d'associer de manière cohérente et équilibrée les aspects jeux et visées utilitaires ?<br/>...</td><td>Le scénario d'utilisation propose-t-il des rôles et objectifs clairs pour le compte des apprenants et des enseignants ?<br/>...</td><td>Le scénario prévoit-il d'exploiter le jeu proposé pour permettre aux apprenants d'atteindre les objectifs utilitaires visés ?<br/>...<br/>Les stratégies pour tenter de motiver les apprenant(e)s sont-elles adaptées à leurs profils ?<br/>...</td></tr><tr><td>Apprenant(s)<br/>(Participants, utilisateurs, élèves, étudiants...)</td><td>Envie de s'engager dans l'activité de jeu sérieux proposée ?<br/>Les objectifs sont-ils clairs pour les apprenants ?<br/>Recense-t-on des apprenant(e)s qui se mettent en retrait par rapport à l'activité ?<br/>...</td><td>Les apprenants montrent-ils de la motivation plutôt intrinsèque ou extrinsèque ?<br/>Recense-t-on de l'entraide ou de la rivalité entre pairs ?<br/>Recense-t-on des apprenant(e)s qui souhaitent modifier ou faire péricliter l'activité ?<br/>...</td><td>Les apprenant(e)s manifestent-ils de la motivation à comprendre les aspects utilitaires de l'activité ?<br/>Les apprenant(e)s sont-ils à même de pouvoir aider les pairs à faire part de leurs ressentis, messages perçus, apprentissages, des suites concrètes à donner ou de pistes d'améliorations de l'activité ?<br/>...</td></tr><tr><td>Jeu<br/>(artefact : jeu, jouet, simulateur, Serious Game ou Serious Toy)</td><td>Le jeu propose-t-il des leviers motivationnels donnant envie de s'engager ?<br/>...<br/>L'accessibilité est-elle prévue ?<br/>Le jeu propose-t-il de faire des liens entre le monde réel et sa diégèse (effet-V) ?<br/>...</td><td>Le jeu propose-t-il des systèmes d'aide pour lire ou utiliser le jeu ? (tutoriels, moyens de débloquer le joueur, ressources pédagogiques complémentaires...)<br/>L'accessibilité est-elle prévue ?<br/>Le jeu propose-t-il de faire des liens entre le monde réel et sa diégèse (effet-V) ?<br/>...</td><td>Un bilan est-il proposé au joueur tant sur les aspects jeu que sur les aspects utilitaires ?<br/>...<br/>L'accessibilité est-elle prévue ?<br/>Le jeu propose-t-il de faire des liens entre le monde réel et sa diégèse (effet-V) ?<br/>...</td></tr></tbody></table>

Ainsi, nous obtenons un ensemble de cases qui peuvent accueillir des questions à prendre en considérations (cf. Tableau 1). Bien entendu, les questions peuvent être complétées (cela est illustré par la présence de pointillés dans chaque case) et personnalisées selon les besoins de la discipline (mathématiques, français, technologie, informatique...) ou du domaine
d'application (santé, éducation, formation, recherche...). Ainsi une séance ludopédagogique menée dans le cadre d'un enseignement scolaire, d'une formation professionnelle ou bien dans un contexte d'éducation thérapeutique (Alvarez et al. 2016) pourront présenter des questions différentes.

## APPROPRIATIONS DU MODELE CEPAJE

Le modèle CEPAJe fait l'objet d'appropriations. Certains acteurs proposent ainsi de le simplifier à l'instar de Mélanie Fenaert (2021) pour l'adapter à l'évaluation d'Escape Games pédagogiques (cf. Figure 1). Plus accès sur l'artefact, le modèle revisité retient les dimensions Contexte, Pédagogie et Jeu au regard de critères d'évaluation qui évoluent selon les 3 temps pédagogiques et que l'on peut noter selon une échelle à 4 niveaux allant de « -- » à « ++ ».

<table><caption>Figure 1. Grille d'évaluation d'un jeu pédagogique virtuel par Mélanie Fenaert (2021)</caption><caption>Grille d'évaluation d'un jeu pédagogique virtuel</caption><thead><tr><th>Items CEPAJe</th><th>Critères d'évaluation</th><th>--</th><th>-</th><th>+</th><th>++</th></tr></thead><tbody><tr><th colspan="6">Introduction du jeu</th></tr><tr><td>Contexte</td><td><ul><li>introduction immersive, scénario explicite</li><li>lien avec le thème demandé</li><li>cohérence du scénario en tant que fiction</li></ul></td><td></td><td></td><td></td><td></td></tr><tr><td>Pédagogie</td><td><ul><li>cohérence du scénario avec les objectifs pédagogiques</li></ul></td><td></td><td></td><td></td><td></td></tr><tr><td>Jeu</td><td><ul><li>règles/objectifs clairs</li><li>intro rapide et efficace</li></ul></td><td></td><td></td><td></td><td></td></tr><tr><th colspan="6">Déroulement du jeu</th></tr><tr><td>Contexte</td><td><ul><li>décors et gameplay cohérents avec le scénario</li></ul></td><td></td><td></td><td></td><td></td></tr><tr><td>Pédagogie</td><td><ul><li>calibrage de la difficulté en fonction du public (niveau et nombre des activités ou énigmes, imbrication)</li><li>calibrage du temps</li></ul></td><td></td><td></td><td></td><td></td></tr><tr><td>Jeu</td><td><ul><li>activités/énigmes variées</li><li>qualité technique (navigation, déplacement, interactivité...)</li></ul></td><td></td><td></td><td></td><td></td></tr><tr><th colspan="6">Débriefing du jeu</th></tr><tr><td>Contexte</td><td><ul><li>forme du débriefing cohérente avec le scénario</li></ul></td><td></td><td></td><td></td><td></td></tr><tr><td>Pédagogie</td><td><ul><li>pistes proposées pour le débrief en fin de jeu (pour réserver un retour collectif et favoriser les apprentissages individuels)</li></ul></td><td></td><td></td><td></td><td></td></tr><tr><td>Jeu</td><td><ul><li>éléments de feedback intégrés au jeu (coups de pouce...) ou à la fin du jeu</li></ul></td><td></td><td></td><td></td><td></td></tr></tbody></table>

Le modèle CEPAJe peut aussi faire l'objet d'ajouts de colonnes supplémentaires. C'est ainsi qu' Isabelle Motte et Pascal Vangrunderbeeck ont proposé une version enrichie et interactive
de CEPAJe dès 2019 (cf. Figure 1). Il s'agit ainsi de guider le ludopédagogue sur la conception de sa séance ludopédagogique en amont et d'évaluer l'ensemble de l'activité en aval.

<figure><img src="image_2.png" /><figcaption>Figure 2. Déclinaison interactive du modèle CEPAJe par Motte, Vangrunderbeeck, Guisset, Malcourant et Renson (2022)</figcaption></figure>

<figure><img src="image_3.png" /></figure>

Dans cette déclinaison opérée sur Genealy, chaque case vient dévoiler une série de questions clés. Les deux auteurs ont également modifié l'ordre des différentes dimensions et positionné des flèches de contextualisation et de décontextualisation pour guider au mieux l'utilisateur dans l'emploi du modèle. En 2022, Motte, Vangrunderbeeck, Guisset, Malcourant et Renson ont entièrement repensé le modèle pour séquencer son utilisation en phase de conception.
De la partie motivation à la diffusion de la séance ludopédagogique, un ensemble de cases étapes (prototype de support de jeu, d'animation, de débriefing...) oriente le ludopédagogue tout en le revoyant à des parties précises du modèle *CEPAJe* (cf. Figure 2). Cela permet ainsi de mieux guider le ludopédagogue dans la construction de sa séance ludopédagogique. Il est vrai qu'au regard des nombreuses cases qu'il présente, les premières itérations de *CEPAJe* (cf. Tableau 1 et Figure 1) peuvent perdre des utilisateurs débutants.

A noter enfin que l'on peut recenser des approches visant à déconstruire le modèle *CEPAJe* pour le refondre dans schémas mentaux comme celui de Frédéric Bouyssi (2018) en vue de proposer une démarche intégrative d'un Serious Game (cf. Figure 3).

<figure><img src="image_4.png" /><figcaption>Figure 3. Approche intégrative d'un Serious Game par Frédéric Bouyssi (2018).</figcaption></figure>

## EXEMPLE D'EVALUATION AVEC CEPAJE : SERIOUS GAME HSE

Une fois muni de son modèle *CEPAJe*, le ludopédagogue est théoriquement en mesure de préparer et d'évaluer l'activité de jeu sérieux. Pour illustrer la manière d'utiliser *CEPAJe*, nous allons l'appliquer à un exemple concret. Il s'agit de l'emploi du Serious Game numérique dédié au domaine HSE (Hygiène, Sécurité et Environnement) et mobilisant la modalité Réalité Virtuelle (VR). Précisons que dans cet exemple, nous utiliserons le modèle *CEPAJe* tel que représenté en Tableau 1.
## Contexte et description du dispositif

La société Immersive Factory propose un ensemble de Serious Games numériques liés à la prévention de risques. Les formateurs de la société interviennent en présentiel dans le cadre de journées sécurité en entreprise ou sites industriels pour animer des sessions ludopédagogiques. Parmi les applications proposées, nous recensons la chasse aux risques. Concrètement, il s'agit pour les participants, équipés d'un casque VR autonome, d'explorer, dans un temps imparti, un environnement virtuel (bureaux, chantiers, ateliers, entrepôts, chaînes de montage...) et de photographier un nombre défini d'anomalies qui pourraient donner lieu à des accidents ou des problèmes de santé comme des Troubles Musculosquelettiques (TMS). A noter que le nombre d'anomalies à trouver et la durée de jeu sont paramétrables par le formateur. En outre, chaque partie propose des anomalies aléatoires. Chaque partie est ainsi différente pour chaque participant. A l'issue de la partie, l'application propose un score et de passer en revue les anomalies non détectées (cf. Figure 3).

La session étudiée avec *CEPAJe* se déroule en Novembre 2022 dans le Nord de la France sur un site industriel spécialisé dans la fabrication de molécules chimiques pour la production de médicaments. Durant cette journée, une trentaine de salariés ont été convoqués de manière obligatoire. On trouve des cadres, des techniciens et des ouvriers. Un manager en charge de la journée sécurité est à l'origine de la commande de formation. Il souhaite animer les séances ludopédagogiques pour se former à la pratique. L'animateur de la société Immersive Factory se met donc en retrait pour observer et le seconder le cas échéant.

<figure><img src="image_5.png" /><figcaption>Figure 3. Exemple d'une chasse aux risques dans un entrepôt</figcaption></figure>

## Séquençage

Avant de chausser le visiocasque, les participants bénéficient d'un briefing où, durant une dizaine de minutes, sont exposés les enjeux de la formation, la manière d'utiliser le casque de réalité virtuelle autonome et les manettes associées, les règles du jeu et la durée de l'expérience. Puis, les participants sont invités à passer chacun leur tour pour jouer. Le formateur se tient à proximité de chaque participant pour prévenir des risques de chutes ou de chocs avec des murs ou des tables. Pendant ce temps, les autres participants patientent en regardant sur grand écran la partie en cours. Une fois le jeu terminé et corrigé, le participant retire son casque et passe le relais à la personne suivante. Entre deux participants, le casque et les manettes sont nettoyés pour des questions d'hygiène. Une fois que l'ensemble des participants a joué, un débriefing général est opéré. Il s'agit de les questionner sur leurs ressentis, les apprentissages effectués et les transpositions avec le monde réel. Enfin, à l'issue
de la formation, les participants sont questionnés sur ce que l'on pourrait améliorer dans la séance ludopédagogique proposée. Un questionnaire individuel leur est également proposé sur tablette pour récolter un ensemble de pistes d'améliorations et des indicateurs destinés aux chercheurs.

## Retours obtenus

Les retours recensés s'opèrent sur plusieurs plans. On recense notamment des commentaires sur les aspects ressentis, ergonomiques, techniques, contenus, gameplays, pédagogiques et recherche.

Sur le plan du ressenti, les participants font globalement état de retours positifs sur l'expérience proposée. Pour nombre de participants, c'est la première expérience en VR et cela se traduit par un effet « waouh ». Cependant, sur une trentaine de participants, l'un d'entre eux a éprouvé de la cinétose (effet de vertige lié à l'emploi du casque VR). Cela a pu être corrigé en lui proposant d'être assis durant la séance VR. D'autres ont fait part de vertiges et de maux de têtes en regardant le grand écran permettant de voir les différentes parties en cours. Ce phénomène peut s'expliquer éventuellement par un manque d'habitude de la part de certains participants à regarder ou pratiquer des jeux vidéo en 3D en vue subjective. Il est possible que cela puisse aussi être lié au fait que les participants étaient disposés en U autour de l'écran. Peut-être est-il plus confortable de voir de telles images en étant positionné face à l'écran ?

Sur les plans ergonomiques et techniques, les participants ont fait remonter la nécessité de prendre en main le dispositif VR dans un premier temps avant de se lancer dans le Serious Game proposé. Ceci, dans le but d'être plus réceptif aux contenus proposés. En parallèle, les participants ont fait remarquer que certains boutons des manettes sont inactifs. Or, ils pourraient avantageusement faire offices de doublons pour servir la prise de photographies. Enfin, certains participants suggèrent de bien expliquer durant le brief comment prendre des photographies dans le jeu. En effet, en l'état, les anomalies sont validées si elles sont bien centrées sur la photographie. Cela a généré quelques frustrations chez certains participants qui étaient stressés par le chronomètre et devaient s'y reprendre à plusieurs fois pour valider un même risque qu'ils avaient détecté.

Sur le plan des contenus, les participants font état de quelques améliorations à apporter sur les risques à proposer ou à modifier. Par exemple, dans un entrepôt, certains futs ou bidons chimiques ne sont pas positionnés sur des bacs de rétention, un cariste n'a pas de ceinture de sécurité, certaines étiquettes sont mal positionnées sur quelques barils...

Sur les aspects du gameplay, certains participants ont remarqué que le cariste n'avait pas de jambes. Ce détail graphique les a surpris. D'autres font monter qu'il y a trop d'anomalies à trouver pour le temps imparti lorsque l'on joue au niveau « session courte ». D'autres font état de lieux trop grands à parcourir au regard du temps alloué. Il a été noté par d'autres participants que certains tiroirs ouverts comptent comme des anomalies alors que d'autres non. Ce qui peut être source de confusion. Enfin, quelques participants émettaient le souhait de pouvoir agir davantage dans l'environnement virtuel : pouvoir conduire un engin (Transpalette, camion, tractopelle...) et s'investir plus loin dans des tâches à effectuer dans les lieux visités.

Pour les aspects pédagogiques, certains participants déclarent avoir appris des choses. Par exemple que l'empilement de palettes en bois ne pouvaient pas excéder 1,80 mètre dans un
entrepôt. D'autres participants ont apporté des précisions sur certains risques identifiés, ce qui a donné lieu à des échanges d'anecdotes réellement vécues au sein de l'entreprise. D'autres émettaient le souhait de pouvoir faire dans la foulée une même chasse aux risques mais en grandeur nature dans une vraie pièce ou un vrai poste de travail de l'entreprise. Ceci dans l'idée de voir ce qu'ils ont retenu.

Enfin, pour le questionnaire dédié à la recherche, les participants ont volontiers répondu<fnref n="1" /> dans une majorité de cas. Cependant, le questionnaire leur a semblé trop long, notamment pour les techniciens et ouvriers du site. Certains ont, dans cette même catégorie, refusé d'y répondre. Les participants ayant renseigné le questionnaire ont fait part de l'impossibilité de répondre « non » à certaines questions. Ce qui les a dérangés.

## Analyses avec CEPAJe

Au regard de ces éléments, renseignons à présent le modèle CEPAJe pour analyser de manière plus fine ce qui pourrait être amélioré pour cette séance ludopédagogique. Le Tableau 2 liste l'ensemble des réponses aux questions posées en tenant compte des éléments que nous venons de passer en revue. Pour cela, nous proposons de passer en revue les différentes questions du Tableau 1 pour les consigner dans le Tableau 2.

<table><caption>Tableau 2. Serious Game : la chasse aux risques sur site chimique</caption><thead><tr><th>Critères évaluatifs/ Dimensions</th><th>Introduction de l'activité (briefing)</th><th>Animation de l'activité</th><th>Débriefing de l'activité</th></tr></thead><tbody><tr><td rowspan="3">Contexte</td><td><strong>Le contexte est-il propice à introduire l'activité ?</strong><br>La séance de jeu sérieux est proposée dans le cadre d'une journée sécurité obligatoire. Cependant, certains participants font état de dossiers importants à gérer et demandent à pouvoir s'en aller dès que possible.<br>La salle proposée et le mobilier sont conformes aux attentes des formateurs pour permettre à la séance ludopédagogique de se dérouler dans de bonnes conditions.</td><td><strong>Le contexte perturbe-t-il l'activité ?</strong><br>L'écran géant qui transmet l'environnement virtuel du jeu présente par moment des sautes d'image qui perturbent parfois certains spectateurs. En outre la disposition en U des participants semble susciter un inconfort chez certains d'entre eux.<br><br><strong>Y-a-t-il des éléments de contexte qui viennent favoriser l'activité ?</strong><br>La présence d'un manager qui se sent investi par la mission de sensibiliser les salariés aux risques industriels par la Réalité Virtuelle joue un rôle prépondérant pour susciter l'adhésion des participants. En outre, la salle où se déroule l'activité est insonorisée et bien équipé d'un point de vue multimédia avec une bonne connectivité Internet.</td><td><strong>Le contexte est-il propice à débriefer l'activité ?</strong><br>Le manager présent induit auprès des participants une écoute attentive. Les participants ont compris que la formation proposée s'inscrit dans des enjeux importants pour chaque salarié qui risque potentiellement sa vie en travaillant sur leur site industriel. On pourra noter quelques salariés qui sont tiraillés par le fait de boucler des dossiers urgents et qui s'abstiennent de poser des questions pour ne pas retarder de trop leur retour à leur poste de travail.</td></tr></tbody></table>

<footnote n="1">¹ https://docs.google.com/forms/d/e/1FAIpQLSfvSzsl2gtH1R0nEn_vKh4aLtbQxppJf8yyCX5MToVbJr6h4A/viewform?usp=sf_link</footnote>
<table><tr><td>Enseignant<br/>(Tuteur, formateur, Médiateur pédagogique...)</td><td>Les objectifs de l'activité sont-ils clairement présentés tant sur le plan du jeu que sur le plan militaire ?<br/>Le manager du site connaît bien les aspects en lien avec la sécurité du site mais découvre pour la première fois la manière d'animer une séance ludopédagogique. De son côté, l'animateur d'Immersive Factory connaît son Serious Game et la technologie VR. En revanche, il découvre pour la première fois le site industriel : il découvre ainsi l'écosystème, les produits développés et la nature des dangers potentiels. Les deux personnes se complètent.<br/>Est-ce présenté de manière engageante ?<br/>Les deux médiateurs cherchent leurs marques respectivement au début mais finissent par trouver une manière d'opérer conjointement.</td><td>Habileté à animer le jeu et à accompagner les apprenants durant l'activité de jeu (aide à la lecture et à l'utilisation du jeu...)<br/>L'animateur d'Immersive Factory a l'habitude d'assurer des séances ludopédagogiques. Il partage son savoir-faire avec le manager qui cherche à s'initier à la ludopédagogie en lui confiant le rôle d'animateur de jeu et en le secondant le cas échéant.<br/>Les stratégies pour tenter de motiver les apprenants sont-ils adaptés à leurs profils ?<br/>Le manager connaît ses collaborateurs. Cela joue un rôle prépondérant pour les sensibiliser à l'importance de s'impliquer dans le jeu sérieux et la modalité VR proposés.</td><td>Le débriefing est-il bien mené pour amener les apprenants à faire le lien entre jeu et apprentissages ?<br/>Le débriefing est assuré par le manager. Il a appris le jour même quelles questions clés poser lors d'un débriefing lié à une session ludopédagogique. Il passe en revue le ressenti des participants, tâche d'opérer une distanciation et une conscientisation des apprentissages visés.<br/>Éventuellement demander comment améliorer l'activité pour la fois prochaine (méta- design).<br/>Cela a été demandé. Il ressort des échanges de proposer en amont une session de prise en main avant de se lancer dans le jeu pour être plus réceptif aux erreurs et risques associés. Il est également demandé de bien préciser en amont comment photographier les anomalies.</td></tr><tr><td>Pédagogie<br/>(Scénario de l'activité prenant place dans le scénario pédagogique)</td><td>Le scénario propose d'associer de manière cohérente et équilibrée les aspects jeux et visées utilitaires ?<br/>Le scénario pédagogique consiste à utiliser le Serious Game en autonomie et à questionner les utilisateurs à l'issue de la partie pour les sensibiliser aux risques.</td><td>Le scénario d'utilisation propose-t-il des rôles et objectifs clairs pour le compte des apprenants et des enseignants ?<br/>Le scénario d'utilisation est orienté uniquement vers l'apprenant qui doit faire usage du jeu. Il n'est pas prévu de scénario d'utilisation pour le médiateur. Ce dernier peut en revanche paramétrer la durée d'une partie et le nombre d'anomalies à faire trouver. Mais il ne peut pas choisir la nature des anomalies à faire trouver. Ce qui peut empêcher de thématiser la nature des risques à traiter dans une formation.</td><td>Le scénario prévoit-il d'exploiter le jeu proposé pour permettre aux apprenants d'atteindre les objectifs utilitaires visés ?<br/>Le débriefing final se construit partiellement autour des risques identifiés dans le Serious Game. Il s'agit plutôt d'un prétexte pour aborder les véritables risques pouvant être identifiés dans l'entreprise où se déroule l'activité. En outre, l'idée est aussi de capitaliser sur l'expérience VR pour susciter un engagement dans les échanges lors du débriefing.</td></tr><tr><td>Apprenant(s)<br/>(Participants, utilisateurs, élèves, étudiants...)</td><td>Envie de s'engager dans l'activité de jeu sérieux proposée ?<br/>Oui, c'est clairement observé. Aucun salarié n'a fait part d'une réserve, y compris la personne sujette à la cinétose.<br/>Les objectifs sont-ils clairs pour les apprenants ?</td><td>Les apprenants montrent-ils de la motivation plutôt intrinsèque ou extrinsèque ?<br/>C'est extrinsèque car ce sont les dimensions ludiques et la technologie VR proposées qui servent de levier motivationnel.<br/>Recense-t-on de l'entraide ou de la rivalité entre pairs ?</td><td>Les apprenants manifestent-ils de la motivation à comprendre les aspects utilitaires de l'activité ?<br/>L'expérience vécue est globalement positive. Cela donne lieu à du partage d'anecdotes et parfois de taquineries entre participants. En général, les jeunes sont mis en avant par leurs collègues pour leurs compétences à jouer.<br/>Les participants plus âgés voient l'intérêt d'une telle approche pour</td></tr></table>
<table><tr><td></td><td>L'objectif du jeu est clair. Le fait de faire passer à la suite les différents participants permet à tout un chacun de bien comprendre les objectifs et le mode de fonctionnement du jeu. En revanche, si le nombre de participants est trop élevé, cela peut induire une attente un peu longue pour jouer.<br/><br/>Recense-t-on des apprenants qui se mettent en retrait par rapport à l'activité ?<br/><br/>Cela n'a pas été constaté. En revanche, plusieurs participants demandent en amont à être rassurés quant à l'emploi du casque de réalité virtuelle et du jeu associé.</td><td>Une entraide entre participants est constatée via l'emploi de l'écran géant qui permet de guider les joueurs qui seraient bloqués ou qui passeraient à côté d'une anomalie à recenser. Dans ce contexte, les formateurs se mettent soit en retrait pour laisser les participants aider leurs collègues, soit interviennent pour réduire l'aide afin de laisser le joueur trouver par lui-même.<br/><br/>Recense-t-on des apprenants qui souhaitent modifier ou faire péricliter l'activité ?<br/><br/>Non.</td><td>aborder la thématique de la sécurité pour les nouveaux arrivants ou les jeunes. En effet, les salariés plus âgés font état d'une expérience en matière de sécurité qui peut donner le sentiment qu'ils connaissent mieux le sujet que les jeunes générations.<br/><br/>Le questionnaire final n'est pas renseigné par certains participants qui le trouvent trop long.<br/><br/>Les apprenants sont-ils à même de pouvoir aider les pairs à faire part de leurs ressentis, messages perçus, apprentissages, des suites concrètes à donner ou de pistes d'améliorations de l'activité ?<br/><br/>Lorsque le jeu propose d'identifier en fin de partie les anomalies non trouvées, certains participants aident systématiquement le joueur à comprendre la nature et la localisation de l'erreur.<br/><br/>Certaines anomalies non trouvées font parfois état de contestations : c'est la faute à l'appareil photo qui ne permet pas de prendre en compte facilement les risques détectés. Ou bien certains participants déclarent avoir perdu du temps sur des anomalies que l'application n'intégrait pas.<br/><br/>Enfin, des aspects du gameplay donnent lieu à des remises en question : mieux positionner les étiquettes sur les barils...<br/><br/>Sinon, c'est plutôt le manager qui guide les participants pour faire le lien entre le jeu et la sécurité sur site. Dès lors, les participants font état d'anecdotes et élargissent les échanges à d'autres types de risques qui dépassent ce que le jeu a pu présenter.<br/><br/>Globalement, les salariés ont complimenté le manager pour l'initiative d'employer de la VR et du jeu associé dans le cadre d'une journée sécurité.</td></tr><tr><td>Jeu<br/>(artefact : jeu, jouet, simulateur, Serious Game ou Serious Toy)</td><td>Le jeu propose-t-il des leviers motivationnels donnant envie de s'engager ?<br/><br/>La modalité VR constitue le principal attrait du jeu. Pour</td><td>Le jeu propose-t-il des systèmes d'aide pour lire ou utiliser le jeu ? (tutoriels, moyens de débloquer le joueur, ressources pédagogiques complémentaires...)</td><td>Un bilan est-il proposé au joueur tant sur les aspects jeu que sur les aspects utilitaires ?<br/><br/>Oui, l'application propose en fin de partie de passer en revue les</td></tr></table>
<table><tr><td>une majorité de participants c'est la première fois qu'ils font usage de cette technologie.</td><td>Le jeu sérieux commence par proposer un tutoriel pour la prise en main des commandes du jeu : déplacement et principes pour photographier des risques.<br/>Les participants ont souligné des difficultés ergonomiques : trouver le bouton permettant de photographier sur la manette. En outre, le jeu propose d'explorer des surfaces trop grandes au regard du temps imparti. Le facteur temps conjugué à une faible compétence à jouer a constitué pour certains participants un stress durant la partie.<br/>A noter que l'aspect chronomètre semble constituer pour des utilisateurs peu habitués à jouer une source de stress qui les empêche de repérer certaines anomalies durant la partie.<br/><br/><strong>L'accessibilité est-elle prévue ?</strong><br/>Il est proposé des versions anglaises et françaises du même Serious Game pour s'adresser à des publics non francophones. Néanmoins, il n'est pas prévu de prendre en compte des formes de handicap dans le jeu : malvoyance, surdité ou dimension « dys ».<br/><br/><strong>Le jeu propose-t-il de faire des liens entre le monde réel et sa diégèse (effet-V) ?</strong><br/>Non. Cela a été demandé par certains participants de proposer à l'issue du jeu de faire une activité similaire en grandeur nature dans une véritable pièce de l'entreprise.</td><td>anomalies non identifiées et de montrer où elles se situaient.<br/><br/>Il est noté des apprentissages issus du jeu : la hauteur d'empilement de palette ne doit pas excéder 1,80 mètre.</td></tr></table>

## ANALYSE REFLEXIVE AVEC CEPAJE

A présent que le Tableau 2 est renseigné, tâchons d'aller au-delà des retours recensés auprès des participants en opérant une analyse réflexive. Pour ce faire, il s'agit d'abord de recenser les principales forces et faiblesses associés à chaque dimension, et ce, pour l'ensemble des trois temps pédagogiques. Puis, de proposer le cas échéant des solutions adaptées ou bien d'en tirer des enseignements.

Pour « Contexte », le principal élément à même de perturber l'activité est le fait que certains participants soient tiraillés par des dossiers ou projets à conduire en parallèle de la journée sécurité. La mise en tension vécue peut empêcher d'être pleinement impliqué dans l'activité
de jeu sérieux proposée. Une solution pourrait être d'inviter, en amont, les managers des
collaborateurs concernés à prendre en compte la journée sécurité dans leurs plannings de
production et ainsi aménager la charge de travail en conséquence. Peut-être conviendrait-il
aussi de responsabiliser les managers ou collaborateurs récalcitrants sur les risques encourus
dans le domaine HSE si les journées sécurités sont négligées ?

Pour « Enseignant », la présence de deux médiateurs, un animateur et un manager, semble avoir constitué une bonne formule. Ceci, pour assurer auprès des participants une bonne animation de jeu et un bon débriefing permettant de répondre à des questions spécifiques en lien avec la sécurité sur site. Ce retour concluant semble une piste à conserver pour de prochaines séances ludopédagogiques. Néanmoins, en termes de prérequis, il aurait été bienvenu de fournir au manager un livret pédagogique et une formation idoine afin de lui permettre d'être encore plus opérationnel durant ses premiers briefings. Quant à l'animateur d'Immersive Factory, il aurait été bien qu'il puisse bénéficier d'une visite guidée du site industriel pour mieux intégrer les aspects sécurité à prendre en compte durant la séance ludopédagogique proposée aux participants.

Pour « Pédagogie », le scénario repose sur la médiation humaine pour maximiser les chances d'atteindre les objectifs utilitaires. Cependant, le formateur n'a pas la latitude pour paramétrer la nature des risques à faire travailler auprès des participants. Offrir un tel paramétrage dans le Serious Game permettrait de gagner en précision dans la mise en place du scénario pédagogique.

Pour « Apprenant », il ressort que seules des motivations d'ordre extrinsèques sont suscitées par le Serious Game et la modalité VR. Cela nous invite à réfléchir sur des stratégies pour faire en sorte que les utilisateurs puissent basculer de motivations extrinsèques à intrinsèques quant à la prise en compte des risques dans le cadre du site industriel. Une piste évoquée est de proposer en aval de la séance ludopédagogique, une version grandeur nature de la chasse aux risques sur site. Cette dernière pourrait être préparée par des salariés afin de les engager davantage dans la participation aux journées sécurité.

Pour « Jeu », hormis les corrections à apporter sur le plan ergonomique (meilleure gestion de boutons de manettes et de l'appareil photo) et contenus (anomalies à améliorer), il ressort une nécessité de reconsidérer le gameplay basé sur le « chronomètre ». Si proposer d'atteindre les objectifs du jeu dans un temps donné peut constituer un levier motivationnel engageant et un défi clair pour l'utilisateur, il faut cependant réfléchir à la mise en place d'autres types de gameplay pour éviter le stress temporel qui nuit à la bonne perception de certains risques durant la partie... Les participants ont ainsi ouvert la voie à plus d'interactions : conduire des véhicules par exemple. C'est une piste qui semble pertinente à explorer.

CONCLUSION

Dans le cadre de l'exemple étudié, nous avons pu illustrer une manière d'utiliser le modèle
*CEPAJe* pour recenser et trier des retours liés à une séance ludopédagogique dans le but de
l'évaluer. L'approche consistait ici à tenir compte des principales problématiques ou progrès
notables, dimension par dimension. Cette approche est une possibilité parmi d'autres. Nous
aurions pu adopter une approche visant à lister et prioriser dimension par dimension les
problèmes rencontrés. Nous aurions également pu croiser les éléments issus des différentes dimensions pour établir des corrélations. Une autre possibilité aurait été de nous focaliser sur les différents temps pédagogiques. Ainsi, au même titre que CEPAJe est un outil personnalisable, son usage l'est également. Il appartient à chaque utilisateur de trouver comment l'exploiter au mieux selon ses besoins. Les déclinaisons proposées par Fenaert, Motte, Vangrunderbeeck ou encore Bouyssi témoignent d'appropriations variées qui induisent des usages multiples répondant à des besoins précis.

Même si le modèle CEPAJe que nous avons mobilisé pour l'exemple étudiée peut faire l'objet d'évolutions dans sa structure et ses usages, l'objectif principal reste de fournir aux ludopédagogues de quoi opérer une analyse réflexive au regard de leurs pratiques ludopédagogiques. Ceci pour améliorer par les itérations leurs prochaines séances. L'exemple proposé témoigne de cette possibilité. En parallèle, l'approche évaluative proposée met en relief la complexité et l'exigence que réclame la mise en œuvre d'une séance ludopédagogique. On comprendra à présent qu'adresser des évaluations aux seuls apprenants est réducteur car cela ne concerne qu'une seule dimension. Il se pourrait que les apprenants aient été victimes d'éléments de contexte, d'un médiateur malhabile ou d'un jeu aux feedbacks ou objectifs abscons.

Mais que dire de CEPAJe lui-même ? Est-il efficient ? Pour aller plus loin, il conviendrait d'étudier quelles déclinaisons du modèle s'avèrent les plus à même d'être utilisés par les ludopédagogues pour améliorer leurs séances et pratiques ludopédagogiques. Une telle approche pourrait s'opérer concrètement via la mise en place d'indicateurs de performances associés à l'emploi de différentes versions de CEPAJe. Pour illustrer la chose, reprenons l'exemple étudié sur la prévention des risques en entreprise. Dans ce cas, l'indicateur de performances pourrait correspondre à une approche statistique basée sur le nombre d'accidents annuels. L'expérimentation visée serait alors dans un premier temps de vérifier si ce taux diminue significativement sur les sites où les séances ludopédagogiques associent CEPAJe. Puis, dans un second temps, nous pourrions comparer quelles déclinaisons de CEPAJe apportent les meilleurs scores. Nous disposerions ainsi d'une mise en abîme où les outils d'évaluation seraient eux-mêmes évalués pour en mesurer la robustesse.

## Remerciements

Merci à Olivier Pierre, Bertrand Pierre, Olivier Chabiron, Nicolas Biais et Aurélie Popelier de la société Immersive Factory pour leurs relectures attentives et conseils.

## Bibliographie

Alvarez, J., Druette, L., Melia, G. & Staccini, P. (2016), « Adaptation du modèle CEPAJe destiné à évaluer une activité ludopédagogique pour le domaine de la Santé », SEGAMED 2016, Proceedings, SEGAMED, NICE, (FRANCE), 6 pages, URL: http://segamed.eu/WordPress/adaptation-modele-cepaje-destine-a-evaluer-activite-ludopedagogique-domaine-de-sante/

Alvarez, J. & Chaumette, P. (2017). « Présentation d'un modèle dédié à l'évaluation d'activités ludo-pédagogiques et retours d'expériences», Recherche et pratiques pédagogiques en langues de spécialité, Vol 36:2, LYON, (FRANCE), 15 pages, URL : http://apliut.revues.org/5402
Bouyssi, F. (2018). « Démarche d'intégration d'un Serious Game, ou jeu sérieux, dans une séquence pédagogique », https://www.linkedin.com/pulse/d%C3%A9marche-dint%C3%A9gration-dun-serious-game-ou-jeu-s%C3%A9rieux-bouyssi/?originalSubdomain=fr (consulté le 4 avril 2023).

De Freitas, S. & Oliver, M. (2006). « How Can Exploratory Learning with Games and Simulations Within the Curriculum Be Most Effectively Evaluated? », Computers and Education, vol. 46, n° 3, pp.249-264.

Fenaert, M. (2021). « Évaluer un jeu d'évasion virtuel », S'CAPE, https://scape.enepe.fr/evaluer-jeu-virtuel.html (consulté le 4 avril 2023).

Laudati, P. & Leleu-Merviel, S. (2018). « De l'UXD (User eXperience Design) au LivXD (Living eXperience Design) : vers le concept d'expériences de vie et leur design » in S. Leleu-Merviel, Useille, P. & Schmitt, D. (2018). De l'UXD au LivXD, le design des expériences de vie, ISTE Editions, pp.253-278.

Motte, I. & Vangrunderbeeck, P. (2018 / 2022). « Concevoir et animer un escape game pédagogique », Université Catholique de Louvain, LOUVAIN-LA-NEUVE, (BELGIQUE), URL : https://view.genial.ly/5bb11712304be1592037aa24/interactive-content-guide-ludification, (consulté le 10 septembre 2019).

Tremblay, N. (2007). « Formation initiale des enseignants, médiation pédagogique et approche philosophique », in TREMBLAY, N. (dir.), Des pratiques philosophiques en communauté de Recherche en France et au Québec, Presse de l'Université de Laval (PUL), LAVAL, (CANADA), pp. 95-116.