<table><caption>TABLEAU 1 — Exemple de modèle CEPAJe</caption><thead><tr><td>Critères évaluatifs/ dimensions</td><td>Introduction de l'activité (briefing)</td><td>Animation de l'activité</td><td>Débriefing de l'activité</td></tr></thead><tbody><tr><td>Contexte</td><td>Le contexte est-il propice à introduire l'activité ?</td><td>Le contexte perturbe-t-il l'activité ?<br/>Y a-t-il des éléments de contexte qui viennent favoriser l'activité ?</td><td>Le contexte est-il propice à débriefer l'activité ?</td></tr><tr><td>Enseignant<br/>(Tuteur, média-teur pédago-gique...)</td><td>Les objectifs de l'activité sont-ils clairement présentés tant sur le plan du jeu que sur le plan utilitaire ?<br/>Est-ce présenté de manière engagante ?</td><td>Habileté à animer le jeu et à accompagner les apprenants durant l'activité de jeu (aide à la lecture et à l'utilisation du jeu...)<br/>Les stratégies pour tenter de motiver les apprenants sont-elles adaptées à leurs profils ?</td><td>Le débriefing est-il bien mené pour amener les apprenants à faire le lien entre jeu et apprentissages ?</td></tr><tr><td>Pédagogie<br/>(Scénario de l'activité prenant place dans le scénario pédago-gique)</td><td>Le scénario propose-t-il d'associer de manière cohérente et équilibrée les aspects jeu et visées utilitaires ?</td><td>Le scénario d'utilisation propose-t-il des rôles et objectifs clairs pour le compte des apprenants et des enseignants ?</td><td>Le scénario prévoit-il d'exploiter le jeu proposé pour permettre aux apprenants d'atteindre les objectifs utilitaires visés ?</td></tr><tr><td>Apprenant<br/>(Participants, utilisateurs, élèves, étudiants...)</td><td>Les apprenants ont-ils envie de s'engager dans l'activité de jeu sé-rieux proposée ?<br/>Les objectifs sont-ils clairs pour les apprenants ?<br/>Recense-t-on des apprenants qui se mettent en retrait par rapport à l'activité ?</td><td>Les apprenants montrent-ils de la motivation plutôt intrinsèque ou extrinsèque ?<br/>Recense-t-on de l'entraide ou de la rivalité entre pairs ?<br/>Recense-t-on des apprenants qui souhaitent modifier ou faire péricliter l'activité ?</td><td>Les apprenants manifestent-ils de la motivation à comprendre les aspects utilitaires de l'activité ?<br/>Les apprenants sont-ils à même de pouvoir aider les pairs à faire part de leurs ressentis, messages perçus, apprentissages, des suites concrètes à donner ou de pistes d'améliorations de l'activité ?</td></tr><tr><td>Jeu<br/>(Artefact : jeu, jouet, simulateur, serious game ou serious toy)</td><td>Le jeu propose-t-il des leviers motivationnels donnant envie de s'engager ?</td><td>Le jeu propose-t-il des systèmes d'aide pour lire ou utiliser le jeu ? (Tutoriels, moyens de débloquer le joueur, ressources pédagogiques complémentaires...)<br/>L'accessibilité est-elle prévue ?<br/>Le jeu propose-t-il de faire des liens entre le monde réel et sa diégèse (effet-V) ?</td><td>Un bilan est-il proposé au joueur tant sur les aspects jeu que sur les aspects utilitaires ?</td></tr></tbody></table>
Nous obtenons un ensemble de cases qui peuvent accueillir des questions
à prendre en considération (tableau 1). Bien entendu, les questions peuvent
être complétées et personnalisées selon les besoins de la discipline (mathé-
matiques, français, technologie, informatique...) ou du domaine d'application
(santé, éducation, formation, recherche...). De ce fait, des séances ludopé-
dagogiques menées dans le cadre d'un enseignement scolaire, d'une for-
mation professionnelle ou bien dans un contexte d'éducation thérapeutique
(Alvarez et al. 2016) pourront présenter des questions différentes.

II. APPROPRIATIONS DU MODÈLE CEPAJe

Le modèle CEPAJe fait l'objet d'appropriations. Certains acteurs proposent de le simplifier, à l'instar de Mélanie Fenaert (2021), pour l'adapter à l'évaluation d'escape games pédagogiques (figure 1). Plus axé sur l'artefact, le modèle revisité retient les dimensions « contexte », « pédagogie » et « jeu » au regard de critères d'évaluation qui évoluent selon les trois temps pédagogiques, et que l'on peut noter selon une échelle à quatre niveaux allant de « -- » à « ++ ».
<table><caption>FIGURE 1 — Grille d'évaluation d'un jeu pédagogique virtuel par Mélanie Fenaert (2021)</caption><thead><tr><th>Items CEPAJe</th><th>Critères d'évaluation</th><th>--</th><th>-</th><th>+</th><th>++</th></tr></thead><tbody><tr><td colspan="6">INTRODUCTION DU JEU</td></tr><tr><td>Contexte</td><td><ul><li>introduction immersive, scénario explicite</li><li>lien avec thème demandé</li><li>cohérence du scénario en tant que fiction</li></ul></td><td></td><td></td><td></td><td></td></tr><tr><td>Pédagogie</td><td><ul><li>cohérence du scénario avec les objectifs pédagogiques</li></ul></td><td></td><td></td><td></td><td></td></tr><tr><td>Jeu</td><td><ul><li>règles / objectifs clairs</li><li>intro rapide et efficace</li></ul></td><td></td><td></td><td></td><td></td></tr><tr><td colspan="6">DÉROULEMENT DU JEU</td></tr><tr><td>Contexte</td><td><ul><li>décors et gameplay cohérents avec le scénario</li></ul></td><td></td><td></td><td></td><td></td></tr><tr><td>Pédagogie</td><td><ul><li>calibrage de la difficulté en fonction du public (niveau et nombre des activités ou énigmes, imbrication)</li><li>calibrage du temps</li></ul></td><td></td><td></td><td></td><td></td></tr><tr><td>Jeu</td><td><ul><li>activités / énigmes variées</li><li>qualité technique (navigation, déplacement, interactivité...)</li></ul></td><td></td><td></td><td></td><td></td></tr><tr><td colspan="6">DÉBRIEFING DU JEU</td></tr><tr><td>Contexte</td><td><ul><li>forme du débriefing cohérente avec le scénario</li></ul></td><td></td><td></td><td></td><td></td></tr><tr><td>Pédagogie</td><td><ul><li>pistes proposées pour le débrief en fin de jeu (pour réserver un retour collectif et favoriser les apprentissages individuels)</li></ul></td><td></td><td></td><td></td><td></td></tr><tr><td>Jeu</td><td><ul><li>éléments de feedback intégrés au jeu (coups de pouce...) ou à la fin du jeu</li></ul></td><td></td><td></td><td></td><td></td></tr></tbody></table>

Le modèle CEPAJe peut aussi faire l'objet d'ajouts de colonnes supplémentaires. C'est ainsi qu'Isabelle Motte et Pascal Vangrunderbeeck ont proposé une version enrichie et interactive de CEPAJe dès 2019 (figure 2). Il s'agit de guider le ludopédagogue sur la conception de sa séance ludopédagogique en amont, et d'évaluer l'ensemble de l'activité en aval.
FIGURE 2 — Déclinaison interactive du modèle CEPAJe par Isabelle Motte et Pascal Vangrunderbeeck (2019)

Guide pour la conception, l'animation et l'évaluation d'une activité ludo-pédagogique
inspiré du modèle CEPAJe de Julian Alvarez et Pascal Chaumette

LOUVAIN
LEARNING
LAB

UCLouvain

par @vgpascal et @zmotte

<table><thead><tr><th></th><th>Conception du scénario</th><th>Introduction du jeu</th><th>Animation du jeu</th><th>Debriefing</th><th>Evaluation</th></tr></thead><tbody><tr><th>Pédagogie</th><td>Définir les objectifs</td><td>Annoncer les objectifs</td><td>Activer les objectifs</td><td>↑ Approfondir les objectifs</td><td>Objectifs acquis ?<br>Jeu facilitant ?</td></tr><tr><th>Jeu</th><td>Scénariser le jeu</td><td>Présenter le jeu</td><td>Réguler le jeu</td><td>↓ DECONTESTUALISATION</td><td>Adéquation entre apprentissages et jeu ?</td></tr><tr><th>Contexte</th><td>Penser à l'ergonomie et à la facilitation</td><td>Faire découvrir l'environnement de jeu</td><td>Stimuler et cadrer la progression</td><td>↓ REVENIR SUR LES DIFFICULTÉS (TECHNOS NTMT)</td><td>Adéquation entre apprentissages et environnement ?</td></tr><tr><th>Apprenant</th><td>Prendre en compte le profil des joueurs</td><td>Expliquer la dynamique entre joueurs</td><td>Stimuler et réguler les joueurs</td><td>↓ ECOUTER LE VÉCU ET LES QUESTIONS</td><td>Adéquation entre apprentissages et dynamique ?</td></tr><tr><th>Enseignant</th><td>Définir le rôle de l'animateur</td><td>Annoncer le rôle de l'animateur</td><td>Observer, animer</td><td>↓ ATERRIR EN DOUCEUR</td><td>Adéquation entre apprentissages et animation ?</td></tr></tbody></table>

FIGURE 3 — Déclinaison interactive du modèle CEPAJe par Motte, Vangrunderbeeck, Guisset, Malcourant et Renson (2022)

Guide pour la conception d'une activité ludo-pédagogique

Isabelle Motte, Pascal Vangrunderbeeck, Manuela Guisset, Emilie Malcourant et Virginie Renson

LOUVAIN
LEARNING
LAB

UCLouvain

<figure><img src="image_6.png" /></figure>
Dans la proposition d'Isabelle Motte et Pascal Vangrunderbeeck de 2019, opérée sur Genealy, chaque case vient dévoiler une série de questions clés. Les deux auteurs ont également modifié l'ordre des différentes dimensions, et positionné des flèches de contextualisation et de décontextualisation pour guider au mieux l'utilisateur dans l'emploi du modèle. En 2022, Motte, Vangrunderbeeck, Guisset, Malcourant et Renson ont entièrement repensé le modèle pour séquencer son utilisation en phase de conception. De la partie motivation à la diffusion de la séance ludopédagogique, un ensemble de cases étapes (prototype de support de jeu, d'animation, de débriefing...) oriente le ludopédagogue tout en le renvoyant à des parties précises du modèle CEPAJe (figure 3). Cela permet ainsi de mieux guider le ludopédagogue dans la construction de sa séance ludopédagogique. Il est vrai qu'au regard des nombreuses cases qu'il présente, les premières itérations de CEPAJe (tableau 1 et figure 2) peuvent perdre des utilisateurs débutants.

À noter, enfin, que l'on peut recenser des approches visant à déconstruire le modèle CEPAJe pour le refondre dans des schémas mentaux comme celui de Frédéric Bouyssi (2018), en vue de proposer une démarche intégrative d'un serious game (figure 4).

<figure><img src="image_7.png" /><figcaption>FIGURE 4 — Approche intégrative d'un serious game par Frédéric Bouyssi (2018)</figcaption></figure>
### III. EXEMPLE D'ÉVALUATION AVEC CEPAJe :
SERIOUS GAME HSE

Une fois muni de son modèle CEPAJe, le ludopédagogue est théoriquement en mesure de préparer et d'évaluer l'activité de jeu sérieux. Pour il-lustrer la manière d'utiliser CEPAJe, nous allons l'appliquer à un exemple concret. Il s'agit de l'emploi du serious game numérique dédié au domaine HSE (hygiène, sécurité et environnement) et mobilisant la modalité « réalité virtuelle » (VR). Précisons que dans cet exemple, nous utiliserons le modèle CEPAJe tel que représenté en tableau 1.

#### 1. CONTEXTE ET DESCRIPTION DU DISPOSITIF

La société Immersive Factory propose un ensemble de serious games numériques liés à la prévention de risques. Les formateurs de la société interviennent en présentiel en entreprise ou sur des sites industriels, dans le cadre de journées sécurité, pour animer des sessions ludopédagogiques. Parmi les applications proposées, nous recensons la chasse aux risques. Concrètement, il s'agit pour les participants, équipés d'un casque VR autonome, d'explorer, dans un temps imparti, un environnement virtuel (bureaux, chantiers, ateliers, entrepôts, chaînes de montage...), et de photographier un nombre défini d'anomalies qui pourraient donner lieu à des accidents, ou à des problèmes de santé comme des troubles musculosquelettiques (TMS). À noter que le nombre d'anomalies à trouver et la durée de jeu sont paramétrables par le formateur. En outre, des anomalies aléatoires sont introduites dans les différentes parties. Ce qui rend chaque expérience unique pour les participants. À l'issue de la partie, l'application fournit un score, et propose de passer en revue les anomalies non détectées (figure 5).

La session étudiée avec CEPAJe se déroule en novembre 2022 dans le nord de la France, sur un site industriel spécialisé dans la fabrication de modèles chimiques pour la production de médicaments. Durant cette journée, une trentaine de salariés ont été convoqués de manière obligatoire. On trouve des cadres, des techniciens et des ouvriers. Un manager en charge de la journée sécurité est à l'origine de la commande de formation. Il souhaite animer les séances ludopédagogiques pour se former à la pratique. L'animateur de la société Immersive Factory se met donc en retrait, pour observer et le seconder le cas échéant.
<figure><img src="image_8.png" /><figcaption>FIGURE 5 — Exemple d'une chasse aux risques dans un entrepôt</figcaption></figure>

## 2. SÉQUENÇAGE

Avant de chauser le visiocasque, les participants bénéficient d'un briefing où sont exposés, durant une dizaine de minutes, les enjeux de la formation, la manière d'utiliser le casque de réalité virtuelle autonome, les manettes associées, les règles du jeu et la durée de l'expérience. Puis, les participants sont invités à passer pour jouer, chacun à leur tour. Le formateur se tient à proximité du participant pour prévenir des risques de chutes ou de chocs avec des murs ou des tables. Pendant ce temps, les autres participants patientent en regardant sur grand écran la partie en cours. Une fois le jeu terminé et corrigé, le participant retire son casque, et passe le relais à la personne suivante. Entre deux participants, le casque et les manettes sont nettoyés, pour des questions d'hygiène. Une fois que l'ensemble des participants ont joué, un débriefing général est opéré. Il s'agit de les questionner sur leurs ressentis, les apprentissages effectués et les transpositions avec le monde réel. Enfin, à l'issue de la formation, les participants sont questionnés sur ce que l'on pourrait améliorer dans la séance ludopédagogique proposée. Un questionnaire individuel leur est également proposé sur tablette, pour récolter un ensemble de pistes d'améliorations et des indicateurs destinés aux chercheurs.

## 3. RETOURS OBTENUS

Les retours recensés s'opèrent sur plusieurs plans, comme les aspects res-
senti, ergonomie, technique, contenu, gameplay, pédagogie et recherche.
Sur le plan du ressenti, on note que les participants font globalement état
de retours positifs sur l'expérience proposée. Pour nombre de participants,
c'est la première expérience en VR. Cela se traduit par un effet « waouh ».
Cependant, sur une trentaine de participants, l'un d'entre eux a éprouvé
de la cinétose. Cet effet de vertige, lié à l'emploi du casque VR, a pu être
corrigé en lui proposant d'être assis durant la séance. D'autres ont fait part
de vertiges et de maux de tête en regardant le grand écran permettant de
voir les différentes parties en cours. Ce phénomène peut s'expliquer éven-
tuellement par un manque d'habitude de la part de certains participants à
regarder ou à pratiquer des jeux vidéo en 3D en vue subjective. Il est possible que cela soit lié au fait que les participants étaient disposés en U autour de l'écran. Peut-être est-il plus confortable de voir de telles images en étant positionné face à l'écran ?

Sur les plans ergonomique et technique, les participants ont fait remonter la nécessité de prendre en main le dispositif VR avant de se lancer dans le serious game proposé. Ceci, dans le but d'être plus réceptif aux contenus proposés. En parallèle, les participants ont fait remarquer que certains boutons des manettes sont inactifs. Or, ils pourraient avantageusement faire office de doublons pour servir la prise de photographies. Enfin, certains participants suggèrent de bien expliquer durant le brief comment prendre des photographies dans le jeu. En effet, en l'état, les anomalies sont validées si elles sont bien centrées sur la photographie. Cela a engendré quelques frustrations chez des participants, stressés par le chronomètre, et qui devaient s'y reprendre à plusieurs fois pour valider un risque détecté.

Sur le plan des contenus, les participants font état de quelques améliorations à apporter sur les risques à proposer ou à modifier. Par exemple, dans un entrepôt, certains fûts ou bidons chimiques ne sont pas positionnés sur des bacs de rétention ; un cariste n'a pas de ceinture de sécurité ; certaines étiquettes sont mal positionnées sur quelques barils...

Sur les aspects du gameplay, d'aucuns ont remarqué que le cariste n'a pas de jambes. Ce détail graphique les a surpris. D'autres ont estimé qu'il y a trop d'anomalies à trouver pour le temps imparti dans le cadre d'une partie jouée sous la forme « session courte ». D'autres encore ont regretté que des lieux soient trop grands à parcourir au regard du temps alloué. Par ailleurs, des participants ont aussi noté que certains tiroirs ouverts comptent comme des anomalies, alors que d'autres non. Ce qui peut être source de confusion. Enfin, quelques participants ont émis le souhait de pouvoir agir davantage dans l'environnement virtuel, comme en conduisant un engin (trans palette, camion, tractopelle...) ou en s'investissant dans des tâches à effectuer dans les lieux visités.

Pour les aspects pédagogiques, des participants ont déclaré avoir appris des choses, par exemple, que l'empilement de palettes en bois ne peut pas excéder 1,80 mètre dans un entrepôt. Certains ont apporté des précisions sur des risques identifiés, ce qui a donné lieu à des échanges d'anecdotes réellement vécues au sein de l'entreprise. D'autres ont voulu pratiquer une chasse aux risques en situation réelle, dans un véritable environnement de travail de l'entreprise, pour vérifier leurs acquis.

Enfin, la majorité des participants ont répondu45 au questionnaire dédié à la

<footnote n="45">45. https://docs.google.com/forms/d/e/1FAIpQLSfvSzsl2gtH1ROnEn_vKh4aLtbQxppJf8yyCX5MToVb-Jr6h4A/viewform?usp=sf_link</footnote>
recherche. Mais il a été perçu comme trop long, en particulier par les techniciens et les ouvriers du site. Parmi eux, certains ont choisi de ne pas y répondre. Ceux qui ont complété le questionnaire ont été perturbés du fait qu'il est impossible de répondre « non » à quelques questions.

## 4. ANALYSES AVEC CEPAJe

Au regard de ces éléments, il importe désormais de renseigner le modèle CEPAJe pour analyser de manière plus fine ce qui pourrait être amélioré pour cette séance ludopédagogique. Le tableau 2 liste l'ensemble des réponses aux questions posées, en intégrant les éléments précédemment examinés. À cette fin, nous proposons de passer en revue les différentes questions du tableau 1 pour les consigner dans le tableau 2.

<table><caption>TABLEAU 2 — Serious game : la chasse aux risques sur site chimique</caption><thead><tr><td>Critères évaluatifs/ dimensions</td><td>Contexte</td></tr></thead><tbody><tr><td>Introduction de l'activité (briefing)</td><td><strong>Le contexte est-il propice à introduire l'activité ?</strong><br>La séance de jeu sérieux est proposée dans le cadre d'une journée sécurité obligatoire. Cependant, certains participants font état de dossiers importants à gérer, et demandent à pouvoir s'en aller dès que possible.<br><br>La salle proposée et le mobilier sont conformes aux attentes des formateurs pour permettre à la séance ludopédagogique de se dérouler dans de bonnes conditions.</td></tr><tr><td>Animation de l'activité</td><td><strong>Le contexte perturbe-t-il l'activité ?</strong><br>L'écran géant qui transmet l'environnement virtuel du jeu présente par moment des sautes d'image, qui perturbent parfois certains spectateurs. En outre, la disposition en U des participants semble susciter un inconfort chez certains d'entre eux.<br><br><strong>Y a-t-il des éléments de contexte qui viennent favoriser l'activité ?</strong><br>La présence d'un manager qui se sent investi par la mission de sensibiliser les salariés aux risques industriels, par la réalité virtuelle, joue un rôle prépondérant pour susciter l'adhésion des participants. En outre, la salle où se déroule l'activité est insonorisée, et bien équipée d'un point de vue multimédia, avec une bonne connectivité internet.</td></tr><tr><td>Débriefing de l'activité</td><td><strong>Le contexte est-il propice à débriefer l'activité ?</strong><br>Le manager présent induit auprès des participants une écoute attentive. Les participants ont compris que la formation proposée s'inscrit dans des enjeux importants pour chaque salarié, qui risque sa vie en travaillant sur le site industriel. On pourra noter quelques salariés qui sont tirailleés par le fait de boucler des dossiers urgents, et qui s'abstiennent de poser des questions pour ne pas trop retarder leur retour à leur poste de travail.</td></tr></tbody></table>
<table><thead><tr><th>Critères évaluatifs/ dimensions</th><th>Enseignant (Tuteur, formateur, médiateur pédagogique...)</th></tr></thead><tbody><tr><td>Introduction de l'activité (briefing)</td><td><strong>Les objectifs de l'activité sont-ils clairement présentés tant sur le plan du jeu que sur le plan utilitaire ?</strong><br> Le manager du site connaît bien les aspects en lien avec la sécurité du site, mais découvre pour la première fois la manière d'animer une séance ludopédagogique. De son côté, l'animateur d'Immersive Factory connaît son serious game et la technologie VR. En revanche, il découvre pour la première fois le site industriel : il découvre ainsi l'écosystème, les produits développés et la nature des dangers. Les deux personnes se complètent.<br><br> <strong>Est-ce présenté de manière engageante ?</strong><br> Les deux médiateurs cherchent leurs marques respectivement au début, mais finissent par trouver une manière d'opérer conjointement.</td></tr><tr><td>Animation de l'activité</td><td><strong>Habileté à animer le jeu et à accompagner les apprenants durant l'activité de jeu (aide à la lecture et à l'utilisation du jeu...)</strong><br> L'animateur d'Immersive Factory a l'habitude d'assurer des séances ludopédagogiques. Il partage son savoir-faire avec le manager qui cherche à s'initier à la ludopédagogique, en lui confiant le rôle d'animateur de jeu et en le secondant le cas échéant.<br><br> <strong>Les stratégies pour tenter de motiver les apprenants sont-elles adaptées à leurs profils ?</strong><br> Le manager connaît ses collaborateurs. Cela joue un rôle prépondérant pour les sensibiliser à l'importance de s'impliquer dans le jeu sérieux et la modalité VR proposés.</td></tr><tr><td>Débriefing de l'activité</td><td><strong>Le débriefing est-il bien conduit pour amener les apprenants à faire le lien entre jeu et apprentissages ?</strong><br> Le débriefing est assuré par le manager. Il a appris le jour même quelles questions clés poser lors d'un débriefing lié à une session ludopédagogique. Il passe en revue le ressenti des participants, tâche d'opérer une distanciation et une conscientisation des apprentissages visés.<br><br> <strong>Éventuellement, demander comment améliorer l'activité pour la fois prochaine (méta-design).</strong><br> Cela a été demandé. Il ressort des échanges qu'il faudrait proposer en amont une session de prise en main avant de se lancer dans le jeu, pour être plus réceptif aux erreurs et risques associés. Il est également demandé de bien préciser en amont comment photographier les anomalies.</td></tr></tbody></table>

<table><thead><tr><th>Critères évaluatifs/ dimensions</th><th>Pédagogie (Scénario de l'activité prenant place dans le scénario pédagogique)</th></tr></thead><tbody><tr><td>Introduction de l'activité (briefing)</td><td><strong>Le scénario propose-t-il d'associer de manière cohérente et équilibrée les aspects jeu et visées utilitaires ?</strong><br> Le scénario pédagogique consiste à utiliser le serious game en autonomie, et à questionner les utilisateurs à l'issue de la partie pour les sensibiliser aux risques.</td></tr><tr><td>Animation de l'activité</td><td><strong>Le scénario d'utilisation propose-t-il des rôles et objectifs clairs pour le compte des apprenants et des enseignants ?</strong><br> Le scénario d'utilisation est orienté uniquement vers l'apprenant qui doit faire usage du jeu. Il n'est pas prévu de scénario d'utilisation pour le médiateur. Ce dernier peut en revanche paramétrer la durée d'une partie, et le nombre d'anomalies à faire trouver. Mais il ne peut pas choisir la nature des anomalies à faire trouver. Ce qui peut empêcher de thématiser la nature des risques à traiter dans une formation.</td></tr><tr><td>Débriefing de l'activité</td><td><strong>Le scénario prévoit-il d'exploiter le jeu proposé pour permettre aux apprenants d'atteindre les objectifs utilitaires visés ?</strong><br> Le débriefing final se construit partiellement autour des risques identifiés dans le serious game. Il s'agit plutôt d'un prétexte pour aborder les véritables risques pouvant être identifiés dans l'entreprise où se déroule l'activité. En outre, l'idée est aussi de capitaliser sur l'expérience VR pour susciter un engagement dans les échanges lors du débriefing.</td></tr></tbody></table>
<table><thead><tr><th>Critères évaluatifs/ dimensions</th><th>Apprenant (Participants, utilisateurs, élèves, étudiants...)</th></tr></thead><tbody><tr><td>Introduction de l'activité (briefing)</td><td><strong>Envie de s'engager dans l'activité de jeu sérieux proposée ?</strong><br>Oui, c'est clairement observé. Aucun salarié n'a fait part d'une réserve, y compris la personne sujette à la cinétose.<br><br><strong>Les objectifs sont-ils clairs pour les apprenants ?</strong><br>L'objectif du jeu est clair. Le fait de faire passer à la suite les différents participants permet à tout un chacun de bien comprendre les objectifs et le mode de fonctionnement du jeu. En revanche, si le nombre de participants est trop élevé, cela peut induire une attente un peu longue pour jouer.<br><br><strong>Recense-t-on des apprenants qui se mettent en retrait par rapport à l'activité ?</strong><br>Cela n'a pas été constaté. En revanche, plusieurs participants demandent en amont à être rassurés quant à l'emploi du casque de réalité virtuelle et du jeu associé.</td></tr><tr><td>Animation de l'activité</td><td><strong>Les apprenants montrent-ils de la motivation plutôt intrinsèque ou extrinsèque ?</strong><br>C'est extrinsèque, car ce sont les dimensions ludiques et la technologie VR proposées qui servent de levier motivationnel.<br><br><strong>Recense-t-on de l'entraide ou de la rivalité entre pairs ?</strong><br>Une entraide entre participants est constatée via l'emploi de l'écran géant, qui permet de guider les joueurs qui seraient bloqués ou qui passeraient à côté d'une anomalie à recenser. Dans ce contexte, les formateurs soit se mettent en retrait pour laisser les participants aider leurs collègues, soit interviennent pour réduire l'aide afin de laisser le joueur trouver par lui-même.<br><br><strong>Recense-t-on des apprenants qui souhaitent modifier ou faire péricliter l'activité ?</strong><br>Non.</td></tr><tr><td>Débriefing de l'activité</td><td><strong>Les apprenants manifestent-ils de la motivation à comprendre les aspects utilitaires de l'activité ?</strong><br>L'expérience vécue est globalement positive. Cela donne lieu à du partage d'anecdotes et parfois de taquineries entre participants. En général, les jeunes sont mis en avant par leurs collègues pour leurs compétences à jouer.<br>Les participants plus âgés voient l'intérêt d'une telle approche pour aborder la thématique de la sécurité pour les nouveaux arrivants ou les jeunes. En effet, les salariés plus âgés font état d'une expérience en matière de sécurité, qui peut donner le sentiment qu'ils connaissent mieux le sujet que les jeunes générations.<br>Le questionnaire final n'est pas renseigné par certains participants, qui le trouvent trop long.<br><br><strong>Les apprenants sont-ils à même de pouvoir aider les pairs à faire part de leurs ressentis, messages perçus, apprentissages, des suites concrètes à donner ou de pistes d'améliorations de l'activité ?</strong><br>Lorsque le jeu propose d'identifier en fin de partie les anomalies non trouvées, certains participants aident systématiquement le joueur à comprendre la nature et la localisation de l'erreur.<br>Certaines anomalies non trouvées font parfois état de contestations : c'est la faute de l'appareil photo, qui ne permet pas de prendre en compte facilement les risques détectés. Ou bien, certains participants déclarent avoir perdu du temps sur des anomalies que l'application n'intégrait pas.<br>Enfin, des aspects du gameplay donnent lieu à des remises en question : mieux positionner les étiquettes sur les barils...<br>Sinon, c'est plutôt le manager qui guide les participants pour faire le lien entre le jeu et la sécurité sur site. Dès lors, les participants font état d'anecdotes, et élargissent les échanges à d'autres types de risques, qui dépassent ce que le jeu a pu présenter.<br>Globalement, les salariés ont complimenté le manager pour l'initiative d'employer de la VR et du jeu associé dans le cadre d'une journée sécurité.</td></tr></tbody></table>
<table><thead><tr><th>Critères évaluatifs/ dimensions</th><th>Jeu (Artefact : jeu, jouet, simulateur, serious game ou serious toy)</th></tr></thead><tbody><tr><td>Introduction de l'activité (briefing)</td><td><strong>Le jeu propose-t-il des leviers motivationnels donnant envie de s'engager ?</strong><br>La modalité VR constitue le principal attrait du jeu. Pour une majorité de participants, c'est la première fois qu'ils font usage de cette technologie.</td></tr><tr><td>Animation de l'activité</td><td><strong>Le jeu propose-t-il des systèmes d'aide pour lire ou utiliser le jeu ? (Tutoriels, moyens de débloquer le joueur, ressources pédagogiques complémentaires...)</strong><br>Le jeu sérieux commence par proposer un tutoriel pour la prise en main des commandes du jeu : déplacement et principes pour photographier des risques. Les participants ont souligné des difficultés ergonomiques : trouver sur la manette le bouton permettant de photographier. En outre, le jeu propose d'explorer des surfaces trop grandes au regard du temps imparti. Le facteur temps conjugué à une faible compétence à jouer a constitué pour certains participants un stress durant la partie.<br>À noter que, pour des utilisateurs peu habitués à jouer, l'aspect chronomètre semble constituer une source de stress, qui les empêche de repérer certaines anomalies durant la partie.<br><br><strong>L'accessibilité est-elle prévue ?</strong><br>Il est proposé des versions anglaise et française du même serious game, pour s'adresser à des publics non francophones. Néanmoins, il n'est pas prévu de prendre en compte des formes de handicap dans le jeu : malvoyance, surdité ou dimension « dys ».<br><br><strong>Le jeu propose-t-il de faire des liens entre le monde réel et sa diégèse (effet-V) ?</strong><br>Non. Certains participants ont demandé qu'il soit proposé, à l'issue du jeu, de faire une activité similaire en grandeur nature, dans une véritable pièce de l'entreprise.</td></tr><tr><td>Débriefing de l'activité</td><td><strong>Un bilan est-il proposé au joueur, tant sur l'aspect jeu que sur les aspects utilitaires ?</strong><br>Oui, l'application propose en fin de partie de passer en revue les anomalies non identifiées, et de montrer où elles se situaiennt.<br>Il est noté des apprentissages issus du jeu : la hauteur d'empilement de palettes ne doit pas excéder 1,80 mètre.</td></tr></tbody></table>

## IV. ANALYSE RÉFLEXIVE AVEC CEPAJe

À présent que le tableau 2 est renseigné, il importe d'aller au-delà des retours recensés auprès des participants, en opérant une analyse réflexive. Pour ce faire, dans un premier temps, il s'agit de recenser, pour l'ensemble des trois temps pédagogiques, les principales forces et faiblesses associées à chaque dimension. Et dans un second temps, de proposer le cas échéant des solutions adaptées, ou d'en tirer des enseignements.

Pour le critère « contexte », le principal élément capable de perturber l'activité est le fait que certains participants soient tiraillés par des dossiers ou projets à conduire en parallèle de la journée sécurité. La mise en tension vécue peut empêcher d'être pleinement impliqué dans l'activité de jeu sérieux proposée. Une solution pourrait être d'inviter, en amont, les managers des collaborateurs concernés à prendre en compte la journée sécurité dans
leurs plannings de production, et à aménager la charge de travail en consé-
quence. Peut-être conviendrait-il aussi de responsabiliser les managers ou
collaborateurs récalcitrants sur les risques dans le domaine HSE, si les jour-
nées sécurité sont négligées ?

Pour le critère « enseignant », la présence de deux médiateurs, un animateur et un manager, semble avoir donné de bons résultats auprès des participants pendant l'animation de jeu et le débriefing. Cette situation a permis aux médiateurs de répondre à des questions spécifiques en lien avec la sécurité sur site. Il convient par conséquent de conserver cette piste pour de prochaines séances ludopédagogiques. Néanmoins, en termes de pré-requis, il aurait été bienvenu de fournir au manager un livret pédagogique et une formation idoine, afin de lui permettre d'être encore plus opérationnel durant ses premiers briefings. Quant à l'animateur d'Immersive Factory, il aurait été judicieux qu'il puisse bénéficier d'une visite guidée du site industriel, pour mieux intégrer les aspects sécurité à prendre en compte durant la séance ludopédagogique.

Pour le critère « pédagogie », le scénario repose sur la médiation humaine pour maximiser les chances d'atteindre les objectifs utilitaires. Cependant, le formateur n'a pas la latitude pour paramétrer la nature des risques à faire travailler aux participants. Offrir un tel paramétrage dans le serious game permettrait de gagner en précision dans la mise en place du scénario pé-dagogique.

Pour le critère « apprenant », il ressort que seules des motivations d'ordre extrinsèque sont suscitées par le serious game et la modalité VR. Cela nous invite à réfléchir sur des stratégies à mettre en place pour faire en sorte que les utilisateurs puissent basculer de motivations extrinsèques à intrinsèques, quant à la prise en compte des risques dans le cadre du site industriel. Une piste évoquée est de proposer, en aval de la séance ludopédagogique, une version grandeur nature de la chasse aux risques sur site. Cette dernière pourrait être préparée par des salariés afin de les engager davantage dans la participation aux journées sécurité.

Pour le critère « jeu », des corrections sont à apporter sur le plan ergono-
mique (meilleure gestion de boutons de manettes et de l'appareil photo)
et des contenus (anomalies à améliorer). Surtout, on constate une néces-
sité de s'interroger sur un gameplay avec chronomètre. Si proposer d'at-
teindre les objectifs du jeu dans un temps donné peut constituer un levier
motivationnel engageant et un défi clair pour l'utilisateur, il faut cependant
réfléchir à la mise en place d'autres types de gameplays, pour éviter le
stress temporel qui nuit à la bonne perception de certains risques durant
la partie... Les participants ont aussi ouvert la voie à plus d'interactions,
en proposant par exemple de conduire des véhicules. Cette piste semble
pertinente à explorer.
## CONCLUSION

Dans le cadre de l'exemple étudié, nous avons pu illustrer une manière d'utiliser le modèle CEPAJe pour recenser et trier des retours liés à une séance ludopédagogique dans le but de l'évaluer. L'approche consistait ici à tenir compte des principales problématiques ou des progrès notables, dimension par dimension. Cette approche est une possibilité parmi d'autres. Nous aurions pu adopter une approche visant à lister et prioriser les problèmes rencontrés. Nous aurions également pu croiser les éléments issus des différentes dimensions pour établir des corrélations. Une autre possibilité aurait été de nous focaliser sur les différents temps pédagogiques. Ainsi, au même titre que CEPAJe est un outil personnalisable, son usage l'est également. Il appartient à chaque utilisateur de trouver comment l'exploiter au mieux, selon ses besoins. Les déclinaisons proposées par Fenaert, Motte, Vangrunderbeeck ou encore Bouyssi témoignent d'appropriations variées, qui induisent des usages multiples répondant à des besoins précis.

Même si le modèle CEPAJe peut faire l'objet d'évolutions dans sa structure et ses usages, l'objectif principal reste de fournir aux ludopédagogues de quoi opérer une analyse réflexive de leurs pratiques ludopédagogiques, et améliorer, par les itérations, leurs prochaines séances. L'exemple proposé témoigne de cette possibilité. En parallèle, l'approche évaluative proposée met en relief la complexité et l'exigence d'une séance ludopédagogique. On comprendra à présent qu'adresser des évaluations aux seuls apprenants est réducteur. En effet, cela ne concerne qu'une seule dimension. Il est possible que les apprenants aient été victimes d'éléments de contexte, d'un média-teur malhabile, ou d'un jeu aux feed-back ou objectifs abscons.

Mais que dire de CEPAJe lui-même ? Est-il efficient ? Pour répondre à ces questions, il conviendrait d'étudier quelles déclinaisons du modèle s'avèrent les plus à même d'être utilisées par les ludopédagogues pour améliorer leurs séances et pratiques ludopédagogiques. Une telle approche pourrait s'opérer concrètement via la mise en place d'indicateurs de performance associés à l'emploi de différentes versions de CEPAJe. L'exemple sur la prévention des risques en entreprise constitue une bonne illustration. Dans ce cas, l'indicateur de performance pourrait correspondre à une approche statistique basée sur le nombre d'accidents annuels. L'expérimentation visée serait alors, dans un premier temps, de vérifier si ce taux diminue significativement sur les sites où les séances ludopédagogiques associent CEPAJe. Puis, dans un second temps, nous pourrions comparer quelles déclinaisons de CEPAJe apportent les meilleurs scores. Nous disposerions ainsi d'une mise en abîme où les outils d'évaluation seraient eux-mêmes évalués pour en mesurer la robustesse.
Remerciements

Merci à Olivier Pierre, Bertrand Pierre, Olivier Chabiron, Nicolas Biais et Au-
rélie Popelier de la société Immersive Factory pour leurs relectures atten-
tives et conseils.

Bibliographie

J. Alvarez, L. Druette, G. Melia & P. Staccini (2016), « Adaptation du modèle CEPAJe destiné à évaluer une activité ludopédagogique pour le domaine de la Santé », SEGA-MED 2016, Proceedings, SEGAMED, NICE, (FRANCE), 6 pages.

J. Alvarez & P. Chaumette (2017). « Présentation d'un modèle dédié à l'évaluation d'activités ludo-pédagogiques et retours d'expériences », *Recherche et pratiques pédagogiques en langues de spécialité*, Vol 36:2, LYON, (FRANCE), 15 pages.

F. Bouyssi (2018). « Démarche d'intégration d'un serious game, ou jeu sérieux, dans une séquence pédagogique ».

S. De Freitas & M. Oliver (2006). « How Can Exploratory Learning with Games and Simulations Within the Curriculum Be Most Effectively Evaluated? », *Computers and Education*, vol. 46, n° 3, pp.249-264.

M. Fenaert (2021). « Évaluer un jeu d'évasion virtuel », S'CAPE, https://scape.enepe.fr/evaluer-jeu-virtuel.html (consulté le 4 avril 2023).

P. Laudati & S. Leleu-Merviel (2018). « De l'UXD (User eXperience Design) au LivXD (Living eXperience Design) : vers le concept d'expériences de vie et leur design » in S. Leleu-Merviel, P. Useille & D. Schmitt (2018). *De l'UXD au LivXD, le design des expériences de vie*, ISTE Editions, pp.253-278.

I. Motte & P. Vangrunderbeeck (2018 / 2022). « Concevoir et animer un escape game pédagogique », université catholique de Louvain, LOUVAIN-LA-NEUVE, (BELGIQUE).

N. Tremblay (2007). « Formation initiale des enseignants, médiation pédagogique et approche philosophique », in N. TREMBLAY (dir.), *Des pratiques philosophiques en communauté de recherche en France et au Québec*, Presses de l'université Laval (PUL), LAVAL, (CANADA), pp. 95-116.
# Les biomarqueurs numériques sont-ils des outils puissants et agnostiques d'évaluation des dispositifs pédagogiques numériques ?

Théo Marchand, Laurence Vanin, Vanessa Douet-Vannucci

## Résumé

Avec l'avènement des technologies numériques, les biomarqueurs numériques émergent. Il s'agit d'une nouvelle catégorie de données collectables massivement à partir des dispositifs numériques pédagogiques. Ils sont porteurs d'informations inédites, inférant les comportements et les processus cognitifs. Depuis quelques décennies, l'industrie du jeu vidéo a développé des méthodologies d'évaluation spécifiques pour maximiser l'expérience utilisateur. Une approche hybride d'évaluation voit aujourd'hui le jour. Elle combine jeu vidéo et biomarqueurs numériques, afin d'examiner l'usabilité des contenus pédagogiques, leur pertinence, ainsi que leur efficacité sur les performances de l'utilisateur.
# INTRODUCTION

Depuis la fin du XXe siècle, les politiques éducatives convergent vers une plus grande utilisation des technologies numériques, malgré des particularités historiques, pour améliorer l'efficacité des processus d'apprentissage, et les rendre plus personnalisés. Cependant, l'intégration du numérique dans les organisations a fortement été freinée par la perception des risques qu'il représente. Conformément à l'incitation des pays de l'Union européenne (UE) et de l'Organisation de coopération et de développement économiques (OCDE), la France a lancé en 1997 un plan afin de raccorder les établissements scolaires à Internet, et d'ancrer de manière institutionnelle l'informatique en milieu scolaire. Ce plan, intitulé « nouvelles technologies de l'information et de la communication dans l'enseignement », a permis d'amorcer la transformation numérique du système éducatif français.

Cette transformation s'est accélérée avec la pandémie COVID-19, et la démocratisation massive de l'utilisation des appareils numériques ainsi que des plateformes d'apprentissage en ligne pour l'éducation. Pour continuer à enseigner à distance, les écoles, universités et autres établissements d'enseignement ont dû s'adapter rapidement à l'utilisation d'outils numériques, tels que les vidéoconférences, les classes virtuelles et les manuels numériques. Pour autant, ce brutal passage à l'apprentissage à distance a finalement été perçu comme facilitateur de la communication, de la collaboration et de l'enseignement.

Aujourd'hui, le système éducatif continue sa numérisation à un rythme rapide. Celle-ci est poussée par l'expansion croissante des technologies numériques, comme Internet, qui s'immiscent dans tous les secteurs de notre société, transformant inéluctablement les relations entre les êtres et les objets. La plupart des étudiants et des enseignants considèrent désormais l'éducation et son accès comme étroitement liés aux technologies et dispositifs numériques. Les ordinateurs, les tablettes et les smartphones deviennent des outils pédagogiques complètement intégrés dans les processus d'enseignement et d'apprentissage. De même, les programmes d'enseignement, les outils collaboratifs en ligne simulant les conditions d'enseignement en groupe ou de classe, et les MOOC (Massive Open Online Course) sont de plus en plus populaires. Tous ces dispositifs numériques pédagogiques présentent des opportunités et avantages non négligeables, comme la mutualisation des connaissances.

Les « techno-prophètes » présageaient que la numérisation aiderait à améliorer l'éducation des futures générations en facilitant l'accès et la flexibilité de l'apprentissage. Or, un individu sur six est en situation d'illectronisme, c'est-à-dire en incapacité ou en difficulté pour utiliser les outils numériques, par ignorance totale ou partielle de leur fonctionnement. Cela n'épargne pas les populations nées avec le numérique, laissant entrevoir une fracture
éducative et sociale forte. Cette condition est aggravée si on considère que la plupart des utilisateurs méconnaissent les algorithmes qui les régissent et sous-tendent l'ensemble des interactions, qui ne sont connus que de l'in-génieur sachant. La croissance exponentielle des dispositifs pédagogiques numériques pose alors la question de leur évaluation attentive, validée et protocolisée par les pairs.

Ces différentes évolutions des systèmes éducationnels et pédagogiques imposent donc d'identifier et de caractériser de nouveaux indicateurs et/ou métriques, afin de construire une méthodologie d'évaluation de ces dispositifs pédagogiques. Après une introduction sur les dispositifs pédagogiques numériques, cet article s'attache à décrire les potentialités d'une approche nouvelle, hybridant les méthodologies d'évaluation établies par le monde du jeu vidéo, et les biomarqueurs numériques pour l'évaluation de ces dispositifs.

# I. LES DISPOSITIFS PÉDAGOGIQUES NUMÉRIQUES

Les technologies numériques s'invitent dans tous les environnements de la société. L'enfant d'aujourd'hui naît avec les appareils numériques, et son empreinte numérique est si importante que l'individu peut être considéré comme vivant désormais en quasi-symbiose avec ces technologies. Aussi, les systèmes éducatifs se sont attachés à intégrer les utilisations de dispositifs numériques afin de favoriser la pédagogie et l'apprentissage des plus jeunes (loi d'orientation du 08/07/2013). Quelques exemples de dispositifs parmi les plus usités sont proposés dans le tableau 1 ci-après.
<table><caption>TABLEAU 1 — Fonctionnalités des dispositifs pédagogiques numériques</caption><thead><tr><td>Type de dispositif pédagogique numérique</td><td>Descriptif</td><td>Exemples</td></tr></thead><tbody><tr><td>Systèmes de gestion d'apprentissage / Learning machine systems (LMS) (Bradley, 2021)</td><td>Créer et partager des supports de cours, des devoirs et des évaluations en ligne avec les étudiants.</td><td>Sakai, Moodle</td></tr><tr><td>« Jeux sérieux / serious games », environnements / plateformes d'apprentissage (Laamarti, 2014)</td><td>Transmettre des informations, développer des compétences ou sensibiliser les joueurs à des thèmes importants, tout en offrant une expérience ludique et engageante. À rapprocher des environnements et plateformes d'apprentissage par le jeu.</td><td>Scratch, BrainPOP</td></tr><tr><td>Tableaux blancs interactifs (Drigas, 2014)</td><td>Afficher du contenu multimédia et annoter des documents pendant le cours.</td><td>Sharp, Samsung</td></tr><tr><td>Applications de réalité virtuelle et augmentée (Kavanagh, 2017)</td><td>Créer des expériences d'apprentissage immersives et des simulations. La réalité virtuelle (VR) peut être utilisée pour créer des visualisations 3D interactives de concepts scientifiques et thématiques, ce qui les rend plus attrayants et accessibles aux apprenants.</td><td>Go For Launch: Mercury, Toti Submarine-VR Experience</td></tr><tr><td>Systèmes de tutorat basés sur l'intelligence artificielle (Steenbergen-Hu, 2014)</td><td>Créer des expériences d'apprentissage, fournir un retour et un soutien personnalisés aux étudiants en fonction de leurs performances.</td><td>MathSpring</td></tr></tbody></table>

L'intégration du numérique dans l'éducation présente plusieurs avantages, dont l'accessibilité à l'information, et la flexibilité de l'enseignement. Les apprenants peuvent en effet adapter leur enseignement à leur rythme, à leurs besoins, ou au contexte géographique (urbain versus rural), social, et personnel (situation de handicap).

Cette adaptabilité se retrouve également au niveau de la communication et de la collaboration à plusieurs niveaux, qui s'auto-enrichissent : inter-apprenants et inter-enseignants, mais également dans une relation mixte entre apprenants et enseignants. Il s'agira alors de repenser les rôles de chacun de ces acteurs, et de transformer l'environnement d'apprentissage.
De plus, comme les nouvelles technologies permettent d'intégrer les stratégies d'apprentissage individuelles, pour le développement personnalisé des connaissances et l'apprentissage autodirigé, il faudra également stimuler et accélérer les systèmes éducatifs, qui se développent naturellement plus rationnellement et lentement.

La technologie numérique encourage l'interactivité et l'engagement de l'utilisateur, grâce à l'ajout de principes de jeu, de multimédia, et de technologies toujours plus attrayantes, telles que la réalité virtuelle ou le métaverse (création de mondes virtuels sur Internet), ayant un impact significatif sur la pédagogie. Cette interactivité, induisant une attention soutenue de l'utilisateur, se révèle attractive et ludique.

Cependant, les bénéfices qu'apportent le numérique et les nouvelles interfaces aux dispositifs pédagogiques modifient les limites sémantiques de la définition du dispositif pédagogique versus dispositif de divertissement. Il est donc important de trouver et de protocoliser la ou les méthodes d'évaluation critique des dispositifs numériques pédagogiques, afin de réaliser cette transition numérique.

## II. LES MÉTHODOLOGIES D'ÉVALUATION DU MONDE DU JEU VIDÉO

L'industrie du jeu vidéo analyse le ressenti de l'utilisateur face à un jeu pour améliorer celui-ci. L'expérience utilisateur (UX) et l'interface utilisateur (UI) sont utilisées pour mesurer le niveau attentionnel, l'engagement, la frustration des joueurs pendant qu'ils performent. L'UX se focalise sur la manière dont les joueurs interagissent avec le jeu, tandis que l'UI se concentre sur la manière dont les joueurs interagissent avec l'interface du jeu. L'UX et l'UI impliquent une ouverture phénoménologique à la captation des postures de l'utilisateur, qui devient sujet et objet de ses relations aux interfaces.

L'UI est donc une composante de l'UX générale. Elle étudie toute interaction de l'utilisateur avec l'interface pour la rendre agréable, pratique, voire source d'émotion. Cette interface est l'environnement graphique dans lequel évolue l'utilisateur d'un logiciel, d'un site web ou d'une application. Son évaluation fait appel à l'UI design, qui regroupe un ensemble d'éléments visuels : les boutons, les textes, les images, les couleurs, la typographie, le défilement des pages, les animations. Les développeurs mesurent ainsi la conception des applications, le design des interfaces, et leurs impacts sur l'engagement ou la frustration suscités, en examinant le temps passé sur chaque écran, les interactions avec les boutons et les menus, et les erreurs d'utilisation.
L'UX s'évalue par des méthodes d'analyse quantitative, qui nécessitent des connaissances en statistiques et des méthodologies scientifiques (proto-cole, échantillonnage, représentativité, biais, validité des outils de mesure, interprétation, etc.). Les méthodes statistiques sont alors utilisées pour décrire les phénomènes observés, et faire des estimations sur la population totale. Elles combinent ainsi « recherche et études de terrain » (observations, puis définition de groupes de types d'utilisateurs cibles, appelés les personae) avec « conception et évaluation » (tests utilisateurs en laboratoire, réalisés sur un petit échantillon, réitération).

Dans un jeu vidéo, cette analyse quantitative concerne les actions des joueurs, comme le nombre de clics, les mouvements de la souris, les entrées de clavier, les temps de réalisation des tâches. À ces indicateurs quantitatifs s'ajoutent des mesures qualitatives d'utilisabilité, d'utilité, d'esthétique, qui varient selon le type de dispositif concerné, et les critères ou ressentis humains (usages, émotions, pensées, etc.). Ces aspects hédoniques et pragmatiques des systèmes interactifs sont principalement évalués grâce à des questionnaires standards tels que AttrakDiff46. Les concepteurs peuvent donc mesurer la vitesse à laquelle les joueurs progressent dans le jeu, la durée des sessions de jeu, la difficulté perçue ou le degré d'intérêt, afin d'identifier les moments cruciaux en rapport avec l'usabilité et l'acceptation des apprenants. Les données, récoltées directement dans le jeu, servent aussi à examiner l'engagement, l'état attentionnel, la frustration, et la satisfaction des joueurs à différents moments de leur expérience de jeu (tableau 2).

<footnote n="46">46. Méthode de mesure de l'utilisabilité d'un système interactif basée sur la perception de l'utilisateur.</footnote>
<table><caption>TABLEAU 2 — Les différentes métriques d'évaluation lors de la conception et du développement de jeux vidéo</caption><thead><tr><td>Métriques</td><td>Descriptif</td><td>Références</td></tr></thead><tbody><tr><td>Temps de jeu</td><td><ul><li>Durée pendant laquelle un joueur joue</li><li>Mesure l'engagement des joueurs</li></ul></td><td>(Boyle et al., 2012)</td></tr><tr><td>Taux de rétention</td><td><ul><li>Proportion de joueurs qui continuent à jouer au jeu après un certain temps</li><li>Mesure l'amusement et l'engagement des joueurs</li></ul>Identification des moments où les joueurs ne sont plus engagés ou perdent l'intérêt</td><td>(Callaghan et al., 2014)</td></tr><tr><td>Score</td><td><ul><li>Données sur le niveau de performance (global ou spécifique) et/ou la progression d'un joueur dans le jeu</li><li>Lié à la concentration, à la motivation, aux compétences du joueur, à la viabilité de traitement, à la fatigue mentale...</li></ul></td><td>(Boot et al., 2008)</td></tr><tr><td>Taux de complétion</td><td><ul><li>Nombre de joueurs qui ont terminé le jeu par rapport au nombre total de joueurs</li><li>Mesure l'engagement des joueurs, la difficulté du jeu</li></ul></td><td>(McAllister et al., 2015)</td></tr></tbody></table>

Les aspects « émotionnels » sont une composante forte dans l'évaluation d'un jeu vidéo. Ils trouvent des métriques spécifiques comme l'analyse des expressions faciales et gestuelles, ou techniques psychophysiques, de type EEG (électroencéphalographique), rythme cardiaque, ou suivi des mouvements oculaires. Avec la démocratisation des nouvelles technologies, les réponses physiologiques sont devenues un moyen d'obtenir des mesures objectivées de l'expérience utilisateur avec une technologie de divertissement.

Avec l'avènement des réseaux sociaux et des jeux multijoueurs, une nouvelle dimension se retrouve dans le jeu : la composante sociale. Les joueurs peuvent parler à des partenaires de jeu, à des amis via des plateformes dédiées, des groupes, des blogs (Reddit, Discord, Steam, YouTube, Twitch ou Facebook) selon les besoins spécifiques des communautés de joueurs. Lors d'entretiens, ces interactions ont été attentivement étudiées par les concepteurs de jeux pour moduler les fonctionnalités et spécificités de jeu. Les discussions et commentaires deviennent des éléments de mesure de performances de jeu.
La méthodologie d'évaluation séquentielle du monde du jeu vidéo est donc un atout de l'évaluation de dispositifs pédagogiques numériques, où chaque moment pédagogique clé, les données de progression, de temps, de score et de difficulté, sont un reflet de la performance de l'apprenant. Les méthodes qualitatives et quantitatives complémentaires s'adressent alors autant au « pourquoi » qu'au « comment » de l'interaction, et permettent d'appréhender cette dernière dans sa globalité. Cela contribue à l'amélioration permanente des dispositifs, en fonction des données d'usage récoltées, mais aussi des perceptions associées, qui reposent sur des éléments subjectifs souvent difficiles à identifier.

La combinaison de ces méthodologies donne une image globale de l'expérience utilisateur transposable à l'évaluation des dispositifs pédagogiques numériques. Le parcours de l'apprenant est analysé ainsi étape par étape. On analyse le comportement de l'individu, et le cheminement qu'il adopte pour réaliser une action donnée, ces résultats permettant d'améliorer la qualité de l'expérience utilisateur et, par conséquent, d'augmenter l'efficacité de l'apprentissage.

Cependant, une différence structurelle existe entre les motivations des utilisateurs jouant aux jeux vidéo et celles des apprenants utilisant des dispositifs pédagogiques. Une adaptation des méthodologies de l'industrie du jeu sera nécessaire pour être efficient dans les dispositifs pédagogiques, avec des études rigoureuses, notamment sous le prisme de tests d'usabilité, pour identifier les fonctions transférables.

### III. LES BIOMARQUEURS NUMÉRIQUES

Les biomarqueurs sont des indicateurs mesurables de l'activité cérébrale, de la physiologie ou de l'émotion, qui peuvent être utilisés pour évaluer les dispositifs pédagogiques. Ces biomarqueurs ont été identifiés et caractérisés selon différents types de technologies, comme le suivi des mouvements oculaires, l'EEG, l'imagerie de résonance magnétique fonctionnelle (IRMf), la mesure de la fréquence cardiaque, ou encore les capteurs. Les biomarqueurs numériques proviennent de la collecte d'informations depuis des capteurs, associée à des outils de calcul comme les algorithmes sur plusieurs couches d'outils matériels et de logiciels connectés. De cette nouvelle façon de collecter de l'information est née l'épidémiologie numérique. Elle désigne l'utilisation des technologies et des données numériques pour, d'une part, étudier le fonctionnement des individus et les facteurs de vulnérabilité au sein d'une population, et d'autre part, élaborer des interventions visant à prévenir ou à contrôler ces vulnérabilités.
Les biomarqueurs numériques permettent le phénotypage numérique selon deux techniques complémentaires de collecte de données. Le phénotypage numérique est dit « passif » lorsque les données sont engendrées simplement par les activités quotidiennes normales de l'utilisateur, ou par l'utilisation de l'appareil. La personne n'est pas obligée de faire quoi que ce soit. Lorsque la personne doit accomplir une tâche, par exemple répondre à une enquête ou réaliser une activité, le phénotypage est dit « actif ». Les données engendrées par les activités effectuées sur des smartphones ou d'autres appareils numériques peuvent être analysées pour comprendre les modèles de parole, les rythmes circadiens, les mouvements oculaires, les expressions faciales, l'activité du clavier, l'auto-évaluation, la vitesse de traitement et les réponses aux stimuli (tableau 3).

<table><caption>TABLEAU 3 — Description des différents types de biomarqueurs digitaux</caption><thead><tr><td>Métriques</td><td>Descriptif</td><td>Références</td></tr></thead><tbody><tr><td>Les appareils connectés</td><td><ul><li>Mesure l'activité quotidienne de l'utilisateur de façon passive ou active, pour améliorer l'expérience et la personnalisation de l'apprenant</li><li>Mesure des changements dans les marqueurs physiologiques tels que la fréquence cardiaque, la conductance de la peau et la respiration, pendant les tâches d'apprentissage, pour évaluer les réponses physiologiques de l'apprenant, ou l'état de stress ou de relaxation</li></ul></td><td>Dagum et al. 2018 ; R Wang et al. 2018</td></tr><tr><td>Suivi oculaire</td><td><ul><li>Mesure les trajectoires, les points de fixation et temps de fixation du regard de l'utilisateur lors d'une tâche</li><li>Identifier automatiquement les événements d'échange entre l'interface et l'utilisateur, afin d'évaluer de façon systématisée les points d'attention et d'intérêt</li><li>Évaluer les éléments qui causent de la confusion ou de la distraction pour les utilisateurs, et donc mesurer les changements dans l'attention visuelle et les processus cognitifs associés à la lecture et à l'apprentissage</li><li>Examiner l'efficacité de différents matériels de lecture et stratégies d'enseignement pour les enfants</li></ul></td><td>Kruger and Steyn, 2014 ; Vajs et al. 2022 ; Chaudhuri et al. 2022</td></tr></tbody></table>
<table><tr><td>Suivi du doigt</td><td><ul><li>Identifier les actions des utilisateurs qui sont courantes, et celles qui sont moins courantes dans l'interaction avec un écran tactile</li><li>Corréler les trajectoires digitales avec l'état émotionnel de l'apprenant, au- tant qu'automatiser les méthodes de quotation des performances</li></ul></td><td>Lio et al. 2019</td></tr><tr><td>Électroencépha- lographie</td><td><ul><li>Identifier des réactions émotionnelles et cognitives des utilisateurs, pour une meilleure compréhension des res- sentis des utilisateurs aux différents éléments de l'interface, comme les textes, les images et les vidéos</li><li>Analyse des émotions et de la charge mentale pour évaluer un dispositif</li></ul></td><td>Pi et al. 2021 ; AlShorman et al. 2020</td></tr></table>

Ces données ont été très utilisées par le marketing de précision et les sciences cognitives pour mieux étudier et comprendre les comportements des consommateurs. Aujourd'hui, l'épidémiologie numérique arrive à fournir des indications prédictives des comportements humains comme des pro- cessus cognitifs, tels que la mémoire, l'attention, le raisonnement. Elles per- mettent de mieux appréhender les potentialités individuelles, et de rendre compte de logiques algorithmiques qui traduisent les comportements hu- mains.

Ces biomarqueurs numériques appliqués à l'évaluation des dispositifs pé- dagogiques pourraient devenir de véritables indicateurs de l'engagement dans l'activité, de l'état de compréhension des apprenants, mais également de leur état mental et psychologique. Avec la puissance de calcul et de modélisation des dernières technologies, le résultat des performances peut être obtenu en temps quasi réel ; et permettre ainsi une modification cor- rective immédiate de l'enseignant sur sa méthodologie pédagogique, et/ ou d'utilisation de son dispositif auprès des apprenants. Enfin, ces biomar- queurs sont considérés comme objectifs, puisqu'ils sont le reflet mesurable des comportements non conscientisés de l'apprenant lors de l'utilisation d'un dispositif pédagogique numérique. De plus, ils sont agnostiques de la méthode d'enseignement. Ils ouvraient ainsi la voie à une évaluation com- parative de plusieurs dispositifs pédagogiques, quels que soient leurs type, public, etc.

Cette méthodologie d'évaluation faciliterait l'inférence de processus cogni- tifs, conduisant à la personnalisation d'un dispositif pédagogique, grâce à la numérisation de contenus modulaires, à la flexibilité des stratégies d'ap- prentissage, et aux retours d'expérience adaptés aux besoins de chaque
apprenant. Cette personnalisation, à travers le numérique, vise à adapter la distribution, la fréquence des contenus, et les méthodes d'enseignement, pour répondre aux besoins individuels des apprenants en maintenant un parcours d'apprentissage commun. La personnalisation ne doit pas être confondue avec l'individualisation, qui procure à chaque élève un parcours d'apprentissage totalement distinct. Cette attention, portée sur le déroulement temporel et situé des activités, fait apparaître des phénomènes qui, traditionnellement, échappent aux recherches en sciences humaines, fréquemment plus globalisantes.

Les biomarqueurs numériques permettraient donc d'observer et de comprendre la façon dont les concepteurs scénarisent les pratiques d'évaluation avec la technologie, ainsi que la manière dont les usagers s'en saisissent et se les approprient. L'instrumentation des processus d'évaluation répond à des besoins dans différents contextes sommatifs comme formatifs. Les pratiques se stabilisent progressivement, alors que la recherche dans ce domaine n'en est qu'à ses prémisses.

## CONCLUSION

Le processus d'évaluation est une démarche visant à mesurer, quantifier ou caractériser une action, des savoirs ou savoir-faire souvent complexes. De définition variable selon les domaines, il est souvent considéré comme une pratique pédagogique entre un apprenant et son enseignant. Il s'identifie par une séquence question/réponse/évaluation aux dimensions socio-psychologiques.

La finalité de la méthodologie d'évaluation des dispositifs pédagogiques numériques n'est pas de substituer totalement une technologie à l'évaluation, mais de le soutenir dans sa démarche pédagogique et d'évaluation de l'apprenant, pour mieux appréhender les capacités de ce dernier, et élaborer des stratégies plus adaptées, voire personnalisées. Les méthodologies issues du monde des jeux vidéo et les biomarqueurs numériques sont une brique complémentaire pour affiner ce processus d'évaluation.

L'évaluation des apprentissages assistée par ordinateur deviendrait plus efficiente, pratique, objective, et accessible. Mais, elle s'inscrit encore trop souvent dans la continuité de pratiques existantes. Elle est donc limitée à la reproduction de connaissances déclaratives et de procédures fixes. Aujourd'hui encore, le travail d'évaluation d'apprenants est un processus cognitif, interactionnel, social et pédagogique complexe, qui implique les deux parties pour une efficacité maximale. L'instrumentation de ce travail par les technologies numériques impose une rupture dans les pratiques d'évalua-
tion, qui ne pourrait être ultimement acceptée et adoptée que si un travail
de collaboration se tisse entre concepteurs et acteurs de l'éducation. Dans
cette boucle vertueuse, une appréciation de l'appropriation des technolo-
gies par les apprenants est indispensable pour maximiser leurs capacités et
méthodes de travail.

Enfin, la numérisation engendre un accès et une diffusion ultra-rapides des informations, voire leur production automatisée. C'est le cas notamment avec ChatGPT. L'accumulation des connaissances de l'apprenant et leur restitution ne semblent plus aussi crucales qu'autrefois. Les capacités des apprenants doivent désormais résider dans leur aptitude à rechercher des informations, et à développer leur esprit critique face à cette somme croissante d'informations. L'évaluation des apprentissages ne pourra donc plus se limiter à mesurer la capacité des apprenants à mémoriser et reproduire des informations. Elle devra désormais s'aligner sur les nouveaux objectifs d'une éducation préparant les futures générations à affronter les défis d'un monde globalisé et connecté.

Immergées au cœur du processus d'innovation des technologies d'évaluations pédagogiques, l'expérimentation et la méthodologie d'observations restent indispensables pour étudier pleinement les interactions entre tous les acteurs, et révéler les jalons de développement. L'immersion sur le terrain et la constitution progressive de réseaux sociotechniques joueront un rôle déterminant d'évaluation pertinente et complète, pour une meilleure acceptation des nouveaux dispositifs pédagogiques. En bref, le numérique bouleverse et transforme le rôle, les rituels et la forme des évaluations, dans leur dimension à la fois institutionnelle, économique et sociale.

Bibliographie

Aude Inaudi (2017). « École et numérique : une histoire pour préparer demain. », in *Hermès*, 2, pp. 72-79.

Christine Barats (2006). « Les mythes du supérieur à l'heure des TIC, Analyse de la rhétorique ministérielle pour l'intégration des TIC (négociation, promesse et avantages) », in *Enjeux et usages des TIC*. Reliance sociale et insertion professionnelle.

Shivangi Dhawan (2020). « Online Learning: A Panacea in the Time of COVID-19 Crisis », in *Journal of Educational Technology Systems*, 49(1), p.5-22.

Christopher Brinton et al. (2016). « Mining MOOC clickstreams: Video-watching behavior vs. in-video quiz performance. » in *IEEE Transactions on Signal Processing*, 64(14): 3677-3692.

Larry Cuban, Petar Jandrić (2015). « The dubious promise of educational technologies: Historical patterns and future challenges. », in *E-learning and Digital Media*, 12(3-4), pp.425-439.

Stéphane Legleye, Annaïck Rolland (2019). « Une personne sur six n'utilise pas Inter-
net, plus d'un usager sur trois manque de compétences numériques de base », in *Insee Première*, n° 1780, octobre.

Donell Holloway, Lelia Green, Sonia Livingstone (2013). « Zero to eight : Young children and their internet use. ».

Lydia Plowman (2015). « Researching young children's everyday uses of technology in the family home », in *Interacting with Computers*, 27(1), pp.36-46.

Laurent Tessier (2019), *Éduquer au numérique ? Un changement de paradigme*. MkF Éditions.

Steven Higgins, ZhiMin Xiao, Maria Katsipataki (2012). « The Impact of Digital Technology on Learning: A Summary for the Education Endowment Foundation. Full Report. », in *Education Endowment Foundation*.

Carine Lallemand, Guillaume Gronier, Vincent Koenig (2013). « L'expérience utilisateur : un concept sans consensus ? Enquête sur le point de vue des professionnels. », in *Activités humaines, Technologies et Bien-être*.

Jeff Sauro, James R. Lewis (2016). *Quantifying the user experience: Practical statistics for user research*. Morgan Kaufmann.

Marc Hassenzahl, Kai Eckoldt, Sarah Diefenbach, et al. (2013), « Designing moments of meaning and pleasure. Experience design and happiness. », in *International journal of design*, 7(3), pp.21-31.

Elizabeth A. Boyle, et al. (2012), « Engagement in digital entertainment games: A systematic review » in *Computers in human behavior*, 28.3, pp.771-780.

Michael James Callaghan, Niall McShane, A. Gomez Eguiluz (2014). « Using game analytics to measure student engagement/retention for engineering education. », in *11<sup>th</sup> International Conference on Remote Engineering and Virtual Instrumentation (REV)*, IEEE, 2014, pp.297-302.

Walter R. Boot and al (2008). « The effects of video game playing on attention, memory, and executive control», in *Acta psychologica*, 129(3), pp.387-398.

Graham McAllister, Gareth R. White (2015). « Video game development and user experience. », in *Game user experience evaluation*, pp.11-35.

Regan L Mandryk, Kori M. Inkpen, Thomas W. Calvert (2006). « Using psychophysiological techniques to measure user experience with entertainment technologies. », in *Behaviour & information technology*, 25(2), pp.141-158.

Christian Montag, Daniel S. Quintana (2023). « Digital phenotyping in molecular psychiatry—a missed opportunity?. », in *Molecular Psychiatry*, 28.1, pp.6-9.

Paul Dagum (2018). « Digital biomarkers of cognitive function. », in *NPJ digital medicine* 1(1), p10.

Rui Wang and al (2018). « Tracking depression dynamics in college students using mobile phone and wearable sensing. », in *Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies*, 2(1), pp.1-26.

Jan-Louis Kruger, Faans Steyn (2014). « Subtitles and eye tracking: Reading and performance. », in *Reading Research Quarterly*, 49(1), pp.105-120.
Ivan Vajs, and al (2022), « Spatiotemporal eye-tracking feature set for improved recognition of dyslexic reading patterns in children. », in *Sensors* 22(13):4900.

Saswati Chaudhuri and al (2022), « Teachers' focus of attention in first-grade classrooms: exploring teachers experiencing less and more stress using mobile eye-tracking. », in *Scandinavian Journal of Educational Research*, 66(6), pp.1076-1092.

Guillaume Lio and al (2019). « Digit-tracking as a new tactile interface for visual perception analysis. », in *Nature Communications*, 10(1):5392.

Zhongling Pi and al (2021). « Learning by explaining to oneself and a peer enhances learners' theta and alpha oscillations while watching video lectures. », in *British Journal of Educational Technology*, 52(2), pp.659-679.

Omar AlShorman and al (2020). « The effects of emotional stress on learning and memory cognitive functions: an EEG review study in education. », in 2020 *Sixth International Conference on e-Learning* (econf), IEEE, pp. 177-182.

Ferdousi Sabera Rawnaque, Khandoker Mahmudur Rahman, Syed Ferhat Anwar and al. (2020). « Technological advancements and opportunities in Neuromarketing: a systematic review. », in *Brain Informatics*, 7, pp.1-19.

Shen Ba Xiao Hu (2023), « Measuring emotions in education using wearable devices: A systematic review. », in *Computers & Education*, pp.104797.

Thomas R Insel (2017), « Digital phenotyping: technology for a new science of behavior. », in *Jama* 318(13), pp.1215-1216.

Jukka-Pekka Onnela (2021). « Opportunities and challenges in the collection and analysis of digital phenotyping data. », in *Neuropsychopharmacology*, 46(1), pp.45-54.

Bernie Trilling, Charles Fadel (2009). 21st century skills: *Learning for life in our times*. John Wiley & Sons.
# PARTIE III

## Les dispositifs
# Création et évaluation d'un programme pédagogique inclusif basé sur l'activité physique et le jeu sportif à destination d'enfants ayant un trouble du spectre de l'autisme

Olivia Collet, Geneviève Cabagno, Sandrine Le Sourn-Bissaoui

## Résumé

Alors même que l'activité physique semble constituer un moyen efficace pour améliorer les compétences sociales des enfants présentant un trouble du spectre de l'autisme (TSA), les professionnels ne proposent pas toujours les activités physiques avec cet objectif. Par ailleurs, l'évaluation de l'effet de telles activités est rarement étudiée. Cet article vise à présenter la démarche de cocréation d'un programme pédagogique inclusif, basé sur l'activité physique et le jeu sportif, à destination d'enfants présentant un TSA. Il s'agira par ailleurs d'évaluer l'effet de ce programme aussi bien pour les enfants avec un TSA que pour les enfants neurotypiques, leurs parents, et les professionnels impliqués dans le dispositif.
# INTRODUCTION

La pratique d'activité physique, aujourd'hui reconnue comme bénéfique pour des personnes en situation de handicap (INSERM, 2019), reste peu étudiée dans le champ des sciences humaines en ce qui concerne le trouble du spectre de l'autisme (TSA). En effet, le TSA est un trouble du neurodéveloppement caractérisé par un déficit persistant des interactions sociales et de la communication, observé dans des contextes variés, ainsi que par des intérêts, activités et comportements restreints et répétitifs (DSM 5⁴⁷, 2013), pouvant conduire à une exclusion sociale. L'intensité de ces troubles varie d'une personne à l'autre, permettant de définir la sévérité du TSA allant du « niveau 1 » (nécessitant un soutien) au « niveau 3 » (nécessitant un soutien très important). Pourtant, pour cette population particulière, la Haute Autorité de santé considère que les activités physiques peuvent participer à l'épanouissement personnel et social, à la condition d'un accompagnement spécifique. Par ailleurs, la « Stratégie nationale pour l'autisme 2018-2022 » préconise de soutenir l'inclusion à tous les âges de la vie.

Selon la littérature scientifique centrée sur le TSA, la pratique d'activités physiques pourrait conduire à une diminution des comportements extérieorisés (crises de colère, agressivité, automutilation) et stéréotypés (balancement, tournoiement, écholalie, etc.), ainsi qu'à une augmentation des comportements dirigés vers l'action (écoute les consignes, effectue ce qui lui est demandé, etc.). De plus, plusieurs études ont montré que la pratique d'activités physiques contribuerait aussi au développement des compétences sociales des enfants présentant ce trouble, et à leur développement social en général. En permettant notamment un développement des capacités communicatives, une amélioration de la participation sociale et de leurs relations interpersonnelles, l'activité physique induirait un effet positif sur les interactions sociales. Elle contribuerait ainsi à créer un cadre social optimal, favorisant les interactions, les relations entre participants et les occasions de communiquer, dans un environnement naturel. En effet, les situations de jeu et les activités sportives, par exemple celles de nature coopérative, offriraient des opportunités positives de socialisation à l'enfant, lui permettant d'interagir avec ses pairs, d'expérimenter différents rôles et situations sociales, de partager des intérêts communs, d'apprendre à respecter des règles et à coopérer.

Cependant, l'analyse de la littérature scientifique centrée sur le TSA et l'activité physique met en évidence que les études menées s'inscrivent, jusqu'à récemment, de manière prédominante dans des considérations intra-personnelles centrées de manière ciblée sur les compétences des enfants. Elles ne prennent pas suffisamment en compte son environnement social (pairs, parents) et l'expérience des professionnels engagés dans leur accompa-

<footnote n="47">47. Diagnostic and Statistical Manual of Mental Disorders, cinquième édition.</footnote>
gnement. Or, une analyse uniquement intra-personnelle semble insuffisante pour évaluer l'impact d'un programme d'éducation par l'activité physique sur les compétences socio-comportementales d'enfants avec un TSA, dès lors que l'enjeu prioritaire repose sur l'inclusion de ces enfants avec des enfants neurotypiques. Cette inclusion repose sur l'adaptation du programme à l'ensemble des enfants, qui, de fait, leur permet de participer conjointement et de développer des interactions entre eux, nécessitant des compétences socio-comportementales. De plus, à notre connaissance, peu d'études se fixent comme objectif de tester réellement la pertinence et l'efficacité de ces programmes proposant de l'activité physique en situation d'inclusion, au regard d'autres modalités d'accompagnement, et sur plusieurs mois. Enfin, au regard de l'enquête menée auprès des professionnels accompagnant ce public spécifique, il semble que l'accompagnement proposé soit largement axé sur le développement général de l'enfant, et de façon plus marginale sur le développement d'habiletés sociales ciblées, reposant sur des objectifs d'apprentissage spécifiques en situation d'inclusion avec des enfants au développement typique et mobilisant de l'activité physique. Ceci pourrait expliquer en partie pourquoi les professionnels accompagnant ces enfants TSA n'évaluent pas (ou peu), de manière rigoureuse et la plus objective possible, les effets de leurs pratiques sur les compétences socio-comportementales des enfants.

Face à ces constats, une démarche de création d'un programme pédagogique inclusif basé sur l'activité physique et le jeu sportif semble pertinente, dans l'objectif de développer certaines habiletés sociales de manière ciblée chez des enfants ayant un TSA. Par ailleurs, il convient de mettre en place une procédure d'évaluation des impacts de ce programme pédagogique, sur les habiletés sociales d'une part, mais également sur l'inclusion des enfants d'autre part.

# I. CONCEPTION D'UN PROGRAMME PÉDAGOGIQUE INCLUSIF INNOVANT

Afin de concevoir un programme pédagogique le plus pertinent possible visant à développer des habiletés sociales ciblées chez les enfants avec TSA, une analyse approfondie de la littérature consacrée aux habiletés sociales et à l'intérêt du jeu et de l'activité physique comme leviers d'apprentissage a été réalisée. De plus, un diagnostic, à la fois quantitatif et qualitatif, a été effectué auprès de professionnels accompagnant ce public spécifique. Les résultats obtenus ont montré que l'utilisation de l'activité physique semble instituée dans l'accompagnement de ce public à raison d'une fois par semaine minimum, mais que les professionnels qui la mobilisent sont rarement formés à la fois à l'activité physique et au TSA. De
même que le choix du type d'activité dépend principalement des objectifs généraux d'accompagnement fixés, ou des programmes scolaires, mais ils ne répondent pas toujours aux besoins spécifiques de chaque enfant. Bien que le type d'activité physique reste majoritairement individuel, les séances sont tout de même réalisées en groupe, mais rarement en situation d'inclusion avec des personnes au développement typique. Enfin, plusieurs difficultés rencontrées par les accompagnants ont été identifiées : difficul-tés liées aux problématiques du TSA, manque de personnel encadrant et de formation, ou encore difficultés d'accès aux locaux et au matériel. L'ensemble de ces éléments nous ont permis de définir les orientations pour la conception de notre programme pédagogique innovant.

Pour que celui-ci soit le plus adapté possible aux difficultés rencontrées par les enfants, et le plus pertinent possible au regard des objectifs poursuivis, une démarche participative a été adoptée. Un collectif d'acteurs se composant de quatre professionnelles accompagnant des enfants ayant un TSA, de deux expertes en didactique du sport, et d'une doctorante spécialiste en activités physiques adaptées a été constitué, avec supervision de deux experts universitaires. Cette démarche de conception, appelée « cocréation », permet, en intégrant différents acteurs, d'enrichir les connaissances et de partager des savoirs issus de différents secteurs, aboutissant ainsi à la mise au point de nouveaux outils utiles à l'intervention. Elle permet également la confrontation des intérêts de chacun, et facilite la recherche de consensus. De plus, en intégrant le point de vue de ces différents acteurs, elle permet de répondre au mieux à leurs besoins et à ceux des enfants qu'ils accompagnent.

# 1. DÉMARCHE DE COCRÉATION DU PROGRAMME PÉDAGOGIQUE

La construction du programme pédagogique inclusif a été effectuée au cours de six séances de cocréation d'une durée de quatre heures, à raison d'environ une après-midi par mois. L'objectif de la première séance vise à présenter l'objectif de la démarche de cocréation à l'ensemble des participantes, ainsi que son déroulement, qui s'est étendu sur cinq mois. Au cours de cette première séance, le programme inclusif à construire et les habiletés sociales faisant l'objet des apprentissages visés ont été présentés. Il s'agit de l'imitation et l'attention conjointe, la communication verbale et non verbale, et la gestion des émotions. Ces habiletés sociales ont été identifiées d'une part sur la base de l'analyse de la littérature scientifique, et d'autre part à l'aune des résultats obtenus avec le diagnostic précédemment réalisé, qui souligne que les intervenants considèrent ces habiletés comme particulièrement susceptibles d'être améliorées grâce à l'activité physique. Chacune de ces habiletés a ensuite fait l'objet d'une séance à part entière, ayant abouti à la création d'un jeu sportif spécifique. La cinquième séance de cocréation a pour but de créer une « situation de référence ». Cette dernière correspond à une séance de jeu sportif, qui nous conduira, au cours de la phase suivante de l'étude, à évaluer les effets du programme auprès des
enfants. Enfin, la sixième et dernière séance de cocréation a permis de faire un bilan de l'ensemble du programme créé, et d'établir un guide de recommandations générales sur l'ensemble du dispositif proposé, et plus spécifiques à chacune des séquences.

Chaque séance de cocréation est animée par les deux expertes en didactique du sport, et se déroule de la manière suivante :

### Cadrage de la session (30 min)

Cette séance consiste à présenter la thématique à travailler par le biais du jeu sportif à créer, ainsi que les objectifs. Une présentation des étapes suivantes de la séance est ensuite effectuée, et des feuilles permettant une prise de notes pour chacune des étapes sont distribuées.

### Identification des notions clés (20 min)

L'objectif de cette étape est de définir les éléments ou messages à transmettre à travers le jeu créé, tels que des émotions ou ressentis, des apprentissages spécifiques, ou encore les liens avec le quotidien (ex. : travailler les formules de politesse). Pour cela, un temps de réflexion individuel de dix minutes est octroyé, suivi d'un temps de mise en commun de dix minutes également.

### Choix des leviers pédagogiques d'introduction de la thématique (50 min)

Pour introduire la thématique dans un jeu et y intégrer les notions clés préalablement identifiées, des leviers pédagogiques peuvent être utilisés. Les deux expertes en didactique du sport en ont recensé cinq, à savoir : « renommer l'espace, le matériel, les statuts », « modifier une ou plusieurs règles », « utiliser des annexes didactiques », « les enfants adaptent leurs objectifs dans le jeu et/ou créent de nouvelles règles », « jeu de rôle ou simulation d'émotion ». Après une présentation de chaque levier pédagogique, un nouveau temps de réflexion individuel d'une dizaine de minutes est proposé, afin que chacun identifie les deux formes de symboliques les plus pertinentes au regard de la thématique à travailler et des notions clés définies précédemment. Par exemple, pour la thématique « communication verbale et non verbale », mobiliser le levier pédagogique « utiliser des annexes didactiques » permet l'utilisation de pictogrammes pour communiquer. Puis, une mise en commun autorise chaque personne à présenter et justifier ses choix. Les deux formes les plus choisies sont retenues pour la suite de la cocréation, sous réserve d'un consensus.

### Vérification de la cohérence (20 min)

Il s'agit ici de récapituler l'ensemble des éléments recensés précédemment (la thématique, les objectifs, les notions clés, les formes d'introduction des jeux sportifs) pour vérifier leur adéquation entre eux, et les faire valider par l'ensemble du groupe. Ce temps offre l'occasion aux membres de ce groupe de poser des questions si certaines subsistent.
## Choix des formes de jeu (50 min)

Cette étape a pour intention de déterminer les formes du jeu les plus appropriées en fonction des notions clés et des leviers pédagogiques préalablement sélectionnés. Pour démarrer, un temps de réflexion de dix minutes est accordé aux participants pour compléter une fiche permettant de guider leur réflexion et de prendre des notes. Cette fiche comporte plusieurs questions visant à amener les participants à visualiser progressivement les types et formes de jeu les plus pertinents (ex. : jeu collectif/individuel ; jeu compétitif/coopératif ; nombre de séances sur ce jeu évolutif ; les principales règles de ce jeu ; le matériel/les annexes). Un temps de mise en commun de dix minutes est ensuite alloué pour recenser les différents choix et identifier les plus récurrents, permettant ainsi d'obtenir les contours du jeu. La dernière phase de cette étape a pour ambition de formaliser la séance. Pour cela, pendant trente minutes, l'ensemble des participants verbalisent l'idée (ou les idées) de jeu qu'ils imaginent, permettant à chacun de rebondir sur la proposition des autres. Ces idées sont notées sur un tableau blanc, sous forme de mots et de dessins, aboutissant progressivement à un jeu sportif concret.

## Validation de la séance (30 min)

La séance de cocréation se clôture par trente minutes d'échanges reprenant le cheminement ayant permis la création du jeu. L'objectif est alors de vérifier que le jeu et les éléments qui le constituent sont bien en accord avec la thématique et les objectifs, présentés au début de la séance. Si des questions demeurent de la part des participants, elles sont passées en revue. Avant de se quitter, les feuilles de prise de notes distribuées au début de la séance sont récupérées par les animatrices expertes en didactique du sport.

À l'issue de chaque séance de cocréation, ces deux expertes ainsi que la doctorante travaillent sur la formalisation du jeu, et sur sa déclinaison en quatre à cinq séances. Un recensement des recommandations énoncées lors de chaque séance de cocréation est enfin formalisé dans un document appelé « guide des recommandations ».

## 2. PRÉSENTATION DU PROGRAMME PÉDAGOGIQUE

Les six séances de « cocréation » ont permis d'aboutir à un programme pédagogique inclusif composé de trois jeux sportifs dont les contenus sont évolutifs ; d'une séance « situation de référence » ayant pour but l'évaluation des habiletés ; et d'un guide de recommandations, dont le but est de fournir des indications aux professionnels qui mobiliseront ce programme. La mise en œuvre de ce programme est effectuée sur une durée de seize semaines. À raison d'une séance par semaine, il se déroule comme présenté dans le tableau 1.
Le programme pédagogique conçu a été élaboré sur la base des trois habi- letés sociales citées précédemment, constituant les socles thématiques res- pectifs des jeux sportifs cocréés. Chaque séquence thématique se découpe en quatre à cinq séances évolutives. Deux objectifs généraux ont été iden- tifiés pour chaque séquence thématique. Ces deux objectifs sont déclinés en plusieurs objectifs spécifiques de séance (1 à 2 par séance) qui évoluent au fil de l'avancée du programme. Les séances se déroulent selon le format suivant : échauffement (5 min), jeu sportif (15-20 min), temps calme (5 min).

Les jeux sportifs développés dans le cadre de ce programme sont conçus pour favoriser l'inclusion des enfants présentant un TSA. Leur mise en place prévoit donc la participation conjointe d'enfants présentant un TSA (deux à trois enfants) et d'enfants au développement typique (deux à trois enfants). Les règles de ces jeux sont adaptées à l'ensemble des enfants, et visent à créer de l'interaction entre eux.

<table><caption>TABLEAU 1 — Calendrier de la mise en œuvre du programme</caption><thead><tr><th>Semaine 1</th><th>Semaines 2 à 5</th><th>Semaine 6</th><th>Semaines 7 à 10</th><th>Semaine 11</th><th>Semaines 12 à 15</th><th>Semaine 16</th></tr></thead><tbody><tr><td>Évaluation initiale</td><td>Séquence thématique 1</td><td>Évaluation intermédiaire 1</td><td>Séquence thématique 2</td><td>Évaluation intermédiaire 2</td><td>Séquence thématique 3</td><td>Évaluation finale</td></tr><tr><td>Situation de référence</td><td>Séances de jeu sportif sur la thématique « Imitation et attention conjointe »</td><td>Situation de référence</td><td>Séances de jeu sportif sur la thématique « CommUNICATION verbale et non verbale »</td><td>Situation de référence</td><td>Séances de jeu sportif sur la thématique « Gestion des émotions »</td><td>Situation de référence</td></tr></tbody></table>

Un temps d'information auprès des professionnels intégrant ce programme est effectué au préalable afin d'en expliquer le déroulement et leur implica- tion.
# II. ÉVALUATION DU PROGRAMME PÉDAGOGIQUE INCLUSIF BASÉ SUR L'ACTIVITÉ PHYSIQUE ET LE JEU SPORTIF

L'ambition de notre étude est de déterminer si la mise en place de ce programme, auprès d'enfants ayant un TSA, conduit à une amélioration significative de leurs habiletés sociales et participe à une meilleure inclusion. Il convient ainsi d'évaluer les impacts de ce programme sous différents angles : d'abord, au niveau intra-personnel, en observant comment les habiletés sociales des enfants atteints de TSA évoluent tout au long du programme ; puis, en comparant les effets de ce programme axé sur l'activité physique et le jeu sportif avec d'autres types d'accompagnements pédagogiques ; enfin, en analysant les réactions affectives, cognitives et comportementales des individus dans leur environnement social comprenant les pairs, les professionnels qui les accompagnent, et leur famille. Cette étude a été approuvée par le comité d'éthique de l'université Rennes 2 (numéro de validation : 2022-028). À la suite de la présentation d'une notice d'information, les consentements éclairés ont été obtenus pour les enfants, les parents et les professionnels.

Pour évaluer notre dispositif pédagogique innovant, différentes options ont été adoptées : une approche comparative, une approche longitudinale, et une approche par triangulation de données. Sont ainsi impliqués dans cette évaluation des enfants avec un TSA, des enfants neurotypiques, des parents, et des professionnels ayant mis en œuvre le dispositif. L'ensemble de ces éléments sont détaillés dans la suite de cet article.

## 1. APPROCHE COMPARATIVE

Les études adoptant une approche comparative conduisent à tester l'efficacité d'un programme par rapport à celle d'un autre programme déjà en place. Dans cette perspective, la méthodologie utilisée implique la constitution d'au moins un groupe dit « expérimental » et d'un autre groupe appelé « témoin ». Dans la littérature, la plupart des études cherchant à analyser les effets de l'activité physique sur le plan social des enfants ayant un TSA sont des études dites « randomisées » (avec une répartition aléatoire des participants entre différentes modalités ou différents groupes expérimentaux). Ces études comparent un groupe qui suit le programme d'activité physique évalué à un groupe qui réalise la même activité, mais dans des conditions différentes, ou à un groupe qui effectue une autre activité, voire à un groupe n'ayant reçu aucune intervention proposée.

Dans le cadre de notre étude, pour des raisons éthiques, le choix a été fait de comparer notre groupe expérimental à un groupe témoin réalisant une autre activité mais de même nature, à savoir un programme pédagogique.
L'évaluation de l'efficacité du programme proposé sera donc réalisée en comparant le groupe expérimental participant à notre programme pédagogique inclusif basé sur l'activité physique et le jeu sportif, avec un groupe témoin qui suit un programme pédagogique inclusif mobilisant des activités manuelles pour améliorer les compétences sociales des enfants ayant un TSA. Chacun des groupes est composé de deux enfants atteints d'un TSA (deux garçons pour un groupe ; un garçon et une fille pour l'autre groupe) et de deux enfants au développement typique (deux filles pour chaque groupe), tous âgés de 8 à 10 ans. Les enfants avec TSA inclus dans cette étude sont accueillis au sein d'une unité d'accompagnement et d'apprentissage (U2A). Ils présentent de grandes difficultés de communication (non verbale, imitation verbale ou écholalie) et des troubles du comportement. Les séances se déroulent au sein de l'U2A, à raison d'une fois par semaine.

Notre choix d'activités pour le programme pédagogique du groupe témoin s'est porté sur des activités manuelles. En effet, ces dernières peuvent être réalisées dans les mêmes conditions que celles du groupe expérimental. C'est-à-dire en situation d'inclusion avec des enfants au développement typique, dans un espace clos ou ouvert, sur une durée de trente minutes. Ces activités sont déjà connues des enfants, qu'ils aient un TSA ou un développement typique, puisqu'elles sont déjà mises en place soit dans le cadre de leur scolarité, soit dans leur accompagnement quand celui-ci est effectué en structure.

L'utilisation d'une telle approche comparative pour évaluer l'efficacité d'un dispositif, si elle est pertinente au plan théorique, engendre toutefois un certain nombre de difficultés et de contraintes, d'autant plus importantes dès lors que les groupes constitués s'appuient sur des publics vulnérables. En effet, pour des résultats significatifs, une telle approche nécessite généralement la sollicitation d'un nombre important de participants. Or, dans le cadre de notre étude, il est souvent difficile de solliciter un grand nombre d'enfants ayant un diagnostic de TSA, assez proches géographiquement, et appartenant à une même tranche d'âge, afin que ces éléments ne constituent pas des biais explicatifs de phénomènes identifiés. De surcroît, le public TSA présente une importante diversité de profils de développement, qui dépendent notamment de la sévérité des symptômes autistiques, du niveau de développement et de l'âge chronologique. À cela s'ajoute une hétérogénéité développementale intra-individuelle importante, qui se caractérise par des niveaux différents entre les capacités cognitives, langagières, motrices et adaptatives. Il convient aussi de noter que les enfants présentant un niveau de sévérité de TSA assez important ont généralement peu, voire pas de temps prévu en inclusion avec des enfants au développement typique. Cela induit alors une difficulté supplémentaire à la mise en place de notre protocole d'étude. Enfin, les professionnels accompagnant ce public ne sont pas toujours disponibles pour pouvoir encadrer de nouvelles activités qui viennent s'ajouter à leurs activités professionnelles habituelles, donnant lieu à des difficultés lorsque l'on souhaite valider de nouveaux dispositifs, notamment en termes de sécurité.
Pour surmonter ces obstacles, il est souvent nécessaire d'adapter le pro-
tocole d'expérimentation (conçu de manière « théorique ») aux contraintes
liées au terrain. Cette approche peut engendrer différentes actions, telles
que la réduction du nombre d'enfants intégrés à l'étude, un plus grand in-
vestissement en termes de temps pour la sélection des participants et de
leur établissement d'accompagnement, voire l'identification des enfants
en amont, en fonction de leur profil de TSA, pour garantir une population
d'étude plus homogène. Il s'agit dès lors de prendre en compte ces adapta-
tions dans l'analyse des données recueillies.

## 2. APPROCHE LONGITUDINALE

Selon Safi (2011, p. 161-162), « on peut qualifier de longitudinal l'ensemble des dispositifs empiriques permettant d'intégrer la dimension temporelle dans l'analyse des faits sociaux. Une définition globale reposerait ainsi sur le principe de répéter un protocole d'observation dans le temps ». Une telle approche permet donc de suivre l'évolution dans le temps des thématiques au cœur de nos évaluations, chez un même sujet. Les études longitudinales sont donc des instruments privilégiés pour observer les changements dans le développement des enfants présentant un TSA, et évaluer l'efficacité d'un dispositif au niveau individuel.

Dans le cadre de notre étude, l'utilisation de cette approche va nous per-
mettre de tester l'hypothèse selon laquelle le programme innovant basé sur
l'activité physique et le jeu sportif que nous avons créé permet une amélio-
ration des habiletés sociales des enfants ayant un TSA entre le début et la
fin de sa mise en place. Cela nécessite que le programme élaboré soit expé-
rimenté sur une période suffisamment longue pour que des transformations
cognitives, affectives et comportementales soient possibles. Dans la litté-
rature scientifique, les études proposent des périodes d'expérimentation
allant de six à vingt semaines, suivant la fréquence et la durée des séances
proposées dans la semaine. Dans le cadre de notre programme, celui-ci sera
expérimenté sur une durée de seize semaines.

L'évaluation de la transformation des habiletés sociales des enfants nécessite que celles-ci soient mobilisées lors de situations comparables entre elles. À ces fins, une situation dite « référence » a été spécialement élaborée lors de l'étape de cocréation. Cette situation référence a pour objectif de mobiliser l'ensemble des habiletés sociales ciblées par le programme pédagogique. Elle est donc mise en place au début du programme et à la fin de celui-ci, afin d'effectuer une évaluation du dispositif dans son ensemble ; mais également pour des évaluations intermédiaires, après chaque cycle thématique, pour évaluer de manière plus fine les habiletés concernées par le cycle en question.

Les évaluations sont effectuées sous la forme d'observations écologiques retranscrites dans une grille spécifiquement réalisée pour cette étude. La
grille d'observation a été élaborée en tenant compte des différentes habilités sociales identifiées dans les objectifs de séquences thématiques. Dans la littérature, la plupart des études longitudinales évaluent les compétences socio-communicatives par le biais d'entretiens ou de questionnaires complétés par les parents ou les professionnels accompagnants. Pour autant, l'activité physique et le jeu sportif mobilisés dans le cadre de notre étude favorisent les interactions, et celles-ci s'avèrent difficiles à évaluer par le biais de ces méthodologies, qui produisent des évaluations moins objectives. L'influence du contexte sur les compétences sociales d'un public présentant un TSA, et les interactions produites justifient l'utilisation d'observations écologiques pour les évaluer. Afin de renforcer la fiabilité des données, des enregistrements audio et vidéo des séquences sont assurés, permettant d'être exhaustif et précis dans les évaluations, et de procéder à des observations plurielles par plusieurs observateurs (calcul d'accords inter-observateurs).

Mobiliser une approche longitudinale dans le cadre de notre étude semble pertinent au vu de ce que nous venons de présenter. Cependant, cela ne va pas sans poser certaines difficultés. Tout d'abord, afin de limiter le biais lié à la présence du chercheur lors des séances d'évaluation, il est nécessaire que celui-ci soit présent à l'ensemble des séances mises en place auprès des enfants, imposant le suivi d'un effectif d'enfants restreint. De plus, si on combine la durée de l'étude à l'effectif restreint, nous pouvons être confrontés à l'abandon de quelques participants. Pour répondre à ces limites, il semblerait nécessaire, quand cela est possible, d'adosser plusieurs chercheurs à une même étude, permettant ainsi de suivre un plus grand nombre d'enfants.

### 3. TRIANGULATION DE DONNÉES

Comme indiqué précédemment, évaluer l'impact d'un programme pédagogique inclusif nécessite non seulement d'analyser son effet sur le jeune lui-même, mais également auprès de sa famille, et des autres acteurs engagés dans les activités proposées, tels que les professionnels et les pairs. Effectuer une triangulation des données a pour ambition d'évaluer au mieux les effets de ce programme auprès de l'ensemble des bénéficiaires, en recueillant des données complémentaires portant sur un même objet. Le croisement des points de vue des acteurs et des outils de recueil de données met en exergue la concomitance des résultats, ou la nécessité de les approfondir. Cela donne la possibilité de confronter les données issues de différents points de vue, et cela dans le but d'identifier les convergences ou divergences, proposant ainsi une analyse plus qualitative des données recueillies. Dans le cadre de notre étude, les comportements adaptatifs des enfants ayant un TSA sont donc complémentairement évalués par le biais de la version française du VABS-II (Vineland Adaptive Behavior Scales, seconde édition) aussi appelée Vineland-II. Ces évaluations sont réalisées par les professionnels intégrant notre étude, en amont et à la fin du programme. Par ailleurs, les compétences socio-émotionnelles sont évaluées par le biais du SSIS-SEL (Social Skills Improvement System – Social Emotio-
nal Learning edition, CASEL<fnref n="48" />, 2015). Celui-ci est administré aux parents des enfants concernés, au début et à la fin du dispositif.

En complément des données portant sur les enfants ayant un TSA, il est im-
pératif de considérer les différents acteurs qui prennent part à notre étude,
afin d'évaluer l'impact plus global du programme pédagogique proposé.
Cette démarche s'ancre dans une approche dite « socio-écologique », qui
prône une analyse à plusieurs échelles<fnref n="49" />. De ce fait, nous interrogerons les
enfants au développement typique, les professionnels, ainsi que les parents
des enfants TSA intégrant l'étude. Plus précisément, des entretiens collec-
tifs sont conduits avec les quatre enfants au développement typique parti-
cipant à l'étude (programme d'activités physiques et programme d'activités
manuelles), en amont de la mise en place des activités, pour identifier leurs
attitudes et leurs croyances envers le TSA et l'inclusion des enfants qui en
sont atteints. De nouveaux entretiens conduits à l'issue du programme per-
mettent d'évaluer si le dispositif mis en place a engendré des évolutions à ce
propos, et de recueillir le ressenti global de ces enfants sur leur participation
à ces activités, afin d'identifier les points forts et les points d'amélioration de
ces dernières.

De plus, un entretien semi-directif est réalisé à l'issue de la mise en place
des activités, avec les parents de chaque enfant ayant un TSA, et avec les
deux professionnels ayant intégré notre étude. L'objectif est de recenser
leur perception concernant l'impact du programme sur les enfants ayant un
TSA, et sur les enfants au développement typique (pour les professionnels).
L'entretien avec les professionnels constitue aussi une occasion pour obtenir
leur témoignage sur leur participation à ces activités (ressenti, points forts et
points d'amélioration, difficultés rencontrées, etc.).

Les données recueillies grâce à ces différents outils nous donnent la possibi-
lité de réaliser une évaluation approfondie des enfants atteints d'un TSA, par
la triangulation des données provenant des chercheurs, des enfants neuro-
typiques, des parents et des professionnels. Elles permettent, par la suite,
de faire évoluer le dispositif (contenu du programme basé sur les activités
physiques et le jeu sportif, durée des séquences, fréquence des séquences,
habiletés retenues, etc.), afin de produire un protocole répondant de façon
la plus pertinente possible aux objectifs établis à l'origine du projet, à savoir
permettre à des enfants ayant un TSA de développer leurs compétences
sociales pour favoriser leur inclusion.

<footnote n="48">48. CASEL : Collaborative for Academic, Social, and Emotional Learning (groupe de recherche et d'in-
fluence sur l'apprentissage social et émotionnel et son implication sur les performances scolaires).</footnote>

<footnote n="49">49. Les différentes échelles : ontosystème ; microsystème ; mésosystème ; exosystème ; macrosystème.</footnote>
# CONCLUSION

Mobiliser une approche comparative et longitudinale pour évaluer l'impact du programme pédagogique innovant, en effectuant par ailleurs une triangulation des données avec les différents acteurs, nous permet d'évaluer finement l'efficacité du dispositif à différentes échelles : au niveau individuel (démarche longitudinale avec plusieurs échéances intermédiaires et progression), au niveau collectif (comparaison de groupes avec programmes différents), et par le biais de points de vue différents (pairs, parents, professionnels). Toutefois, en dépit de la pertinence de cette approche, la difficulté principale réside dans la faible ampleur des effectifs pouvant être sollicités, nous amenant à être très prudents dans les conclusions qui seront avancées. De nouvelles mises en œuvre, tenant compte des éléments de discussion identifiés, doivent être proposées, avant de réaliser l'objectif, à terme, de déploiement de ce programme innovant au sein de différentes structures accueillant des enfants ayant un TSA, à l'échelle nationale.

## Bibliographie

Cay Anderson-Hanley, Kimberly Tureck, Robyn L. Schneiderman (2011). « Autism and exergaming: effects on repetitive behaviors and cognition. », in *Psychology research and behavior management*, pp. 129-137.

Christopher Petrus, Sarah R. Adamson, Laurie Block, Sarah J. Einarson, Maryam Sharifnejad, Susan R. Harris (2008). « Effects of exercise interventions on stereotypic behaviours in children with autism spectrum disorder. », *Physiothérapie Canada*, 60(2), pp. 134-145.

Jenna Lequia, Wendy Machalicek, Mandy J. Rispoli (2012). « Effects of activity schedules on challenging behavior exhibited in children with autism spectrum disorders: A systematic review », in *Research in Autism Spectrum Disorders*, 6(1), pp. 480-492.

Fatimah Bahrami, Ahmadreza Movahedi, Sayed Mohammad Marandi, Carl Sorensen (2016). « The effect of karate techniques training on communication deficit of children with autism spectrum disorders », in *J Autism Dev Disord*, 46(3), pp. 978-986.

Mahboubeh Ghayour Najafabadi, Mahmoud Sheikh, Rasoul Hemayattalab, Amir-Hossein Memari, Maryam Rezaii Aderyani, Sina Hafizi (2018). « The effect of spark on social and motor skills of children with autism », in *Pediatrics & Neonatology*, 59(5), pp. 481-487.

Sean Healy, Adam Nacario, Rock E. Braithwaite, Chris Hopper (2018). « The effect of physical activity interventions on youth with autism spectrum disorder: A meta-analysis », in *Autism Research*, 11(6), pp. 818-833.

Michelle Sowa, Ruud Meulenbroek (2012). « Effects of physical exercise on autism spectrum disorders: A meta-analysis », in *Research in Autism Spectrum Disorders*, 6(1), pp. 46-57.

Mengxian Zhao, Shihui Chen (2018). « The effects of structured physical activity program on social interaction and communication for children with autism », in *BioMed Research International*, pp. 1-13.
Janette Hynes, Martin Bloc (2022). « Effects of Physical Activity on Social, Behavioral, and Cognitive Skills in Children and Young Adults with Autism Spectrum Disorder: a Systematic Review of the Literature », in *Review Journal of Autism and Developmental Disorders*.

Margaret M. Bass, Catherine A. Duchowny, Maria M. Llabre (2009). « The effect of the-rapeutic horseback riding on social functioning in children with autism », in *J Autism Dev Disord*, 39(9), pp. 1261-1267

Maël Le Paven, Sophie Roesslé, Emmanuelle Roncin, Monique Loquet, Yvon Léziart (2007). « La dévolution dans les activités physiques sportives et artistiques non sco-laires », in *Éducation et didactique*, 1-3, pp. 9-29.

Andrew M. Colombo-Dougovito, Jihyun Lee (2021). « Social skill outcomes following physical activity-based interventions for individuals on the autism spectrum: A scoping review spanning young childhood through young adulthood », in *Adapted Physical Ac-tivity Quarterly*, 38(1), pp. 138-69.

Crystal F. Branta, Jacqueline D. Goodway (1996). « Facilitating social skills in urban school children through physical education. », in *Peace and Conflict: Journal of Peace Psychology*, 2(4), pp. 305-319.

Elaine McHugh (1995). « Going 'beyond the physical': Social skills and physical educa-tion », in *Journal of Physical Education, Recreation & Dance*, 66(4), pp. 18-21.

Martin Gendron, Egide Royer, Richard Bertrand, Pierre Potvin (2006). « Les troubles du comportement, la compétence sociale et la pratique d'activités physiques chez les adolescents », in *Revue des sciences de l'éducation*, 31(1), pp. 211-233.

Olivia Collet, Sandrine Le Sourn-Bissaoui, Geneviève Cabagno (2022). « Regards croisés sur la place de l'activité physique dans l'accompagnement des enfants ayant un TSA », 1er colloque international du Groupement national des centres de ressources Autisme (GNCRA), TSA développer, partager, innover !, Lyon, 19-20 mai 2022.

Bérangère Storup, Claudia Neubauer, Glen Millot (2012). « La recherche participative comme mode de production de savoirs : un état des lieux des pratiques en France. », in *Fondation Sciences Citoyennes*.

Pierre Fournier, Manon Ménard, Elisa Wrembel (2021). « Expérimenter la recherche-projet en doctorat : applications dans les champs de la santé et du handicap », in *Études de communication*, 56, pp. 55-76.

Sophie Genelot, Bruno Suchaut (2022). « L'évaluation des innovations pédagogiques : quelles modalités de coopération entre les différents acteurs ? », in *Mesure et évaluation en éducation*, 23(1), pp. 23-42.

Chia-Hua Chu, Chien-Yu Pan (2012). « The effect of peer- and sibling-assisted aquatic program on interaction behaviors and aquatic skills of children with autism spectrum disorders and their peers/siblings », in *Research in Autism Spectrum Disorders*, 6 (3), pp. 1211-23.

Leah Ketcheson, Janet Hauck, Dale Ulrich (2017). « The effects of an early motor skill intervention on motor skills, levels of physical activity, and socialization in young children with autism spectrum disorder: A pilot study », in *Autism*, 21(4), pp. 481-492.

M.A. Bernard, Erice Thiébaut, Camilla Mazetto, et al. (2016). « L'hétérogénéité du dé-veloppement cognitif et socio-émotionnel d'enfants atteints de trouble du spectre de
l'autisme en lien avec la sévérité des troubles », in Neuropsychiatrie de l'enfance et de l'adolescence, 64(6), pp. 376-382.

Mirna Safi (2011). « Chapitre 10. L'analyse longitudinale données et méthodes », in La France dans les comparaisons internationales, Presses de Sciences Po, pp. 161-172.

Amaria Baghdadli, Charles Aussilloux (2002). « Intérêts et limites des études longitudinales dans la mesure du changement chez la personne autiste », in Enfance, 54(1), p. 40.

Urie Bronfenbrenner (1979). *The Ecology of Human Development: Experiments by Nature and Design*. Harvard University Press.

Séverine Ferrière, Fabien Bacro, Agnès Florin, Philippe Guimard (2016). « Le bien-être en contexte scolaire : Intérêt d'une approche par triangulation méthodologique. », in Les Cahiers internationaux de psychologie sociale, 111(3), pp. 341-365.

Sara S. Sparrow, Domenic V. Cicchetti, David A. Balla (2005). « Vineland Adaptive Behavior Scales-Second Edition (Vineland-II) », in Circle Pines, MN: American Guidance Service.
# Utilisation d'un jeu en pédagogie universitaire ; évaluation de l'attention des étudiants

François Lecellier

## Résumé

Au sein de l'université de Poitiers, le jeu vidéo Minecraft est utilisé depuis de nombreuses années à différents niveaux. L'évaluation de cette utilisation a été réalisée de trois manières distinctes : 1) au moyen des notes obtenues par les étudiants traduisant leur acquisition de compétences ; 2) par le biais de questionnaires anonymes transmis aux étudiants ; 3) au travers de la mesure de l'attention visuelle des étudiants lors des séances. L'ensemble des trois évaluations montrent une augmentation de l'attention et de l'engagement des étudiants lors de l'utilisation du jeu, par rapport à des séances plus traditionnelles.
# INTRODUCTION

En 2015, l'université de Poitiers a entamé la transformation pédagogique d'un module de « gestion de projet » au sein du département « génie électrique et informatique industrielle » de l'IUT de Poitiers-Niort-Châtellerault. Ce module comprend une étude bibliographique et la réalisation d'un mini-projet technique grâce à l'utilisation du jeu Minecraft. L'objectif est clair : à travers cette transformation, il s'agit d'utiliser le jeu vidéo pour différencier les compétences de gestion de projet, des compétences techniques en cours d'acquisition.

Cette modification de la pédagogie a entraîné de nombreux questionnements sur la mesure de l'efficacité de cette nouvelle pratique pédagogique. En effet, le jeu vidéo dans un sens pédagogique nécessite une appropriation par l'équipe enseignante, mais aussi par les étudiants. Ces derniers connaissent, en règle générale, le domaine du jeu vidéo, mais ne sont pas habitués à l'utiliser dans un contexte scolaire, et encore moins universitaire. C'est donc tout naturellement que la question de l'évaluation est apparue pour permettre de déterminer les points aussi bien positifs que négatifs d'une telle approche.

Afin d'évaluer le dispositif pédagogique mis en œuvre à l'université de Poitiers, il a été décidé de s'appuyer sur trois indicateurs : 1) les notes traduisant l'acquisition de compétences liées à la gestion de projet ; 2) les retours sur questionnaires d'évaluation ; 3) l'évaluation de l'attention visuelle des étudiants lors des séances. Ces trois indicateurs déterminent de manière globale l'attention, l'intérêt et l'acquisition des compétences nécessaires à la validation de l'approche pédagogique innovante.

Dans le cadre de cet article, nous éclairerons la manière dont les trois indicateurs ont été collectés, et comment ils soulignent la pertinence de l'intégration du jeu vidéo dans l'enseignement de la gestion de projet pour les étudiants en premier cycle universitaire. Après avoir contextualisé la transformation pédagogique, nous présenterons les deux premiers indicateurs, avant de nous pencher sur l'expérimentation de la mesure de l'attention visuelle, pour finalement conclure.

# I. CONTEXTE

Dans cette première partie, nous détaillerons les éléments contextuels pour déterminer les modalités pédagogiques utilisées et leur évaluation. Le module qui exploite le jeu vidéo à des fins pédagogiques est intitulé « conduite
de projet » dans l'ancien programme pédagogique national du diplôme de DUT « génie électrique et informatique industrielle » (GEII). Dans le cadre de la réforme du bachelor universitaire de technologie (BUT), ce module a été transformé. Il s'intitule désormais « vie de l'entreprise ». Ce qui élargit les compétences et connaissances à enseigner. Pour la suite de cet article, nous parlerons de gestion de projet pour couvrir les deux modules, et la notion de manière plus générale.

Le module arrive très rapidement dans le parcours universitaire des étudiants, puisqu'il est enseigné dès le premier semestre universitaire. L'enseignement de la gestion de projet se révèle déjà complexe pour les étudiants en fin de licence ou en master, comme le soulignent Thomas et Mengel (2008). Ces auteurs insistent notamment sur le fait que, pour gérer efficacement un projet, les managers doivent apprendre à composer avec l'incertitude. En 2013, les travaux de Shariff, Johan et Jamil (2013) mettent en lumière que les compétences en gestion de projet sont plus facilement développées lorsque les étudiants sont en mesure de s'organiser eux-mêmes dans la conception, la définition et la réalisation de leurs projets.

Pour ces différentes raisons, l'enseignement de la gestion de projet pour des étudiants de première année est un véritable défi pédagogique. D'un côté, nous ne pouvons pas leur demander de mener à bien un projet technique dans le domaine du génie électrique ou de l'informatique industrielle, sans les guider profondément. D'un autre côté, l'aspect pratique de la gestion de projet est capital pour leur permettre d'acquérir les compétences visées.

Dans la perspective de résoudre ce challenge, nous avons décidé d'utiliser le jeu vidéo afin de passer outre les compétences techniques, et de pouvoir évaluer réellement les compétences de gestion de projet.

# 1. PRÉSENTATION DU MODULE DE « GESTION DE PROJET »

Pratiquement, le module de « gestion de projet » est organisé de la manière suivante :

* présentation des objectifs du module et de la méthodologie générale de gestion de projet en cours magistral ;

* séances sur le jeu vidéo en travaux dirigés en présence d'un enseignant ;

* travail personnel en dehors de séances, depuis l'université ou à distance.

Les sessions sur le jeu vidéo sont composées de quatre séances de deux heures de travaux dirigés. Durant ces séances, les étudiants sont répartis en groupes de six individus. Leur tâche consiste à gérer le projet de bout en bout. À cet effet, ils sont appelés à :
* décider de manière collégiale comment répondre à la consigne générale donnée (créer une construction au sein du jeu Minecraft);

* réaliser leur construction en fonction de la connaissance du jeu de chaque membre du groupe;

* respecter les contraintes de temps (un mois et demi) et d'espace (zone de construction prédéfinie au sein de l'univers virtuel);

* présenter leur construction et la manière dont ils ont réparti leur travail.

L'ensemble de ces étapes permet de valider les compétences étudiées et mises en pratique en gestion de projet.

## 2. MÉTHODES D'ÉVALUATION

Dans le cadre du module, nous proposons une évaluation formelle des compétences de gestion de projet. Pour cela, les étudiants reçoivent une note qui représente leur acquisition de compétences. Cette notation ne se foca-lise pas sur la réalisation, mais sur la méthodologie de réalisation. C'est-à-dire la coopération entre les membres du groupe, la communication interne et externe, et le respect du cahier des charges. Si cette méthode d'évaluation est importante dans un contexte d'étude, elle ne reflète pas l'engage-ment des étudiants dans le module.

Pour évaluer cet engagement, nous avons tout d'abord invité les étudiants à compléter un questionnaire visant à identifier les points positifs et négatifs de l'enseignement. Cette évaluation permet de déterminer le degré d'acceptation et d'engagement général des étudiants dans le module. Toutefois, il convient d'admettre qu'elle est subjective, et ne permet pas de mesurer objectivement l'attention des étudiants dans le cadre du cours.

Pour y parvenir, nous avons procédé à une dernière évaluation au travers de mesures d'oculométrie. Celles-ci permettent de saisir l'attention visuelle et les points de focalisation des utilisateurs dans tout contexte. Dans ce cas, nous avons choisi de réaliser la mesure de l'attention visuelle des étudiants lors des séances de travaux dirigés.

## II. ÉTAT DE L'ART EN MATIÈRE D'ÉVALUATION DE L'ATTENTION VISUELLE

En ce qui concerne l'évaluation de l'attention visuelle des étudiants lors de séquences pédagogiques, Jarodzka, Skuballa et Gruber (2021) observent
qu'il est complexe de comparer les résultats entre plusieurs étudiants, du fait de la variabilité des séances, des acteurs et du contexte. En effet, il n'est pas possible de proposer des séquences identiques lors d'une session de cours. Les auteurs constatent, cependant, que cette variabilité n'est pas probablematique si l'on réalise les mesures pendant des activités pédagogiques similaires. Seules quelques études ont mesuré l'attention visuelle des étudiants lors de séquences habituelles d'apprentissage. En règle générale, il s'agit d'expérimentations en laboratoire (Przybyło, Kantoch, & Augustyniak, 2019) ou en vidéo (Wang, Antonenko, & Dawson, 2020). Pour autant, certaines conclusions s'imposent, y compris dans le cadre de ces expérimentations. En particulier, les émotions ressenties par un étudiant et son niveau de stress ont un impact direct sur son attention visuelle. Le stress diminue de manière sensible le nombre de saccades et de fixations. Durant un cours en vidéo, la présence ou non de l'enseignant à l'écran change du tout au tout l'attention visuelle. Lorsque l'enseignant est présent à l'écran, l'attention visuelle et l'acquisition de connaissances augmentent.

D'autres auteurs ont mené des études sur l'attention visuelle en classe. Par exemple, les travaux de Yang, Chang, Chien, Chien, & Tseng (2013), ou en-core ceux de Jarodzka, Skuballa et Gruber (2020) mettent en évidence que l'attention visuelle des étudiants est corrélée à différents facteurs : 1) l'engagement de l'étudiant dans le cadre de l'activité pédagogique ; 2) la présence et les interactions avec l'enseignant ; 3) et bien entendu la présence et les interactions possibles avec les autres étudiants. Un autre point à noter est que l'obtention de résultats dans un environnement non standardisé (en dehors du laboratoire) demeure rare. Cependant, les études révèlent que l'attention visuelle représente un phénomène complexe. Elle ne traduit pas, à elle seule, la qualité ou la bonne acquisition de connaissances au sein d'un processus d'enseignement. De plus, les expérimentations réalisées en laboratoire montrent leurs limites pendant le passage à l'échelle et en conditions réelles d'enseignement.

Par ailleurs, la réglementation en termes de données personnelles s'avère compliquée en raison de la capacité des oculomètres à capturer en temps réel un volume important de données personnelles. À titre d'exemple, toutes les personnes présentes dans la pièce peuvent être vues pendant les enregistrements. Par conséquent, obtenir le consentement de chaque individu, y compris les étudiants et l'enseignant, est indispensable. Cela se complexifie si un des étudiants est mineur. L'ensemble de ces difficultés se traduit par un nombre faible d'études sur l'attention visuelle en situation pédagogique réelle. Idéalement, il serait souhaitable de recueillir des données pour chaque individu présent dans la salle au cours de la même séquence pédagogique. Mais, cette perspective se heurte à des contraintes financières et logistiques. Il est impossible d'équiper chaque personne d'un eye-tracker dans une salle de classe. La raison ? Cet outil est trop coûteux et difficile à mettre en œuvre.
# III. L'ÉVALUATION DU MODULE DE GESTION DE PROJET

Comme nous l'avons indiqué dans la présentation du contexte, nous avons décidé d'utiliser trois mesures différentes pour évaluer la transformation pédagogique du module de gestion de projet : 1) une évaluation classique au travers de notation ; 2) une évaluation subjective par les étudiants ; 3) une évaluation de l'attention visuelle.

Ce sont ces trois mesures que nous allons détailler maintenant.

## 1. ÉVALUATION STANDARD DU MODULE

Cette évaluation est standard dans un contexte d'enseignement. La notation reflète le niveau d'acquisition de connaissances ou de compétences selon une grille d'évaluation spécifique. Dans notre cas, l'objectif de l'enseignement est clair. Quant à la grille d'évaluation, elle comprend cinq points :

* communication interne dans le groupe ;

* participation de l'ensemble des membres du groupe à la réalisation finale ;

* organisation du travail entre les étudiants familiers ou moins familiers du jeu utilisé ;

* réalisation conforme au cahier des charges initial ;

* présentation finale / communication externe.

Nous avons comparé les notes obtenues par l'ensemble des étudiants de première année sur le module, soit un total de 65 étudiants. En comparant les notes obtenues par les étudiants pendant l'utilisation de Minecraft et hors utilisation de Minecraft, on se rend compte d'une progression des notes de 20 % (trois points) en moyenne avec l'utilisation du jeu. Cette augmentation témoigne que les étudiants acquièrent bien les compétences que nous souhaitons développer.

## 2. ÉVALUATION PAR LES ÉTUDIANTS

Cette seconde évaluation est certainement la plus subjective. En effet, les étudiants vont évaluer non seulement le module et les compétences qu'ils acquièrent, mais aussi le logiciel, les méthodes d'enseignement, les interactions avec le professeur... Toutefois, en cas d'évaluation comparée entre le cours sans le jeu et le cours avec le jeu, on peut considérer que l'impact des différents biais est presque le même.
Dans ce cas, nous avons demandé aux étudiants de noter sur une échelle de
un à sept leur satisfaction sur le module, puis de répondre à quatre questions :

* Quels sont les points forts du module ?

* Quels sont les points faibles du module ?

* Quelles améliorations proposer ?

* Avez-vous des suggestions complémentaires ?

Cette évaluation n'étant pas obligatoire, tous les étudiants n'y ont pas pris part. Seuls 43 ont répondu sur les 65 concernés par le module. Les résultats sont clairs : les notes données par les étudiants au module augmentent de 26 % en fonction de l'utilisation, ou non, du logiciel. De manière plus détaillée, les étudiants considèrent que s'approprier les compétences de manière ludique les aide à s'impliquer dans la réalisation de leur projet. La grande majorité des commentaires sont positifs, et attestent de l'investissement des étudiants dans le module (encadré 1).

## ENCADRÉ 1 — Commentaires d'étudiants

> « L'approche pédagogique est très abordable par tout le monde pour avoir une gestion du groupe cohérente. »

> « Projet sur un logiciel intéressant et plaisant (Minecraft). Bonne ambiance. Ap-prends à travailler en groupe. »

> « Le module a permis de travailler en groupe plus que d'habitude. Étant donné que c'était des groupes de cinq à six personnes, il a fallu se mettre d'accord sur beaucoup de choses pour pouvoir avancer. J'ai trouvé ça très intéressant. »

> « Un cours intéressant, compte tenu de l'importance du travail d'équipe dans les domaines vers lesquels nous dirige la formation GEII. »

> « Il serait bon de donner des objectifs pour chaque séance et de demander plus d'organisation dans les groupes. »

À la lecture des commentaires des étudiants, il est clair que la majorité d'entre eux apprécient le module. Cet intérêt peut contribuer à l'engage-ment des étudiants. Certains, en revanche, affirment ne pas être intéressés par cet exercice. Et d'autres avouent ne pas comprendre l'intérêt d'utiliser le jeu pour la gestion de projet (encadré 2).

## ENCADRÉ 2 — Remarques négatives d'étudiants

> « Apprendre à gérer des projets avec un jeu vidéo quin'est pas maîtrisé de la même façon par tous les élèves, c'est nul et en plus moi, perso, je déteste Minecraft. »
« Les travaux dirigés ne sont pas pour moi assez représentatifs de ce que l'on attend en conduite de projet. »

« Certains étudiants peuvent se poser des questions concernant l'utilité de travailler sur Minecraft. »

### 3. ÉVALUATION DE L'ATTENTION VISUELLE

Afin d'évaluer de manière objective l'attention des étudiants dans ce contexte spécifique d'apprentissage, nous avons mis en place un protocole expérimental pour mesurer leur attention visuelle durant les séances. L'attention visuelle est mesurée au moyen d'un oculomètre qui permet de déterminer les points de fixation oculaires d'un utilisateur au fil du temps. Il existe plusieurs modèles d'oculomètres : certains sont fixes sur l'écran d'un ordinateur, et d'autres portés sous forme de lunettes. C'est ce second modèle que nous avons utilisé.

Le protocole expérimental est le suivant :

* l'étudiant est équipé d'un oculomètre durant 30 minutes en travaux dirigés ;

* l'oculomètre utilisé est celui proposé par la société Tobii sous la référence Glasses 3, et permet d'enregistrer le champ visuel de l'utilisateur avec une résolution spatiale de 1 920 x 1 080 pixels, et une résolution temporelle de 60 Hz ;

* deux types de travaux dirigés sont analysés, des séances sur le jeu Minecraft, et des séances plus traditionnelles avec papier/crayon ;

* pour limiter les biais de l'étude, nous n'analyserons les séquences qu'à partir de cinq minutes d'enregistrement et pour une durée de 20 minutes.

Ce protocole a été mis en place pour permettre une mesure la plus fiable et reproductible possible.

### 4. MESURES RÉALISÉES

Nous avons réalisé les mesures auprès de quatorze étudiants de première année universitaire en séquences de travaux dirigés. Pour sept d'entre eux, il s'agissait d'une séquence traditionnelle, et pour les sept autres d'une séquence sur Minecraft. Dans la séquence traditionnelle, les étudiants participent aux travaux dirigés d'informatique industrielle, durant lesquels ils sont chargés de concevoir des algorithmes correspondants aux problèmes po-
sés. Avec Minecraft, les étudiants se concentrent sur leur construction, s'interrogent sur le sujet, et travaillent en utilisant des feuilles distribuées ainsi que l'aide apportée par le professeur au tableau.

Les enregistrements contiennent un taux d'acquisition oculométrique supérieur à 80 %. L'utilisation des 20 minutes centrales permet de ne pas introduire de biais liés à la mise en place ou au retrait des lunettes. En effet, les étudiants mettent un peu de temps à s'habituer à porter les lunettes ; et ils ont tendance à bouger plus rapidement, ou inversement, plus lentement en début d'acquisition, et vers la fin de cette dernière.

Au cours de ces séances, nous avons entrepris de mesurer les fixations visuelles. Ces mouvements oculaires spécifiques se caractérisent par un maintien du regard, relativement fixe, pendant une durée supérieure à 50 milli-secondes. Nous avons enregistré le nombre de fixations, la durée de ces dernières, ainsi que les cartes de chaleur qui en résultent. Par la suite, nous avons calculé les moyennes de ces trois mesures pour pouvoir comparer les résultats selon les deux modalités d'enseignement. Dans cette perspective, nous avons cherché à distinguer les zones d'intérêt des autres zones sur les enregistrements. Nous avons décidé de considérer comme zone d'intérêt les zones suivantes :

* l'ordinateur, le tableau et le professeur dans le cadre d'une séquence sous Minecraft ;

* le papier/crayon, le tableau et le professeur dans le cadre d'une séquence plus traditionnelle.

Le contenu situé en dehors de ces zones est identifié comme étant « hors zone d'intérêt ». Il importe de préciser que pendant les séquences avec Minecraft, si l'ordinateur n'est pas utilisé pour le jeu, les fixations ne sont pas considérées comme « en zone d'intérêt ». Enfin, pour pouvoir agréger au mieux les différentes mesures, nous avons effectué la moyenne de chaque paramètre sur 20 périodes d'une minute pendant les 20 minutes analysées. Cette approche permet de visualiser de manière plus synthétique les résultats expérimentaux.

## 5. RÉSULTATS EXPÉRIMENTAUX

Si l'on commence par analyser le nombre moyen de fixations dans des zones d'intérêt, on constate que ce nombre varie de manière importante selon le type de séquence. Lors d'une séquence standard, 64,5 % des fixations se font dans des zones d'intérêt, alors qu'avec Minecraft, ce sont plus de 86 % des fixations qui sont focalisées dans ces zones. De manière plus spécifique, l'évolution du nombre de fixations au fil du temps est beaucoup plus régulière avec Minecraft que dans une séance traditionnelle (figure 1).
<figure><img src="image_9.png" /><figcaption>FIGURE 1 — Nombre moyen de fixations par minute pour (a) une séance sous Minecraft et (b) une séance traditionnelle</figcaption></figure>

Cette évolution se traduit par une différence dans l'attention des étudiants entre les deux types de séquences. Dans la séquence traditionnelle, on observe une diminution significative de l'attention au fil du temps. Ce qui s'explique par un relâchement de l'attention des étudiants en cours de la séance. À l'inverse, lors des séquences avec Minecraft, l'implication des étudiants est plus régulière. Ce qui les maintient actifs en permanence. Cette diminution de l'attention, en fonction du temps, est un phénomène classique lors des mesures de la concentration ou de l'attention, qu'elles soient visuelles ou non, comme l'indique Neil A. Bradbury (2016). Lorsque l'on compare la durée des fixations plutôt que leur fréquence, l'écart se révèle tout aussi notable. Les étudiants consacrent plus de 92 % de leur temps à des zones d'intérêt dans le cadre des séquences avec Minecraft, tandis que dans le contexte plus traditionnel, cette proportion s'élève à près de 75 %.

L'analyse des fixations visuelles montre que le regard des étudiants se focalise sur les zones d'intérêt pendant la majeure partie du temps, quelle que soit l'activité pédagogique. Mais, lorsqu'ils utilisent Minecraft, cette attention augmente, atteignant des niveaux élevés (plus de 80 %). Cela explique en grande partie la réception positive de Minecraft par la plupart des étudiants, et pourquoi ce dispositif ludique favorise une meilleure acquisition des connaissances.

Enfin, nous avons étudié les cartes de chaleur, qui illustrent le positionnement des points de fixation dans le champ visuel de l'observateur. La zone où les fixations sont plus fréquentes est représentée en rouge, tandis que celle avec moins de fixations apparaît en vert ou en noir. En comparant ces cartes de chaleur (figure 2), plusieurs différences émergent. Tout d'abord, lorsque les étudiants utilisent Minecraft, leur regard se concentre davantage vers le centre de leur champ visuel, contrairement à la séance traditionnelle. De plus, le regard des participants se concentre dans une région plutôt restreinte sous
Minecraft par rapport aux séances avec papier/crayon. La focalisation du regard sur le centre du champ visuel est habituelle et totalement normale pour les humains. Il s'agit du « biais centré », comme l'ont expliqué Zhao et Koch (2013).

<figure><img src="image_10.png" /><figcaption>FIGURE 2 — Cartes de chaleur pour (a) une séance sous Minecraft et (b) une séance traditionnelle</figcaption></figure>

La différence observée peut être attribuée à l'activité menée par les étudiants. L'usage de Minecraft induit une position plus élevée de l'écran de l'ordinateur, par rapport à celle d'une feuille de papier lorsqu'ils travaillent avec un crayon. En outre, l'attention est plus facilement perturbée par les autres étudiants en séance traditionnelle. Par ailleurs, avec Minecraft, l'enseignant a tendance à donner moins d'explications au tableau qu'en séance traditionnelle. L'ensemble de ces éléments met en évidence une nette différence dans l'attention des étudiants en fonction du type de séquence pédagogique. L'objectif sous-jacent à la comparaison des cartes de chaleur n'est pas de déterminer quelle modalité pédagogique est la plus performante, mais plutôt de souligner que l'attention visuelle des étudiants diffère fondamentalement en fonction de l'activité pédagogique à laquelle ils participent.

## CONCLUSION

Cet article présente plusieurs méthodes d'évaluation d'un dispositif pédagogique innovant en pédagogie universitaire : l'utilisation du jeu Minecraft pour la gestion de projet. Les mesures réalisées soulignent une meilleure attention visuelle, ainsi qu'une amélioration de l'acquisition des compétences, de l'appropriation et de l'engagement des étudiants pendant les séances. Le recours à trois stratégies d'évaluation du dispositif permet de le valider de manière fiable et objective. Il est bien entendu possible de considérer les variations sur les notes ou l'évaluation par les étudiants comme des mesures relativement subjectives. Toutefois, la mesure objective de l'attention visuelle des étudiants corrobore la plus-value de l'approche pédagogique dans ce contexte particulier.
Le travail avec Minecraft a été étendu au-delà du cadre universitaire. Il a été utilisé auprès des élèves de primaire, de collège et de lycée. Dans chaque cas, les équipes enseignantes ayant expérimenté cette pédagogie ont constaté une augmentation de l'attention des apprenants. Pour autant, contrairement aux étudiants, aucune évaluation n'a été mise en place pour ces publics.

À ce jour, nous envisageons de réaliser de nouvelles séquences de measures oculométriques, pour évaluer l'attention des apprenants dans d'autres contextes, et relier attention visuelle, acquisition de compétences et engagement des apprenants. Cela pourrait se réaliser en ajoutant à la mesure d'attention visuelle une analyse du comportement, pour mesurer l'attention globale des apprenants. Pour cela, il serait nécessaire de réaliser des captations vidéo des séances pédagogiques, en plus des acquisitions oculométriques et de tests de positionnement.

## Bibliographie

N. A. Bradbury (2016). Attention span during lectures: 8 seconds, 10 minutes, or more? *Advances in Physiology Education*.

H. Jarodzka, I. Skuballa & H. Gruber (2020). Eye-Tracking in Educational Practice: Investigating Visual Perception Underlying Teaching and Learning in the Classroom. *Educational Psychology Review*.

H. Jarodzka, I. Skuballa & H. Gruber (2021). Eye-Tracking in Educational Practice : Investigating Visual Perception Underlying Teaching and Learning in the Classroom. *Educational Psychology Review*.

J. Przybyło, E. Kantoch & P. Augustyniak (2019). Eyetracking-based assessment of affect-related decay of human performance in visual tasks. Future Generation Computer Systems.

S. M. Shariff, Z. J. Johan & N. A. Jamil (2013). Assessment of Project Management Skills and Learning Outcomes in Students' Projects. *Procedia – Social and Behavioral Sciences*, 90.

J. Thomas & T. Mengel (2008). Preparing project managers to deal with complexity - Advanced project management education. *International journal of Project Management*, 26.

J. Wang, P. Antonenko & K. Dawson (2020). Does visual attention to the instructor in online video affect learning and learner perceptions? An eye-tracking analysis. *Computers & Education*.

F.-Y. Yang, C.-Y. Chang, W.-R. Chien, Y.-T. Chien & Y.-H. Tseng (2013). Tracking learners' visual attention during a multimedia presentation in a real classroom. *Computer & Education*.

Q. Zhao & C. Koch (2013). Learning saliency-based visual attention: A review. *Signal Processing*.
# La place des jeux au sein de la formation

Élodie Delahaye, Jean Marc Ferrandi, Lionel Muniglia

## Résumé

À partir d'une enquête auprès de 832 apprenants et 170 formateurs, nous caractérisons la place des dispositifs ludopédagogiques au sein de la formation ingénieur agroalimentaire. L'objectif est de comprendre les motivations, attentes et craintes sous-jacentes différenciées des deux types d'acteurs. Notre étude souligne toute l'importance de proposer une évaluation adaptée des dispositifs selon l'acteur. Elle permet de poser les bases des indicateurs à intégrer pour faciliter l'adhésion aux dispositifs ludiques, et évaluer leur efficacité en termes d'apprentissage.
# INTRODUCTION

La ludification constitue une vraie source de motivation et de plaisir pour apprendre (Nemessany, 2020). Mais pour quels apprentissages serait-elle la plus bénéfique ? Ceux-ci varient-ils selon la cible choisie, formateurs ou apprenants ? Selon le contenu de la formation en elle-même ?

Au sein du programme d'investissement d'avenir 3 HILL (Hybrid Innovative Learning Lab), qui regroupe 25 partenaires, dont 16 établissements de l'en-seignement supérieur français formant à l'éco-innovation alimentaire, nous avons conduit une enquête auprès de 832 apprenants et 170 formateurs en septembre 2021. Les objectifs : caractériser les freins et les moteurs à la ludification des apprentissages (façons de s'informer, de communiquer, de [se] former) ; et dresser un état des lieux des pratiques et attentes suite aux changements occasionnés par le virus du COVID-19 (et ses confinements) dans nos vies, ainsi que dans notre façon d'appréhender et de vivre la pé-dagogie. L'étude porte sur trois axes : notre familiarité avec les outils numé-riques, notre rapport au jeu, et notre désir d'intégration du jeu dans la for-mation. Les profils types dressés se différencient selon les apprentissages à ludifier, leurs leviers de motivation, les freins et les difficultés rencontrés par les acteurs.

Sur cette base, nous définirons les questions pertinentes à se poser pour développer des indicateurs, susceptibles de mesurer les facteurs favorables à l'acceptabilité des dispositifs ludiques, et d'évaluer la satisfaction à leur égard et leur efficacité.

# I. LES FACTEURS FAVORABLES À L'ACCEPTABILITÉ DES DISPOSITIFS PÉDAGOGIQUES LUDIQUES

Nous avons tout d'abord identifié les facteurs qui facilitent l'acceptabilité des dispositifs pédagogiques. Ils sont à prendre en compte lors de leur concep-tion, pour favoriser l'adhésion des apprenants et des formateurs impliqués. La mesure d'indicateurs dans ce sens durant la conception permet de pré-dire l'efficacité du dispositif. Pour ce faire, nous nous sommes appuyés sur le modèle CEPAJe, qui décrit des critères d'évaluation d'activités ludopéda-gogiques (Alvarez et Chaumette, 2017). Ce modèle est le fruit de diverses réflexions sur l'évaluation de tels dispositifs. De plus, il donne des pistes pour faciliter la conception ou l'animation des séquences ludopédagogiques. Tel est aussi le cas du guide élaboré par Motte et al. (2022), qui vise à élaborer et évaluer les activités ludopédagogiques. L'acteur, formateur ou apprenant, et son rapport au jeu se retrouvent au cœur du dispositif. C'est pourquoi
nous avons caractérisé leurs profils afin d'identifier des indicateurs qui leur sont propres.

# 1. FACE AU JEU, UNE DIVERSITÉ DE PROFILS

## Les joueurs

Pour saisir les motivations au jeu, les apprenants et formateurs ont été segmentés selon le modèle de Bartle (1996), qui définit quatre profils autour de deux axes : « action-interaction » et « joueur-monde » (figure 1). Les deux groupes les plus fréquents sont les « sociaux » et les « explorateurs ». Ils sont tournés vers l'interaction avec les autres joueurs ou l'environnement proposé par le jeu. Pouvoir interagir avec les autres et l'environnement du jeu lors de la proposition d'une activité ludopédagogique est donc à intégrer, tout en n'oubliant pas qu'une partie des acteurs aiment des mécaniques d'action.

<figure><img src="image_11.png" /><figcaption>FIGURE 1 : Le profil joueur des répondants selon la typologie de Bartle (1996)</figcaption></figure>

Cette typologie est construite sur un jeu particulier, le « multi-user dungeon ». Comment, alors, construire un jeu pédagogique prenant en compte les attentes et les motivations des quatre profils, dans la mesure où ils sont nécessaires à son bon fonctionnement ?
## Des motivations variées

Désirant proposer des dispositifs adaptés à la diversité de profils des apprenants et des formateurs, nous nous sommes basés sur les modèles développés par Quantic Foudry et Marczewski (2015). Ces derniers permettent de saisir les motivations à pratiquer une activité ludique. Nous y avons ajouté l'apprentissage comme source de motivation afin de comprendre sa perception.

Les deux principales catégories de motivation à jouer (tableau 1) sont liées au divertissement, à l'expérientiel, à l'exploration, au partage et à l'interaction avec les autres. Ces résultats sont conformes à l'étude de Médiamétrie (2021) relative aux motivations des joueurs de jeux vidéo. La performance est secondaire, et l'apprentissage n'est qu'un incitateur mineur. Lors du développement d'un jeu pédagogique, savoir répondre aux différents moteurs de l'apprenant est un moyen de l'impliquer. Des univers de jeu bien construits et des mécaniques de jeu, qui font « sortir de la réalité » faciliteront l'acceptabilité des jeux. En outre, il existe une grande variété de pratiques ludopédagogiques, et avec elle, la capacité de s'adapter aux besoins et contraintes. À titre d'exemple, Pellon et al. (2020) présentent les dispositifs mis en place à l'université de Louvain. Ils sont appréciés par les apprenants et les formateurs, en raison de leur efficacité pour favoriser l'apprentissage. En un mot, la diversité de profils, en particulier si elle est mesurée dans la population visée, permet de proposer des outils adaptés, suscitant à la fois adhésion et motivation.

<table><caption>TABLEAU 1 — Les principales motivations à jouer</caption><thead><tr><td>Motivation à jouer</td><td>%</td></tr></thead><tbody><tr><td><strong>Divertissement – Expérientiel</strong></td><td></td></tr><tr><td>Me divertir</td><td>86,3</td></tr><tr><td>Explorer</td><td>28</td></tr><tr><td>Passer le temps</td><td>24</td></tr><tr><td><strong>Communication – Interaction avec les autres</strong></td><td></td></tr><tr><td>Être avec des amis</td><td>62,3</td></tr><tr><td>Jouer avec d'autres personnes</td><td>22,3</td></tr><tr><td><strong>Performance</strong></td><td></td></tr><tr><td>Maitriser le jeu</td><td>24,6</td></tr><tr><td>Gagner</td><td>10</td></tr><tr><td><strong>Formation</strong></td><td></td></tr><tr><td>Apprendre</td><td>15,3</td></tr></tbody></table>
quer avec d'autres personnes que leurs proches et pour s'informer. L'usage des médias numériques plus vaste chez les apprenants est tourné vers soi et ses proches. Il est plus utilitaire pour les formateurs.

## 4. LES BASES DES INDICATEURS À INTÉGRER POUR FACILITER L'ADHÉSION

Les points précédents nous invitent à poser plusieurs bases auxquelles pourraient répondre les indicateurs à intégrer pour faciliter l'adhésion des acteurs :

* prendre en compte la diversité des profils dans la proposition ludique grâce à la mesure de ces profils et ainsi, offrir des dispositifs accessibles au plus grand nombre ;

* proposer aux apprenants des jeux qui permettent de « sortir de la réalité » et « d'interagir avec les autres et l'environnement ». Donnons-nous suffisamment de place à l'expérientiel et à l'interaction ? Comment créons-nous de l'interaction entre les apprenants (joueurs) en favorisant une bonne entente entre eux (en imaginant des activités brise-glace préalables par exemple, s'ils ne se connaissent pas initialement) ? Comment apportons-nous du challenge pour davantage les engager grâce aux mécaniques du jeu, et pas uniquement par une simple victoire ? ;

* combiner coopération et compétition en proposant par exemple différents modes – compétition, entraînement, collaboration – de façon à intégrer les différences d'attente entre les apprenants-joueurs ;

* adapter les indicateurs au type d'acteur, en prenant en compte les différences d'usage et d'acceptabilité du numérique entre apprenants et formateurs pour les jeux numériques ;

* mesurer l'adéquation du média numérique utilisé par rapport aux interfaces et habitudes, comme l'aisance perçue avec un casque de réalité virtuelle.
<figure><img src="image_12.png" /><figcaption>FIGURE 2 : Les préférences des apprenants et des formateurs</figcaption></figure>
<figure><img src="image_13.png" /><figcaption>FIGURE 3 : Les profils des apprenants et des formateurs</figcaption></figure>

Dans cette première partie, nous avons identifié un ensemble de préférences à ne pas négliger lors de la mise en place de systèmes ludopédagogiques, afin de faciliter l'adhésion des acteurs à ces dispositifs. Il s'agit alors de définir le degré d'accompagnement des cibles à ces changements. **Quelles capacités – opportunités – motivations à pratiquer et à adopter** (Michie et al., 2014) – devons-nous mettre en œuvre pour que chacun accepte de manière durable des dispositifs pédagogiques novateurs ? Comment lever les résistances au changement ?
## II. L'ÉVALUATION DE L'EFFICACITÉ DES DISPOSITIFS LUDIQUES

Dans un second temps, nous nous sommes penchés sur la pertinence de la ludification des dispositifs dans les différents champs d'application qui touchent les apprenants et les formateurs.

### 1. DE LA PERTINENCE ET DE L'APPRÉCIATION DE DISPOSITIFS LUDOPÉDAGOGIQUES

L'aspect ludique permet le développement d'habilités de coopération, de communication et de relations humaines, la motivation à l'apprentissage, la structuration des compétences, l'intégration de connaissances, et le développement d'habilités en résolution de problèmes (Sauvé et al., 2007). Némessany (2020) abonde en ce sens : « le jeu est un facteur de motivation et un vecteur de transmission de savoirs et de compétences ». Le média ludique a en effet le pouvoir de se transposer au monde réel, tout en proposant un environnement sécuré pour le joueur (droit à l'erreur) et propice à l'apprentissage.

Les apprenants apprécient les jeux sérieux auxquels ils ont joué, et les formateurs, ceux qu'ils ont animés. Tous sont favorables à leur intégration plus large dans la formation. Ils apprécient grandement tous les types de jeux, et ils se sentent à l'aise (tableau 3). Cependant, les jeux vidéo requièrent un plus grand accompagnement des formateurs pour limiter leur appréhension.

<table><caption>TABLEAU 3 — Appréciation et aisance selon les types de jeu (en %)</caption><thead><tr><th>Moyenne</th><th>Type de jeu</th><th>Jeux vidéo</th><th>Jeux de société, de plateau, de cartes</th><th>Escape games, jeux d'énigme et de logique</th><th>Jeux éducatifs pour apprendre, se former</th></tr></thead><tbody><tr><td rowspan="2">Apprenant</td><td>Appréciation</td><td>63,2</td><td>87,5</td><td>82,8</td><td>69,3</td></tr><tr><td>Aisance</td><td>63</td><td>87,8</td><td>81,3</td><td>75,8</td></tr><tr><td rowspan="2">Formateur</td><td>Appréciation</td><td>42,8</td><td>79,3</td><td>69,5</td><td>65,3</td></tr><tr><td>Aisance</td><td>46,25</td><td>80,5</td><td>70,5</td><td>74,5</td></tr></tbody></table>
Pour apprendre et se former, nous ne notons pas de réticence ni d'appré-
hension pour les jeux éducatifs. La dimension ludique est un élément positif.
Elle ne met pas en difficulté les deux publics. Toutefois, elle n'est pas forcé-
ment adaptée à tous les apprentissages. Quels seraient les domaines qui
bénéficieraient le plus à une ludification de la formation ?

## 2. DES DOMAINES PERTINENTS POUR L'APPRENTISSAGE

Pour nous focaliser sur les apprentissages qui bénéficieraient le plus d'une ludification lors de la création de nouveaux outils, nous avons caractérisé les formes d'apprentissage qui posent le plus de difficultés aux apprenants et aux formateurs (tableau 4).

<table><caption>TABLEAU 4 — Difficultés perçues d'apprentissage des apprenants (en %) et intérêt de la ludification pour l'apprentissage (en %)</caption><thead><tr><th colspan="3">Apprenants</th><th colspan="3">Formateurs</th></tr><tr><th></th><th>Difficultés</th><th>Intérêt</th><th>Difficultés</th><th>Intérêt</th><th></th></tr></thead><tbody><tr><td>Appliquer des concepts à des cas concrets</td><td>48,4</td><td>52,6</td><td>63,7</td><td>54,4</td><td></td></tr><tr><td>Autoévaluer ses apprentissages</td><td></td><td>39,5</td><td></td><td>36,3</td><td></td></tr><tr><td>Savoir prendre des décisions dans des environnements complexes</td><td>44</td><td>35,8</td><td>52,1</td><td>29,8</td><td></td></tr><tr><td>Comprendre l'utilité des apprentissages</td><td>40,9</td><td>31,3</td><td>43,3</td><td>43,3</td><td></td></tr><tr><td>Acquérir des connaissances de cours</td><td>30,2</td><td>36,4</td><td>42,7</td><td>41,5</td><td></td></tr><tr><td>Mobiliser des compétences transversales</td><td>26</td><td>33,3</td><td>28,1</td><td>15,2</td><td></td></tr><tr><td>Appliquer des concepts dans des exercices</td><td>23,3</td><td>24,4</td><td>27,5</td><td>15,8</td><td></td></tr><tr><td>Évaluer les apprentissages</td><td></td><td>8,1</td><td></td><td>8,2</td><td></td></tr><tr><td>Aucun intérêt</td><td></td><td>2,4</td><td></td><td>5,3</td><td></td></tr></tbody></table>
Selon les apprenants et les formateurs, les apprenants éprouvent des difficultés d'apprentissage, même si ce n'est pas toujours avec la même intensité. Par exemple, « savoir prendre des décisions dans des environnements complexes » semble aussi difficile pour les apprenants que pour les formateurs. Alors que les trois autres difficultés principales sont largement plus mises en valeur par les formateurs. Globalement, les principales difficultés d'apprentissage portent sur la concrétisation de concepts abstraits. Comment alors réduire la distance psychologique perçue par l'apprenant entre la connaissance et sa mise en application ?

De manière complémentaire, nous avons identifié les domaines perçus comme étant pertinents à ludifier. Les difficultés principales ressenties par les apprenants et les formateurs se retrouvent dans les facteurs favorables à la ludification. L'auto-évaluation des apprentissages est aussi un facteur à fort potentiel d'intérêt. Les propositions d'intérêt englobent donc les principales difficultés identifiées :

* appliquer des concepts à des cas concrets ;

* prendre des décisions dans des environnements complexes ;

* comprendre l'utilité des apprentissages ;

* mobiliser des compétences transversales.

Au final, le jeu pourrait être une réponse adaptée et appréciée à la réduction de la distance psychologique entre l'apprenant et la réalité de ses apprentissages, en facilitant la concrétisation des concepts abstraits (Trope et Liberman, 2003). Pour autant, il reste à s'assurer que l'apport du jeu n'est pas terni par les contraintes qui entourent l'apprentissage. C'est pourquoi nous nous sommes intéressés aux freins/craintes à la ludification.

### 3. DES CRAINTES À SURVEILLER

La principale crainte perçue quant à l'utilisation de jeux sérieux dans la formation, pour près de 50 % des acteurs, porte sur la non-acquisition ou la non-transmission des compétences, connaissances. En d'autres termes, des apprentissages (tableau 5). Pour réduire ce risque de détournement de l'objectif principal de la formation, il semble nécessaire de bien poser les objectifs pédagogiques du jeu, et de construire l'outil autour de ces objectifs. Il s'agit d'assurer la bonne transmission/acquisition des apprentissages. De plus, une étape de débriefing semble centrale pour contrôler le bon déroulement et l'atteinte des objectifs fixés.

La seconde crainte, pour près du tiers des acteurs, est liée aux problèmes techniques anticipés. Ce risque peut être réduit en testant en amont le matériel, en démontrant la fiabilité du système, et en créant un guide utilisateur. Ensuite, les craintes des apprenants et formateurs divergent. Les appre-
nants ont peur de se retrouver en situation d'échec, ne pas réussir, ou ne pas comprendre le jeu. Réduire la distance psychologique sociale (les autres apprenants réussissent et comprennent) par l'exemple pourrait constituer un canal de rassurance, tout en apportant des explications claires, faciles, non ambiguës. Enfin, pour les formateurs, deux autres craintes sont significatives : perdre son temps à mettre en place un outil, et produire un outil pas assez durable. Ceci invite à s'interroger sur la manière d'accompagner le formateur dans la mise en place du dispositif, en démontrant tous ses bénéfices face aux éventuels coûts (obsolescence, maintenance par exemple).

<table><caption>TABLEAU 5 — Craintes à l'utilisation des jeux sérieux dans la formation (en %)</caption><thead><tr><th colspan="2">Apprenants</th><th colspan="2">Formateurs</th></tr></thead><tbody><tr><td>Ne pas acquérir les compétences/connaissances</td><td>48,1</td><td>Ne pas transmettre les apprentissages</td><td>49,1</td></tr><tr><td>Ne pas réussir</td><td>33,2</td><td>Perdre du temps (mise en place)</td><td>48,5</td></tr><tr><td>Problèmes techniques</td><td>31,4</td><td>Problèmes techniques</td><td>43,9</td></tr><tr><td>Ne pas comprendre</td><td>31,1</td><td>Outil peu durable</td><td>30,4</td></tr><tr><td>Perdre son temps</td><td>27,3</td><td>Perdre du temps (en classe)</td><td>27,5</td></tr><tr><td>Ne pas trouver</td><td>25,5</td><td>Activité perçue non sérieuse</td><td>16,4</td></tr><tr><td>Ne pas être à l'aise</td><td>24,8</td><td>Pas de crainte</td><td>9,9</td></tr><tr><td>Pas de craintes</td><td>9,4</td><td>Perdre le contrôle de l'outil</td><td>9,4</td></tr><tr><td>Autre</td><td>2</td><td>Autre</td><td>5,9</td></tr></tbody></table>

## 4. LES QUESTIONS À SE POSER POUR DÉFINIR LES INDICATEURS À INTÉGRER POUR ÉVALUER L'EFFICACITÉ DES DISPOSITIFS LUDIQUES

Différentes questions préalables à la définition des indicateurs d'évaluation de l'efficacité des dispositifs ludopédagogiques peuvent être soulevées :

* L'apprentissage bénéficierait-il d'une ludification ? La ludification est-elle adaptée à l'acquisition des connaissances – compétences en jeu ? Pour y répondre, une analyse coût/bénéfice de la ludification semble un prérequis.

* Comment réussir à réduire la distance psychologique envers la ludification (Trope et Liberman, 2010) ? Quels moyens sont mis en œuvre
pour faciliter la concrétisation de concepts et/ou connaissances abstraits ?

* Comment réduire les freins : risques de problèmes techniques, coûts temporel et financier perçus, difficulté d'appréhension à cause de l'interface ou du matériel, durabilité de l'outil... ?

* Les apprentissages sont-ils bien transmis ? Les dispositifs ont-ils permis une meilleure réussite aux examens ?

* Quels accompagnements des acteurs dans la mise en œuvre et dans les mises à jour des dispositifs ont été prévus ?

Ces questions peuvent être posées soit pour caractériser la qualité d'un dispositif existant ; soit lors de la conception d'un dispositif, afin de prendre en compte le maximum de facteurs d'amélioration.

## CONCLUSION

Plusieurs constats sont à retenir :

* La littérature souligne tout l'intérêt de varier les dispositifs pédagogiques pour s'adapter aux différents profils, notamment d'apprenants, et « raccrocher » ceux qui seraient en échec ou en difficulté.

* Cet article appréhende les bases et les questions à se poser pour évaluer l'efficience de dispositifs ludopédagogiques, et pour faciliter leur acceptabilité par les formateurs et les apprenants.

* Au terme d'une étude menée auprès de 1 002 formateurs et apprenants, la ludification est sans ambiguïté bien acceptée. Des facteurs favorables au développement des outils ludopédagogiques sont présents. Apprenants et formateurs montrent une maîtrise certaine des outils et des médias, et de réelles motivations à leur adoption. Toutefois, les moteurs et les freins ne sont pas toujours similaires entre les deux populations, et doivent être intégrés dès la conception des dispositifs. En particulier, est mise en lumière la nécessité d'un accompagnement plus grand des formateurs, surtout dans le cas de développement de dispositifs numériques, et pour lever les craintes d'une obsolescence trop rapide. Ceci demande de faire preuve de « pédagogie ». de démonstration, en adoptant une approche différenciée entre formateurs et apprenants pour les persuader. Afin d'assurer ce changement de perspective, nous avons à nous interroger sur les capacités/opportunités à mettre en œuvre, et sur les motivations à susciter (Michie et al., 2014), à même de réduire la dis-
tance psychologique entre l'acteur et l'objet de sa formation (Trope et Liberman, 2010), pour qu'il soit capable de mettre en œuvre les connaissances acquises.

## Bibliographie

Andrzej Marczewski (2015), « User Types HEXAD », in *Even Ninja Monkeys Like to Play: Gamification, Game Thinking and Motivational Design*, 65-80.

Gaëlle Pellon, Benoit Raucent, Thibault Philipette, Céline Mathelart, Julian Alvarez, Nicolas Kervyn de Meerandré, Fanny Cambier, Pascal Vangrunderbeeck, Isabelle Motte, Emilie Malcourant & Virginie Renson (2020), *Jouer pour apprendre dans l'enseignement supérieur, Cahiers de l'université catholique de Louvain*, 8.

Isabelle Motte, Pascal Vangrunderbeeck, Manuela Guisset, Emilie Malcourant & Virginie Renson, *Guide pour la conception d'une activité ludopédagogique*.

Julian Alvarez, Pascal Chaumette (2017), « Présentation d'un modèle dédié à l'évaluation d'activités ludopédagogiques et retours d'expériences », in *Recherche et pratiques pédagogiques en langues de spécialité* [Online], 36, 2.

Louise Sauvé, Lise Renaud, Mathieu Gauvin (2007), « Une analyse des écrits sur les impacts du jeu sur l'apprentissage », *Revue des sciences de l'éducation*, 33, 1, 89-107.

Médiamétrie, Syndicat des éditeurs de logiciels de loisirs, *L'Essentiel du jeu vidéo*, Novembre 2021.

Richard Bartle (1996), «Hearts, clubs, diamonds, spades: players who suit MUDs», *Journal of MUD Research*, 19.
Susan Michie, Robert West, Rona Campbell, Jamie Brown, Heather Gainforth (2014), *ABC of Behavior Change Theories*, Silverback Publishing.

Violette Nemessany (2020), « La pédagogie du jeu : comment remettre les apprentissages en jeu ? », *Rapport de synthèse, ANRT*, Cahiers Futuris.

Yaacov Trope, Nira Liberman, Temporal construal (2003), *Psychological Review*, 110, 3, pp. 403–421.

Yaacov Trope, Nira Liberman (2010), « Construal-level theory of psychological distance », *Psychological Review*, 117, 2, pp. 440–463.
« Sciado Tacker » :
un module pour le suivi des apprenants
dans les simulateurs

Nesrine Rahmouni, Laurent Lavogiez

Résumé

Les simulateurs sont des environnements prometteurs pour l'apprentissage grâce à leurs nombreux avantages, tels que la visualisation interactive, la simulation de situations réelles, et l'apprentissage par la pratique. Cependant, pour une meilleure utilité, il est nécessaire de travailler sur la personalisation de l'apprentissage pour répondre aux besoins individuels de chaque apprenant. Dans cet article, nous avons proposé un module pour permettre aux formateurs d'obtenir des informations sur le processus d'apprentissage de chaque apprenant, afin de lui offrir une expérience adaptée. Ce module a fait l'objet d'une première évaluation. Celle-ci a montré des résultats satisfaisants et encourageants.
# INTRODUCTION

Dans des domaines tels que l'ingénierie, la gestion, la finance et la médecine, les apprenants sont fréquemment confrontés à des systèmes complexes de la vie réelle. Il peut s'agir de systèmes d'infrastructure, de systèmes informatiques, de réseaux ou de chaînes d'approvisionnement, qui impliquent des milliers de variables et d'interactions complexes. Pour pouvoir prendre des décisions éclairées qui affectent ces systèmes, il est crucial que les apprenants reçoivent une formation spécialisée. Cependant, les systèmes de la vie réelle sont souvent soumis à l'incertitude et au dynamisme, ce qui les rend difficiles à modéliser avec les méthodologies d'apprentissage traditionnelles. C'est pourquoi, pour prendre en compte ces facteurs, il est souvent nécessaire d'utiliser des méthodologies basées sur la simulation, en coordination avec des techniques d'apprentissage automatique. Les méthodes d'apprentissage basées sur la simulation permettent de refléter des situations réelles avec une grande précision, stimulant ainsi les compétences de l'apprenant et sa compréhension du système, en montrant les conséquences de ses actions et décisions. De plus, ces actions et décisions peuvent être testées sans crainte d'échec.

Dans notre travail de recherche, nous nous intéressons particulièrement au domaine du management et de la gestion d'entreprise. Dans ce cadre, les simulateurs d'entreprise, appelés aussi jeux d'entreprise, constituent une méthode d'apprentissage en ligne pertinente. Ils ont connu, à l'échelle mondiale, un développement progressif dans les écoles de commerce, les universités et les associations professionnelles. Les simulateurs en ligne sont une alternative efficace aux méthodes d'enseignement traditionnelles. En effet, ils relient les concepts abstrait aux réalités du monde, offrent une dimension pratique supplémentaire à l'apprentissage, et donnent aux apprenants l'opportunité de se perfectionner dans la prise de décision dans des situations concrètes.

Toutefois, comme dans la plupart des environnements d'apprentissage en ligne, les simulateurs s'adressent à des apprenants dont le rythme d'apprentissage, les besoins ou les motivations ne sont pas similaires. Pour permettre à chaque apprenant de développer progressivement ses compétences à un rythme qui lui convient, il est nécessaire de personnaliser le parcours d'apprentissage proposé. Cela peut être accompli en adaptant à la fois les éléments pédagogiques et les supports, par exemple, les commentaires des formateurs et les débriefings. Afin de garantir la pertinence pédagogique des activités et des supports, il semble important de fournir aux formateurs les outils nécessaires pour suivre les progrès des apprenants dans le simulateur, et pour visualiser en temps réel leurs besoins, leurs lacunes et leurs acquis.
Au sein de l'entreprise Sciado Partenaires, nous travaillons pour développer des simulateurs pédagogiques dans divers domaines en lien avec l'entreprise. Dans cet article, nous présentons notre simulateur « Appro », conçu pour aider les apprenants à améliorer leurs compétences en gestion des approvisionnements de stock. Nous avons intégré à ce simulateur un module appelé « Sciado Tracker », qui permet aux formateurs de suivre en temps réel les activités de chaque apprenant. Nous décrirons la conception de ce module en détail plus tard dans l'article. Dans la section suivante, nous présentons les simulateurs les plus utilisés dans ce domaine, en mettant en lumière leurs atouts et leurs faiblesses respectifs. Il convient de préciser que dans la suite de cet article, nous avons choisi d'utiliser le terme « simulateur pédagogique » pour désigner les simulateurs en lien avec l'entreprise.

# I. TRAVAUX CONNEXES

Dans le champ de la gestion de chaîne d'approvisionnement, les simulateurs sont généralement conçus pour aborder les aspects de planification, production, inventaire et contrôle des coûts. La planification de la production vise à garantir que l'entreprise simulée fournit les produits nécessaires en quantité suffisante. Ceci nécessite la formation des apprenants à élaborer des plans de production appropriés, qui prennent en compte les incertitudes inhérentes à cette discipline. Dans le paragraphe suivant, nous présentons certains des simulateurs les plus cités dans ce domaine.

## 1. DES SIMULATEURS POUR LA GESTION DES CHAÎNES D'APPRO-VISIONNEMENT

Le jeu « Beer Game » est un ancien jeu de simulation très populaire. Il a d'abord été présenté sous la forme d'un jeu de société non informatisé. Par la suite, il est devenu un jeu de simulation numérique pour ordinateur, utilisé pour explorer le processus de la chaîne d'approvisionnement, et former les joueurs à gérer les différents problèmes, comme le manque de partage d'informations entre les parties de la chaîne, et la mauvaise planification. Le succès de ce jeu dans l'enseignement a donné lieu à de nouvelles versions modifiées, telles que « Beer Game 2.0 ». Ce dernier inclut deux grossistes, pour rendre le jeu plus complexe. Bien que le Beer Game soit un outil d'ap-prentissage utile pour comprendre les principes de base de la gestion de la chaîne d'approvisionnement, il présente comme limite son manque d'adap-tabilité. En effet, le format de ce jeu est rigide. Il ne peut pas être facilement adapté aux situations spécifiques de la chaîne d'approvisionnement, ou aux besoins d'apprentissage individuels.
Il existe un autre simulateur, similaire à « Beer Game », intitulé « LOGI-Ga-
me ». Ce dernier simule un réseau de distribution de différents produits,
permettant aux participants de gérer une entreprise faisant partie de ce ré-
seau. Le jeu permet aux apprenants de s'entraîner à faire face à des événe-
ments imprévus qui peuvent survenir pendant la partie, comme des grèves,
des fluctuations monétaires internationales, des retards de traitement de
certaines commandes. Ce jeu est basé sur Excel, ce qui le rend très facile à
modifier ou à mettre à jour. En revanche, LOGI-Game est conçu pour ensei-
gner à un groupe d'apprenants. Il ne peut pas être facilement modifié pour
répondre aux besoins spécifiques de chaque individu.

Sur le même principe qu'une feuille de calcul Excel, citons les simulateurs « SBELP » et « RSS-POD ». « SBELP » simule une chaîne d'approvisionnement où le joueur est un fabricant d'équipements électroniques. Même avec ses nombreuses caractéristiques, dont la gestion des stocks et des commandes en attente, son objectif principal vise à illustrer pour les joueurs l'impact de l'effet coup de fouet dans la chaîne d'approvisionnement. En ce qui concerne « RSS-POD », il recrée un inventaire des médicaments, attribuant au joueur un rôle de gestionnaire de stocks d'articles médicaux. Le but est de gérer la distribution de ces articles médicaux dans le cas d'une urgence sanitaire, tout en minimisant l'attente des clients, et en allouant les articles à plusieurs sites d'utilisation.

Les simulateurs en ligne pour l'apprentissage offrent plusieurs avantages,
dont notamment la capacité à simuler des situations complexes, et à per-
mettre aux apprenants de mettre en pratique les compétences acquises.
Il n'en demeure pas moins que la personnalisation de l'apprentissage est
peu présente dans ces environnements. Les simulateurs sont destinés à des
apprenants présentant diverses caractéristiques, incluant des rythmes d'ap-
prentissage variés ainsi que des besoins et motivations différents. Cette di-
versité peut parfois rendre le parcours d'apprentissage proposé peu adapté
aux besoins spécifiques de certains apprenants. Afin de garantir un appren-
tissage optimal pour chacun, il est nécessaire de personnaliser le parcours
d'apprentissage en adaptant les éléments pédagogiques et les supports en
fonction des besoins, acquis et motivations de chacun. En effet, le manque
de personnalisation peut rendre l'expérience d'apprentissage moins efficace
pour certains apprenants, et peut également dégrader leur engagement.

2. NOTRE PROPOSITION

Notre travail de recherche se concentre sur la création de simulateurs péda-
gogiques visant à renforcer les compétences dans divers domaines, tels que
la gestion d'entreprise, le marketing, le management ou la logistique. Dans
cet article, nous présentons notre simulateur « Appro ». Il permet de simuler
l'approvisionnement de différents produits, par exemple, des équipements
médicaux, des produits alimentaires et des équipements informatiques.
Ce simulateur vise à permettre aux utilisateurs de développer des compétences en matière d'optimisation de l'approvisionnement. Nous avons identifié trois compétences susceptibles d'être évaluées :

* **approvisionner par la méthode fixe (C1)** : cette méthode consiste à commander un nombre constant de produits à intervalles réguliers, indépendamment de la demande réelle ;

* **approvisionner par la méthode du point de commande (C2)** : elle consiste à définir un seuil de stock minimum à partir duquel une commande doit être passée ;

* **approvisionner par la méthode de recomplètement (C3)** : qui implique de commander suffisamment de produits pour atteindre un niveau de stock maximum prédéfini.

Les utilisateurs peuvent faire l'expérience de plusieurs situations professionnelles (parcours d'activités), qui les amènent à passer des commandes de produits tout en prenant en compte différents paramètres, en fonction de la méthode d'approvisionnement choisie. Par exemple, pour la méthode fixe, chaque apprenant doit préciser dans sa commande, en plus de la quantité de produit commandé, le premier jour de la commande et la durée entre chaque commande (figure 1).

<figure><img src="image_14.png" /><figcaption>FIGURE 1 — Activité d'approvisionnement par la méthode fixe</figcaption></figure>

À la fin de chaque décision, les joueurs peuvent voir les conséquences de leurs choix sur la chaîne d'approvisionnement en termes de coûts, tels que :

* **Le coût de possession** : le coût pour l'entreprise pour posséder et maintenir un stock de produits ou de matières premières,

* **Le coût de rupture** : le coût associé à la rupture d'un stock ou à l'indisponibilité d'un produit ou d'une matière première dans la chaîne d'approvisionnement,
* **Le coût de lancement** : le coût associé au lancement d'une commande à un fournisseur dans la chaîne d'approvisionnement (traitement administratif).

À la fin de chaque activité, l'apprenant obtient un score sous forme de pourcentage, qui représente la performance de l'apprenant dans une activité par rapport à une valeur optimale définie. Il est calculé en s'appuyant sur les trois coûts : les coûts de possession, de rupture et de lancement.

Un débriefing est effectué avec tous les joueurs à la fin de chaque simulation, pour analyser les différentes décisions prises, et corriger les perceptions erronées. Cependant, pour aider les apprenants à développer leurs compétences et à renforcer leurs connaissances, il est important d'aller au-delà d'un simple débriefing. Nous cherchons à accompagner chaque apprenant dans son parcours en l'adaptant à son rythme d'apprentissage, ses acquis et ses besoins, tout en favorisant son autonomie.

Pour ce faire, nous avons mis en place un module de suivi de l'activité de l'apprenant dans le simulateur. Ce module permet aux formateurs de measures l'acquisition des compétences de chaque apprenant, de comprendre son rythme d'apprentissage, de visualiser ses besoins et ses difficultés à l'aide d'un tableau de bord, et ainsi d'adapter le parcours pour une meilleure expérience d'apprentissage.

Dans la suite de cet article, nous détaillons le processus de conception de ce module de suivi, son fonctionnement, les informations visualisées par ce module, et enfin, les résultats de l'expérimentation réalisée pour son évolution.

## 3. LE MODULE « SCIADO TRACKER »

Ce module consiste à suivre l'activité des apprenants dans les simulateurs. Tout d'abord, il est conçu pour les formateurs. C'est pourquoi le processus de conception s'appuie sur une collaboration étroite entre les formateurs, les développeurs et les pédagogues. Nous résumons ce processus comme suit :

### Identification des besoins des utilisateurs

L'identification des besoins des utilisateurs est une étape cruciale dans la conception de « Sciado Tracker ». Il s'agit de déterminer, clarifier, affiner et hiérarchiser les besoins des utilisateurs du module (à savoir, dans ce cas, les formateurs). Pour atteindre cet objectif, nous avons mené des réunions avec des experts pour discuter de leurs besoins et souhaits. Nous avons également utilisé des questionnaires pour obtenir des informations plus détaillées. L'objectif principal de cette étape est de déterminer les traces pertinentes de l'apprenant dans le simulateur, afin que les formateurs puissent mieux les comprendre, et les accompagner de manière adaptée. Par exemple, tous les
experts ont montré le besoin d'obtenir des informations sur les apprenants en difficulté afin de les aider à progresser, ce qui nous a amenés à intégrer cette fonctionnalité dans le module.

## Formalisation des besoins des utilisateurs

Il s'agit de formaliser et de modéliser les besoins des formateurs, en utilisant des maquettes et des diagrammes pour une compréhension plus claire et concise de leurs attentes. Cette étape de formalisation est indispensable pour garantir que la solution développée répond réellement à leurs besoins et satisfait leurs attentes. Elle permet également de communiquer de manière claire les fonctionnalités proposées, les processus impliqués et les objectifs à atteindre.

## Développement de la solution

Cette phase consiste à traduire les maquettes et les diagrammes formalisant les besoins en un logiciel fonctionnel. La première étape de ce développement vise à collecter les traces des apprenants dans le simulateur. Pour ce faire, nous avons défini des méthodes de collecte automatisées de ces traces à partir de différentes sources, comme la plateforme « Moodle ». Cette dernière nous permet de suivre les activités et le parcours des apprenants de manière centralisée et structurée, ou à travers des capteurs intégrés au simulateur. Après la collecte des traces de l'apprenant dans le simulateur, nous avons commencé la phase d'analyse. Dans cette phase, nous avons développé des fonctions permettant de déterminer les informations sur le parcours de l'apprenant dans le simulateur, que nous décrirons dans les sous-sections suivantes. Nous avons choisi de les présenter aux formateurs sous forme de tableau de bord. Cette approche aide les formateurs à mieux comprendre les besoins de l'apprenant, et à l'accompagner de manière plus adaptée. Par exemple, si la représentation de la progression d'un apprenant montre régulièrement une faible acquisition pour une compétence donnée, les formateurs pourront utiliser cette information pour adapter leur approche pédagogique en conséquence. Dans ce cas, ils pourront proposer des exercices de renforcement sur cette compétence spécifique, ou encore mettre en place des rappels réguliers pour que l'apprenant puisse s'exercer davantage.

## Évaluation de la solution

Il s'agit de l'évaluation de la solution proposée pour s'assurer de son efficacité et de sa pertinence. Cette phase consiste à mettre en œuvre la solution à travers des expérimentations, et à collecter des données pour évaluer ses performances. En outre, l'objectif est de déterminer si la solution répond aux besoins des utilisateurs, et s'il y a des parties à améliorer.

Nos experts considèrent l'évaluation de l'état des compétences et la détection des difficultés de l'apprenant comme étant des informations crucales
pour l'adaptation personnalisée de son parcours d'apprentissage. Dans la section suivante, nous allons détailler le processus de notre module « Sciado Tracker » pour identifier ces informations importantes.

## II. REPRÉSENTATION DES INFORMATIONS AUX FORMATEURS

Les informations déterminées par ce module sont présentées aux formateurs via un tableau de bord en temps réel par différentes représentations graphiques (figure 2).

Ce tableau de bord comporte plusieurs vues, selon les informations représentées :

* **vue générale** : elle regroupe des informations générales sur un groupe d'apprenants, telles que le taux de réussite dans le parcours, le taux de réussite pour chaque activité ou chaque compétence visée, ainsi que les informations sur la corrélation entre le taux de réussite et les différents objets pédagogiques proposés.

* **progression de l'apprenant** : cette vue présente des informations sur le parcours de chaque apprenant dans le simulateur, comme son taux de réussite, l'évolution de ses compétences, etc.

* **apprenant en difficulté** : cette vue affiche la liste des apprenants en difficulté dans le parcours, en précisant le type de difficulté détecté, et d'autres informations supplémentaires, telles que la date de la détection et les compétences concernées par cette difficulté.

Il est important de noter que le choix des représentations graphiques est basé sur le tableau des suggestions graphiques « A Thought Starter », qui permet de choisir la représentation graphique appropriée pour chaque information en fonction de l'objectif.

Le tableau de bord présente des informations détaillées sur les divers parcours ainsi que les compétences cibles. Grâce à la vue référentiel, les formateurs peuvent visualiser les compétences que nous visons pour les apprenants après l'utilisation du simulateur.
<figure><img src="image_15.png" /><figcaption>FIGURE 2 : la vue générale du tableau de bord</figcaption></figure>

# 1. DÉTERMINATION DE L'ÉTAT DE COMPÉTENCES DE L'APPRENANT

Dans notre proposition, nous avons mis en place un système de représentation des compétences visées par le simulateur (C1, C2, C3) en utilisant un référentiel de compétences développé par des experts du domaine et des pédagogues. Ce référentiel a été élaboré pour couvrir les compétences nécessaires pour exceller dans le domaine de la gestion des approvisionnements. La conception de ce référentiel s'appuie sur la taxonomie de Bloom. Chaque compétence du référentiel est mise en pratique à travers une ou plusieurs activités pédagogiques. Le score obtenu à la fin de chaque activité nous fournit une indication sur son état de compétence, qui est classé en quatre niveaux : 1) non acquis ; 2) en cours d'acquisition ; 3) acquis ; 4) maîtrisé. Les informations ainsi obtenues permettent de suivre l'évolution de la compétence de chaque apprenant au fil du temps. Cela est indispensable pour adapter le parcours d'apprentissage à ses besoins, et lui permettre de progresser efficacement.

Pour améliorer la précision de ces informations, nous avons développé une fonction qui détermine l'état de chaque compétence, ainsi qu'un indice de certitude associé à cet état. Ce processus s'appuie sur l'analyse de différentes traces de l'apprenant dont, notamment :

* le score obtenu à la fin de l'activité ;

* le nombre de tentatives réalisées pour l'activité ;

* la progression de la performance de l'apprenant entre les tentatives, qui peut être :
* positive : renvoie au cas d'une progression positive entre les scores de performance,

* négative : renvoie au cas d'une progression négative entre les scores de performance,

* aléatoire : renvoie au cas d'une progression positive et négative entre les scores de performance;

* la progression de la performance de l'apprenant entre les activités qui mettent en pratique la même compétence. Cette progression peut être aussi :

* positive : renvoie au cas d'une progression positive entre les scores de l'apprenant entre les activités concernées,

* négative : renvoie au cas d'une progression négative entre les scores de l'apprenant entre les activités concernées,

* aléatoire : renvoie au cas d'une progression positive et négative entre les scores de l'apprenant entre les activités concernées;

* le nombre et la durée de consultation des cours pendant l'activité associée.

En utilisant ces informations, nous sommes en mesure de déterminer avec plus de précision l'état de compétence de chaque apprenant (figure 3).

FIGURE 3 : Partie de la fonction de détermination de l'état de compétences de l'apprenant

Fonction (Détermination de l'état de compétence de l'apprenant)

Etat de compétence (Non acquise « NA », Acquise « A », En cours d'acquisition « ECA », Maîtrisée « M »)

Score [0, 100]

Nombre des tentatives (NT) [0, 20]

Nombre des activités traitées (NA) [1, 3]

Progression entre les tentatives (PT) [positive, négative, aléatoire]

Progression entre les activités (PA) [positive, négative, aléatoire]

Certitude [faible, moyenne, forte]

Début:

Si (Score > 60) et (NT = 1) et (NA > 2) et (PT = /) et (PA= positive) alors Etat = Maîtrisée

Sinon si (Score > 60) et (NT <= 3) et (NA > 1) et (PT = positive) et (PA= positive) alors Etat = acquise avec IC = fort

Sinon si (Score > 60) et (NT <= 3) et (NA > 1) et (PT = aléatoire) ou (PA= aléatoire) alors Etat = acquise avec IC = moyen

Sinon si (Score > 60) et (NT <= 3) et (NA >1) et (PT = négative) ou (PA= négative) alors Etat = acquise avec IC = faible

Sinon si (Score > 40) et (NT >=1) et (NA >=1) et (PT = positive) ou (PA= positive) alors Etat = en cours d'acquisition avec IC = fort

Sinon si (Score > 40) et (NT >=1) et (NA >=1) et (PT = aléatoire) ou (PA= aléatoire) alors Etat = en cours d'acquisition avec IC = moyen

Sinon si (Score > 40) et (NT >=1) et (NA >=1) et (PT = négative) ou (PA= négative) alors Etat = en cours d'acquisition avec IC = faible
## 2. LA DÉTECTION DES APPRENANTS EN DIFFICULTÉ

Dans notre proposition, nous avons compris l'importance d'évaluer non seulement les compétences acquises par les apprenants, mais aussi les défis auxquels ils sont confrontés, pour les aider à les surmonter. Pour ce faire, nous avons mis en place une fonction de détection des difficultés rencontrées par les apprenants.

Dans notre système de simulation, nous avons défini deux types de difficultés :

* **La faible performance.** Elle est observable à travers un état de compétence majoritairement « non acquis ». Par exemple, lorsqu'un apprenant n'a acquis qu'une seule compétence sur trois après avoir participé à des activités qui les mettent en pratique.

* **L'incohérence cognitive.** Elle se manifeste par une incohérence dans le comportement de l'apprenant dans notre simulation. Par exemple, lorsque nous examinons **N** comme la dernière activité réalisée par un apprenant, et **N-1** comme l'activité précédente par rapport à **N**, ces deux activités mettent en œuvre la même compétence.

* **Si** l'état (N) est « non acquise avec indice de certitude fort » ou « en cours d'acquisition avec indice de certitude faible » **ET** **Si** l'état (N-1) est « acquise avec indice de certitude fort », alors **l'apprenant est considéré en difficulté de type incohérence cognitive**.

La fonction de détection des difficultés prend en entrée les scores de l'apprenant, les activités réalisées, l'état de ses compétences, et produit une liste des apprenants en difficulté, en précisant le type de difficulté pour chacun. Cette fonction nous permet d'identifier rapidement les apprenants qui ont besoin d'aide, et d'adapter notre approche pédagogique pour répondre à leurs besoins.

## III. ÉVALUATION DE « SCIADO TRACKER »

Afin d'évaluer notre module de suivi, nous avons réalisé une première expérimentation au sein de notre entreprise (Sciado Partenaires) avec six formateurs internes. Ces formateurs sont habitués à assurer des formations à distance à l'aide de nos simulateurs. Ils ont testé le module pour donner leur avis sur son utilité. Pour recueillir leurs commentaires, nous avons utilisé le questionnaire d'évaluation d'utilisabilité (SUS).

Les retours des formateurs ont été globalement positifs, avec un niveau élevé de satisfaction et un taux de 77 %. Les formateurs ont trouvé que ce mo-
du leur permet de visualiser en temps réel la progression des apprenants, et de mesurer l'acquisition de leurs compétences. De plus, ce module offre la possibilité d'intervenir de manière efficace pour aider les apprenants en difficulté. En outre, il permet de mieux comprendre et visualiser le rythme d'apprentissage de chaque apprenant, et de situer les difficultés de ce dernier afin de l'aider à progresser.

Finalement, nous avons également reçu certaines propositions pour améliorer ce module. À titre d'exemple, un expert nous a suggéré d'ajouter une représentation graphique, pour illustrer le positionnement de la progression d'un apprenant par rapport à la progression globale de la classe des apprenants. En termes d'ergonomie, les formateurs ont aussi souligné que certaines améliorations peuvent être apportées pour rendre ce module plus facile à utiliser.

## CONCLUSION

Les simulateurs offrent un environnement très prometteur pour l'apprentissage. Ils présentent de nombreux avantages, notamment la possibilité de simuler des situations complexes et d'acquérir de l'expérience en pratique. Cependant, pour une utilisation optimale, il est nécessaire de travailler sur la personnalisation de l'apprentissage, en fonction des besoins individuels des apprenants. Au sein de notre entreprise, nous proposons des simulateurs pédagogiques qui permettent la montée en compétences de l'apprenant dans le domaine de la gestion d'entreprise et du management. Avec l'intégration du module de suivi « Sciado Tracker », nous avons renforcé le processus de montée en compétences, donnant ainsi la possibilité à chaque apprenant de progresser selon son rythme.

Notre expérimentation a montré que le module de suivi peut être très utile pour évaluer la progression des apprenants, et améliorer leur expérience d'apprentissage. À l'avenir, nous comptons continuer à améliorer ce module en ajoutant des outils de prédiction de comportement de l'apprenant. Les objectifs sont d'optimiser le processus d'apprentissage, et de l'intégrer à d'autres simulateurs, pour mesurer son impact sur la progression des apprenants dans différents domaines. Nous sommes convaincus que la combinaison de simulateurs pédagogiques et de personnalisation de l'apprentissage peut offrir un potentiel considérable pour les apprenants, les aidant à atteindre leurs objectifs de formation plus rapidement et avec plus de succès.
Bibliographie

S. L. Brunton, J. L. Proctor, J. N. Kutz (2016). « Discovering governing equations from data by sparse identification of nonlinear dynamical systems ». *Proceedings of the national academy of sciences*, 113(15), 3932-3937.

A. Gruler, J. D. Armas Adrián, A. A. Juan, D. Goldsman (2019). « Modelling human network behaviour using simulation and optimization tools: the need for hybridization ». *SORT: statistics and operations research transactions*, 43(2), 0193-222.

D. Martin, B. McEvoy (2003). « Business simulations: a balanced approach to tourism education ». *International Journal of Contemporary Hospitality Management*, 15(6), 336-339.

Lara Kathleen Smetana and Randy L. Bell (2012). « Computer simulations to support science instruction and learning: A critical review of the literature ». *International Journal of Science Education*. 34(9): 1337-1370.

J. Smed (2002). *Production Planning in Printed Circuit Board Assembly*. PhD thesis, Turku, Finland:University of Turku.1-71.

P. Spagnoletti, E. D'Atri, A. D'Atri (2013). « Managing Decision-Making in Supply Chain and Value Networks : The Beer Game Evolution ». *International Journal of Electronic Commerce Studies*. 4(1), 63-78.

A. D'Atri, P. Spagnoletti, A. Banzato, C. Bonelli (2009). *Supply Chain and Virtual Enterprises: the Beer Game evolution*.

U. Thorsteinsson (1995). *The LOGI-Game-a Dynamic Modular Logistic Game*. Simulation games and learning in production management, 175-184.

A. Siddiqui, M. Khan, S. Akhtar (2008). « Supply chain simulator: A scenario-based educational tool to enhance student learning ». *Computers & Education*, 51(1), 252-261.

E. W. Chan, C. E. Fan, M. W. Lewis, K. King, P. Dreyer, C. Nelson (2009). *The RSS-POD Supply Chain Management Game*. Rand Health.

A. Abela (2009). Chart suggestions-a thought starter. Extreme Presentation.

L. O. Wilson (2016). *Anderson and Krathwohl-Bloom's taxonomy revised*. Understanding the New Version of Bloom's Taxonomy.

J. Brooke (1986). *System usability scale (SUS): a quick-and-dirty method of system evaluation user information*. Reading, UK: Digital equipment co ltd, 43, 1-7.