# Analyse de l'impact d'une application de jeu sérieux sur les élèves des lycées d'enseignement agricole

Luis Alberto Pinos Ullauri, Catherine Pons, Azzeddine Benabbou, Julien Broisin

<figure><img src="image_1.png" /></figure>

To cite this version:

Luis Alberto Pinos Ullauri, Catherine Pons, Azzeddine Benabbou, Julien Broisin. Analyse de l'impact d'une application de jeu sérieux sur les élèves des lycées d'enseignement agricole. 12ème Conférence sur les Environnements Informatiques pour l'Apprentissage Humain, Association des Technologies de l'Information pour l'Education et la Formation (ATIEF), Jun 2025, Lille, France. pp.40-57. hal-05122996

HAL Id: hal-05122996

https://hal.science/hal-05122996v1

Submitted on 20 Jun 2025

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_2.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# Analyse de l'impact d'une application de jeu sérieux sur les élèves des lycées d'enseignement agricole

Luis Alberto Pinos Ullauri¹[0000-0002-3694-3487], Catherine Pons¹,²[0000-0003-0237-3022], Azzeddine Benabbou¹[0000-0001-8445-1770] et Julien Broisin¹[0000-0001-8713-6282]

¹ IRIT, Université de Toulouse, Toulouse, France

² INU Champolion, Albi, France

**Résumé** Ces dernières années, la popularité des jeux sérieux a encouragé la recherche et leurs transpositions dans plusieurs contextes éducatifs. Cependant, à notre connaissance, il existe peu de jeux sérieux destinés à l'enseignement agricole. De plus, les effectifs de l'enseignement agricole ont progressivement diminué au cours des dix dernières années. Pour endiguer ce phénomène, les jeux sérieux représentent une double opportunité car ils permettent d'augmenter l'attractivité auprès des élèves et d'accélérer la transformation numérique des établissements. Notre étude est centrée sur l'impact d'un jeu sérieux destiné aux lycées professionnels agricoles et interroge les variables suivantes : sentiment d'auto-efficacité, motivation, utilisabilité et expérience utilisateur. Une expérimentation a été menée auprès de quatre lycées professionnels agricoles répartis sur le territoire français. Les résultats montrent qu'il existe une variation significative entre le sentiment d'auto-efficacité perçu par les élèves avant et après l'utilisation du jeu sérieux. De plus, nous explorons le cas des élèves dont le sentiment d'auto-efficacité a subi une forte variation (avant versus après l'expérience). Nous avons aussi mesuré l'utilisabilité, l'expérience utilisateur et analysé les corrélations entre ces variables.

**Mots-clé:** Jeux sérieux · Enseignement professionnel agricole · Motivation · Auto-efficacité · Expérience utilisateur · Utilisabilité

**Abstract** In the last decade, the popularity of Serious Games has promoted both its research and application in several educational contexts. However, their application in the context of agricultural education has not been sufficiently explored, to the best of our knowledge. Moreover, agricultural education has seen a decrease on the number of students in the last 10 years. With the aim to increase the attractiveness of agricultural education, we propose the use of Serious Games. Consequently, we study the impact of a serious game addressed to technical agricultural high schools and to assess its impact on the following variables: self-efficacy, motivation, usability, and User Experience. This paper intends on exploring these impacts based on data collected from four technical agricultural secondary schools in France. The results show that there
is a significant variation between the perceived self-efficacy of the stu-
dents before and after they participated in the experiment. Moreover,
we explore the cases of students that perceived their self-efficacy con-
siderable different before and after the experiment. We also measured
the usability, the user experience and analysed the correlations between
these variables.

**Keywords** Serious Games · Technical Agricultural Education · Motiva-
tion · Self-Efficacy · User Experience · Usability

# 1 Introduction

De nos jours, il est de plus en plus courant de former les futurs professionnels à l'aide d'environnements informatiques pour l'apprentissage humain (EIAHs) tels que les jeux sérieux. Bien qu'il y ait débat sur la définition des jeux sérieux [4], la communauté s'accorde sur une vision de jeux dont l'objectif n'est pas un simple divertissement [2, 3, 13, 4]. En général, ces jeux visent un objectif marketing, politique, éducatif, de sensibilisation ou autre [10]. Leur contenu est utilisable en dehors du cadre vidéo-ludique. Dans le contexte éducatif, leur contenu comprend des contenus pédagogiques, des mécanismes vidéo-ludiques inspirés de jeux vidéos et des outils de surveillance facilitant l'affichage automatisé d'un debriefing en fin de partie [27, 32]. Ils peuvent également inclure divers éléments tels que du feedback pédagogique, un système de support ou des systèmes d'interactions complexes.

Des jeux sérieux ont déjà été utilisés dans divers contextes, notamment dans l'enseignement professionnel technique, y compris dans le domaine agricole [16, 30, 17]. Les travaux de [17, 16] se sont basés sur le développement et le déploiement d'un jeux sérieux pour aider les fermiers dans la production bovine en Colombie. Un système d'aide à la décision a été mis en œuvre pour faciliter la gestion de la production. Pour cela, les auteurs se sont appuyés sur un système simulé utilisant des variables et contraintes réalistes. L'étude menée par [30] a proposé deux jeux sérieux, qui combinent les cadres des EIAHs avec les mécaniques ludo-pédagogiques, pour enseigner comment bien entretenir des plantes.

Alors que le réseau d'enseignement agricole est un élément vital pour la
durabilité et la croissance économique de notre société [24], le nombre d'élèves en
formation initiale dans l'enseignement agricole a baissé de 11% en dix ans [11]. Le
rapport sur l'urgence d'une transition agro-politique a souligné le besoin d'agir et
de renforcer l'attractivité de l'enseignement agricole auprès de potentiels élèves et
de leur famille. De plus, le rapport d'orientation des élèves vers l'enseignement
agricole [8] décrit des stratégies pour améliorer la communication externe de
l'enseignement agricole, et ainsi attirer plus d'élèves dans ces formations. Une
des propositions consiste à adapter l'enseignement professionnel à la réalité du
terrain et à le mettre à la pointe du numérique. Ainsi, le projet Agr-eSchool
ambitionne de concevoir des jeux sérieux d'apprentissage composés d'activités
numériques basées sur des scénarios interactifs et/ou immersifs créés à partir de
situations professionnelles réelles. Ces jeux sérieux s'adressent exclusivement à
l'enseignement secondaire agricole [15] et sont développés par deux sociétés du secteur EdTech pour le réseau d'établissements professionnels agricoles français UNREP.

Espinosa et García [14] ont procédé à une analyse systématique de la littérature, à partir de laquelle ils ont comparé des études centrées sur l'application de jeux sérieux dans l'enseignement agricole. Ils ont souligné l'importance de créer des jeux avec des défis agricoles spécifiques. Suivant ces recommandations, le jeu sérieux développé dans le cadre du projet Agr-eSchool propose aux élèves des situations scénarisées proches du contexte réel et ambitionne d'attirer les élèves vers l'enseignement agricole. Notre étude porte sur l'usage et l'impact de ce jeu sérieux. Pour mieux comprendre et approfondir la connaissance de l'impact des jeux sérieux sur l'enseignement agricole professionnel, cet article vise à analyser leurs effets sur le sentiment d'auto-efficacité des élèves et leur motivation. Pour cela, nous complétons notre approche par une évaluation de l'utilisabilité et l'expérience utilisateur des élèves inscrits dans les établissements participants. Dans cet objectif, nous tentons de répondre aux questions de recherche suivantes :

- QR1 : L'introduction d'un jeu sérieux dans un cursus professionnel a-t-elle un impact sur le sentiment d'auto-efficacité des apprenants ? Si oui, quels sont les profils d'apprenants pour lesquels l'impact est le plus important lorsque l'on considère leur motivation et la fréquence avec laquelle ils jouent à des jeux vidéos ?

- QR2 : Quelle est l'utilisabilité et la qualité de l'expérience utilisateur perçues du jeu sérieux ?

- QR3 : L'utilisabilité et l'expérience utilisateur perçues du jeu sérieux sont-elles corrélées avec l'auto-efficacité et la motivation des apprenants ?

La section suivante présente la méthodologie mise en œuvre. Elle décrit les caractéristiques principales du jeu sérieux, le protocole expérimental mis en place pour répondre aux questions de recherche proposées, les données collectées et les instruments de mesure. La section 3 décrit les résultats obtenus à partir de chacune des variables d'intérêt. Ensuite, nous discutons les résultats, limitations et perspectives de l'étude avant de conclure.

# 2 Méthodologie

## 2.1 Le Jeu Sérieux : Agr-eSchool

Dans le jeu de l'oie traditionnel, les joueurs sont engagés dans une course qui repose sur des lancés de dés. Contrairement à la version traditionnelle, le premier plateau de jeu du projet Agr-eSchool représente une version numérique et collaborative du jeu de l'oie. Il offre aux joueurs la possibilité de progresser en équipe non pas en lançant un dé, mais plutôt en collectant des points obtenus à travers la réalisation d'activités pédagogiques. La partie se joue en équipe, et l'équipe est constituée de l'ensemble des élèves d'une même classe. La mission
consiste à atteindre ensemble le sommet d'un pic montagneux. Les cases du plateau de jeu symbolisent le chemin à emprunter pour atteindre le sommet tandis que la dernière case représente le but ultime et la fin du jeu (voir la Figure 1).

<figure><img src="image_3.png" /><figcaption>**Fig. 1.** Capture d'écran du plateau de jeu, qui demande aux élèves de passer par toutes les cases jusqu'au sommet de la montagne.</figcaption></figure>

Des activités pédagogiques ou défis éducatifs sont placés sur des cases spécifiques. Une fois réalisés, les joueurs obtiennent des points de déplacement qui leur permettent de progresser sur le chemin. Le nombre de points attribués dépend de la rapidité avec laquelle le joueur fournit la bonne réponse. De plus, les points gagnés peuvent débloquer des jokers utilisables tout au long de la partie pour aider les apprenants dans certains défis. La Figure 2 présente les modalités de progression dans le jeu.

Le contenu pédagogique comprend non seulement des capsules vidéos et des animations, mais aussi des éléments tels que des questions vrai-faux, des questions à choix multiples et des exercices d'association par glisser-déposer. La Figure 3 présente un exemple d'exercice pédagogique d'association, où les apprenants doivent associer des éléments après avoir regardé des vidéos et écouté des enregistrements. Ce contenu s'appuie sur des contextes très proches de la réalité. Dans cet exemple, les élèves doivent décrire l'ordre des étapes à suivre pour réaliser un marcottage aérien.

En outre, tous les modules pédagogiques du parcours sont destinés à préparer les élèves pour l'épreuve finale. Cette épreuve s'inspire du jeu du pendu, dans lequel on doit deviner un mot caché en proposant des lettres composant ce mot. Le mot à trouver est en rapport avec le contenu pédagogique consulté durant la partie (voir la Figure 4). Dans cette épreuve, tous les apprenants peuvent utiliser
<figure><img src="image_4.png" /><figcaption>Fig. 2. Modalités de progression dans le jeu</figcaption></figure>

les jokers obtenus au cours de la partie et ainsi obtenir des indices facilitant la
résolution du jeu du pendu.

## 2.2 Protocole expérimental

L'UNREP, le partenaire fédérateur des établissements d'enseignement agricole, a sollicité les lycées professionnels de son réseau pour expérimenter le jeu sérieux et les scénarios interactifs développés dans le cadre du projet. Les expériences ont impliqué des élèves répartis dans 4 lycées professionnels agricoles localisés sur le territoire français. Les élèves ont rempli, avant les séances expérimentales, un premier questionnaire composé de questions socio-démographiques et du questionnaire standardisé *Academic Motivation Scale* (AMS) [31] utile pour mesurer les différents types de motivation dans les études secondaires. Ensuite, le jour de la séance, les élèves ont rempli un deuxième questionnaire standardisé *Motivated Strategies for Learning Questionnaire* [26] (MSLQ) comprenant des items pour mesurer leur sentiment d'auto-efficacité. Puis ils ont utilisé le jeu dans un contexte écologique en présence de leur enseignant. Deux séances d'apprentissage au travers du jeu sérieux se sont déroulées le même jour. Lors de la première séance, une phase de prise en main consistait à se familiariser avec les mécaniques de jeu. Ensuite, les élèves ont utilisé au travers du jeu des contenus pédagogiques spécifiquement ciblés par l'enseignant. Dans chacune des séances, les élèves ont joué sur deux scénarios distincts. Pour finir, ils ont renseigné un questionnaire post-test composé des questionnaires standardisés MSQL, *System*
<figure><img src="image_5.png" /><figcaption>Fig. 3. Capture d'écran du contenu pédagogique</figcaption></figure>

*Usability Scale (SUS)* et Attrakdiff utiles pour évaluer respectivement leur sentiment d'auto-efficacité, l'utilisabilité du logiciel, et leur expérience utilisateur.

Les enseignants ayant participé aux expérimentations se sont tous portés volontaires dans les lycées candidats. Il y a donc une certaine motivation des lycées à expérimenter les jeux dans les cursus pédagogiques, mais nous n'avons pas dispensé de questionnaires spécifiques à destination des enseignants pour recueillir leur motivation.

## 2.3 Données collectées et instruments

La population d'apprenants ayant participé aux expérimentations correspond aux élèves de l'ensemble des établissements ayant répondu au premier appel lancé par l'UNREP. La population des élèves en lycée agricole est classiquement relativement hétérogène [9]. Ici, elle est composée de 35 élèves (Age : Min = 13, Max = 20, Moy = 16.09, ET = 1.36), dont 16 femmes (45.71 %) et 19 hommes (54.29 %). Le niveau des élèves est également diversifié, avec 42.86% en première année de BAC Professionnel, 25.71% en deuxième année, et le reste en CAP Agricole (28.57% en première et 2.86% en deuxième). Au niveau des filières, la majorité (40%) des élèves proviennent de la filière "Service à la personne", tandis que près de 54% sont issus de métiers liés à l'agriculture tels que les métiers de l'agroéquipement, de l'horticulture et des aménagements paysagers par exemple. En termes de conditions et troubles, la majorité affirme ne pas avoir de handicaps. Cependant, il y a quelques cas de troubles de déficit de l'attention et hyperactivité (TDAH), de dyslexie et de dysphasie. Ces premières descriptions renforcent l'idée que le public de ce type d'établissements est hétérogène et diversifié. Ceci ne remet pas en cause la validité des analyses mais permet d'avoir une vision plus large qui reflète davantage la réalité du terrain.
<figure><img src="image_6.png" /><figcaption>Fig. 4. Dernier item du jeu : La devinette</figcaption></figure>

**Motivation des élèves.** D'après [31], un des facteurs les plus importants dans l'éducation est la motivation. Ils ont développé et validé l'Échelle de Motivation en Éducation qui a pour but de mesurer la motivation sous différentes dimensions : la motivation intrinsèque à la connaissance ; la motivation intrinsèque à l'accomplissement ; la motivation intrinsèque à la stimulation ; la motivation extrinsèque identifiée ; la motivation extrinsèque introjectée ; la motivation extrinsèque régulation externe ; et finalement, la démotivation. Leur questionnaire comprend un total de 28 items, avec 4 items dédiés à chaque dimension. Ces items sont évalués à l'aide d'une échelle de Likert à 5 niveaux allant de *Pas du tout d'accord* à *Complètement d'accord*. Cet outil de mesure pré-expérimental a été proposé aux participants avant l'utilisation du jeu sérieux.

**Auto-efficacité des élèves.** Le sentiment d'efficacité personnelle, un concept introduit par Bandura en 1977 [5, 6], joue un rôle clé dans l'engagement de l'apprenant. Des personnes avec des aptitudes identiques peuvent avoir des performances différentes selon le niveau de leur sentiment d'efficacité [23]. Par conséquent, le sentiment d'auto-efficacité peut influencer non seulement la performance, mais aussi la persévérance et la motivation des élèves, qui sont essentielles à l'apprentissage. Les travaux de [25] se sont focalisés sur la recherche des techniques utilisées pour soutenir ce sentiment vis-à-vis des élèves. Les jeux
d'apprentissage, de par leur interactivité mais aussi les contenus pédagogiques qu'ils embarquent, peuvent affecter ce sentiment. Dans notre étude, le questionnaire, développé et testé par [26], a été utilisé pour mesurer l'auto-efficacité des élèves des lycées agricoles. Ce questionnaire est composé de 8 items, avec une échelle de Likert à 7 niveaux allant de *Pas du tout d'accord à Complètement d'accord*. Il a été dispensé aux élèves avant et après l'utilisation du jeu sérieux.

**Utilisabilité du jeu sérieux.** L'utilisabilité peut être définie comme étant le degré selon lequel un produit (le jeu sérieux dans notre cas) peut être utilisé avec efficacité, efficience et satisfaction par des utilisateurs [21]. L'outil le plus utilisé pour mesurer l'utilisabilité d'un système, le SUS (*System Usability Scale*), a été proposé en 1996 [12]. Les travaux de [1] ont permis de vérifier la validité et la robustesse de l'outil.

Le questionnaire est composé de 10 éléments mesurés par une échelle de Likert à 5 niveaux allant de *Pas du tout d'accord à Entièrement d'accord*. Les résultats du questionnaire permettent de calculer un score sur 100 qui peut être interprété selon des valeurs de référence [12, 29]. Le questionnaire SUS, traduit en français, a été délivré aux élèves après l'utilisation du jeu.

**Expérience Utilisateur.** Le travail de [20] souligne que l'expérience utilisateur est plus large que la notion d'utilisabilité et peut englober cette dernière, qui a certainement un effet sur l'expérience de l'utilisateur. Le travail de [22] s'est basé sur la traduction et la validation de la version française de l'outil AttrakDiff 2 [19]. D'après ce modèle, les utilisateurs perçoivent les produits interactifs selon deux dimensions : (1) les qualités pragmatiques, qui se concentrent sur le produit (c'est-à-dire qu'un produit perçu comme structuré ou clair est considéré comme un produit avec de bonnes qualités pragmatiques) ; (2) les qualités hédoniques, qui se concentrent plutôt sur le soi (par exemple, un produit perçu comme original ou captivant aurait de bonnes qualités hédoniques). L'outil est constitué de 28 paires de mots contrastés, dans une échelle de Likert à 7 niveaux. La version abrégée du questionnaire composée de 10 items est celle que nous avons utilisée [18]. Elle a été proposée aux élèves après l'utilisation du jeu sérieux.

## 2.4 Analyse de données

Les données ont été traitées et analysées dans le langage de programmation R et les libraires dplyr, stringi, plotly et ggplot2.

**QR1.** Pour répondre à QR1 concernant l'impact du jeu sérieux sur le sentiment d'auto-efficacité des apprenants, nous avons mesuré les variations entre les réponses au questionnaire d'auto-efficacité avant l'utilisation du jeu sérieux, et après son utilisation. Nous avons utilisé le test-t par paires pour inférer s'il y avait bien une variation significative de ce sentiment. Ensuite, nous avons tenté d'utiliser des modèles de régression linéaire pour quantifier les liens entre la variation de l'auto-efficacité et le profil des étudiants. Cependant, le faible nombre
d'élèves ne nous a pas permis de faire converger les modèles. Par conséquent,
nous avons étudié le cas particulier des élèves dont le sentiment d'auto-efficacité
a subi une forte variation (avant versus après l'expérience).

**QR2.** Pour répondre à **QR2** concernant l'utilisabilité et l'expérience utilisateur, nous avons analysé les réponses aux questionnaires SUS et Attrakdiff. Pour le SUS, nous avons calculé le score d'après la formule proposée par [29].

**QR3.** Enfin, pour répondre à **QR3** concernant des liens éventuels entre les différentes variables précédemment étudiées, nous avons calculé les corrélations linéaires de Pearson entre les dimensions de l'expérience utilisateur et le score SUS de l'utilisabilité. Ces corrélations ont été réalisées à partir de chaque paire de variables. Des étoiles sont utilisées pour présenter visuellement les valeurs-p.

# 3 Résultats

## 3.1 Motivation

La Figure 5 présente un diagramme en boîtes des différentes dimensions de la motivation. Nous pouvons remarquer que la longueur des boîtes est comparable parmi les dimensions de la motivation. Nous constatons également que la démotivation est, en moyenne, la plus faible, suivie par la motivation intrinsèque à la stimulation. De plus, nous pouvons constater aussi, qu'en moyenne, la motivation extrinsèque est plus élevé que la motivation intrinsèque.

Maintenant que nous avons décrit brièvement la motivation éducative des participants à l'expérimentation, nous présentons dans les sous-sections suivantes les résultats des analyses réalisées pour répondre à nos questions de recherche.

## 3.2 Résultats QR1

De manière générale, les réponses aux items du questionnaire du sentiment d'auto-efficacité ont des tendances similaires. Dans le but de visualiser ces tendances, la Figure 6 présente l'histogramme de l'item 4 : « J'ai confiance que je peux comprendre le contenu le plus difficile présenté par les enseignants dans cette matière». Nous remarquons une légère diminution des niveaux les plus bas de l'échelle, et une augmentation relativement faible des derniers niveaux, ce qui peut suggérer que les élèves ont un sentiment d'auto-efficacité plus fort après avoir utilisé le jeu sérieux.

Nous avons calculé la variation du sentiment d'auto-efficacité entre les questionnaires pré-test et post-test et normalisé les valeurs. Nous avons vérifié sa distribution de probabilité comme gaussienne avec le test de normalité de Shapiro (valeur-p = 0.93, c'est-à-dire qu'une valeur-p inférieure à 0,05 signifierait que nous devrions rejeter l'hypothèse selon laquelle la distribution n'est pas normalement distribuée). Cela nous a permis d'effectuer un test-t par paires, qui
<figure><img src="image_7.png" /><figcaption>**Fig. 5.** Évaluation de la motivation dans les études. Note. Les variables qui commencent par *int* représentent la motivation intrinsèque. Les variables qui commencent par *ext* représentent la motivation extrinsèque. Finalement, *demot* représente la démotivation académique.</figcaption></figure>

a confirmé l'existence d'une différence significative entre le pré-test et le post-test (valeur-p = 0.02) : la différence moyenne du sentiment d'auto-efficacité de l'échantillon est égale à +3.23.

En n'ayant que 35 points de données pour l'instant, nous n'avons pas pu faire converger des modèles de régression dans l'objectif d'expliquer la variation du sentiment d'auto-efficacité en fonction de la motivation et l'expérience de jeux vidéos. La Table 1 présente les différents modèles de régression, les coefficients des prédicteurs, et les coefficients de détermination. Nous pouvons regarder les coefficients de détermination qui ne dépassent pas 6%.

De plus, nous avons analysé les cas particuliers des élèves qui ont perçu un changement du sentiment le plus bas et le plus haut d'efficacité. Nous avons pu constater quelques caractéristiques. Par exemple, trois élèves avaient une haute démotivation et une haute variation positive du sentiment d'auto-efficacité. Cependant, un élève était très démotivé et avait ressenti une variation négative du sentiment d'auto-efficacité. Nous n'avons pas pu trouver d'autres caractéristiques apparentes entre la motivation intrinsèque, extrinsèque, la fréquence de jeu et l'auto-efficacité.

## 3.3 Résultats QR2

Le score SUS permet de mesurer l'utilisabilité perçue du jeu sérieux. Nous rappelons que ce score peut varier entre 0 et 100. Un système est classifié comme
<figure><img src="image_8.png" /><figcaption>Fig. 6. Histogramme de l'item 4 du questionnaire MSLQ</figcaption></figure>

Acceptable si le score est égal ou supérieur à 50.9, et Bon si le score obtenu est supérieur à 71,4 [7]. Le résultat obtenu à partir du jeu de données étudié présente une moyenne de 66.93±5.87 (intervalle de confiance à 95%), un écart type de 17.09 et un coefficient de variation de 26%. De plus, le score minimum obtenu est de 30 et le maximum 95. La moyenne obtenue indique que le système est acceptable mais ne peut pas être qualifié comme bon.

L'AttrakDiff propose une évaluation quantitative de l'expérience utilisateur vécue au travers d'un système interactif. Il se compose d'un jeu de questions présentant des paires opposées. Les caractéristiques présentées à gauche de la Figure 7 sont considérées comme plutôt négatives alors que celles de droite sont plutôt positives. La Figure 7 présente les résultats obtenus auprès des élèves ayant utilisé le plateau 'Jeu de l'oie collaboratif' du jeu sérieux Agr-eSchool. On peut voir que les élèves ont eu un sentiment positif à divers degrés dans toutes les dimensions (hédonique et pragmatique). Du côté de la qualité pragmatique, les élèves ont perçu le jeu comme pratique, légèrement prévisible, clair et simple. En ce qui concerne l'attractivité, les élèves ont, en moyenne, trouvé le jeu beau et bon.
<caption>**Tableau 1.** Modèles de Régression Linéaire pour expliquer la variation de l'auto-efficacité (VAE).</caption>

Note : VD correspond à Variable dépendante. CP représente le Coefficient du Pré-dicteur. CD décrit le Coefficient de Détermination. Extr est l'acronyme d'Extrinsèque tandis que Intr est l'acronyme d'Intrinsèque. EJV représente l'Expérience Jeux Vidéos

<table><thead><tr><th>VD</th><th>Prédicteur</th><th>CP</th><th>CD</th></tr></thead><tbody><tr><td>VAE</td><td>Extr. Externe</td><td>-0.02</td><td>0.5%</td></tr><tr><td>VAE</td><td>Extr. Introjecte</td><td>-0.05</td><td>2.9%</td></tr><tr><td>VAE</td><td>Extr. Identifie</td><td>-0.03</td><td>1.1%</td></tr><tr><td>VAE</td><td>Intr. Stimulation</td><td>-0.04</td><td>1.3%</td></tr><tr><td>VAE</td><td>Intr. Accomplissement</td><td>-0.03</td><td>1.4%</td></tr><tr><td>VAE</td><td>Intr. Connaissance</td><td>-0.07</td><td>5.2%</td></tr><tr><td>VAE</td><td>EJV</td><td>[0.58-EJV (2), 0.30-EJV (3), 0.39-EJV (4)]</td><td>3.6%</td></tr></tbody></table>

## 3.4 Résultats QR3

La Figure 8 présente la matrice de corrélation entre les variables d'intérêt, notamment la variation du sentiment d'auto-efficacité, la mesure de l'utilisabilité et les mesures de l'expérience utilisateur. De plus, les valeurs-p significatives sont marquées avec des étoiles. D'abord, toutes les corrélations linéaires sont positives à divers degrés. Nous pouvons aussi voir qu'il n'y a pas de corrélations significatives entre la différence d'auto-efficacité et les dimensions de l'expérience utilisateur ou l'utilisabilité. Par contre, il y a des corrélations significatives entre l'utilisabilité et les dimensions de l'expérience utilisateur.

# 4 Discussion

## 4.1 Discussion QR1

Les résultats montrent que la variation positive du sentiment d'auto-efficacité des élèves, après avoir joué, est statistiquement significative. De plus, les modèles de régression linéaire ne convergent pas pour l'instant. Cependant, les cas particuliers des élèves les plus démotivés nous donnent des pistes intéressantes pour analyser si le jeu sérieux peut avoir un effet plus important sur les apprenants qui, au départ, étaient plutôt démotivés. Par contre, pour bien explorer cette situation, il serait nécessaire de collecter plus de données pour mener l'analyse avec des modèles de régression mixte. Ce type d'analyse permettrait de suivre des pistes d'inférences et de causalité.

## 4.2 Discussion QR2

Sauro [28] a analysé 3187 réponses au questionnaire SUS pour décrire les percentiles des scores bruts obtenus. Cette étude nous permet de comparer l'utilisabilité perçue de notre jeu sérieux avec celle des autres produits de [28]. Avec un score moyen qui atteint presque 67, notre jeu sérieux se trouve dans
<figure><img src="image_9.png" /><figcaption>**Fig. 7.** Plot de l'expérience utilisateur par item et thème. Les paires de mots contrastés sont mis à gauche et à droite de chaque axe. Les items en vert décrivent l'attractivité, les items oranges et bleus les qualités hédoniques, et le rose la qualité pragmatique</figcaption></figure>

la tranche qui correspond aux percentiles 41-59. Cela veut dire qu'entre 41% et 59% de personnes de l'analyse de Sauro auraient trouvé le jeu comme utilisable. D'après l'étude de Bangor [7], la moyenne du score SUS indique que le jeu sérieux est acceptable, et considérant la proximité de notre score vers l'échelon suivant. Cependant, il faut aussi préciser que ce type d'analyses présente des faiblesses par rapport à sa comparabilité au niveau du contexte et du public cible. Sauro [28] a aussi proposé des analyses par type d'interface, où la plus proche du jeux sérieux est celle d'un site web (puisque le jeu sérieux est basé sur un navigateur web). Avec cette analyse par type d'interface, notre moyenne (66.97) est presque identique à celle des études prises en compte (67.0) pour l'analyse des sites web. Par contre, notre écart type (17.09) est supérieur à celle des produits étudiés (13.4).
<figure><img src="image_10.png" /><figcaption>**Fig. 8.** Heatmap de corrélations de l'utilisabilité, l'expérience utilisateur et la variation du sentiment d'auto-efficacité</figcaption></figure>

Note: ***p<0.001; **p<0.01; *p<0.05

De plus, nous constatons des moyennes positives pour toutes les qualités de l'expérience utilisateur. En général, les élèves ont perçu notre jeu sérieux comme très pragmatique. Cependant, les élèves ont une impression presque neutre dans le sens qu'ils pensent que le jeu n'est pas si prévisible. Cela a du sens car le jeu est linéaire et les objectifs sont bien mis en place dès le début de la partie. En moyenne, le jeu stimule les élèves, ce qui valide l'efficacité (au niveau stimulant) des interactions et utilisations de modules pédagogiques dans le jeu. Aussi, les élèves se sentent identifiés avec le jeu, et le trouvent de bon goût et de haute gamme. L'attractivité du jeu est aussi positive, et il est perçu, en moyenne, bon et beau.

## 4.3 Discussion QR3

Notre analyse de corrélations linéaires de Pearson entre les mesures de l'expérience utilisateur et l'utilisabilité montrent des valeurs de corrélation significatives pour toutes les variables, sauf pour la variation du sentiment d'auto-efficacité. Cela veut dire que pour l'instant, nous ne pouvons pas constater de corrélations entre l'impact du jeu sur l'auto-efficacité des élèves et leur perception du jeu en termes
d'utilisabilité. Néanmoins, nous pouvons constater que l'attractivité est haute-
ment corrélée avec le score SUS et les qualités pragmatiques et hédoniques. De la
même manière, le score SUS est fortement corrélé avec les qualités de l'expérience
utilisateur. Ces résultats présentent des pistes de recherche intéressantes, notam-
ment pour la conception du jeu, en particulier concernant les interactions et les
modules pédagogiques à intégrer.

## 4.4 Limitations et Perspectives

La limitation la plus importante concerne la taille relativement faible du
jeu de données étudié. Ainsi, les résultats discutés doivent être renforcés par
des études supplémentaires impliquant un plus grand nombre de participants.
D'autre part, cette taille limitée ne permet pas d'effectuer des analyses statis-
tiques très approfondies. Toutefois, nous espérons recueillir davantage d'informations
au cours des phases expérimentales en 2025 dans le cadre du projet Agr-eSchool.
Ces données additionnelles devraient nous permettre d'effectuer des analyses
mettant en lumière les liens entre les variables étudiées dans le présent arti-
cle et des informations dont nous ne disposons pas actuellement, telles que les
interactions dans le jeu sérieux. Ces analyses pourraient nous aider à mieux
comprendre le comportement des utilisateurs et ainsi nous permettre de pro-
poser des interactions avec le plateau de jeu et entre co-équipiers afin d'améliorer
leur expérience utilisateur et/ou leur sentiment d'auto-efficacité dans le contexte
d'enseignement. En calculant les effets des interactions et des modules péda-
gogiques, nous pourrions compléter les modèles théoriques existants de concep-
tion de jeux sérieux. Une autre limitation vient de l'absence actuelle de données
portant sur le gain d'apprentissage. Cette dimension est bien sûr très intéres-
sante, mais elle n'a pas fait l'objet de notre étude afin de ne pas surcharger les en-
seignants avec des tâches supplémentaires. En revanche, cette partie sera traitée
dans nos futurs travaux. À court terme, nous envisageons de dispenser des ques-
tionnaires pré- et post-expérimentation pour mesurer les gains d'apprentissage
relatifs aux concepts étudiés au travers du jeu. À plus long terme, nous pourrons
les mesurer si les mêmes élèves participent à plusieurs expérimentations, ce que
nous ne sommes pas en mesure de garantir à ce jour.

# 5 Conclusions

Nous avons répondu à la **QR1 : L'introduction d'un jeu sérieux dans un cursus professionnel a-t-elle un impact sur le sentiment d'auto-efficacité des apprenants ?** Si oui, quels sont les profils d'apprenants pour lesquels l'impact est le plus important lorsque l'on considère leur motivation et la fréquence avec laquelle ils jouent à des jeux vidéos ? en vérifiant qu'il y a bien une différence positive significative du sentiment d'auto-efficacité après que les élèves aient joué au jeu sérieux. De plus, nous avons exploré les tendances des élèves qui ont ressenti le plus et le moins de variation d'auto-efficacité. En outre, nous avons répondu à la **QR2 : Quelle est
l'utilisabilité et la qualité de l'expérience utilisateur perçues du jeu sérieux ? en mesurant l'utilisabilité et la qualité de l'expérience utilisateur du jeu sérieux. L'étude de l'utilisabilité décrit le jeu comme utilisable et acceptable (en comparaison avec d'autres applications web). De plus, nous avons trouvé des moyennes positives dans les qualités de l'expérience utilisateur. Finalement, nous avons exploré les relations de corrélation entre les variables précédemment citées en adressant la **QR3 : L'utilisabilité et l'expérience utilisateur perçues du jeu sérieux sont-elles corrélées avec l'auto-efficacité et la motivation des apprenants** ? À ce moment, nous n'avons pas trouvé des corrélations entre la variation de l'auto-efficacité et les autres variables. Cependant, nous avons constate qu'il y a bien de corrélations significatives entre les dimensions de l'expérience utilisateur et le score SUS. Nous espérons que cette étude puisse encourager les chercheurs à explorer d'avantage l'application des jeux sérieux et analyser ses effets sur les élèves, avec le but final de contribuer à la transformation de l'enseignement agricole et d'améliorer son attractivité.

## Remerciements

Ce projet est retenu dans le cadre de Deffinum, soutenu par France 2030 et le programme de l'Union Européenne NextGenerationEu. Les auteurs remercient également les partenaires du projet : HyperFiction, Succubus et le réseau UNREP.

## References

1. Aaron Bangor, P.T.K., Miller, J.T.: An empirical evaluation of the system usability scale. International Journal of Human-Computer Interaction **24**(6), 574–594 (2008). https://doi.org/10.1080/10447310802205776

2. Abt, C.C.: Serious Games. The Vicking Press (1970)

3. Alvarez, J.: Du jeu vidéo au Serious Game. Theses, Université Toulouse (Dec 2007), https://hal.science/tel-01240683

4. Alvarez, J., Djaouti, D.: An introduction to serious game definitions and concepts. In Proceedings of the Serious Games & Simulation for Risks Management Workshop pp. 11–15 (01 2011)

5. Bandura, A., Carré, P., Lecomte, J.: Auto-efficacité: Comment le sentiment d'efficacité personnelle influence notre qualité de vie. Ouvertures Psychologiques, de Boeck supérieur (2019), https://books.google.fr/books?id=PYC3DwAAQBAJ

6. Bandura, A.: Self-efficacy: toward a unifying theory of behavioral change. Psychological review **84**(2), 191 (1977), publisher: American Psychological Association

7. Bangor, A., Kortum, P., Miller, J.: Determining what individual sus scores mean: Adding an adjective rating scale. Journal of usability studies **4**(3), 114–123 (2009)

8. Bardon, E., Gozard, D., Ricard, B.: L'orientation des élèves vers l'enseignement agricole et son attractivité. Tech. rep., Conseil Général de l'alimentation, de l'agriculture et des espaces ruraux (2020), https://agriculture.gouv.fr/lorientationdes-eleves-vers-lenseignement-agricole-et-son-attractivite-0
9. Benet Rivière, J.: L'empreinte du handicap dans l'orientation dans l'enseignement professionnel agricole. In: 10e congrès de l'Association française de Sociologie (AFS) "Intersections, circulations", AFS, Lyon, France (Jul 2023)

10. Bergeron, B.: Developing serious games. Charles river media (2006)

11. Boyer, J.M., Delattre, N.: Enseignement agricole : l'urgence d'une transition agro-politique. Tech. rep., Sénat (2021), https://www.senat.fr/notice-rapport/2020/r20-874-notice.html

12. Brooke, J.: Sus: A quick and dirty usability scale. Usability Eval. Ind. **189** (11 1995)

13. Djaouti, D., Alvarez, J., Jessel, J.P.: Classifying serious games: the g/p/s model. Handbook of Research on Improving Learning and Motivation through Educational Games: Multidisciplinary Approaches (01 2011). https://doi.org/10.4018/978-1-60960-495-0.ch006

14. Espinosa-Curiel, I.E., de Alba-Chávez, C.A.G.: Serious video games for agricultural learning: scoping review. IEEE Transactions on Learning Technologies (2024)

15. FRANCE2030, F.: Agr-eschool (2023-2025), https://agreschool.fr/

16. Gómez-Prada, U., Orellana-Hernández, M., Salinas-Ibáñez, J.: Strategy for the appropriation of a DSS in small bovine producers using simulation and a serious video game. Information **11**(12), 566 (2020), publisher: MDPI

17. Gómez Prada, U.E., Orellana Hernández, M.L., Salinas Ibañez, J.M.: Systems dynamics and serious video games in an appropriation strategy of a decision support system for small livestock farmers. International Journal of Interactive Mobile Technologies (iJIM) **14**(15), pp. 4-24 (Sep 2020). https://doi.org/10.3991/ijim.v14i15.14597, https://online-journals.org/index.php/i-jim/article/view/14597

18. Hassenzahl, M.: Experience design: Technology for all the right reactions. Synthesis Lectures on Human-Centered Informatics (2010), http://dx.doi.org/10.2200/S00261ED1V01Y201003HCI008

19. Hassenzahl, M., Burmester, M., Koller, F.: AttrakDiff: Ein Fragebogen zur Messung wahrgenommener hedonischer und pragmatischer Qualität, pp. 187-196. Vieweg+Teubner Verlag, Wiesbaden (2003). https://doi.org/10.1007/978-3-322-80058-9_19

20. Hassenzahl, M., Tractinsky, N.: User experience - a research agenda. Behaviour and Information Technology **25**, 91 - 97 (03 2006). https://doi.org/10.1080/01449290500330331

21. ISO: Iso 9241-11:2018. ergonomie de l'interaction homme-système. Tech. rep., ISO (2019)

22. Lallemand, C., Koenig, V., Gronier, G., Martin, R.: Création et validation d'une version française du questionnaire attrakdiff pour l'évaluation de l'expérience utilisateur des systèmes interactifs. European Review of Applied Psychology **65**(5), 239-252 (2015). https://doi.org/10.1016/j.erap.2015.08.002

23. Lecomte, J.: Les applications du sentiment d'efficacité personnelle. Savoirs, Hors série pp. 59-90 (2004). https://doi.org/0.3917/savo.hs01.0059.

24. OECD/FAO: Agricultural outlook 2022-2031 (2022). https://doi.org/10.1787/f1b0b29c-en

25. Pelletier, C., Gaudreau, N., Frenette, É.: Portrait des pratiques enseignantes qui soutiennent le sentiment d'efficacité personnelle à réussir ses études au collégial selon les perceptions étudiantes. Revue des sciences de l'éducation **48**(2) (2022). https://doi.org/10.7202/1098345ar
26. Pintrich, P., Smith, D., Duncan, T., Mckeachie, W.: A manual for the use of the motivated strategies for learning questionnaire (mslq). Ann Arbor. Michigan **48109**, 1259 (01 1991)

27. Pons Lelardeux, C.: Real-time Virtual Collaborative Environment Designed for Risk Management Training: Communication and Decision Making. Theses, Université Paul Sabatier (Toulouse 3) (Oct 2017), https://hal.science/tel-02008969

28. Sauro, J.: A Practical Guide to the System Usability Scale: Background, Benchmarks & Best Practices. Measuring Usability LLC (2011), https://books.google.fr/books?id=BL0kKQEACAAJ

29. Sauro, J., Lewis, J.R.: Chapter 8 - standardized usability questionnaires. In: Sauro, J., Lewis, J.R. (eds.) Quantifying the User Experience (Second Edition), pp. 185-248. Morgan Kaufmann, Boston, second edition edn. (2016). https://doi.org/10.1016/B978-0-12-802308-2.00008-4

30. Tangworakitthaworn, P., Tengchaisri, V., Sudjaidee, P.: Serious game enhanced learning for agricultural engineering education: Two games development based on iot technology. In: 2020-5th International Conference on Information Technology (InCIT). pp. 82-86. IEEE (2020)

31. Vallerand, R., BLAIS, M., Brière, N., Pelletier, L.: Construction et validation de l'Échelle de motivation en Éducation (eme). Canadian Journal of Behavioural Science-revue Canadienne Des Sciences Du Comportement **21**, 323-349 (07 1989).
https://doi.org/10.1037/h0079855

32. Whyte, M., Smyth, M., Scherf, K.: Designing serious game interventions for individuals with autism. Journal of Autism and Developmental Disorders **45**, 3820-3831 (2015)