# Codobot : un dispositif soutenant les élèves dans l'apprentissage des concepts de base en programmation. Qu'en disent les enseignants lors de la découverte du jeu ?

## *Codobot: a device supporting students in learning basic programming concepts. What do teachers say when discovering the game?*

Sabrin Housni* – sabrin.housni@umons.ac.be // 0000-0003-0435-2620

Audrey Kumps* – audrey.kumps@umons.ac.be – https://orcid.org/0000-0001-6481-0318

François Rocca** – francois.rocca@umons.ac.be – https://orcid.org/0000-0002-3127-0690

Gaëtan Temperman* – gaetan.temperman@umons.ac.be – https://orcid.org/0000-0002-0200-350X

Bruno De Lièvre* – bruno.delievre@umons.ac.be – https://orcid.org/0000-0001-8843-1582

* (IPN, UMONS)

** (ISIA Lab, UMONS)

**Pour citer cet article :** Housni, S., Kumps, A., Rocca, F., Temperman, G., & De Lièvre, B. (2023). Codobot : un dispositif soutenant les élèves dans l'apprentissage des concepts de base en programmation. Qu'en disent les enseignants lors de la découverte du jeu ? *Évaluer. Journal international de recherche en éducation et formation*, 9(1), 29-51. https://doi.org/1048782/e-jiref-9-1-29

## Résumé

Dans cette contribution, nous évaluons, par le biais d'un test utilisateur, un prototype nommé Codobot, destiné à soutenir les élèves dans l'acquisition des concepts fondamentaux de la programmation. Codobot se présente sous la forme d'un jeu de société qui comprend un robot programmable, des cartes de programmation à numériser à l'aide d'une application développée avec le moteur de jeu Unity ainsi que des tuiles, des jetons, un dé à 30 faces, une jauge de niveau et d'autres accessoires. En plus de posséder les caractéristiques d'un jeu de société, Codobot est un dispositif tangible destiné à la découverte de la programmation et au développement de la pensée informatique. Le test utilisateur, réalisé auprès de trois enseignants, a constitué une première évaluation du prototype qui a révélé son potentiel pédagogique ainsi que de nombreuses opportunités d'amélioration en termes de didactique et de technologie. Enfin, nous soulignons l'apport méthodologique majeur de cette contribution qui se situe à la jonction entre l'initiation aux concepts fondamentaux de la programmation, les sciences de l'éducation et l'expérience utilisateur.
## Mots-clés

Interface tangible, Codobot, perceptions, enseignants, expérience utilisateur.

## Abstract

In this contribution, we evaluate, through a user test, a prototype named Codobot, intended to support students in the acquisition of fundamental concepts of programming. Codobot takes the form of a board game that includes a programmable robot, programming cards to be scanned using an application developed with the Unity game engine, as well as tiles, tokens, a 30-sided die, a level gauge, and other accessories. In addition to the characteristics of a board game, Codobot is a tangible device for discovering programming and developing computational thinking. The user test, carried out with three teachers, constituted a first evaluation of the prototype which revealed its pedagogical potential as well as numerous opportunities for improvement in terms of didactics and technology. Finally, we underline the major methodological contribution of this contribution, which is situated at the junction between the initiation to the fundamental concepts of programming, the educational sciences and the user experience.

## Keywords

Tangible interface, board game, perceptions, teachers, user experience.
# 1. Introduction

En 2018, la Belgique francophone annonce une modification en profondeur du rôle de l'école en matière d'appropriation des savoirs, des savoir-faire et des compétences. Il s'agit, dans le cadre du Pacte pour un Enseignement d'Excellence, de positionner la communauté éducative concernant l'acquisition de nouvelles compétences numériques et de se questionner sur la façon d'y former les enseignants. Pour guider ce nouveau processus, 5 axes d'action sont définis. L'axe 1 se centre sur la définition de contenus et de ressources numériques au service des apprentissages. Cet axe invite à la mise en œuvre d'une éducation par le numérique et au numérique et est envisagé dès la 3e année de l'enseignement primaire (CE2 - 8 ans). En ce qui concerne cette réforme, le numérique est donc conçu comme un outil d'apprentissage au service des disciplines, mais également comme un objet d'apprentissage (Béziat, 2012). Dans le cadre de cette contribution, c'est ce dernier aspect qui est envisagé, et, plus particulièrement, les savoirs, savoir-faire et compétences relatifs aux algorithmes et à la programmation.

La même année, la Région wallonne publie une enquête centrée sur la place du numérique dans l'éducation, réalisée auprès de 2585 enseignants (Delacharlerie et al., 2018). Cette enquête met en évidence que 76% des enseignants estiment n'avoir aucune connaissance de la programmation et que seuls 17% déclarent avoir suivi une formation à la programmation (ibid.). Dans cette perspective, il apparaît intéressant d'analyser la prise en main de tels outils par des enseignants novices qui devront très prochainement se les approprier, afin d'accompagner les élèves dans le développement des savoirs, savoir-faire et compétences relatifs aux algorithmes et à la programmation.

Cette contribution est une première étape d'une étude plus large visant à accompagner les enseignants dans la prise en main et l'élaboration de dispositifs dédiés au développement de savoirs, savoir-faire et compétences relatifs aux algorithmes et à la programmation. Cet accompagnement est notamment envisagé par la mise à disposition de ressources pédagogiques centrée sur les utilisateurs. Bien que très courante dans les études marketing ou dans le domaine des interactions hommes-machines (IHM), cette conception est très peu utilisée en contexte scolaire. Cette étude présente donc un double intérêt. Le premier consiste en un apport méthodologique d'une démarche permettant l'analyse, à travers un test utilisateur, du ressenti des enseignants lors de la prise en main de dispositifs pédagogiques. Le second consiste à appliquer cette démarche dans le but de mettre à l'épreuve le prototype Codobot développé au sein de l'Institut Numediart de l'Université de Mons. Il s'agit d'un dispositif tangible dédié à la découverte de la programmation et au développement de la pensée informatique. Il se présente sous la forme d'un jeu de plateau, d'un robot programmable, ainsi que de cartes de programmation du robot.

Cet article s'articule en plusieurs parties. D'abord une revue de la littérature sur les dispositifs de programmation tangible afin de situer le dispositif Codobot au regard de la classification proposée par Henry et al. (2019), ensuite les recherches concernant l'expérience utilisateur en contexte éducatif. Ensuite, la partie méthodologique présente le dispositif Codobot ainsi que les outils d'évaluation de l'expérience utilisateur, identifiés dans la littérature. L'analyse des résultats est composée de deux parties : l'ajustement des outils d'évaluation de l'expérience utilisateur afin de les adapter au contexte de notre recherche et l'analyse du test utilisateur. Enfin, plusieurs conclusions seront tirées d'une part concernant ces deux parties.
## 2. Cadre théorique

Le cadre théorique présente ce qu'est un dispositif de programmation tangible à partir d'une classification originale proposée par Henry *et al.* (2018). Nous le complétons par un examen de la littérature des tests utilisateurs en contexte éducatif.

### 2.1. Les dispositifs de programmation tangible

Selon Desjardins *et al.* (2018), l'enseignement des concepts de programmation grâce aux dispositifs de programmation tangible semble une piste prometteuse. Selon le principe du miroir cognitif, l'activité du robot permet en effet de visualiser directement et concrètement les résultats de la programmation réalisée par l'élève. En outre, la robotique peut renforcer l'engagement et la motivation des élèves (Romero, 2016). Sur la base d'une analyse de la littérature sur les dispositifs de programmation tangible existants, Henry *et al.* (2019) propose une taxonomie qui différencie, d'une part, tout ce qui concerne la démarche didactique d'identification des concepts mis en œuvre par l'élève et, d'autre part, les modalités d'interaction pour communiquer et interagir avec le dispositif (Figure 1). Dès lors, cette taxonomie discrimine les dispositifs de programmation tangible par son public cible : de 2 à 6 ans, de 7 à 12 ans ou sans spécification de l'âge. Elle distingue également 6 concepts de programmation mis en œuvre par les élèves : l'algorithme/ le programme, la séquence, la structure conditionnelle, la boucle, la variable et le sous-programme. Afin de définir ces concepts, nous nous appuyons sur le dossier dédié à la pensée computationnelle de l'organisme Parlons Sciences (2018). D'un point de vue technologique, la taxonomie propose de différencier les modalités d'interaction avec le robot qui peut être tout-en-un, tel que la Bee-bot, ou composé, tel que l'Ozobot, ainsi que les différentes entrées et sorties du robot programmable. Elle permet également de différencier un dispositif physique qui ne contient que des composants tangibles, tels que Bee-bot ou KIKO, et ceux qui sont hybrides, c'est-à-dire comprenant des composants tangibles et virtuels, tels que Blue-bot ou Ozobot. Ces dispositifs hybrides possèdent généralement une application dédiée pour en-voyer les instructions aux robots (Henry *et al.*, 2019).

<figure><img src="image_1.png" /><figcaption>Figure 1. Taxonomie de Henry *et al.* (2019)</figcaption></figure>
En outre, notre analyse de cette classification met en évidence qu'une nouvelle catégorie d'entrées pourrait être ajoutée. Il s'agit du lecteur de code personnalisé. À l'instar du KIBO qui scanne ses blocs de programmation, tel que le ferait un lecteur de QR code, certains dispositifs disposent d'un lecteur équipé d'un algorithme capable d'effectuer une reconnaissance visuelle de codes spécifiques. Cette nouvelle catégorie a donc été ajoutée à la classification.

## 2.2. L'expérience utilisateur : un précurseur à la conception de ressources pédagogiques ?

L'expérience utilisateur s'articule autour d'un ensemble de perceptions multidimensionnelles d'un utilisateur lors de son interaction avec un système dans un contexte spécifique (Robert, 2014). Tel que mentionné dans la section précédente, de nombreux systèmes de programmation tangible existent. Selon cette théorie, une expérience globalement positive va permettre une utilisation effective du système. C'est notamment le cas lorsqu'un enseignant décide d'utiliser ou non un dispositif dans sa classe auprès de ses élèves. L'expérience utilisateur peut être évaluée, notamment, à travers un test utilisateur. Ce test consiste à proposer à un utilisateur d'expérimenter un système interactif *afin d'observer ses comportements, ses réactions et sa performance dans la réalisation de tâches prédéfinies* (Lallemand & Gronier, 2016, p. 461). Il permet également de recueillir des données sur les forces et les faiblesses du système (ibidem). Scapin et Bastien (1997) classent ces limites, également appelées problèmes, en 4 catégories. La catégorie « faible » mentionne les problèmes de qualité ou d'apparence ; la catégorie « moyen » reprend les problèmes qui perturbent le bon déroulement de la tâche, sans empêcher son exécution ; la catégorie « sérieux » concerne les problèmes qui ralentissent et forcent l'utilisateur à chercher une autre solution ; enfin, la catégorie « critique » recense les problèmes qui conduisent à l'arrêt de la tâche.

De nombreuses études en marketing ont pour ambition de valider des prototypes, en se basant sur l'expérience utilisateur, toutefois peu d'entre elles ont pour contexte l'éducation et la formation. Une revue de la littérature des tests utilisateurs en contexte éducatif nous amène à la conclusion que la plupart ont pour ambition de repérer les problèmes et d'y remédier uniquement en faisant appel aux retours des utilisateurs. C'est notamment le cas dans l'étude de Salam et al. (2017). Les auteurs mettent en œuvre un livret participatif numérique de Compétences en Réussite à destination d'étudiants universitaires. Afin de l'évaluer, le livret a été soumis aux étudiants au cours d'une année académique. Cette mise à l'épreuve du prototype a été suivie en fin d'année par un test utilisateur sous forme d'un questionnaire proposé aux utilisateurs, suivi d'un temps d'échange concernant le dispositif d'apprentissage.

D'autres études utilisent plusieurs outils afin de croiser des données provenant de plusieurs sources. C'est le cas de l'étude de Al Sabri (2010) dans laquelle l'auteur, pour évaluer des plateformes dédiées à la grammaire, propose une méthode mixte d'évaluation. Cette recherche met en évidence plusieurs constats relatifs aux tests utilisateurs concernant des dispositifs pédagogiques. Le premier est que l'évaluation d'une interface sur la base unique d'une grille d'évaluation n'est pas suffisante. En effet, c'est l'utilisation effective de l'outil, de l'environnement, etc. qui va permettre de faire émerger les expériences positives et les difficultés éventuelles. Le deuxième est que la passation unique d'un test utilisateur ne suffit pas à déterminer la qualité de l'expérience d'apprentissage que le dispositif véhicule. En effet, dans un contexte pédagogique, une analyse de la qualité du contenu en termes de développement des compétences délivré semble indispensable. Enfin, le dernier constat est
que les questionnaires de fin de test doivent contenir également des questions ouvertes permettant à l'utilisateur de commenter librement.

Ces constats corroborent l'étude de Boufflers et al. (2017) qui, pour évaluer un jeu de plateau débranché permettant d'initier des novices aux concepts de base de la programmation, mettent en œuvre un test utilisateur auprès d'un groupe de quatre personnes habituées aux jeux de société. La méthodologie de l'expérimentation donne lieu à un relevé des verbatim lors du test utilisateur mettant en évidence les forces et les faiblesses du jeu. Elle s'appuie également sur l'analyse de questions posées aux utilisateurs lors d'un entretien en fin de test et sur l'analyse des résultats au questionnaire System Utilisability Scale (SUS). Dans leurs conclusions, les auteurs mettent d'abord en évidence les problèmes détectés dans le jeu de plateau ainsi que les solutions prévues pour y remédier. Le test utilisateur a mis en évidence un grand nombre d'échanges entre les participants, signe d'une bonne dynamique de groupe et [d']une bonne coopération (p. 5). En outre, les auteurs relèvent des problèmes mis en lumière lors du test utilisateur pour lesquels ils proposent des remédiations. Les questions ouvertes en fin de test utilisateur font ressortir des perceptions complémentaires à celles identifiées précédemment. Enfin la moyenne des résultats au test SUS fait ressortir un score jugé très bon, cohérent avec les commentaires émis par les utilisateurs au cours de l'entretien ouvert. En guise de prolongement, les auteurs s'accordent sur le fait qu'il serait pertinent de reproduire ce test auprès d'un autre public cible : des enfants.

Enfin, partant du postulat que peu de recherches prennent en compte à la fois l'expérience
utilisateur et les apprentissages fondamentaux, Fleck et ses collaborateurs (2018) ont mis en
place un protocole expérimental autour du robot Teegi permettant de mesurer les forces et
les faiblesses d'une interface tangible, tant d'un point de vue de son utilisabilité que de ses
effets sur les apprentissages visés auprès d'élèves de 8 à 11 ans. Le robot Teegi est le proto-
type d'une interface tangible dédiée à la visualisation de l'activité cérébrale en contexte éducatif (pp. 1-2).
Ce contexte spécifique met en évidence qu'en plus d'être un utilisateur l'enfant est égale-
ment un joueur et un apprenant. Le protocole, basé sur la complémentarité des outils
d'évaluation des IHM et des sciences de l'éducation, met en évidence de nombreux cons-
tats, notamment l'importance en contexte scolaire de l'aspect ludique d'un produit tant
pour les enfants que pour les adultes, ainsi qu'une importance prépondérante de la collabo-
ration dans les activités intégrant des interfaces tangibles. Par ailleurs, les auteurs attirent
l'attention sur le fait que ces interfaces doivent être assez sophistiquées pour ne pas con-
duire rapidement à l'ennui. En effet, lors de leur expérimentation, les possibilités interac-
tionnelles se voient épuisées après 10 minutes de manipulation, donnant lieu, après ce laps
de temps, à une possibilité de détachement de la part de l'utilisateur. Ce constat met en
evidence que seule une utilisation ponctuelle du dispositif est possible, limitant dès lors le
potentiel pédagogique de l'outil. Les auteurs insistent également sur l'importance de l'esthe-
tisme, sur l'attractivité et la désirabilité de la tâche, induisant par la même occasion des
émotions positives ayant elles-mêmes des effets sur la volonté d'apprendre. Enfin, les au-
teurs mettent en évidence la complémentarité des instruments utilisés pour relever les per-
ceptions et les représentations lors de ce test utilisateur : recueil de verbatim verbaux et
écrits, des représentations scripturales, questionnaires d'enquêtes issus des domaines des
IHM et des sciences de l'éducation adaptés au public cible, observations assistées par la
vidéo. Ces données ont permis d'améliorer le prototype Teegi, mais aussi d'alimenter
l'argumentation autour des potentialités des TUIs pour l'apprentissage, les outils d'estimation de valeur
pédagogique, les tests d'expérience utilisateur et de l'analyse comportementale (p. 11).
## 3. Méthodologie

Bien qu'à long terme l'ambition soit d'évaluer les apports d'un tel dispositif pour l'apprentissage des concepts algorithmiques de base, cette contribution a pour but une première évaluation via les perceptions des utilisateurs lors de la prise en main de l'outil, notamment par la mesure de l'utilité, l'utilisabilité, l'efficacité, etc. Dans une démarche d'UX Design (Gronier, 2017 ; Laimay, 2017), l'objectif est également de rendre compte, à travers un test utilisateur, de l'expérience vécue par ce dernier lors de son interaction avec l'outil.

### 3.1. Dispositif pédagogique : Codobot, un jeu de société pour initier aux concepts de base de la programmation

Selon la taxonomie d'Henry *et al.* (2019), Codobot est un dispositif hybride. Il s'agit d'un jeu de société destiné à initier les novices aux concepts de base de la programmation dès l'enseignement primaire. Le jeu est également prévu pour tout public novice en programmation et souhaitant s'initier aux concepts de base. Il comprend plusieurs composants tangibles (Figure 2) : un plateau de jeu évolutif composé de 34 tuiles, un dé de 30 faces, un robot - appelé rover - qui se déplace et émet des signaux sonores, 99 cartes de programmation, 10 jetons objectifs, 5 jetons bonus, une jauge de niveau pour faire varier la difficulté et un composant virtuel : l'application développée pour une utilisation sur appareil mobile.

<figure><img src="image_2.png" /><figcaption>**Figure 2.** Le robot se déplace sur le plateau de jeu</figcaption></figure>

Dans sa version d'origine, Codobot supporte 5 concepts sur les 6 identifiés supra par Henry et ses collègues (2019). Dans la version "extension"<fnref n="1" /> du rover Codobot muni de capteurs, le concept de variable dans son rôle d'itérateur est mis en œuvre. Au final, tous les concepts de la classification sont donc, à travers l'utilisation du dispositif, rencontrés et mis en œuvre par l'élève (Figure 3). Il convient de différencier un concept mis en œuvre par un outil, d'un concept compris par l'élève (*ibidem*). Pour aller au-delà de la mise en œuvre, l'action de l'enseignant semble primordiale. En effet, ce n'est pas l'outil qui a un impact sur l'apprentissage, mais bien la manière dont l'enseignant envisage la tâche qui va permettre la compréhension des concepts par l'apprenant (Dillenbourg, 2018). Notons ici que très peu de dispositifs rencontrent tous les concepts de programmation de ladite classification, rendant dès lors le dispositif Codobot assez polyvalent en termes d'initiation aux concepts de base en programmation.

<footnote n="1">¹ Identifiée par les cases jaunes dans la classification.</footnote>
<figure><img src="image_3.png" /><figcaption>**Figure 3.** Taxonomie de Henry et al. (2019)</figcaption></figure>

À l'instar de KIBO, les cartes de programmation ne contiennent pas de composantes électroniques et sont réalisées entièrement en carton, telles des cartes à jouer. Le seul aspect branché du dispositif réside donc dans la lecture des cartes de programmation à l'aide de l'application qui joue le rôle de lecteur de code (Figure 4). Ce qui permet d'envoyer les instructions au robot, favorisant dès lors, en amont, des temps d'activités débranchées.

<figure><img src="image_4.png" /><figcaption>**Figure 4.** Lecture des cartes de programmation tangible avec l'application mobile</figcaption></figure>

Cet usage a minima de la technologie permet de centrer l'apprentissage sur la découverte des concepts de programmation sans la complexité ni la charge cognitive que peut générer le dispositif technique (Chessel Lazzarotto, 2018 ; Romero et al., 2018), induisant une concentration sur les concepts de programmation (Alayrangues et al., 2017). Par ailleurs, cette première phase débranchée a pour avantage de permettre aux élèves d'anticiper mentalement les mouvements qui devront être effectués par le robot. Ce temps de réflexion semble indispensable pour les élèves de fin de cycle primaire. En effet, afin que ces derniers développent des images mentales, il est opportun de prévoir des phases de questionnements portant sur la création de ces images (Marchand, 2006). Selon cet auteur, ces phases n'apparaissent que très rarement dans l'enseignement. Cette phase débranchée a également pour atout de développer des compétences utiles dans d'autres domaines d'apprentissage tels que la logique, la résolution de problème ou encore le travail collaboratif (Curzon et al.,
2014). Enfin, du côté des enseignants, une présence discrète des technologies développe leur sentiment de confiance envers les outils numériques ainsi qu'une meilleure compréhension des concepts de programmation (Brackmann et al., 2017), une charge de travail amoindrie durant la séance ainsi qu'une gestion facilitée de l'attention des élèves (Karsenti, 2018).

Sur le plan pédagogique, le dispositif Codobot a été pensé comme un jeu de société. Selon Guneysu et al. (2020), l'avantage des jeux est qu'il permet d'envisager une expérience différente à chaque nouvelle partie entamée, permettant un engagement élevé de la part des participants (Guneysu et al., 2020). Par l'exploration active de l'environnement et la stimulation des relations sociales, le jeu constitue un des moteurs les plus puissants pour apprendre et faire apprendre (Geary, 2008). À cet égard, comme le soulignent Sanchez et al. (2020), le principal défi est de parvenir à articuler l'intégration du contenu éducatif et les mécaniques ludiques dans la perspective d'amener les apprenants à s'engager dans des activités où ils mobilisent les connaissances que l'enseignant souhaite leur faire acquérir de façon incidente. Pour éviter un phénomène de double tâche, les mécaniques de jeu et d'apprentissage doivent être alignées (Romero & Kalmpourtzis, 2020). Dans un environnement ludique, une autre contrainte est de veiller à ne pas provoquer une surcharge attentionnelle qui pourrait avoir un effet négatif sur l'apprentissage (Moreno et al., 2001). Pour gérer la progression des apprenants, il semble que l'alternance entre les phases de jeu et les phases de réflexion constitue un levier favorable au développement d'une dynamique méta-cognitive chez les participants. Cette démarche peut passer par l'analyse des stratégies et des apprentissages réalisés. Sur le plan social, les dynamiques de coopération et de compétition peuvent parfaitement se combiner. Ainsi l'interdépendance positive est stimulée au sein de chaque équipe dans la mesure où les participants doivent se coordonner alors que les différentes équipes autour du plateau sont en situation de compétition pour relever les différents défis de programmation.

Dans cette perspective, trois axes ont guidé la conception du dispositif :

* Ludique : en partant du constat que l'on peut stimuler l'apprentissage en s'amusant, la dimension ludique de Codobot, créée avec des mécaniques du jeu de société, suscite l'intérêt des jeunes à la programmation, à la pensée informatique ;

* Accessible : apprendre à coder via un jeu de plateau, un médium connu et maîtrisé par tout le monde, rend la tâche plus abordable. La version actuelle de Codobot est prévu dès l'âge de 6 ans ;

* Flexible : Codobot est un outil pédagogique pour les enseignants qui souhaitent développer l'apprentissage de la logique de programmation, mais également un jeu de société pour toute la famille. Il peut se jouer de 1 à 6 joueurs, voire une classe entière en utilisant des règles pour les groupes.

## 3.2. Test utilisateur

Le test utilisateur comporte deux étapes. D'abord les enseignants sont invités à découvrir librement le jeu Codobot. Il leur est proposé d'essayer un nouveau jeu de société pendant 1h30 afin de décider s'ils l'intègreraient ou non dans leur classe. À la suite de ce test utilisateur, deux questionnaires posttest sont proposés : un questionnaire comportant 3 questions ouvertes : « Qu'avez-vous pensé du jeu ? », « Selon vous, quels sont les points forts du jeu ? » et « Selon vous, quels sont les points faibles du jeu ? » (Boufflers et al., 2017) et le System Usability Scale (SUS).
### 3.2.1. Plan du test utilisateur

Le tableau 1 propose le plan du test utilisateur effectué dans le cadre de cette recherche.

<table><caption>**Tableau 1. Plan du test utilisateur (Lallemand & Gronier, 2016)**</caption><thead><tr><th>PRODUIT TESTÉ</th><th>PARTICIPANTS</th><th>TÂCHES ET SCÉNARIO DU TEST</th></tr></thead><tbody><tr><td>Le produit testé est le dispositif Codobot. Son objectif est d'initier des novices aux concepts de base de la programmation de manière ludique.</td><td>Trois enseignants de l'enseignement primaire ont été recrutés pour ce test utilisateur.</td><td>Les participants ont été informés du test à réaliser : "imaginez que vous vous rendiez à la ludothèque et que vous essayiez un nouveau jeu de société pendant 1h30 maximum pour voir si vous l'intégreriez dans votre classe auprès des élèves". L'attention des participants au test a été centrée sur l'utilisabilité du jeu et non leur capacité personnelle à pouvoir réussir les différentes épreuves du jeu.</td></tr><tr><th>OBJECTIF DU TEST</th><th>EQUIPEMENT</th><th>RESPONSABILITÉS</th><th>LIEU ET DATE</th></tr><tr><td>L'objectif est l'évaluation du système dans une version suffisamment fonctionnelle pour simuler l'exécution de tâches spécifiques auprès des utilisateurs finaux.</td><td>L'équipement est composé du kit de jeu : Codobot qui est utilisé par les enseignants et une caméra sur pied pour filmer la séance.</td><td>Trois enseignantes et une chercheuse sont impliquées dans ce test utilisateur. La responsabilité des enseignantes est la réalisation du test utilisateur ainsi que la captation de la séance. La responsabilité de la chercheuse est la récolte, le traitement et l'analyse des données.</td><td>Le test utilisateur a eu lieu le 11 octobre 2020 sur le lieu de travail d'une des enseignantes, dans un contexte naturel. Il s'agit d'un test à distance asynchrone.</td></tr></tbody></table>

<figure><img src="image_5.png" /></figure>

### 3.2.2. Outils d'analyse du test utilisateur

Afin de multiplier les approches et proposer une diversité des données recueillies (Lallemand & Gronier, 2016), la rédaction du protocole donne lieu à la récolte et l'analyse de 2 types de données : les verbatim liés au test utilisateur et au questionnaire comportant les 3 questions ouvertes et les résultats du SUS.

#### 3.2.2.1. Analyse de contenu thématique

D'abord, le contenu des verbalisations des utilisateurs fait l'objet de la constitution de quatre corpus indiqués dans la suite de cette rédaction par [Test utilisateur], [Enseignant 1], [Enseignant 2] et [Enseignant 3]. Ces corpus sont traités à travers une analyse de contenu
thématique (Mucchielli, 2006), dans une approche itérative (Mukamurera et al., 2006). Un verbatim pouvant faire référence à plusieurs dimensions, le critère sémantique a été privilégié au critère syntaxique pour identifier les unités de codage (Derobertmassure & Robertson, 2013).

L'approche itérative invite à identifier des catégories de codage des unités de sens et, le cas échéant, d'adapter cette grille sur base de l'analyse des corpus analysés. Dans cette perspective analytique, le tableau 2 identifie la grille de codage préalable constituée des 10 dimensions de l'UX réparties en deux pôles : le pôle utilisateur et le pôle produit (Provost, 2012, cité par Robert, 2014).

<table><caption>**Tableau 2.** Les 10 dimensions de l'expérience utilisateur (Provost, 2012, cité par Robert, 2014)</caption><thead><tr><th></th><th>Dimension</th><th>Définitions</th></tr></thead><tbody><tr><td rowspan="5">Pôle produit</td><td>Fonctionnalité</td><td>La fonctionnalité concerne les qualités du produit. Ces qualités peuvent provenir de diverses sources : la fiabilité, la compatibilité avec d'autres produits, l'accessibilité et la disponibilité du produit.</td></tr><tr><td>Utilisabilité</td><td>Qualité d'un produit qui est facile à apprendre et à utiliser.</td></tr><tr><td>Informationnel</td><td>Qualité des informations fournies par le produit en fonction du contexte.</td></tr><tr><td>Caractéristiques physiques</td><td>Fait référence au poids, à la forme, aux dimensions (par exemple, clavier, écran), à l'autonomie de la batterie...</td></tr><tr><td>Caractéristiques externes</td><td>Les caractéristiques externes font référence notamment au service après-vente ou à l'écosystème du produit.</td></tr><tr><td></td><td>Autres qualités du produit</td><td></td></tr><tr><td rowspan="6">Pôle utilisateur</td><td>Perceptuelle</td><td>Impression laissée par le produit sur les organes sensoriels (visuel, auditif ou tactile).</td></tr><tr><td>Cognitive</td><td>Traitement de l'information effectué lors de l'utilisation du produit ; le traitement peut être de l'ordre de l'analyse, l'évaluation, la réflexion, l'apprentissage, la création, etc.</td></tr><tr><td>Psychologique</td><td>Émotions ressenties par l'utilisateur lorsqu'il utilise le produit.</td></tr><tr><td>Social</td><td>L'utilisation du produit relie l'utilisateur à d'autres personnes.</td></tr><tr><td>Physique</td><td>L'utilisation du produit exige de l'utilisateur un effort ou une activité physique.</td></tr><tr><td>Autres impacts personnels</td><td></td></tr></tbody></table>
#### 3.2.2.2. System Usability Scale

Le deuxième questionnaire mobilisé dans notre étude est une version en ligne du questionnaire SUS, traduit en français. Il est administré de manière autonome par les utilisateurs directement après la passation du test, de sorte que l'évaluation soit la plus spontanée et valide possible (Lallemand & Gronier, 2016, p. 359). Selon Bangor et al. (2008, cités par Lallemand & Gronier, 2016, p. 361) un système est jugé mauvais pour un score de 39/100, bon pour un score de 73, excellent à partir de 86 (Figure 7).

<figure><img src="image_6.png" /><figcaption>**Figure 7.** Échelle d'interprétation du score total au SUS</figcaption></figure>

## 4. Analyse des résultats

L'analyse des résultats se compose de deux parties. La première donne lieu à l'adaptation, réalisée sur base de l'analyse des résultats, des instruments identifiés dans la littérature scientifique. La seconde fait référence à l'analyse, via ces instruments, des données récoltées au cours de l'expérimentation. Dans les faits, ces deux parties de l'analyse ont été réalisées de manière parallèle, donnant lieu à des allers-retours entre analyse des données et adaptation des instruments. Par souci de clarté, l'adaptation des instruments est présentée en amont de l'analyse des données.

### 4.1. Adaptation des instruments

Emprunter des outils d'un domaine de recherche à un autre demande quelques adaptations. Par exemple, il convient, dans notre cas, d'investiguer le rôle de l'utilisateur. En effet, lorsqu'un enseignant découvre un dispositif pour sa classe, nous pouvons considérer qu'il y a une double réalité sous le terme utilisateur. D'une part, l'enseignant qui va le tester et pour lequel ses impressions personnelles au niveau perceptif, cognitif, psychologique, social, voire physique, sont récoltées « *L'histoire du jeu est sympathique, j'aime le thème de l'espace* » [Enseignant 2]. D'autre part, il y a l'élève qui est le deuxième utilisateur, ou plutôt la projection que l'enseignant se fait de l'élève selon la logique d'isomorphisme (Meirieu, 2005). Autrement dit, l'enseignant peut découvrir le dispositif tout en ressentant ce que les élèves peuvent vivre (Colognesi, 2017), donnant lieu, dès lors, à des réflexions où l'enseignant va se mettre à la place de l'élève lors de l'utilisation effective et se projeter dans ses ressentis au niveau perceptif, cognitif, psychologique, social voire physique « *ce qui est gai pour les enfants, je trouve c'est de commander le robot avec la tablette* » [Test utilisateur]. Cette première réflexion, donne lieu à une adaptation de la grille en trois dimensions au lieu des deux initialement prévues : pôle produit, pôle enseignant et pôle apprenant.

En outre, l'analyse des résultats a mis en évidence une dimension qui n'apparaît pas dans la grille initiale : l'appréciation globale (Roy et al., 2016). Cette dimension fait référence à des commentaires tels que « j'aime beaucoup ce jeu » [Enseignant 2] pour le pôle enseignant ou « et ça [le jeu] les enfants adoreraient » [Test utilisateur] pour le pôle apprenant. Cette dimension permet donc d'ajuster la grille d'observation.
Concernant le pôle produit, en référence à Davis *et al.* (1989), il semble important d'évoquer une dimension qui ne se retrouve pas de manière explicite dans les dimensions initiales du pôle produit : l'utilité. L'utilité perçue est la perception d'un utilisateur sur le fait que l'utilisation d'un système va ou non augmenter ses performances. Cette dimension reprend donc les réflexions relatives à l'utilité de l'outil pour l'enseignant, mais aussi pour les apprenants. Ces dernières peuvent être d'ordre pédagogique « *Tu ne joues pas assis alors, peut-être quand tu es petit. Tu tournes autour du plateau* » [Test utilisateur] et d'ordre didactique « *[le jeu] permet d'intégrer des notions de programmation de manière subtile* » [Enseignant 1], et mettent en évidence la valeur ajoutée du produit pour les apprenants et leurs apprentissages.

Le tableau 3 représente la grille de codage adaptée selon ces différentes dimensions et utilisée pour coder les unités de sens des corpus de l'analyse de contenu thématique.

<table><caption>**Tableau 3.** Grille de codage : dimensions et sous-dimensions</caption><thead><tr><td>Pôle produit</td><td>Pôle enseignant</td><td>Pôle apprenant</td></tr></thead><tbody><tr><td>Fonctionnalité</td><td>Perceptuelle</td><td></td></tr><tr><td>Utilisabilité</td><td>Cognitive</td><td></td></tr><tr><td>Utilité</td><td>Psychologique</td><td></td></tr><tr><td>Informationnel</td><td>Social</td><td></td></tr><tr><td>Caractéristiques physiques</td><td>Physique</td><td></td></tr><tr><td>Caractéristiques externes</td><td>Appréciation globale</td><td></td></tr><tr><td>Autres qualités du produit</td><td>Autres impacts personnels</td><td></td></tr></tbody></table>

Tenant compte des travaux de Bocquillon *et al.* (2015, p.102), il apparaît également intéressant d'analyser la polarité des commentaires. Dès lors, outre ces premières dimensions, chaque unité est codée en fonction de sa polarité (*positive*, *négative*, *constructive* ou *neutre*) :

* la polarité positive concerne les commentaires pour lesquels les enseignants témoignent des points forts, de ce qu'ils apprécient ou de ce qu'ils trouvent adéquat à travers l'utilisation du dispositif, sans proposer de pistes d'amélioration ;

* la polarité négative concerne les commentaires pour lesquels les enseignants témoignent des points faibles, de ce qu'ils n'apprécient pas ou de ce qu'ils ne trouvent pas adéquat à travers l'utilisation du dispositif, sans proposer de pistes d'amélioration ;

* la polarité constructive concerne les propositions d'amélioration ;

* la polarité neutre concerne les réflexions des enseignants sur le dispositif sans pour autant qu'ils émettent un avis positif, négatif ou constructif.
## 4.2. Analyse de contenu thématique

L'analyse du test utilisateur et du questionnaire ouvert en fin de test auprès des 3 enseignants donne lieu au codage de 113 unités de sens au total (Tableau 4).

<table><caption>**Tableau 4.** Répartition des unités codées dans les dimensions et sous-dimensions en fonction des polarités</caption><thead><tr><th></th><th>Positif</th><th>Négatif</th><th>Neutre</th><th>Constructif</th><th>Total</th></tr></thead><tbody><tr><td>Pôle Apprenant</td><td>5 (100%)</td><td>0</td><td>0</td><td>0</td><td>5 (100%)</td></tr><tr><td>Appréciation globale</td><td>5 (100%)</td><td>0</td><td>0</td><td>0</td><td>5 (100%)</td></tr><tr><td>Pôle Enseignant</td><td>21 (80,8%)</td><td>0</td><td>5 (19,2%)</td><td>0</td><td>26 (100%)</td></tr><tr><td>Cognitif</td><td>0</td><td>0</td><td>5 (100%)</td><td>0</td><td>5 (100%)</td></tr><tr><td>Appréciation globale</td><td>18 (100%)</td><td>0</td><td>0</td><td>0</td><td>18 (100%)</td></tr><tr><td>Psychologique</td><td>3 (100%)</td><td>0</td><td>0</td><td>0</td><td>3 (100%)</td></tr><tr><td>Pôle Produit</td><td>11 (13,4%)</td><td>39 (47,6%)</td><td>17 (20,7%)</td><td>15 (18,3%)</td><td>82 (100%)</td></tr><tr><td>Fonctionnalité</td><td>3 (20%)</td><td>11 (73,3%)</td><td>1 (6,7%)</td><td>0</td><td>15 (100%)</td></tr><tr><td>Informationnel</td><td>0</td><td>19 (79,2%)</td><td>0</td><td>5 (20,8%)</td><td>24 (100%)</td></tr><tr><td>Utilisabilité</td><td>5 (38,5%)</td><td>9 (61,5%)</td><td>0</td><td>0</td><td>13 (100%)</td></tr><tr><td>Utilité</td><td>3 (10%)</td><td>0</td><td>16 (53,3%)</td><td>10 (33,3%)</td><td>30 (100%)</td></tr><tr><td>Total références</td><td>37 (32,7%)</td><td>39 (34,5%)</td><td>22 (19,5%)</td><td>15 (13,3%)</td><td>113 (100%)</td></tr></tbody></table>

### 4.2.1. Analyse thématique des pôles apprenants et enseignants

Le tableau 4 met en évidence des avis unanimement positifs pour les pôles apprenants (100%) et enseignants (80,8%). En effet, 5 références émises par les enseignants concernant le pôle apprenant ont été relevées : ceux-ci mettent en évidence l'aspect ludique du jeu, favorisant l'adhésion des élèves « ce qui est gai pour les enfants je trouve de commander le robot avec la tablette » [Test utilisateur] ; « Je pense qu'elle bluffera les enfants » [Enseignant 1]. Cet avis favorable se ressent également au niveau de l'enseignant « le jeu est amusant (même pour les adultes) » [Enseignant 1] ; de plus, le fait de faire avancer soi-même le robot sans échec procure une certaine fierté » [Enseignant 2]. Le test utilisateur a mis en évidence des réactions positives (20%) lors de l'essai mentionnant que le jeu est « génial, c'est cool, c'est trop fort » [Test utilisateur] ; « c'est quand même gai de jouer moi je trouve » [Test utilisateur] ; faisant même référence à l'évocation
de souvenirs « *on est comme des enfants n'empêche* » [Test utilisateur]. Enfin, lors du test utilisateur, les commentaires neutres du pôle enseignant (19,2%) laissent place à la réflexion et aux stratégies induites par le jeu Codobot « *c'est beaucoup de stratégies quand même* » [Test utilisateur] ; « *là tu dois être intell... Enfin* [il faut] réfléchir (...) » [Test utilisateur].

### 4.2.2. Analyse thématique du pôle produit

Malgré ces avis globalement positifs des pôles enseignant et apprenant, le pôle produit est quant à lui plus nuancé. En effet, le test utilisateur a mis en évidence des faiblesses de fonctionnalité (73,3%) laissant apparaître certains bugs au niveau du scan des cartes avec la tablette « Là, il a buggé » [Test utilisateur] ; « Le fait que la tablette ne reproduit pas toujours les bonnes cartes lors du scan » [Enseignant 1]. Aussi, en cours de partie, des déviations du robot sur le plateau sont apparues, le faisant quitter sa trajectoire initiale « il [le robot] a eu un peu de mal avec le plateau » [Test utilisateur]. Néanmoins malgré ces bugs - acceptables pour un prototype selon les enseignants-, des aspects positifs (20%) au niveau de la fonctionnalité sont relevés « d'un point de vue technique, le jeu est vraiment bien réalisé : robot, scan des cartes, etc. tout est parfait (même s'il y a quelques bugs, c'est compréhensible vu qu'il s'agit encore d'un prototype) ». Enfin, une unité neutre (6,7%) questionne la durée de charge de la batterie « on n'aurait peut-être pas dû l'allumer tout de suite si ça tombe il va être déchargé euh vite » [Test utilisateur].

Au niveau informationnel, de nombreux avis négatifs ont été énoncés (79,2%). Ces avis mettent en avant des incompréhensions lors du test utilisateur « là je suis perdue... » [Test utilisateur], une surabondance de règles « trop de règles » [Test utilisateur] ou encore un manque de précision et de clarté au niveau des règles du jeu « Pourtant ils [les concepteurs] ne le disent pas au début » [Test utilisateur] ; « non, et ils ne disent pas combien il faut en mettre parce qu'on doit en récupérer 4, mais on n'en a 10 j'crois en tout » [Test utilisateur]. D'ailleurs les avis constructifs (20,8%) proposent une modification des règles afin de les rendre plus simples « Les règles du jeu (le but) pourraient être simplifiées, car en soi les techniques de programmation me paraissent bien plus simples » [Enseignant 2] ; « nous on va changer les règles ! On ne peut pas tu crois ? » [Test utilisateur].

En termes d'utilisabilité, un avantage régulièrement évoqué du Codobot est la facilité de prise en main et de mise en mouvement du robot avec son application, donnant lieu à 38,5% de commentaires positifs. Cet aspect est relevé lors du test utilisateur « [l'utilisation du] robot je pense que c'est assez intuitif » ; « on comprend facilement avec la tablette le robot » [Test utilisateur], ainsi que dans les entretiens de fin de test utilisateur « Le robot en lui-même est facile à prendre en main et très agréable à utiliser (...) et il est attractif » [Enseignant 2]. Des avis négatifs (61,5%) mettent en évidence une utilisation moins intuitive au niveau de l'intégration d'une sous-fonction dans le programme principal : « D'ailleurs, nous n'avons toujours pas compris l'utilisation de la fonction dans le jeu (avec la tablette) » [Enseignant 1], ainsi que de la synchronisation Bluetooth du robot avec l'application « la synchronisation de la tablette avec le robot peut être un point faible pour une personne novice dans l'utilisation du numérique » [Enseignant 1]. Enfin, le sens des flèches sur les cartes de programmation semble poser question « Moi ce qui me perturbe (...) c'était ça : le fait que « tourne à droite » et que la flèche elle montre le bas. Et « avance » la flèche, elle avance. Elle est sur la droite. » [Test utilisateur]. La figure 8 illustre les cartes de déplacement et le sens des flèches.
<figure><img src="image_7.png" /><figcaption>**Figure 8.** Cartes de programmation de déplacement</figcaption></figure>

Enfin, en termes d'utilité, le test utilisateur a fait ressortir des commentaires assez contrastés concernant l'adéquation de l'outil avec le public cible -réflexions d'ordre pédagogique- ou encore son adéquation avec le contenu à enseigner -réflexions d'ordre didactique-. La dimension utilité montre des avis positifs (10%) « [le jeu Codobot] permet d'intégrer des notions de programmation de manière subtile » [Enseignant 1] ; « J'aime aussi beaucoup l'aspect de la réflexion et de la logique que demande l'utilisation des cartes (stratégies, usages détournés des cartes, etc.) afin de programmer » [Enseignant 2]. Une majorité d'avis neutres (53,3%) questionnent, sans prendre position, la possibilité d'enseigner les notions de boucles et de fonctions à des élèves plus jeunes « C'est fonction (...) et boucle pour les petits, c'est peut-être un peu plus compliqué » [Test utilisateur], ou encore des difficultés liées à la décentration « Alors ce qui est difficile avec celui-ci, c'est qu'il faut se mettre dans la peau du robot. Savoir s'il tourne à droite ou à gauche. Tu vois, il se met à droite alors que ta droite est de l'autre côté » [Test utilisateur]. Enfin, des commentaires constructifs (33,3%) proposent une conception de nouvelles règles pour les élèves plus jeunes « (...) dans ta classe tu pourrais inventer une règle un petit peu plus facile pour tes élèves » [Test utilisateur], une adaptation de la position de jeu permettant de passer outre les difficultés de décentration « Tu ne joues pas assis alors, peut-être quand tu es petit. Tu tournes autour du plateau » [Test utilisateur], ou encore une adaptation des cartes de programmation afin qu'elles puissent être prises en main par des plus jeunes « on dessine une petite tête comme ça ils savent bien que tu mets ta tête comme ça et que ça va vers la droite » [Test utilisateur].

### 4.2.3. Analyse critique et adaptations du dispositif

Le tableau 5 reprend de manière synthétique les problèmes identifiés par les utilisateurs cités *supra*. Il les classifie au regard de la grille adaptée des dimensions de l'UX, des niveaux de gravité de Scapin et Bastien (1997), ainsi que du type de modifications envisagées pour résoudre ces problèmes (Esposito, 2017). Au moment de la rédaction, les modifications envisagées sont, pour la plupart, déjà intégrées ou en cours de réalisation.
<table><caption>**Tableau 5.** Problèmes identifiés lors du test utilisateur et modifications envisagées</caption><thead><tr><th>Description du problème</th><th>Dimension de l'UX</th><th>Type de modifications</th></tr><tr><th></th><th>Gravité</th><th></th></tr></thead><tbody><tr><td rowspan="2">Règles de jeu très nombreuses et qui peuvent porter à confusion pour des adultes et surtout pour de jeunes élèves.</td><td>Informationnelle</td><td rowspan="2">Modification profonde : Proposition de deux versions des règles. Une première version à destination du grand public et une version simplifiée à destination des écoles. Dans la version simplifiée, il est également possible de travailler de manière évolutive en introduisant au fur et à mesure les différentes cartes du jeu.</td></tr><tr><td>Sérieux</td></tr><tr><td rowspan="2">La synchronisation entre l'application et le rover se voit compliquée.</td><td>Utilisabilité</td><td rowspan="2">Modification légère : Dans la version définitive de l'application, l'interface utilisateur est retravaillée pour que le pairage entre l'application et le rover soit simplifié.</td></tr><tr><td>Moyen</td></tr><tr><td rowspan="2">Utilisation non intuitive de la sous-fonction dans l'application</td><td>Utilisabilité</td><td rowspan="2">Modification profonde : Développement de ressources techniques et pédagogiques regroupées sur le site internet du dispositif afin d'illustrer les démarches de prise en main de l'outil et l'utilisation des différentes cartes de programmation.</td></tr><tr><td>Critique</td></tr><tr><td rowspan="2">Le sens des flèches sur les cartes de déplacement n'est pas intuitif</td><td>Utilisabilité</td><td rowspan="2">Reconception : Modification du design des cartes de déplacement pour qu'elles soient plus explicites : une flèche orientée vers l'avant pour avancer ; une flèche orientée vers l'arrière pour reculer ; une flèche qui tourne à gauche pour tourner à gauche et une flèche qui tourne à droite pour tourner à droite.</td></tr><tr><td>Faible</td></tr><tr><td rowspan="2">Le rover dévie de sa trajectoire (problème mécanique)</td><td>Fonctionnalité</td><td rowspan="2">Reconception : Équipement d'un autre modèle de moteur sur le rover dont la trajectoire est plus robuste et changement du châssis en bois par un châssis en plastique sur lequel la fixation est plus précise.</td></tr><tr><td>Moyen</td></tr><tr><td rowspan="2">La reconnaissance visuelle des cartes par l'application se voit dans certains cas défaillante</td><td>Fonctionnalité</td><td rowspan="2">Modification profonde à 3 niveaux : Modification du design des cartes de programmation afin de les différencier et d'éviter que l'algorithme de reconnaissance visuelle ne les confonde.</td></tr><tr><td>Moyen</td></tr><tr><td></td><td></td><td>Intégration, dans l'application, d'un éditeur de code permettant de modifier, supprimer et ajouter des cartes de programmation</td></tr><tr><td></td><td></td><td>Actualisation perpétuelle de l'algorithme afin de favoriser son amélioration continue.</td></tr></tbody></table>
Sur le plan méthodologique, il semblerait que l'utilisation conjointe d'un test utilisateur et d'un questionnaire en fin de test soit nécessaire pour amener une vision globale des perceptions des enseignants. En effet, en référence au tableau 6, bien que le test utilisateur mette en évidence une prédominance de commentaires négatifs (34,1%), les questionnaires ouverts en fin d'entretiens témoignent quant à eux d'avis globalement positifs (58%) concernant le dispositif. Dès lors, malgré les lacunes au niveau informationnel, fonctionnel et en termes d'utilisabilité, le dispositif Codobot semble, pour les enseignants de l'échantillon, pertinent afin d'initier leurs élèves aux concepts de base en programmation. L'aspect ludique et réflexif du jeu est également apprécié par ces derniers.

<table><caption>**Tableau 6.** Répartition des unités codées dans le test utilisateur et le questionnaire ouvert en fonction des polarités</caption><thead><tr><th></th><th>Positif</th><th>Négatif</th><th>Neutre</th><th>Constructif</th><th>Total</th></tr></thead><tbody><tr><th>Test utilisateur</th><td>19 (23,2%)</td><td>28 (34,1%)</td><td>22 (26,8%)</td><td>13 (15,9%)</td><td>82 (100%)</td></tr><tr><th>Questionnaire ouvert</th><td>18 (58%)</td><td>11 (35,5%)</td><td>0 (0%)</td><td>2 (6,5%)</td><td>31 (100%)</td></tr><tr><th>Références</th><td>37 (32,7%)</td><td>39 (34,5%)</td><td>22 (19,5%)</td><td>15 (13,3%)</td><td>113 (100%)</td></tr></tbody></table>

Ces constats peuvent être mis en parallèle avec les résultats aux questionnaires SUS de chaque enseignant, qui sont respectivement de 75, 77,5 et 65. Selon Sauro (2011), le score moyen à un test SUS est de 68. Ces scores indiquent que le dispositif est jugé de moyen à bon (Bangor et al., 2008, cités par Lallemand & Gronier, 2016), malgré les modifications dont il doit faire l'objet, notamment au niveau de la fonction, de la clarté et de la progressivité des règles du jeu, des bugs au niveau technique et au niveau moteur.

# 5. Discussion générale

La prise en compte du ressenti des enseignants concernant le prototype Codobot permet de bénéficier d'informations importantes pour améliorer ce prototype. Suite au test utilisateur, les résultats montrent des pôles apprenants et enseignants majoritairement positifs laissant entendre un réel attrait. Le test utilisateur fait ressortir une appréciation globale unanimement positive, générée par l'aspect ludique du jeu, ainsi qu'un sentiment de fierté lors de la réussite des défis corroborant les travaux de Fleck et al. (2017). En accord avec Guneysu et al. (2020), un point fort du jeu réside également dans la part de réflexion qu'il induit à chaque tour de jeu maintenant l'engagement cognitif des joueurs. Ainsi, pour arriver à son objectif, l'apprenant doit mettre en place des stratégies intégrant les contenus éducatifs, dans notre cas, les concepts de programmation et les mécaniques de jeu (Romero & Kalmpourtzis, 2020). Le maintien de l'engagement des joueurs pendant l'entièreté du test utilisateur laisse à penser que le dispositif semble assez sophistiqué pour ne pas conduire à un détachement de la part de l'utilisateur (Fleck et al., 2017). Contrairement aux travaux de Fleck et al. (2017), les nombreuses réflexions pédagogiques et didactiques des enseignants montrent un potentiel pédagogique important du dispositif Codobot. Celui-ci est illustré par de nombreuses propositions d'adaptations et de détournements possibles du jeu, en termes d'utilisation ou en termes de progressivité.
Au contraire, le pôle produit qui, pour rappel, correspond aux caractéristiques intrinsèques du dispositif telles que sa taille, son poids, son ergonomie, etc., montre un avis majoritairement négatif mettant en évidence de nombreuses difficultés rencontrées par les utilisateurs lors du test. Au regard de nombreuses études (i.e. Boufflers et al., 2017 ; Fleck et al., 2017 ; Salam et al., 2017), l'évaluation d'un prototype donne souvent lieu à l'identification de nombreuses anomalies de fonctionnement, permettant son amélioration continue.

Enfin, les questionnaires ouverts de fin d'activité ont permis aux enseignants de s'exprimer librement sur leur ressenti concernant le jeu, ajoutant dès lors une plus-value à l'analyse des données. Ces constatations corroborent les travaux de Al Sabri (2010) selon lesquels les questions ouvertes constituent une source d'information précieuse lors des tests utilisateurs. Alors que le relevé des verbatim durant le test est majoritairement négatif, ceux des questionnaires ouverts montrent une polarité majoritairement positive, reflétant la complémentarité des instruments de mesure comme l'énoncent Fleck et al. (2017) dans leurs travaux.

# 6. Conclusions et perspectives

Selon une approche centrée sur l'utilisateur, l'ambition de cet article est double : le premier consiste en un apport méthodologique d'une démarche permettant l'analyse, à travers un test utilisateur, du ressenti des enseignants lors de la prise en main de dispositifs pédagogiques. Le second consiste à appliquer cette démarche au prototype Codobot de l'Université de Mons.

Concernant l'apport méthodologique, une première adaptation de la grille de Provost (2012, cité par Robert, 2014) au contexte spécifique de l'enseignement est mise en oeuvre. Cette adaptation donne lieu à la distinction du terme utilisateur en deux pôles : le pôle apprenant et le pôle enseignant. En effet, dans une logique d'isomorphisme (Meirieu, 2015), l'utilisateur premier est l'enseignant, mais aussi l'élève, ou plus précisément une projection du ressenti de l'élève. La grille est également ajustée avec deux nouvelles dimensions : l'appréciation globale, liée aux pôles enseignant et apprenant, ainsi que l'utilité liée au pôle produit.

D'autre part, l'ambition est de mettre à l'épreuve un dispositif soutenant les élèves dans l'apprentissage des concepts de base en programmation à travers un test utilisateur. Ce test a mis en évidence un potentiel pédagogique pertinent du dispositif Codobot, ainsi que de nombreuses pistes d'amélioration.

La réalisation de cette analyse met en évidence quelques limites et perspectives qui méritent d'être exploitées dans la suite de nos travaux.

Cette rédaction est une première étape d'un processus ayant pour ambition la conception centrée sur l'utilisateur de ressources pédagogiques. Elle donne lieu à la conception d'un instrument d'analyse du ressenti des enseignants qu'il convient de mettre à l'épreuve d'un plus grand public et de multiples situations afin de déterminer son potentiel. Il pourrait notamment être intéressant lors du test utilisateur de cibler des épreuves à réaliser durant le test plutôt que de proposer une découverte « libre » du dispositif pédagogique.
En outre, cette contribution recueille exclusivement des données de l'ordre de la perception des utilisateurs. Outre le questionnaire SUS, les données relatives aux perceptions pourraient être complétées par d'autres questionnaires validés, tels que Nasa TLX qui permet de quantifier la charge cognitive liée à l'utilisation d'un système (Hart & Staveland, 1988). De plus, bien que, lors du test utilisateur, des émotions puissent être perceptibles par l'observation à travers des verbatim tels que « *Oh non!* » ; « *Zut* » indiquant une frustration ou au contraire « *Yes!* » ; « *On a réussi!* » indiquant un plaisir ou une fierté liée à la réussite, ces émotions ne peuvent pas être objectivées et leur interprétation donnerait à une grande part de subjectivité de la part du chercheur. Dans cette perspective, il serait pertinent d'intégrer au cours de la passation du test une adaptation de la méthode SAM (self-assesment manikin) avec une roue des émotions (Plutchik, 1980). Selon Esposito (2017), les retours subjectifs des participants sur leurs émotions se révèlent bien plus exploitables dans ce cas. Il pourrait être également pertinent de récolter des données de processus notamment sous l'angle de la genèse instrumentale (Nogry, 2018), afin de vérifier l'acquisition de l'artefact par l'utilisateur. Enfin, une analyse des performances pourrait être effectuée notamment en vérifiant si la prise en main de l'outil se suffit à elle-même pour que les enseignants comprennent les concepts sous-jacents à l'utilisation du système. Il s'agit ici d'évaluer si l'enseignant a notamment compris les concepts de programmation, et s'il est prêt à les transmettre à son tour auprès de ses élèves. Ces dimensions permettraient dans une étude de plus grande envergure de comprendre quels sont les enjeux lors de la prise en main d'un outil par un enseignant, de comprendre dans quelle optique il rencontre un nouveau outil, quelles sont les raisons qui le poussent à utiliser cet outil dans sa classe et si l'outil se suffit à lui-même pour comprendre les concepts sous-jacents induits par l'utilisation de ces outils.
# 7. Bibliographie

Alayrangues, S., Peltier, S., & Signac, L. (2017). Unplugged computer science : Discovering computational thinking without a computer. *Colloque Mathématiques en Cycle 3 IREM de Poitiers*, 216-226. https://hal.archives-ouvertes.fr/hal-01868132

Al Sabri, M. (2010). Évaluation d'un support numérique d'apprentissage grammatical. *ISDM, article 620*.

Béziat, J. (2012). Former aux TICE : Entre compétences techniques et modèles pédagogiques. *Revue internationale des technologies en pédagogie universitaire / International Journal of Technologies in Higher Education*, 9(1-2), 53-62. https://doi.org/10.7202/1012902ar

Bocquillon, M., Derobertmasure, A., Artus, F., & Kozlowski, D. (2015). Évaluation des enseignements par les étudiants : que nous disent les commentaires écrits des étudiants ? *Évaluer. Journal international de Recherche en Education et Formation*, 1(1), 93-117.

Boufflers, L., Linh Quang, S., & Schneider D.K. (2017). *Initiation à la pensée informatique avec le jeu de plateau Programming Boty*. https://wikis.univ-lille1.fr/computational-teaching/_media/wiki/actions/2017/aii-eiah/11-lydie-boufflers-apimu_eiah17.pdf

Brackmann, C. P., Román-González, M., Robles, G., Moreno-León, J., Casali, A., & Barone, D. (2017). Development of Computational Thinking Skills through Unplugged Activities in Primary School. *Proceedings of the 12th Workshop on Primary and Secondary Computing Education - WiPSCE '17*, 65-72. https://doi.org/10.1145/3137065.3137069

Chessel Lazzarotto, F. (2018). Former à la programmation en primaire, une form'action : Robots d'Evian 2015-2018. In *De 0 à 1 ou l'heure de l'informatique à l'école : Actes du colloque Didapro 7 – DidaSTIC* (pp. 117-127). Peter Lang.

Colognesi S. (2017). Un dispositif de recherche-formation sur l'enseignement/apprentissage de l'oral en milieu scolaire : le cas de DIDACTIC. *La Lettre de l'AIRDF*, 62, 21-26. https://doi.org/10.3406/airdf.2017.2132

Curzon, P., Dorling, M., Ng, T., Selby, C., & Woollard, J. (2014). *Developing computational thinking in the classroom : A framework*. https://eprints.soton.ac.uk/369594/1/DevelopingComputationalThinkingInTheClassroom Framework.pdf

Davis, F., Bagozzi, R., & Warshaw, P. (1989). User Acceptance of Computer Technology : A Comparison of Two Theoretical Models. *Management Science*, 35, 982-1003.

Desjardins, A., Girard, M.-A., Tran, A., & Beaubois, C. (2018). *La programmation et le développement de la pensée informatique*. Carrefour éducation et École branchée. https://carrefour-education.qc.ca/sites/default/files/images/dossiers/programmation/la_programmation_.pdf

Delacharlerie, A., Fievez, A., Lennertz, S., & Lumen, J. (2018). Baromètre Digital Wallonia : Education et Numérique 2018 : infrastructure, ressources et usages du numérique dans l'éducation en Wallonie et à Bruxelles. Retrieved from https://www.digitalwallonia.be/fr/publications/education2018

Derobertmasure, A., & Robertson, J.E. (2013). Data analysis in the context of teacher training: code sequence analysis using QDA MINER. *Quality and quantity*, 48(4), 2255-2276.

Dillenbourg, P. (2018). Pensée computationnelle : pour un néopapertisme durable car sceptique. In *De 0 à 1 ou l'heure de l'informatique à l'école. Actes du colloque Didapro 7 – DidaSTIC*. (pp. 17-20). Peter Lang.

Esposito, N. (2017, mai 3). *Observation des usages au moyen de tests utilisateurs*. BnF.
Fleck, S., Baraudon, C., Frey, J., Lainé, T., & Hachet, M. (2018). Teegi, he's so cute : Example of pedagogical potential testing of an interactive tangible interface for children at school. In *Proceedings of the 29th Conference on l'Interaction Homme-Machine - IHM '17*, (pp. 1-12).
https://doi.org/10.1145/3132129.3132143

Geary, D.C. (2008). An evolutionarily informed education science. *Educational Psychologist*, 43(4), 179-195.

Gronier, G. (2017). Méthodes de design UX et démarche qualité appliquées aux bibliothèques universitaires. *I2D Information, données & documents, Volume 54*(1), 46-47.

Guneysu, A., Bruno, B., Taburet, V., Ozgür, A., & Dillenbourg P. (2020). *Design of Dynamic Tangible Workspaces for Games: Application on Robot-Assisted Upper Limb Rehabilitation*. Researchgate.
https://www.researchgate.net/publication/344652644_Design_of_Dynamic_Tangible_Works_paces_for_Games Applications on Robot-Assisted_Upper_Limb_Rehabilitation

Hart, S.G., & Staveland, L.E. (1988). Development of NASA-TLX (Task Load Index) : Results of empirical and theoretical research. *Human Mental Workload, 1*, 139-183.

Henry, J., Dumas, B., & Bodart, A. (2018). Programmation tangible pour les enfants : analyse de l'existant, classification et opportunités. HAL. https://hal.archives-ouvertes.fr/hal-01899246/document

Henry, J., Boraita, F., & Dumas, B. (2019). *Programmation tangible : vers une évaluation des concepts perçus par l'enfant a travers la manipulation d'un outil*. Université de Namur.
https://researchportal.unamur.be/fr/publications/programmation-tangible-vers-une-%C3%A9valuation-des-concepts-per%C3%A7us-pa

Karsenti, T. (2018). *Le numérique dans nos écoles : Usages, impacts et charge de travail*. CRIFPE.

Laimay, C. (2017). À quoi sert le design UX ? *I2D Information, données & documents, Volume 54*(1), 34-34.

Lallemand, C., & Gronier, G. (2016). *Méthodes de design UX*. Eyrolles.

Marchand, P. (2006). Comment développer les images mentales liées à l'apprentissage de l'espace en trois dimensions ? *Annales de didactique et de sciences cognitives, 11*, 103-121.

Meirieu, P. (2015, 3 avril). Former des enseignants en établissement : un impératif. *Le café pédagogique*. http://www.cafepedagogique.net/lexpresso/Pages/2015/04/03042015-Article635636383758830418.aspx, consulté le 17 avril 2017.

Montessori, M. (2013). *The montessori method*. Transaction publishers.

Moreno, R., Mayer, R. E., Spires, H. A., & Lester, J. C. (2001). The Case for Social Agency in Computer-Based Teaching: Do Students Learn More Deeply When They Interact With Animated Pedagogical Agents? *Cognition and Instruction, 19*(2), 177-213.

Mucchielli, R. (2006). *L'analyse des documents et des communications*. ESF.

Mukamurera, J., Lacourse, F., & Couturier, Y. (2006). Des avancées en analyse qualitative : Pour une transparence et une systématisation des pratiques. *Recherches Qualitatives, 26*(1), 110-138.

Nogry, S. (2018). Comment apprennent les élèves au cours d'une séquence de robotique éducative en classe de CP ? In *De 0 à 1 ou l'heure de l'informatique à l'école. Actes du colloque Didapro 7 – DidaSTIC*. (pp. 235-243). Peter Lang.

Papert, S. (1980). *Mindstorms : Children, computers, and powerful ideas*. Basic Books, Inc.

Parlons Sciences (2018). *La pensée computationnelle. Cadre pédagogique 2018*. https://parlonssciences.ca/sites/default/files/2020-06/Parlons_sciences_Pensée_computationnelle-2018-web.pdf
Plutchik, R. (1980). *Emotion: A Psycho-evolutionary synthesis*. Harper and Row.

Robert, J.-M. (2014). Defining and Structuring the Dimensions of User Experience with Interactive Products. In D. Harris (Ed.), *International Conference on Engineering Psychology and Cognitive Ergonomics* (p. 272-283). Springer. https://link.springer.com/chapter/10.1007/978-3-319-07515-0_28

Romero, M. (2016). De l'apprentissage procédural de la programmation à l'intégration interdisciplinaire de la programmation créative. *Formation et profession : revue scientifique internationale en éducation, 24*(1), 87-89. https://doi.org/10.18162/fp.2016.a92

Romero, M., Duflot-Kremer, M., & Viéville, T. (2018). *Le jeu du robot : Analyse d'une activité d'informatique débranchée sous la perspective de la cognition incarnée*. https://hal.inria.fr/hal-01950335

Romero, M., & Kalmpourtzis, G. (2020). Constructive Alignment in Game Design for Learning Activities in Higher Education. *Information, 11*(3), 126. MDPI AG. Retrieved from https://doi.org/10.3390/info11030126

Roy, N., Poellhuber, B., Garand, P.-O., & Beauchamp-Goyette, F. (2016). Analyse de qualité d'un MOOC : le point de vue des étudiants. *Revue internationale des technologies en pédagogie universitaire / International Journal of Technologies in Higher Education, 13*(2-3), 150-165.

Salam, P., Piau-Toffolon, C., & May, M. (2017). Accompagner/Encourager l'autonomie des apprenants via un Livret Numérique de Compétences en Réussite Etudiante (LiCoRé). Dans N. Guin, B. De Lièvre, M. Trestini & B. Cloulibaly (dir.). *8e Conférence sur les Environnements Informatiques pour l'Apprentissage Humain* (pp. 257-268). HAL. https://hal.archives-ouvertes.fr/hal-01634231/file/Actes%20avec%20ISBN.pdf

Sanchez, E., Romero, M., & Viéville, T. (2020). *Apprendre en jouant*. Retz.

Sauro, J. (2011). *A practical guide to the system usability scale: Background, benchmarks & best practices*. Measuring Usability LLC.

Scapin Scapin, D. L., & Bastien, J. M. C. (1997). Ergonomic criteria for evaluating the ergonomic quality of interactive systems. *Behaviour and Information Technology, 16*(4-1), 220-231. https://doi.org/10.1080/014492997119806

Wing, J.M. (2011), Research Notebook: Computational thinking -what and why? *The Link Magazine*, 20-23.