Assister les enseignants du primaire dans l'enseignement de la pensée informatique. Une approche basée sur la scénarisation et vers les *teaching analytics*

Amel YESSAD<fnref n="1" />
Mathieu MURATET<fnref n="2" />
Thibault CARRON<fnref n="1" />

Dans un contexte où plusieurs pays ont introduit la science et la pensée informatique (PI) dans leurs curricula, où le codage a fait son entrée dans les programmes français à partir de 2016 (Bulletin officiel spécial n° 11 du 26 novembre 2015) et où les initiatives se multiplient en faveur d'un enseignement de la science informatique en France dès le plus jeune âge (Class'Code<fnref n="1" />, 1,2,3 Codez!<fnref n="2" />), il devient important d'expliciter les objectifs d'un tel enseignement, son interaction avec d'autres disciplines (en France, l'enseignement de l'informatique est souvent abordé à travers et pour l'enseignement des mathématiques) et d'organiser la formation des enseignants. Nous pensons que plusieurs leviers sont possibles pour préparer les enseignants à l'enseignement de la PI et a minima soutenir leur activité en classe, allant de la formation initiale ou continue classique à la proposition d'outils numériques d'aide à la préparation des séances. Dans cette perspective, les outils numériques peuvent-ils soutenir l'activité professionnelle des enseignants de primaire et jouer le rôle de facilitateurs leur permettant ainsi de mieux préparer leurs séances d'introduction à la PI ? La réponse à cette question est complexe pour plusieurs raisons. D'une part, l'utilisabilité de ces outils peut représenter un frein à leur usage effectif par des enseignants qui ne sont pas toujours familiers avec le numérique (Holden et Rada, 2011 ; Storey et al., 2002) et d'autre part, l'utilité et l'impact que pourraient avoir ces outils sur la pratique des enseignants à moyen et long termes ne sont pas suffisamment montrés dans l'état de l'art (Brinkerhoff, 2006 ; Watson, 2006).

Toutefois, de nombreuses ressources pour l'introduction de la PI
à l'école primaire sont disponibles. Certaines mettent en avant
l'informatique débranchée qui est un point d'entrée de la science
informatique et qui présente l'avantage de ne pas nécessiter de
matériels coûteux (Alayrangues et al., 2017 ; Romero et al., 2018).
D'autres ressources exploitent des robots programmables où la

<footnote n="1">1. Sorbonne Université, CNRS, LIP6, 75007 PARIS, France</footnote>

<footnote n="2">2. INSEI, 92150 Suresnes, France</footnote>

<footnote n="1">1. https://pixees.fr/classcode-v2/,
accédé le 12/10/2023</footnote>

<footnote n="2">2. https://fondation-lamap.org/projet/123-codez, accédé le 12/10/2023</footnote>
nature tangible de ces objets fournit un artefact fertile sur le plan cognitif pour développer des compétences mathématiques et des formes de pensées algorithmiques (Komis et Misirli, 2011). Ces robots programmables sont alors exploités dans le cadre de scénariorios pédagogiques. Enfin, de nombreuses ressources numériques et ludiques complètent ce panorama (Miljanovic et Bradbury, 2018; Vahldick et al., 2014). Ces environnements informatiques pour l'apprentissage humain (EIAH) couvrent un spectre large allant de l'enseignement primaire à l'université; de l'initiation à la programmation avec des langages à base de blocs à la programmation d'intelligences artificielles avec des langages avancés. L'offre est donc riche et consistante même pour des enseignements à destination de l'école primaire. Pour autant l'appropriation de ces ressources par les enseignants reste un enjeu. Alayrangues et al. (2017) notent que mener des activités débranchées requiert des connaissances en informatique et des compétences en pédagogie; Spach (2019) souligne, dans le contexte de la robotique pédagogique, les freins au développement de ces ressources : « le défaut de maîtrise conceptuelle des enseignants est sans doute à l'origine du manque de référencement et du déficit d'institutionnalisation des notions et des concepts abordés dans les situations pédagogiques ». Concernant les EIAH dédiés à l'apprentissage de la PI, ils restent difficilement adaptables (Saddoug et al., 2022) car d'une part la plupart de ces EIAH ne fournissent pas d'outils informatiques simples permettant de modifier les scénarisations existantes ou d'en créer de nouvelles et, d'autre part, pour les rares qui le permettent comme Kodu³, Scratch⁴ ou Code.org⁵, ils ne proposent pas d'aide à l'enseignant pour comprendre les situations créées comme par exemple expliciter les compétences en jeu dans ces situations.

Nos recherches dans le cadre du projet « Informatique à l'école : conceptualisations, accompagnement, ressources » (IE CARE) de l'Agence nationale de la recherche (ANR) s'intéressent à la définition, au développement et à l'évaluation d'outils d'aide pour assister les enseignants lors de leurs séances d'introduction de la PI. Notre problématique de recherche concerne les moyens à mettre en œuvre pour aider les enseignants de primaire à enseigner les concepts de la PI à leurs jeunes élèves. Quel serait l'apport de la recherche de manière générale et celui de la recherche en EIAH pour réduire le fossé qui existe entre les capacités des enseignants du primaire et les attendus de l'institution, et plus globalement de notre monde de plus en plus numérisé, connecté et régi par des systèmes intelligents afin de leur permettre de préparer au mieux les élèves aux défis de demain ?

Dans le cadre de ce chapitre, nous présentons une recherche qui a pour objectif de tirer profit du domaine des *teaching analytics* pour comprendre les pratiques des enseignants lors du processus de scénarisation de leurs séances. Cette recherche est

3. Kodu : https://www.kodugamelab.com/, accédé le 12/10/2023

4. Scratch : https://scratch.mit.edu/, accédé le 12/10/2023

5. Code.org : https://code.org/, accédé le 12/10/2023
un travail préliminaire faisant partie d'une recherche longitudinale et pluridisciplinaire visant à apporter des réponses à notre problématique.

Ainsi, nous axons ce chapitre sur une contribution qui a consisté à développer avec des enseignants de primaire une plateforme de scénarisation de ressources pédagogiques sur le thème de la PI : cet outil d'aide à la scénarisation s'appuie sur un modèle conceptuel et a fait l'objet d'une conception centrée utilisateur, de développement itératif et d'études à la fois qualitative et quantitative. Nous analysons les usages des enseignants vis-à-vis de cet outil dans la perspective d'enrichir la plateforme avec un système de rétroactions.

# Revue de la littérature

## Pensée informatique et pratiques des enseignants

Le concept de « pensée informatique » a été employé pour la première fois par Papert (1993) pour mettre en avant le pouvoir des machines à améliorer la pensée des enfants et leurs schémas (patterns) d'acquisition de connaissances. Toutefois, l'article publié par Denning (2017) fait le constat que les concepts qui soubstendent la PI sont beaucoup plus anciens. Par exemple, dès 1945, George Polya écrivait sur les disciplines et les méthodes mentales permettant de résoudre des problèmes mathématiques (Pólya et Conway, 1957). Son livre *How to Solve It* constituait déjà une sorte de précurseur de la PI. Aussi, en 1960, Alan Perlis affirmait que le concept d'*algorithmizing* faisait partie de notre culture. Il soutenait que les ordinateurs automatiseraient les tâches humaines et que l'algorithmique finirait par apparaître dans tous les domaines (Denning, 2017).

Plus tard, c'est Jeannette Wing qui a popularisé le terme de PI en mettant en avant son intérêt pour l'enseignement des sciences, des technologies, de l'ingénierie et des mathématiques (Wing, 2006). Elle la présente comme un savoir fondamental du XXIᵉ siècle, qui devrait faire partie des apprentissages de l'école primaire. L'Académie des sciences va dans ce sens et recommande en 2013 : « La décision essentielle à prendre est de mettre en place un enseignement de science informatique depuis le primaire jusqu'au lycée, orienté vers la compréhension et la maîtrise de l'informatique, et dépassant donc largement les seuls usages des matériels et logiciels. Cette mise en place ne doit plus être différée » (Abiteboul et al., 2015).
La définition de la PI est une question vive (Brennan et Resnick, 2012 ; Lee et al., 2011 ; Selby et Woollard, 2013), plusieurs chercheurs la définissent comme un ensemble de processus cognitifs mobilisés lors de la résolution de problèmes, allant de la définition du problème, sa modélisation en faisant abstraction des éléments non utiles pour le résoudre, la recherche d'une solution généralisable à la mise en œuvre de cette solution de manière optimale. À l'instar de la démarche d'un informaticien, les problèmes complexes sont alors décomposés en problèmes plus simples à résoudre (Selby et Woollard, 2013 ; Wing, 2006).

Dès 2016, l'informatique a fait son entrée dans les programmes de l'école primaire sous la forme d'une sensibilisation à la programmation. Les textes préconisent explicitement la mise en œuvre d'activités de codage pour déplacer un robot ou un personnage à l'écran dans une approche intégrée aux autres apprentissages, en particulier les mathématiques (repérage et déplacements dans l'espace ou construction de figures géométriques). Sans faire référence à la notion de PI, les compétences visées restent proches<fnref n="6" /> : (1) se repérer, s'orienter en utilisant des repères ; (2) adopter une démarche scientifique : utilisation d'un langage spécifique, contrôle, essais-erreurs ; (3) développer l'abstraction : apprendre à anticiper l'effet de telle ou telle séquence d'instructions avant même de la faire exécuter par une machine ou un programme. Parmentier (2018) propose un découpage fin des compétences de la pensée informatique et algorithmique pour l'enseignement fondamental (PIAF).

Plusieurs travaux de recherche (Alayrangues et al., 2017 ; Kradolfer et al., 2014 ; Spach, 2019) ont mis en avant les difficultés rencontrées par les enseignants du primaire pour prendre en main ces ressources qui s'expliquent en grande partie par leur manque de formation. Pour autant des ressources de formation existent, la page d'accueil d'Eduscol consacrée au numérique dans le premier degré propose un parcours M@gistere (premières activités de programmation pour comprendre le numérique) élaboré par des acteurs extérieurs à l'Éducation nationale (Class'Code portée par l'Institut national de recherche en sciences et technologies du numérique – INRIA, et D-Clics numériques portée par la Ligue de l'enseignement) et qui vise à transmettre les fondements historiques de la PI en préambule à des activités d'introduction à la programmation. Des initiatives existent également au sein de l'éducation nationale dans le cadre de formations continues et initiales (Parmentier, 2018). Malgré toutes ces initiatives, le passage à l'échelle de l'enseignement de la PI reste difficile, en particulier auprès des enseignants non formés à celle-ci.

<footnote n="6">6. Dossier thématique d'éduscol sur l'initiation à la programmation en cycle 2 et 3 :
https://eduscol.education.fr/document/15409/download, accédé le 12/10/2023</footnote>
## Scenario-based learning

Dans cette recherche, nous nous appuyons sur le cadre théorique de l'apprentissage basé sur des scénarios ou *scenario-based learning* (SBL) (Schrader *et al.*, 2004; Seren Smith *et al.*, 2018) qui considère les scénarios comme un vecteur important dans les processus d'apprentissage des élèves et celui des enseignants, en particulier les débutants. Dans le contexte de l'approche SBL, un scénario consiste à mettre en situation des élèves à travers des ressources de types simulations, résolution de problèmes ou projets concrets. On a montré dans plusieurs recherches que les scénarios donnent la possibilité aux apprenants d'expérimenter efficacement leurs connaissances, de connecter la théorie à la pratique (De Coninck *et al.*, 2019), de développer leur esprit critique en explorant différentes possibilités et différentes méthodes de résolution de problèmes (Seren Smith *et al.*, 2018). Des recherches ont aussi montré l'impact positif de cette approche sur des enseignants débutants leur permettant d'aborder plus simplement et plus concrètement des connaissances pouvant être difficiles à transmettre (Hursen et Fasli, 2017). On a également montré que l'approche SBL favorise la rétention des connaissances sur le long terme (Brown *et al.*, 2015) et impacte positivement, *a fortiori* lorsqu'elle est combinée à des rétroactions et de la réflexion, le sentiment d'auto-efficacité et de bonne préparation des enseignants débutants avant la classe (Anseel *et al.*, 2009; Bardach *et al.*, 2021; Klassen *et al.*, 2021). Dans ce cadre, nous avons développé la plateforme de scénarisation ScenoClasse qui a pour objectif d'aider les enseignants de primaire, peu expérimentés et peu formés à la PI, à préparer leurs séances d'introduction. ScenoClasse permet d'orchestrer des ressources différentes et très variées autour de la PI et est ancrée dans le cadre théorique de l'approche SBL.

## Teaching analytics ou l'analyse des comportements enseignants

Les *teaching analytics* sont définis comme la mesure, le recueil, l'analyse et la synthèse de traces laissées par des enseignants pour comprendre leurs comportements et décisions pédagogiques dans le but d'optimiser leur impact sur les apprentissages des élèves. Dès 2012, on s'est intéressé à analyser les traces laissées par les enseignants sur différentes plateformes d'enseignement ou de préparation de séances de cours (Goggins, 2012). Une revue de la littérature à ce sujet peut être trouvée chez Bennacer (2022); Sergis et Sampson (2017) ou encore dans Ndukwe et Daniel (2020) où un panorama exhaustif sur les approches proposées, notamment pour le choix des indicateurs et les types de visualisations est dressé. Concernant la pratique de l'enseignant lui-même, les travaux de
Ku et ses collègues (Ku et al., 2018) et de Chen (2020) ont montré, avec une approche *teaching analytics* et notamment l'utilisation d'analyses visuelles de l'apprentissage pour Chen, un impact sur la conception et la préparation des cours mais également la manière de les dispenser.

Dans le cadre de ce travail, l'analyse des traces numériques de la plateforme de scénarisation nous a permis d'identifier et d'extraire des comportements d'usages des enseignants. Ces comportements d'usages pourraient être utiles par exemple pour afficher des rétroactions adaptées aux enseignants utilisant la plateforme ScenoClasse. Ce système de rétroactions n'est pas l'objet de ce chapitre mais une des perspectives de ce travail.

## Présentation de la plateforme de scénarisation ScenoClasse et du modèle sous-jacent

Un modèle de description de tâches et d'organisation de tâches en scénarios a été conçu, lors de deux ateliers, avec 22 enseignants de primaire en formation (master métiers de l'enseignement, de l'éducation et de la formation – MEEF – mention premier degré) et huit enseignants expérimentés (maternelle/élémentaire) n'ayant jamais mené d'activité d'apprentissage de l'informatique ou de la PI. Durant ces deux ateliers, nous avons suivi une démarche de conception centrée utilisateurs (Brunet et al., 2020). Partant de l'hypothèse que l'activité de scénarisation pourrait soutenir la pratique professionnelle des enseignants débutants, les entretiens menés avec eux ont permis d'identifier certains besoins dans les scénarios. Par exemple, le besoin d'expliciter les compétences travaillées dans le scénario (PIAF, cadre de référence des compétences numériques – CRCN<fnref n="7" />, etc.), de permettre une organisation spatiotemporelle flexible du scénario, de proposer différents niveaux de granularité (tâche ou activité, scénario, séquence de scénarios, etc.) ou de rendre adaptable le scénario à l'hétérogénéité des classes et des élèves au sein d'une même classe. Les éléments de réponse apportés, relatifs à la granularité du scénario, au langage de description et à la formalisation des scénarios et leur propriété d'adaptation, ont été inspirés par les modèles existants et l'état de l'art, en particulier les travaux de Dillenbourg sur les graphes d'orchestration (Dillenbourg, 2015) représentant le flux d'exécution des activités par les élèves individuellement, en groupe ou en classe entière, les travaux sur la théorie de l'activité et ceux de Komis sur la formalisation de la scénarisation (Komis et al., 2013).

<footnote n="7">7. CRCN : https://eduscol.education.fr/721/evaluer-et-certifier-les-competences-numeriques, accédé le 12/10/2023</footnote>
<figure><img src="image_1.png" /><figcaption>FIGURE 1 – Modèle de description d’un scénario d’enseignement de la PI (Brunet *et al.*, 2020).</figcaption></figure>

Ce modèle (cf. figure 1; Brunet *et al.*, 2020), ses différentes composantes (scénario, tâche/activité, compétences, organisation sociale, observable, etc.) et leurs attributs ont été réifiés dans un outil d'aide à la scénarisation : ScenoClasse⁸. ScenoClasse permet aux enseignants de créer, éditer, documenter et agencer des activités d'enseignement de la PI en scénarios puis de publier et d'exporter ces scénarios sous différents formats de sortie (fiche de préparation papier ou sur tablette/téléphone, diaporama, etc.). Ils peuvent également copier et adapter des scénarios créés par d'autres. Chaque scénario rendu public sur la plateforme ScenoClasse peut être enrichi collectivement par des commentaires et des retours d'expériences. Ces fonctionnalités ont été pensées pour permettre à un scénario d'avoir un cycle de vie au-delà du contexte prévu par son auteur.

Comme évoqué précédemment, l'objectif de notre recherche est d'assister les enseignants dans le processus de préparation de leurs séances d'introduction à la PI, à travers des rétroactions adaptées à leurs besoins sur la plateforme. Dans cette perspective, il est crucial d'avoir une compréhension des profils des enseignants utilisant la plateforme et de l'évolution de ces profils au cours du temps. Dans le cadre de ce chapitre, nous présentons une première analyse des usages de la plateforme (Kanaan et Yessad, 2023) dont l'objectif est d'identifier des schémas (patterns) d'interaction ou des profils d'usages de la plateforme. Il s'agit, par exemple, d'identifier des usages récurrents chez des enseignants expérimentés versus des enseignants non expérimentés ou chez des enseignants

8. ScenoClasse : https://scenocla.sse.lip6.fr/, accédé le 12/10/2023
qui auraient tendance à modifier des scénarios existants ou à
consulter certains types d'informations (compétences travaillées,
retour d'expérience des autres enseignants, etc.). Afin d'atteindre
cet objectif, nous avons défini un processus d'analyse des traces
d'interactions laissées par les enseignants sur la plateforme. Ce
processus est organisé en deux étapes. La première étape consiste
en un partitionnement des traces d'interactions en plusieurs par-
titions ou clusters de profils d'usage et la deuxième consiste en
l'application d'un algorithme d'extraction de patrons d'usages (ou
*pattern mining*) sur chaque cluster issu de la première étape. L'étape
de *clustering* a permis d'identifier quatre clusters d'enseignants et
l'étape de *pattern mining* a permis de caractériser finement chacun
des clusters pour mieux comprendre les usages des enseignants
sur la plateforme de scénarisation ScenoClasse.

Études de la plateforme ScenoClasse

Dans cette recherche, nous avons mené deux études avec deux
objectifs différents :

— première étude : évaluer l'utilisabilité de la plateforme ScenoClasse en contexte de formation et en contexte écologique;

— deuxième étude : analyser les usages des enseignants de primaire participant à l'étude via la fouille de leurs traces d'interactions.

L'objectif de ces deux études est de collecter des données à la fois qualitatives et quantitatives. Pour cela, nous avons mené plusieurs actions dans trois contextes différents :

— Le premier contexte est celui de l'Institut national supérieur du professorat et de l'éducation (INSPE) de l'université du Maine lors de deux ateliers de 90 minutes chacun (mars 2022). Trente-trois participants ont pris part à ces deux ateliers : 25 enseignants de primaire et huit étudiants stagiaires. Ces ateliers ont permis de collecter des données qualitatives sur l'utilisabilité de la plateforme, ses limites et des améliorations possibles. Nous avons également calculé le score d'utilisabilité de ScenoClasse.

— Le deuxième contexte est celui de l'atelier « ScenoClasse : Décrire, visualiser, partager et adapter des scénarios pour l'enseignement de l'informatique à l'école primaire » du colloque Didapro 2022 (mai 2022). Cet atelier nous a permis de réévaluer l'utilisabilité de ScenoClasse après la prise en compte des retours des enseignants du premier contexte. Nous avons également pu tracer les interactions des participants lors de cet atelier et les enregistrer dans une base de données. Les interactions représentent toutes les actions
exécutées par les participants sur ScenoClasse (création d'un nouveau scénario, ajout d'une activité, saisie d'un champ d'information, etc.). Vingt-neuf enseignants ont participé à ces ateliers : 11 enseignants de primaire, 6 formateurs et 12 enseignants stagiaires. Les deux sexes étaient représentés (24 femmes et 5 hommes) et les participants avaient des niveaux d'expérience différents dans l'utilisation des outils numériques dans le cadre professionnel (six participants expérimentés, neuf participants moyennement expérimentés, cinq participants peu expérimentés et neuf participants sans aucune expérience).

— Le troisième contexte a été réalisé en situation écologique avec une classe de CM2 de 22 élèves de l'académie de Versailles. Ce contexte nous a permis d'exploiter la dimension collaborative des scénarios de ScenoClasse pour partager un retour d'expérience. Nous avons ainsi révisé la description du scénario testé et nous avons dégagé pour chacune des tâches/activités du scénario des points de vigilance à partir des difficultés rencontrées à la fois par les élèves et par l'enseignante animatrice de la séance.

## Protocole

Un protocole a été mis au point pour d'une part évaluer l'utilisabilité de la plateforme ScenoClasse et d'autre part permettre la récupération de traces d'interaction pour les analyses envisagées. Nous avons commencé par alimenter la plateforme avec des ressources d'enseignement de la pensée informatique pour des élèves en primaire (cycles 1, 2 et 3). Ensuite, nous avons conçu un questionnaire qualitatif pour recueillir les retours des enseignants sur la plateforme en mettant le focus sur son utilisabilité et les améliorations possibles. Ce questionnaire contenait des questions sur l'expérience du participant, son usage du numérique et son intérêt pour ScenoClasse et incluait les questions du questionnaire standardisé F-SUS (version française du questionnaire system usability scale; Gronier et Baudet, 2021). Ce dernier est composé de dix questions avec une échelle de Likert en cinq points de « Pas du tout d'accord » à « Tout à fait d'accord » sur les trois critères d'utilisabilité : l'efficacité, l'efficience et la satisfaction. Nous avons également mis au point un guide<fnref n="9" /> pour aider les enseignants à découvrir les fonctionnalités de ScenoClasse. Ce guide était disponible à tout moment sur la plateforme et avait pour objectif de compléter la formation en présentiel qui a été délivrée aux enseignants participant aux études.

Pendant les différents ateliers réalisés lors du colloque Didapro 2022 (le deuxième contexte), nous avons à chaque fois commencé par présenter la plateforme aux participants. Ensuite, nous leur

<footnote n="9">9. Questionnaire pour ScenoClasse :
https://scenoclasse.lip6.fr/blog/guides/, accédé le 12/10/2023</footnote>
avons demandé d'explorer librement la plateforme puis de tra-
vailler sur la plateforme pour créer un nouveau scénario ou bien
cloner et modifier un scénario existant. Enfin, les participants ont
été sollicités pour remplir le questionnaire.

Retours qualitatifs et test d'utilisabilité
(contextes un et deux)

À l'issue du questionnaire soumis aux participants dans les deux premiers contextes, le test d'utilisabilité de ScenoClasse nous a remonté des scores positifs (le score F-SUS du premier contexte = 61,40/100 et le score F-SUS du deuxième contexte = 70,83/100). Les participants ont clairement exprimé leur intention de continuer à utiliser ScenoClasse et de recommander la plateforme à leurs collègues enseignants. Cependant, ils ont pointé certains problèmes d'utilisabilité et ont suggéré des améliorations. En particulier, les participants du premier contexte ont demandé la mise en place d'un système de gestion de comptes personnels, l'adaptation du vocabulaire utilisé à celui des enseignants, et avoir la possibilité de relier certains scénarios entre eux. Une nouvelle phase de développement de ScenoClasse a permis d'intégrer ces besoins et d'améliorer ainsi le score F-SUS du test d'utilisabilité du deuxième contexte. Vingt-trois des 29 expérimentateurs qui ont participé au deuxième contexte ont évalué ScenoClasse comme une plateforme conviviale et facile à prendre en main.

Retour du processus d'analyse de traces
à deux étapes (contexte deux)

Lors de la deuxième étude réalisée dans le deuxième contexte,
nous avons collecté et analysé les traces de 51 sessions de travail
différentes.

Modèle de traces

Les actions des participants ont été modélisées sous forme de
traces de différents types et niveaux de granularité et enregistrées
dans une base de données. Nous distinguons des actions sur les
scénarios (créer un scénario, cloner un scénario, supprimer un
scénario, imprimer un scénario, etc.), des actions sur les activités
composant un scénario (créer une activité, supprimer une activité,
réorganiser les liens entre des activités au sein d'un même scénario,
etc.), des actions sur les champs d'une activité (mettre à jour les
compétences travaillées dans une activité, la description d'une
activité, les ressources nécessaires pour une activité, etc.) et enfin
<figure><img src="image_2.png" /><figcaption>FIGURE 2 – Processus d’analyse à deux étapes.</figcaption></figure>

des actions au niveau de la plateforme (créer un compte, chercher un scénario, demander la publication d'un scénario, etc.).

## Processus d'analyse à deux étapes pour identifier les comportements d'usage de la plateforme par les enseignants de primaire

Nous avons défini et appliqué un processus à deux étapes pour identifier les usages des enseignants sur la plateforme ScenoClasse à partir de leurs traces d'interaction (cf. figure 2). D'abord, nous avons utilisé l'algorithme de clustering K-means (MacQueen, 1967) pour créer des groupes de comportements d'usage suffisamment différents.

Pour cela, nous avons prétraité les traces en normalisant les valeurs des attributs et avons sélectionné les attributs caractérisant chaque session de travail sur ScenoClasse. Cette sélection d'attributs (feature selection) a été une étape critique que nous avons réalisée itérativement en testant différents attributs. Parmi les attributs testés, trois attributs (nombre de scénarios clonés, nombre de solutions consultées, nombre d'activités explorées au-delà d'un certain temps) ont permis des regroupements maximisant la distance entre les centroïdes des clusters. Ainsi, les sessions de travail caractérisées par ces trois attributs ont constitué l'entrée de l'algorithme de clustering. Ensuite, nous avons utilisé l'algorithme d'extraction de motifs séquentiels generalized sequential pattern (Srikant et Agrawal, 1996) pour caractériser plus précisément chaque cluster identifié.
<figure><img src="image_3.png" /><figcaption>**FIGURE 3** – Le partitionnement des différentes traces en clusters. Chaque cluster est coloré différemment et est caractérisé par les attributs utilisés, à savoir, le nombre d'activités explorées, le nombre de scénarios clonés et le nombre de solutions consultées.</figcaption></figure>

## Résultat de l'analyse

Certains participants ont produit deux sessions de travail différentes. Nous avons gardé toutes les sessions de travail même lorsque celles-ci appartenait au même participant car notre objectif était de détecter des patterns d'usages différents et non d'identifier la proportion des participants de tel ou tel usage. À l'issue de la première étape d'analyse, nous avons obtenu quatre clusters de sessions de travail maximisant la distance entre les centroïdes des clusters (average centroid distance = -0,763) :

- cluster zéro (cluster jaune) : regroupant des participants qui sont davantage intéressés par le clonage des scénarios en vue de les modifier et moins par la consultation en lecture de scénarios existants;

- cluster un (cluster bleu) : regroupant des participants découvrant la plateforme en testant ses différentes fonctionnalités sans prendre le temps d'explorer une fonctionnalité en particulier;

- cluster deux (cluster violet) : regroupant des participants qui ont passé du temps à découvrir et explorer les différentes activités et leurs descriptions et parfois leurs solutions;
— cluster trois (cluster vert) : regroupant des participants qui ont passé du temps à regarder les solutions des activités sans forcément consulter les autres informations décrivant les activités.

L'application de l'algorithmme *generalized sequential pattern mining* (GPS) sur les traces de chaque cluster séparément a confirmé l'interprétation que nous avons eu de chacun des clusters. Le contexte de la deuxième étude, à savoir, des ateliers courts et assez guidés n'a pas permis une variation importante dans les données. Les trois attributs sélectionnés dans l'étape *clustering* permettent à eux seuls d'expliquer les différents comportements d'usage des 29 participants de l'étude. Cette étape de *pattern mining* du processus à deux étapes que nous avons défini, indépendamment du contexte de l'étude, serait davantage utile dans un contexte où les traces seraient plus nombreuses avec des attributs plus nombreux pour les caractériser et donc potentiellement des clusters plus difficiles à interpréter.

Néanmoins, le *pattern mining* a permis, malgré le contexte assez contraint de l'étude, de remonter des informations complémentaires au *clustering* sur la nature des actions réalisées et leurs fréquences pour les participants de chacun des clusters d'usages. Nous synthétisons la répartition des actions des participants dans chacun des clusters comme suit :

— les participants du cluster zéro qu'on pourrait qualifier de « producteurs / adaptateurs » ont essentiellement cloné des scénarios et commencé à les modifier et ne se sont pas intéressés à les exporter pour les visualiser ou consulter les commentaires laissés par d'autres utilisateurs. Ces participants ont peut-être une expérience de ce type de scénarios de la pensée informatique;

— les participants du cluster un qu'on pourrait qualifier de « prospecteurs » ont exploré plusieurs fonctionnalités de la plateforme avec une répartition quasi identique entre les différentes actions de leur session de travail. Ce cluster est probablement le plus prévisible des quatre puisqu'il est cohérent avec le contexte de l'étude. Les participants ne sont pas familiers avec la plateforme donc il apparaît normal qu'ils découvrent d'abord celle-ci avant de commencer à l'utiliser pour répondre à des besoins pédagogiques;

— les participants du cluster deux qu'on pourrait qualifier de « consommateurs » ont beaucoup consulté les activités disponibles en s'attardant sur leurs descriptions sans les modifier;

— enfin, les participants du cluster trois peuvent être des « débutants » qui ont principalement consulté les solutions
disponibles des activités sans aller chercher d'autres infor-
mations sur celles-ci (compétences travaillées, prérequis,
etc.).

Retour d'utilisabilité d'un scénario en contexte écologique (contexte trois)

Dans cette expérimentation nous avons testé un scénario de la
plateforme exploitant le jeu sérieux SPY¹⁰ (Muratet, 2023). SPY
est un jeu sérieux d'apprentissage sur le thème de la pensée
informatique. Il a été conçu pour un public d'élèves de cycle 3
(CM1, CM2, 6ᵉ). Le principe du jeu est de programmer un ou
plusieurs agents à l'aide d'actions simples afin de les déplacer
sur une grille vers des positions particulières. Ces actions sont
représentées sous forme de blocs que l'élève doit agencer en
séquences.

Nous distinguons bien ici les scénarios ludiques définis dans le jeu SPY du scénario pédagogique décrit sur la plateforme ScenoClasse. Pour autant ces deux types de scénarios sont complémentaires. En effet, décrire une situation pédagogique avec ScenoClasse exploitant la ressource SPY permet d'enrichir le scénario ludique par des compléments, des vigilances, des recommandations de durée... Nous avons ainsi décrit, dans l'application ScenoClasse, un scénario pédagogique pour SPY incluant trois des scénarios ludiques du jeu¹¹. Afin de fournir les éléments attendus par les comportements qualifiés de « consommateurs » du cluster deux, nous avons intégré dans le scénario pédagogique les compétences PIAF travaillées dans le jeu (Muratet, 2023) ainsi que la solution des niveaux.

Lors de cette expérimentation, trois scénarios ludiques du jeu ont été proposés aux élèves par l'enseignante. Le premier intitulé « Explorateur » est composé de neuf niveaux où l'élève ne manipule que des blocs d'action (« Avancer », « Pivoter à gauche », « Pivoter à droite », « Attendre »...). Le deuxième scénario, intitulé « Collaborateur », est composé de 12 niveaux. Dans ce scénario, l'élève doit faire collaborer deux robots. Il doit notamment apprendre à nommer correctement les zones de programmation afin de contrôler les bons robots. Le troisième scénario, intitulé « Répétiteur », est composé de dix niveaux. Ce scénario est centré sur la notion de répétition. Ici les blocs actions sont limités pour forcer le joueur à utiliser le bloc « Répéter plusieurs fois ».

SPY est donc un jeu sérieux sur le thème de la pensée informa-
tique qui propose des scénarios ludiques clé en main qui peuvent
être directement utilisables par des enseignants dont les com-
portements ont été classés dans les clusters « débutants » ou
« consommateurs ». L'éditeur de scénario ludique et l'éditeur

10. SPY : https://spy.lip6.fr,
accédé le 12/10/2023

11. Scénario SPY décrit dans Sceno-
Classe : https://scenoclasse.lip6.fr/
editeur/scenario/643575d71d35e,
accédé le 12/10/2023
de niveau intégrés au jeu sont aussi des ressources qui peuvent répondre aux enseignants identifiés comme ayant un comportement « producteurs/adaptateurs ». Ces éditeurs permettent aux enseignants de modifier les scénarios ludiques existants et créer leurs propres scénarios/niveaux.

Ce scénario pédagogique, composé des trois scénarios ludiques de SPY, a donc été expérimenté dans une classe de CM2 composée de 22 élèves. Cinq séances d'une heure ont été organisées. Pour chaque séance, le groupe classe était divisé en deux groupes pendant les 30 premières minutes, 11 élèves jouaient au jeu SPY sur ordinateur (un élève par poste) et les 11 autres faisaient des activités de mathématiques ou de français sur tablette. Au bout de 30 minutes, les deux groupes intervertissaient. À l'issue de cette expérimentation en contexte écologique, nous avons exploité la dimension collaborative des scénarios de ScenoClasse pour partager le retour d'expérience des utilisateurs. Nous avons ainsi révisé la description du scénario pédagogique et nous avons dégagé pour chacune des tâches du scénario des points de vigilance à partir des difficultés rencontrées à la fois par les élèves et l'enseignante animatrice de la séance. Par exemple, nous avons explicité des informations portant sur les savoirs comme la différence entre actions atomiques et action non-atomiques sur le niveau sept du scénario « Explorateur », sur les aspects ludiques comme le fait que deux robots ne peuvent pas utiliser la même case sur le niveau huit du scénario « Collaborateur », ou portant sur les manipulations de l'artefact afin d'expliciter certaines procédures comme la création de nouvelles zones de programmation sur le niveau 11 du scénario « Collaborateur ». À l'issue de cette expérimentation nous avons donc identifié 12 points de vigilance qui ont permis d'enrichir la description du scénario pédagogique de SPY sur ScenoClasse pour être partagé aux autres utilisateurs du scénario.

## Conclusion

Dans ce chapitre, nous présentons une contribution de recherche qui a pour objectif de soutenir les enseignants de primaire débuant dans l'enseignement de la pensée informatique. D'une part, nous avons présenté un modèle de scénarisation qui a été réifié dans une plateforme de scénarisation ScenoClasse. Deux études ont été menées dans trois contextes différents : d'une part pour évaluer l'utilisabilité de ScenoClasse et d'autre part pour identifier des comportements d'usage de la plateforme ScenoClasse par des enseignants de primaire. Les retours des enseignants lors du premier contexte ont montré un bon score SUS (score F-SUS = 61,40/100) et ont permis, après une nouvelle phase de développement, d'améliorer l'utilisabilité de ScenoClasse dans le contexte
deux (score F-SUS = 70,83/100). Le deuxième contexte expérimen-
tal a permis de formaliser un processus d'analyse à deux étapes
(clustering puis extraction de motifs séquentiels) qui a servi à
analyser les traces laissées par les enseignants et à identifier quatre
profils d'usages de la plateforme : « producteurs/adaptateurs »,
« prospecteurs », « consommateurs » et « débutants ». Le troisième
contexte expérimental a permis de montrer l'utilisabilité d'un scé-
nario ScenoClasse en situation écologique et a permis de dégager
des points de vigilance pour enrichir le scénario mis à disposition
de la communauté enseignante via la plateforme.

Le travail d'analyse des traces amorcé dans le cadre du projet IE CARE de l'ANR devra être poursuivi sur les données récupérées d'autres contextes, en particulier, des contextes où des enseignants utilisent ScenoClasse pour préparer des séances d'enseignement de la PI effectivement mises en œuvre avec leurs élèves. Aussi, la dimension temporelle des traces devrait être considérée pour étudier l'évolution des usages des enseignants. Un enseignant changerait-il de cluster suite à une pratique régulière de la plate-forme et dans quelles conditions ? Quelles seraient les trajectoires de profils de ces enseignants sur la plateforme ?

Au-delà des profils identifiés dans le contexte de l'expérimen-
tation contrôlée menée dans le cadre du projet IE CARE, notre
contribution porte davantage sur le processus d'analyse que nous
avons explicité que sur les résultats obtenus. Ce processus d'ana-
lyse pourrait servir de cadre pour d'autres expérimentations à
venir dont l'objectif serait d'identifier des patterns dans d'autres
contextes d'usages (préparation de séances, formation profession-
nelle ou formation initiale des professeurs, etc.). Ces derniers
pourraient servir à apporter une aide adaptée aux enseignants
de l'école primaire. Il pourrait être envisagé d'enrichir les résul-
tats de ce processus avec des données qualitatives afin de mieux
interpréter les résultats voire orienter le processus lui-même en
guidant par exemple la sélection d'attributs (features) en entrée du
processus.
Références

Abiteboul, S., Archambault, J.-P., Balagué, C., Baron, G.-L., Berry, G., Dowek, G., de la Higuera, C., Nivat, M., Tort, F., et Viéville, T. (2015). *L'enseignement de l'informatique en France — Il est urgent de ne plus attendre*, Académie des sciences, p. 35. https://www.academie-sciences.fr/fr/Rapports-ouvrages-avis-et-recommandations-de-l-Academie/l-enseignement-de-l-informatique-en-france-il-est-urge nt-de-ne-plus-attendre.html

Alayrangues, S., Peltier, S., et Signac, L. (2017). Informatique débranchée : construire sa pensée informatique sans ordinateur, *colloque Mathématiques en cycle 3 IREM de Poitiers*, p. 216-226, Poitiers, France. https://hal.science/hal-01868132

Anseel, F., Lievens, F., et Schollaert, E. (2009). Reflection as a strategy to enhance task performance after feedback, *Organizational Behavior and Human Decision Processes*, vol. 110, n° 1, p. 23-35. https://doi.org/10.1016/j.obhdp.2009.05.003

Bardach, L., Klassen, R. M., Durksen, T. L., Rushby, J. V., Bostwick, K. C. P., et Sheridan, L. (2021). The power of feedback and reflection : Testing an online scenario-based learning intervention for student teachers, *Computers & Education*, vol. 169, p. 104-194. https://doi.org/10.1016/j.compedu.2021.104194

Bennacer, I. (2022). Teaching analytics : Support for the evaluation and assistance in the design of teaching through artificial intelligence, thèse de l'université du Mans. https://theses.hal.science/tel-03935709

Brennan, K., et Resnick, M. (2012). New frameworks for studying and assessing the development of computational thinking, *Proceedings of the 2012 Annual Meeting of the American Educational Research Association (AERA 2012)*, vol. 1, n° 25. http://scratched.gse.harvard.edu/ct/files/AERA2012.pdf

Brinkerhoff, J. (2006). Effects of a long-duration, professional development academy on technology skills, computer self-efficacy, and technology integration beliefs and practices, *Journal of Research on Technology in Education*, vol. 39, n° 1, p. 22-43. https://doi.org/10.1080/15391523.2006.10782471

Brown, A. L., Lee, J., et Collins, D. (2015). Does student teaching matter? Investigating pre-service teachers' sense of efficacy and preparedness, *Teaching Education*, vol. 26, n° 1, p. 77-93. https://doi.org/10.1080/10476210.2014.95766

Brunet, O., Yessad, A., Muratet, M., et Carron, T. (2020). Vers un modèle de scénarisation pour l'enseignement de la pensée informatique à l'école primaire, *Didapro 8 – DidaSTIC*. https://hal.science/hal-02496191
Chen, G. (2020). A visual learning analytics (VLA) approach to video-based teacher professional development : Impact on teachers' beliefs, self-efficacy, and classroom talk practice, *Computers & Education*, vol. 144, p. 103-670. https://doi.org/10.1016/j.compedu.2019.103670

De Coninck, K., Valcke, M., Ophalvens, I., et Vanderlinde, R. (2019). « Bridging the theory-practice gap in teacher education : The design and construction of simulation-based learning environments », dans K. Hellmann, J. Kreutz, M. Schwichow, et K. Zaki (dir.), *Kohärenz in der Lehrerbildung*, Springer Fachmedien Wiesbaden, p. 263-280. https://doi.org/10.1007/978-3-658-23940-4_17

Denning, P. J. (2017). Remaining trouble spots with computational thinking, *Communications of the ACM*, vol. 60, n° 6, p. 33-39. https://doi.org/10.1145/2998438

Dillenbourg, P. (2015). *Orchestration graphs : Modeling scalable education*, EPFL press.

Goggins, S. (2012). Group informatics : A multi-domain perspective on the development of teaching analytics, *CEUR Workshop Proceedings*, vol. 894.

Gronier, G., et Baudet, A. (2021). Psychometric evaluation of the F-SUS : Creation and validation of the French version of the system usability scale, *International Journal of Human-Computer Interaction*, vol. 37, n° 16, p. 1571-1582. https://doi.org/10.1080/10447318.2021.1898828

Holden, H., et Rada, R. (2011). Understanding the influence of perceived usability and technology self-efficacy on teachers' technology acceptance, *Journal of Research on Technology in Education*, vol. 43, n° 4, p. 343-367. https://doi.org/10.1080/15391523.2011.10782576

Hursen, C., et Fasli, F. G. (2017). Investigating the efficiency of scenario based learning and reflective learning approaches in teacher education, *European Journal of Contemporary Education*, vol. 6, n° 2, p. 264-279. https://doi.org/10.13187/ejced.2017.2.264

Kanaan, M., et Yessad, A. (2023). « A Two-Step Process for Analysing Teacher's Behaviors Using a Scenario-Based Platform », dans C. S. González-González, B. Fernández-Manjón, F. Li, F. J. García-Peñalvo, F. Sciarrone, M. Spaniol, A. García-Holgado, M. Area-Moreira, M. Hemmje, et T. Hao (dir.), *Learning Technologies and Systems*, Springer International Publishing, vol. 13 869, p. 53-62. https://doi.org/10.1007/978-3-031-33023-0_5

Klassen, R. M., Rushby, J. V., Maxwell, L., Durksen, T. L., Sheridan, L., et Bardach, L. (2021). The development and testing of an online scenario-based learning activity to prepare preservice teachers
for teaching placements, *Teaching and Teacher Education*, vol. 104, p. 103-385. https://doi.org/10.1016/j.tate.2021.103385

Komis, V., et Misirli, A. (2011). Robotique pédagogique et concepts préliminaires de la programmation à l'école maternelle : une étude de cas basée sur le jouet programmable Bee-Bot, *Sciences et technologies de l'information et de la communication en milieu éducatif: Analyse de pratiques et enjeux didactiques*, vol. 271. https://edutice.hal.science/edutice-00676143

Komis, V., Tzavara, A., Karsenti, T., Collin, S., et Simard, S. (2013). Educational scenarios with ICT : An operational design and implementation framework, *Society for Information Technology & Teacher Education International Conference*, p. 3244-3251. https://www.researchgate.net/publication/289988466_Educational_scenarios_with_ICT_an_operational_design_and_implementation_framework

Kradolfer, S., Dubois, S., Riedo, F., Mondada, F., et Fassa, F. (2014). « A Sociological contribution to understanding the use of robots in schools : The thymio robot », dans M. Beetz, B. Johnston, et M.-A. Williams (dir.), *Social Robotics*, Springer International Publishing, p. 217-228. https://doi.org/10.1007/978-3-319-11973-1_22

Ku, O., Liang, J.-K., Chang, S.-B., et Wu, M. (2018). Sokrates Teaching Analytics System (STAS) : An Automatic Teaching Behavior Analysis System for Facilitating Teacher Professional Development, *26th International Conference on Computers in Education*, Metro Manila, Philippines.

Lee, I., Martin, F., Denner, J., Coulter, B., Allan, W., Erickson, J., Malyn-Smith, J., et Werner, L. (2011). Computational thinking for youth in practice, *ACM Inroads*, vol. 2, n° 1, p. 32-37. https://doi.org/10.1145/1929887.1929902

MacQueen, J. (1967). « Some methods for classification and analysis of multivariate observations », dans *Proceedings of the Fifth Berkeley Symposium on Mathematical Statistics and Probability*, University of California Press, vol. 1, n° 5.1, p. 281-298.

Miljanovic, M. A., et Bradbury, J. S. (2018). « A Review of Serious Games for Programming », dans S. Göbel, A. Garcia-Agundez, T. Tregel, M. Ma, J. Baalsrud Hauge, M. Oliveira, T. Marsh, et P. Caserman (dir.), *Serious Games*, Springer International Publishing, vol. 11243, p. 204-216. https://doi.org/10.1007/978-3-030-02762-9_21

Muratet, M. (2023). Comment caractériser et analyse les compétences de la pensée informatique d'un jeu sérieux ?, *EIAH 2023*, p. 178-180. https://hal.science/hal-04246906/document

Ndukwe, I. G., et Daniel, B. K. (2020). Teaching analytics, value and tools for teacher data literacy : A systematic and tripartite
approach, *International Journal of Educational Technology in Higher Education*, vol. 17, n° 1, p. 22. https://doi.org/10.1186/s41239-020-00201-6

Papert, S. (1993). *Mindstorms : Children, computers, and powerful ideas* (2nd ed.), Basic Books.

Parmentier, Y. (2018). Enseigner la pensée informatique à l'école primaire : formation initiale et continue des professeurs, *Atelier « Organisation et suivi des activités d'apprentissage de l'informatique : outils, modèles et expériences » RJC-EIAH*. https://hal.science/hal-01762626

Pólya, G., et Conway, J. H. (1957). *How to solve it : A new aspect of mathematical method*, Princeton University Press.

Romero, M., Lille, B., Viéville, T., Duflot-Kremer, M., Smet, C. D., et Belhassein, D. (2018). Analyse comparative d'une activité d'apprentissage de la programmation en mode branché et débranché, *Educode - Conférence internationale sur l'enseignement au numérique et par le numérique*. https://inria.hal.science/hal-01861732

Saddoug, H., Rahimian, A., Marne, B., Muratet, M., Sehaba, K., et Jolivet, S. (2022). Review of the Adaptability of a Set of Learning Games Meant for Teaching Computational Thinking or Programming in France, *Proceedings of the 14th International Conference on Computer Supported Education*, p. 562-569. https://doi.org/10.5220/0011126400003182

Schrader, P., Mariappan, J., et Shih, A. (2004). Scenario Based Learning Approach In Teaching Statics, *2004 Annual Conference Proceedings*, 9.1083.1-9.1083.7. https://doi.org/10.18260/1-2-13347

Selby, C., et Woollard, J. (2013). *Computational thinking : The developing definition*, University of Southampton. https://eprints.soton.ac.uk/356481/

Seren Smith, M., Warnes, S., et Vanhoestenberghe, A. (2018). « Scenario-based learning », dans J. P. Davies et N. Pachler (dir.), *Teaching and Learning in Higher Education : Perspectives from UCL, UCL IOE Press*, p. 144-156. https://www.ucl-ioe-press.com/ioe-content/uploads/2018/05/Teaching-and-Learning-in-Higher-Education.pdf

Sergis, S., et Sampson, D. G. (2017). « Teaching and Learning Analytics to Support Teacher Inquiry : A Systematic Literature Review », dans A. Peña-Ayala (dir.), *Learning Analytics : Fundaments, Applications, and Trends*, Springer International Publishing, vol. 94, p. 25-63. https://doi.org/10.1007/978-3-319-52977-6_2

Spach, M. (2019). Activités robotiques à l'école : approches de pratiques d'enseignement et effets sur les apprentissages, *Recherches en didactiques*, vol. 28, n° 2, p. 68-87. https://doi.org/10.3917/rdid.028.0068
Srikant, R., et Agrawal, R. (1996). « Mining sequential patterns : Généralizations and performance improvements », dans P. Apers, M. Bouzeghoub, et G. Gardarin (dir.), *Advances in Database Technology—EDBT '96*, Springer Berlin Heidelberg, vol. 1057, p. 1-17. https://doi.org/10.1007/BFb0014140

Storey, M.-A., Phillips, B., Maczewski, M., et Wang, M. (2002). Evaluating the usability of web-based learning tools, *Journal of Educational Technology & Society*, vol. 5, n° 3, p. 91-100.

Vahldick, A., Mendes, A. J., et Marcelino, M. J. (2014). A review of games designed to improve introductory computer programming competencies, *2014 IEEE Frontiers in Education Conference (FIE) Proceedings*, p. 1-7. https://doi.org/10.1109/FIE.2014.7044114

Watson, G. (2006). Technology Professional Development : Long-Term Effects on Teacher Self-Efficacy, *Journal of Technology and Teacher Education*, vol. 14, n° 1, p. 151-166.

Wing, J. M. (2006). Computational thinking, *Communications of the ACM*, vol. 49, n° 3, p. 33-35. https://doi.org/10.1145/1118178.1118215

Pour citer ce chapitre :

Yessad, Amel, Muratet, Mathieu, et Carron, Thibault (2024). « Assister les enseignants du primaire dans l'enseignement de la pensée informatique. Une approche basée sur la scénarisation et vers les *teaching analytics* », dans Cédric Fluckiger, Laetitia Boulc'h, Sandra Nogry et Christophe Reffay (dir.), *Enseigner, apprendre, former à l'informatique à l'école : regards croisés*, Université Paris Cité, p. 211-231. https://doi.org/10.53480/2024iecare11y