# Évaluation multidimensionnelle de l'impact d'équipements numériques mobiles sur les apprentissages des élèves: premiers résultats des effets du Plan numérique de 2015

Denis Fougère, Ghazala Azmat, Clémence Lobut, Alexis Lermite, Alexandre Louw

<figure><img src="image_1.png" /></figure>

## To cite this version:

Denis Fougère, Ghazala Azmat, Clémence Lobut, Alexis Lermite, Alexandre Louw. Évaluation multidimensionnelle de l'impact d'équipements numériques mobiles sur les apprentissages des élèves: premiers résultats des effets du Plan numérique de 2015. Évaluation multidimensionnelle de l'impact d'équipements numériques mobiles sur les apprentissages des élèves: premiers résultats des effets du Plan numérique de 2015, 2021, pp. 1-4. 10.48464/ni-21-05. halshs-03465811

HAL Id: halshs-03465811

https://shs.hal.science/halshs-03465811v1

Submitted on 3 Dec 2021

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_2.png" /></figure>
NOTE D'INFORMATION

n° 21.05 – Février 2021

Évaluation multidimensionnelle de l'impact
d'équipements numériques mobiles sur
les apprentissages des élèves : premiers
résultats des effets du Plan numérique de 2015

► Les premiers résultats de l'Évaluation Longitudinale des Actlvités liées au Numérique Éducatif (Élaine) rendent compte des effets de l'attribution d'équipements numériques mobiles (principalement des tablettes) sur les apprentissages des élèves en cinquième puis en quatrième. Ces équipements ont notamment été distribués dans le cadre du Plan numérique de 2015, sous la forme de tablettes, individuellement (équipements individuels mobiles - EIM) ou collectivement (classes mobiles - CM). En fin de cinquième, on observe un effet positif des EIM sur les résultats des élèves en compréhension orale du français et sur leurs compétences numériques. En fin de quatrième, les résultats des élèves bénéficiaires d'EIM connaissent également une évolution positive en compréhension écrite du français et en mathématiques par rapport aux élèves non équipés. De manière générale, les effets mesurés deux ans après la distribution des EIM correspondent à la progression d'un rang dans la classe pour un élève médian. Un impact positif des CM de même ampleur s'observe également sur les compétences mathématiques et numériques des élèves de quatrième en fin d'année scolaire. Les premières analyses montrent par ailleurs certains effets différenciés des équipements numériques mobiles selon le sexe, l'origine sociale des élèves ou la composition sociale du collège. Les données renseignant les usages des équipements en classe et en dehors du collège ainsi que l'appropriation des équipements par les enseignants permettent d'explorer des mécanismes potentiels. La disponibilité d'EIM conduit les enseignants à intégrer davantage le numérique dans leurs pratiques professionnelles, tandis que la disponibilité de CM reste en revanche sans effet.

Ministère de l'Éducation nationale,
de la Jeunesse et des Sports
Directrice de la publication : Fabienne Rosenwald
Auteurs : Ghazala Azmat, Denis Fougère,
Alexis Lermite, Clémence Lobut, Alexandre Touw
Édition : Bernard Javet
Maquettiste : Frédéric Voiret
e-ISSN 2431-7632

► En 2017, la DEPP a lancé la première évaluation d'impact sur données nationales visant à documenter les effets de l'attribution d'équipements numériques mobiles (tablettes ou ordinateurs portables) sur les apprentissages des élèves, scolarisés dans des établissements dotés par le Plan numérique de 2015 ou par d'autres sources de financement. L'Évaluation Longitudinale des Actlvités liées au Numérique Éducatif (Élaine) est inédite, en raison notamment de la richesse des données collectées auprès d'un panel d'élèves, d'enseignants, et de cadres éducatifs. Elle contribue à la littérature scientifique internationale consacrée à l'impact du numérique éducatif sur les apprentissages des élèves, dont aucun consensus clair n'émerge. S'agissant des EIM, les premiers résultats, présentés dans cette Note et détaillés dans un document de travail de la DEPP, rangent Élaine du côté des études concluant à un impact positif de la distribution de matériel numérique aux élèves.

L'une des ambitions du Plan numérique lancé en 2015 était le déploiement à l'échelle nationale de ressources pédagogiques et

d'équipements numériques mobiles dans les écoles publiques et les collèges publics et privés sous contrat à partir d'appels à projets. Pour les établissements sélectionnés, la dotation en équipements a pris deux formes : des équipements individuels mobiles (EIM) attribués individuellement pour un usage en classe ou à domicile et des classes mobiles (CM) pour un usage individuel ou collectif en classe. L'échantillon d'Élaine inclut 217

collèges publics et privés sous contrat en France métropolitaine et d'outre-mer. Les chefs d'établissement ont été interrogés en décembre 2017 sur la présence d'équipements numériques mobiles dans leur collège et, le cas échéant, sur la nature de ces équipements (EIM et/ou CM). Ces données ont permis de répartir les collèges au sein de groupes qui sont comparés à des fins d'évaluation ► **figure 1**.

► 1 Groupes de collèges constitués pour l'évaluation

<figure><img src="image_3.png" /></figure>

<footnote>* La distinction Plan numérique de 2015/hors Plan numérique n'est pas effectuée pour les établissements dotés d'EIM compte tenu de la faible proportion d'établissements dotés d'EIM et non inclus dans le Plan numérique (10 collèges, soit moins de 5 % de l'échantillon). Tous les établissements dotés d'EIM sont donc considérés uniformément.</footnote>
Cette Note présente les principaux résultats des premières exploitations des évaluations des compétences disciplinaires et numériques du panel d'élèves (5 203) suivis en cinquième puis en quatrième et de l'enquête auprès de leurs enseignants de cinquième.

## Les élèves confirment bénéficier des équipements numériques mobiles distribués et les utiliser en classe principalement

La figure 2 montre que les élèves de cinquième scolarisés dans les collèges dotés d'équipements numériques mobiles (groupes 1, 2 et 4) sont nettement plus nombreux à déclarer avoir accès à une tablette au collège ou en dehors du collège, qu'elle leur appartienne ou non. Cet écart est associé, au moins pour partie, à des différences dans la nature du matériel numérique disponible dans leur établissement : 49 % des élèves des établissements disposant d'EIM rapportent avoir accès à une tablette appartenant au collège, alors qu'ils sont 15 % dans les collèges dotés de CM et moins de 5 % dans ceux non équipés.

En classe de quatrième, ces mêmes élèves ont été interrogés sur leur fréquence et leur type d'utilisation des équipements numériques mobiles. Dans les collèges dotés d'EIM, 27 % des élèves de 4e utilisent fréquemment en classe une tablette ou un ordinateur pour un usage individuel et 19 %, pour un usage collectif (soit des écarts de 18 et 10 points de pourcentage [pp] avec le groupe de comparaison, statistiquement significatifs au seuil de 1 %) ▶ figure 3. Ces proportions s'établissent à 13 et 14 % respectivement dans les collèges dotés de CM (les écarts avec le groupe de comparaison sont plus faibles – de l'ordre de 3 à 4 pp – mais restent statistiquement significatifs au seuil de 1 %). Il y a peu, voire pas d'écart entre les élèves des différents groupes de l'évaluation en ce qui concerne l'utilisation des équipements numériques en dehors du collège, et ce, quel que soit le type d'activités (par exemple, la recherche d'informations d'Internet ou l'envoi de messages). L'un des seuls items faisant exception concerne l'utilisation de l'ENT : 32 % des élèves des collèges dotés d'EIM (groupe 1) le consulte fréquemment pour rechercher des informations, contre 21 % dans le groupe de comparaison (groupes 3 et 5).

Ces premiers constats sont de nature descriptive. La suite des analyses vise à établir un lien causal entre la disponibilité des équipements numériques mobiles et les

## 2 Pourcentage d'élèves de 5e déclarant avoir accès à une tablette, en fonction des équipements disponibles dans leur collège

<figure><img src="image_4.png" /></figure>

**Lecture** : en classe de 5e, 92 % des élèves scolarisés dans des établissements dotés d'EIM déclarent avoir accès et utiliser une tablette au collège ou en dehors du collège. L'écart avec les élèves scolarisés dans les collèges ne disposant pas d'équipement numérique mobile est de 23 points de pourcentage.

**Champ** : les élèves de 4e interrogés sur leur accès aux équipements numériques et leur utilisation en 5e lors de l'évaluation Élaine 2019.

**Source** : MENJS-DEPP.

Réf. : Note d'Information, n° 21.05. © DEPP

## 3 Pourcentage d'élèves de 4e déclarant utiliser fréquemment une tablette ou un ordinateur en classe, en fonction des équipements disponibles dans leur collège

<figure><img src="image_5.png" /></figure>

**Lecture** : en classe de 4e, 27 % des élèves scolarisés dans des collèges dotés d'EIM déclarent utiliser fréquemment de manière individuelle une tablette ou un ordinateur en classe.

**Champ** : les élèves de 4e interrogés sur leur utilisation des équipements numériques en classe lors de l'évaluation Élaine 2019.

**Source** : MENJS-DEPP.

Réf. : Note d'Information, n° 21.05. © DEPP

indicateurs de résultats fondés d'une part, sur les évaluations des élèves et d'autre part, sur les enquêtes réalisées auprès de leurs enseignants. En effet, les collèges équipés en EIM (groupe 1) ou en CM (groupes 2 et 4) ne présentent pas les mêmes caractéristiques que ceux non dotés (groupes 3 et 5), ce qui invalide la comparaison directe des résultats des élèves scolarisés dans ces différents groupes de collèges. Pour pallier cette difficulté, un appariement statistique a été opéré sur un large ensemble de caractéristiques observables. Ceci permet de mesurer les effets de la distribution de matériels numériques en comparant les compétences d'élèves bénéficiaires à

celles d'élèves non-bénéficiaires les plus semblables possible, du point de vue de leurs caractéristiques individuelles (sexe, origine sociale, lieu de naissance) et de celles de leur établissement (secteur, appartenance à l'éducation prioritaire, composition sociale et scolaire, taille, territoire).

### La mise à disposition d'équipements numériques mobiles (surtout les EIM) favorise les apprentissages des collégiens

Dans ce qui suit, et selon la pratique usuelle dans la littérature scientifique, les scores
mesurant les compétences disciplinaires et numériques des élèves sont standardisés par rapport au groupe de comparaison (les élèves scolarisés dans les collèges non dotés), ce qui permet ensuite d'exprimer les effets estimés en pourcentage d'écart-type du score de ce groupe. Pour faciliter leur interprétation, ces effets dits « standardisés » peuvent être convertis en termes de progression de l'élève médian dans une classe : à titre d'illustration, en moyenne, un effet de 20 % d'un écart-type signifie qu'un élève initialement médian (classé 13e dans une classe de 25 élèves) atteint le niveau de celui qui était classé 10e.

La mise à disposition d'EIM (groupe 1), via le Plan numérique ou non, a des effets positifs sur certains apprentissages mesurés en fin de cinquième, puis sur tous les apprentissages mesurés en fin de quatrième
** figure 4.** L'effet le plus fort est mesuré sur le niveau moyen des élèves de cinquième en compréhension orale du français : il est de 31 % d'un écart-type, correspondant à une progression de trois rangs dans la classe, et est statistiquement significatif au seuil de 1 %. Il est encore plus élevé chez les filles. Les compétences numériques des collégiens scolarisés dans les établissements dotés d'EIM s'améliorent également par rapport au groupe de comparaison : + 9 % d'un écart-type (soit un gain d'environ une place dans la classe), statistiquement significatif au seuil de 5 %. En fin de quatrième, pour l'ensemble des domaines évalués (compétences numériques, mathématiques, français), on distingue un impact positif des EIM de l'ordre de 8 à 14 % d'un écart-type (les écarts sont statistiquement significatifs au seuil de 1 % à l'exception de celui sur les compétences numériques qui est statistiquement significatif au seuil de 10 %). Ces effets varient sensiblement en fonction de la composition sociale et scolaire des établissements et de l'origine sociale des élèves : ils sont plus forts en mathématiques et compétences numériques dans les collèges défavorisés et sont également plus forts en compétences numériques pour les élèves issus d'un milieu socio-économique défavorisé.

L'effet des CM (quelle que soit la source de financement) sur les compétences des élèves varie selon le domaine évalué et l'année observée ▶ **figure 5**. En fin de cinquième, on observe un effet de 7 % d'un écart-type du score du groupe de comparaison en compréhension orale du français (statistiquement significatif au seuil de 10 %), mais qui ne se maintient pas l'année suivante. En fin de quatrième, les compétences numériques et mathématiques des collégiens scolarisés dans les collèges dotés de CM sont supérieures à celles du groupe de

► 4 Impact des équipements individuels mobiles sur les scores des élèves, en % d'écart-type du score du groupe de comparaison

<figure><img src="image_6.png" /></figure>

Lecture : l'effet moyen estimé de la disponibilité d'EIM sur les compétences numériques des élèves en 5e est de 9 % d'écart-type du score du groupe de comparaison (collèges sans équipements numériques mobiles).

Champ : les élèves de 5e et 4e interrogés lors des évaluations Élaine 2018 et Élaine 2019.

Source : MENJS-DEPP.

Réf. : Note d'Information, n° 21.05. © DEPP

► 5 Impact des classes mobiles sur les scores des élèves, en % d'écart-type du score du groupe de comparaison

<figure><img src="image_7.png" /></figure>

Lecture : par rapport au groupe de comparaison (collèges sans équipements numériques mobiles), on ne distingue pas d'effet statistiquement significatif de la disponibilité des CM sur les compétences numériques des élèves en 5e.

Champ : les élèves de 5e et 4e interrogés lors des évaluations Élaine 2018 et Élaine 2019.

Source : MENJS-DEPP.

Réf. : Note d'Information, n° 21.05. © DEPP

comparaison (9 et 13 % d'un écart-type avec une significativité statistique aux seuils de 1 et 5 %, respectivement). L'effet mesuré y est d'ampleur comparable à celui observé pour les EIM.

En cinquième, les pratiques pédagogiques intégrant le numérique sont plus fréquentes dans les collèges disposant d'EIM

Les premières exploitations des données collectées auprès des enseignants de cinquième des collégiens évalués

fournissent des pistes d'explication des effets documentés. Les enseignants exerçant dans les collèges dotés d'équipements numériques mobiles indiquent, au collège comme à leur domicile, des niveaux d'équipement numérique supérieurs à ceux des autres enseignants. Cela est toujours vrai, que les EIM et les CM aient été financés par le Plan numérique ou non. Ainsi, 72 % des enseignants des collèges disposant d'EIM ont accès à une tablette à domicile, et 77 % au collège, contre respectivement 53 % et 37 % des enseignants des collèges non dotés.
Dans les collèges ayant bénéficié d'une distribution d'EIM (et dans une moindre mesure, dans ceux ayant bénéficié d'une distribution de CM), les enseignants perçoivent moins de freins aux usages pédagogiques du numérique. En revanche, ils ne se sentent pas plus efficaces pour intégrer le numérique dans leurs pratiques et leurs compétences numériques (maîtrise technique des outils, communication, pensée algorithmique, recherche d'informations, etc.) n'ont pas progressé par rapport à celles de leurs collègues des collèges sans équipement numérique mobile. À cet égard, il convient de noter que les enseignants exerçant dans des collèges dotés d'équipements numériques mobiles ne rapportent pas un surcroît significatif de formation au numérique.

La disponibilité d'EIM conduit pourtant les enseignants à intégrer davantage le numérique dans leurs pratiques professionnelles, incluant l'usage du numérique en classe (par exemple, en faisant travailler les élèves en autonomie avec les outils numériques). À titre d'illustration, les enseignants des collèges où les élèves disposent d'EIM (groupe 1) sont 33 % à

monter au moins une fois par semaine des séquences d'activités en classe avec manipulation de matériel numérique par les élèves, contre 22 % dans les collèges sans équipement numérique mobile (groupes 3 et 5). La disponibilité de CM reste en revanche sans effet sur le recours au numérique dans les pratiques professionnelles des enseignants. Les enseignants ont été interrogés sur la fréquence et la nature de la collaboration entre enseignants et sur leurs pratiques visant à favoriser la collaboration entre élèves. Alors que la disponibilité des outils numériques aurait pu inciter les enseignants à échanger davantage entre eux et à développer le travail collaboratif entre élèves, on ne distingue aucun écart entre les différents groupes de l'évaluation.

Il reste à ce stade de l'analyse à traiter les données relatives aux pratiques enseignantes en quatrième afin d'éclairer les résultats sur les élèves présentés dans la Note et le document de travail. Enfin, il est important de noter que l'ensemble des données présentées dans cette Note ont été collectées avant la période de confinement de mars à mai 2020 et que les résultats ne tiennent donc pas

compte des effets potentiellement induits par la mise en œuvre de l'enseignement à distance dans le cadre du dispositif de continuité pédagogique. Des travaux complémentaires seront conduits à cette fin. Par ailleurs, grâce au suivi du panel de collégiens, Élaine sera également en mesure d'apprécier l'impact des équipements sur leur orientation après la classe de troisième (voies professionnelle, générale ou technologique, enseignements optionnels suivis).

POUR EN SAVOIR PLUS

Retrouvez la Note d'Information 21.05, ses figures et données complémentaires sur
**education.gouv.fr/etudes-et-statistiques**