Le mirage d'une méta-analyse
sur les effets positifs des appareils portables

Christian Boyer
SESSIONS

Steve Bissonnette
Université TÉLUQ (Canada)

doi: 10.18162/fp.2022.a260

CHRONIQUE • Formation des maîtres

Introduction

Depuis de nombreuses années, l'usage des technologies et des outils numériques est promulgué en éducation. À ce sujet, le ministère de l'Éducation et de l'Enseignement supérieur du Québec a déposé, en 2019, un cadre de référence visant le développement d'une compétence numérique pour l'ensemble des élèves. Bien que le numérique soit présent dans nos vies et qu'il soit fortement recommandé en milieu scolaire, il importe de s'assurer que l'usage des technologies en salle de classe amène une valeur ajoutée à l'enseignement et qu'il entraîne des effets positifs sur le rendement des élèves. Pour y parvenir, il s'avère opportun de recourir aux données probantes.¹

Le recours aux données probantes est un thème de plus en plus
présent dans le discours éducatif et l'un des types de recensions des
écrits scientifiques qui lui est fortement associé est la méta-analyse. Ce
type de recension, la méta-analyse, permet de regrouper au sein d'une
même étude les résultats provenant de diverses recherches portant
sur un même thème, et ce, afin d'en dégager une tendance centrale
exprimée sous la forme d'une grandeur d'effet². Ainsi, la méta-analyse
permet de synthétiser des informations sur des domaines de recherche
où les données s'accumulent. Toutefois, la méta-analyse est tributaire,
entre autres, de la qualité et de la quantité des recherches qui y sont
sélectionnées. Or, de nombreuses méta-analyses en éducation utilisent
un nombre restreint de critères de sélection entraînant la rétention
d'études de faible qualité comportant des lacunes méthodologiques
importantes. Par conséquent, de telles études viennent contaminer les
résultats des méta-analyses ainsi que les conclusions qui en découlent, pouvant ainsi engendrer de fausses représentations allant même jusqu'à un mirage aveuglant de certitudes. Pour illustrer ce propos, nous présentons, dans cet article, un examen sommaire des études retenues dans la méta-analyse de Tingir et al. (2017). Ces chercheurs concluent que les appareils portables sont efficaces en salle de classe. Les résultats de ces derniers diffèrent considérablement des méta-analyses produites par Slavin (2019). Notre analyse nous amène à considérer que la conclusion de Tingir et ses collègues (2017) est injustifiée. Malheureusement, au mois d'août 2020, cette méta-analyse a déjà été citée à 24 reprises dans différents articles scientifiques et sites de recherches, dont l'Education Endowment Foundation (2019).

## La méta-analyse de Tinger et ses collaborateurs (2017) portant sur l'effet des appareils numériques portables³ au préscolaire, primaire et secondaire.

Tingir et ses collaborateurs (2017) concluent dans leur méta-analyse, entre autres, que « ... l'enseignement fait avec un appareil portable entraîne un rendement significativement plus élevé que l'enseignement traditionnel » (p. 366). Nous opinons que cette conclusion n'est pas légitime et que cette méta-analyse ne devrait pas être utilisée pour justifier le recours aux appareils portables en salle de classe, quel que soit le niveau scolaire ou la matière enseignée.

Dans cette méta-analyse, les chercheurs calculent un effet moyen général de 0,48 pour les appareils portables sur le rendement des élèves (effet en lecture = 0,666 — N = 3 études; effet en mathématique = 0,16 — N = 3 études; effet en sciences = 0,528 — N = 8 études). Cette grandeur d'effet appréciable (0,48) pourrait correspondre à un gain de près de cinq mois d'apprentissage pour le groupe utilisant un appareil portable comparativement à un groupe bénéficiant d'un enseignement traditionnel sans appareil portable. Cette donnée encourage fortement le personnel enseignant à employer cet outil numérique en salle de classe. Cependant, l'ensemble des recherches colligées par Tingir et ses collaborateurs (2017) présentent des faiblesses importantes qui ne permettent pas de soutenir leur conclusion. Malencontreusement, les défauts méthodologiques que nous soulevons dans la présente critique ne sont pas rares dans le domaine de la recherche scientifique en pédagogie.

Tingir et ses collègues (2017) sélectionnent au total 14 recherches scientifiques, réparties comme suit : trois (3) recherches en lecture, trois (3) recherches en mathématique et huit (8) recherches en sciences. D'emblée, la faible quantité d'études au total, et particulièrement en lecture et en mathématique, est insuffisante et inquiétante, d'autant plus que cette quantité de recherches ne permet pas d'analyser avec rigueur les résultats en fonction des niveaux scolaires ou d'autres variables.

Étonnamment, les auteurs de la méta-analyse incluent une étude ayant mesuré le rendement d'étudiants adultes de niveau postsecondaire (voir de-Marcos et al., 2010) dans leur méta-analyse pourtant vouée aux élèves du préscolaire au secondaire, comme le titre de leur article l'indique explicitement (Effects of mobile devices on K-12 students' achievement: a meta-analysis).

Une autre faiblesse concerne le contenu d'apprentissage. Certaines recherches retenues portent sur des sujets qui sont nettement non représentatifs de l'enseignement usuel et commun en classe comme l'apprentissage de l'interprétation de poèmes traditionnels chinois, ainsi que la brève visite d'un musée ou d'un temple religieux (voir : Billings et Mathison, 2012; Hwang et al., 2013; Yang et al., 2013a).
La durée d'expérimentation de plusieurs recherches est inférieure à 240 minutes, ce qui s'avère nettement insuffisant et peu représentatif de la réalité scolaire (voir : Ahmed et Parsons, 2013; Huang, Lin et Cheng, 2010; Hwang et al., 2013; Yang et al., 2013a; Yang et al., 2013b). Une durée aussi courte limite grandement la généralisation des effets observés (Slavin, 1986).

En ce qui a trait au nombre de sujets par recherche, sur les 14 recherches analysées par Tingir et ses collaborateurs (2017), il y a seulement deux (2) recherches qui comprennent 250 sujets et plus, et la moitié des recherches compte moins de 100 sujets dans leur échantillon. Encore une fois, cette faille importante restreint énormément la généralisation des conclusions possibles à partir de ces recherches. D'ailleurs, Cheung et Slavin (2016) recommandent de sélectionner uniquement des études ayant un minimum de 250 sujets puisque les recherches ayant un nombre inférieur de sujets produisent artificiellement des tailles d'effet deux fois plus élevées.

Finalement, plusieurs recherches comportent d'autres lacunes méthodologiques majeures, comme l'absence d'un groupe témoin (voir Nedungadi et Raman, 2012), une non-équivalence non contrôlée du groupe expérimental et témoin (voir Carr, 2012) ainsi qu'un non-enseignement dans le groupe témoin du contenu couvert dans le groupe expérimental (voir Riconscente, 2013; Varma, 2014 — par exemple, on enseigne les fractions dans le groupe expérimental mais pas dans le groupe témoin, même si le post-test, pour déterminer l'effet des appareils portables, porte sur les fractions). Dans la méta-analyse de Tingir et son équipe (2017), en bref, douze recherches sur quatorze (12/14) présentent des failles méthodologiques tellement majeures qu'elles n'auraient pas dû être retenues.

## Conclusion

Comme nous l'avons brièvement montré, la méta-analyse de Tinger et ses collègues (2017) induit le lecteur en erreur, car ce dernier est amené à penser, sur la base des résultats présentés, que le recours aux appareils numériques portables est efficace en enseignement. La qualité médiocre des recherches sélectionnées dans cette méta-analyse ne permet pas d'enfanter une telle conclusion.

Comme mentionné, la qualité d'une méta-analyse repose sur les études qui ont été sélectionnées à la base, en fonction des critères choisis par ses auteurs. Conséquemment, la rigueur varie inévitablement d'une méta-analyse à l'autre. À cet égard, Robert Slavin et son équipe sont des précurseurs dans la production de méta-analyses de haute qualité⁴. Nous vous invitons à consulter les travaux de ces derniers et à disqualifier la méta-analyse de Tingir et ses collègues (2017) de vos réflexions sur l'usage et la pertinence des appareils portables en classe.
## Notes

## Références

Ahmed, S. et Parsons, D. (2013). Abductive science inquiry using mobile devices in the classroom. *Computers and Education, 63*, 62-72. https://doi.org/10.1016/j.compedu.2012.11.017

Billings, E. S. et Mathison, C. (2012). I Get to Use an iPod in School? Using Technology-Based Advance Organizers to Support the Academic Success of English Learners. *Journal of Science Education and Technology, 21*, 494-503. https://doi.org/10.1007/s10956-011-9341-0

Bissonnette, S. et Boyer, C. (2021). A review of the meta-analysis by Tingir and colleagues (2017) on the effects of mobile devices on learning. *Journal of Computer Assisted Learning, 38*(1), 1-5. https://doi.org/10.1111/jcal.12557

Carr, J. M. (2012). Does math achievement h'APP'en when iPads and game-based learning are incorporated into fifth grade mathematics instruction? *Journal of Information Technology Education, 11*(1), 269-286

Cheung, A. C. K. et Slavin, R. E. (2016). How Methodological Features Affect Effect Sizes in Education. *Educational Researcher, 45*(5), 283-292. https://doi.org/10.3102/0013189X16656615

Cohen, J. (1992). A power primer. Psychological Bulletin, 112, 155-159.

de-Marcos, L., Hilera, J. R., Barchino, R., Jiménez, L., Martínez, J. J., Gutiérrez, J. A., Gutiérrez, J. M. et Otón, S. (2010). An experiment for improving students performance in secondary and tertiary education by means of m-learning auto-assessment. *Computers and Education, 55*(3), 1069-1079. https://doi.org/10.1016/j.compedu.2010.05.003

Huang, Y.-M., Lin Y.-T. et Cheng, S.-C. (2010). Effectiveness of a Mobile Plant Learning System in a science curriculum in Taiwanese elementary education. *Computers and Education, 54*(1), 47-58. https://doi.org/10.1016/j.compedu.2009.07.00

Hwang, G. J., Wu, P. W., Zhuang, Y. Y. et Huang, Y. M. (2013). Effects of the inquiry-based mobile learning model on the cognitive load and learning achievement of students. *Interactive Learning Environments, 21*(4), 338-354. https://doi.org/10.1080/10494820.2011.575789

La Roche, M. (2008). *Vers une pratique fondée sur les données probantes*. Document d'information. Ottawa, Canada : Université d'Ottawa.

Nedungadi, P. et Raman, R. (2012). A new approach to personalization: Integrating e-learning and m-learning. *Educational Technology Research and Development, 60*, 659-678. https://doi.org/10.1007/s11423-012-9250-9

Riconscente, M. M. (2013). Results from a controlled study of the iPad fractions game Motion Math. *Games and Culture, 8*, 186-214.

<footnote n="1">¹ « Quand on parle de données probantes, on fait généralement référence à des pratiques ... d'intervention validées par une certaine forme de preuve scientifique, par opposition aux approches qui se basent sur la tradition, les conventions, les croyances ou les données non scientifiques » (La Roche, 2008, p. 2).</footnote>

<footnote n="2">² La grandeur d'effet ou la taille d'effet d'une méta-analyse correspond à un effet moyen calculé à partir des grandeurs d'effets de chacune des recherches retenues. Le terme *écart-type* est aussi employé pour désigner la grandeur d'effet. Une grandeur d'effet peut être positive ou négative. La grandeur d'effet s'exprime par un nombre décimal. Il faut savoir que généralement une grandeur d'effet est jugée petite si elle est supérieure à 0,20 et inférieure 0,49, qu'elle est moyenne si elle est supérieure à 0,50 et inférieure à 0,79 et qu'elle est forte si elle est supérieure à 0,80 (Cohen, 1992). À titre illustratif, sans considérer cela comme une règle absolue, un effet positif de 1,0 serait un gain d'un an d'apprentissage de plus, un effet de 0,50 serait l'équivalent d'une demi-année d'apprentissage scolaire de plus et qu'en corollaire, un effet de -0,50 (donc négatif) serait égale à une régression d'une demi-année d'apprentissage.</footnote>

<footnote n="3">³ La suite de ce texte repose en partie sur un résumé et des extraits de Bissonnette et Boyer</footnote>

<footnote n="4">⁴ À ce sujet, voir le site internet suivant : http://www.bestevidence.org/.</footnote>
Slavin, R. (1986). Best-Evidence Synthesis: An Alternative to Meta-Analytic and Traditional Reviews. *Educational Researcher*, **15**(9), 5-11.

Slavin, R. (2019). *A Powerful Hunger for Evidence-Proven Technology*. Billet de blogue, 14 novembre. Repéré à https://robertslavinsblog.wordpress.com/2019/11/14/a-powerful-hunger-for-evidence-proven-technology/

Tingir, S., Cavlazoglu, B., Caliskan, O., Koklu, O. et Intepe-Tingir, S. (2017). Effects of mobile devices on K-12 students' achievement: A meta-analysis. *Journal of Computer Assisted Learning*, **33**(4), 355-369.
https://doi.org/10.1111/jcal.12184

Varma, K. (2014). Supporting scientific experimentation and reasoning in young elementary school students. *Journal of Science Education and Technology*, **23**, 381–397. https://doi.org/10.1007/s10956-013-9470-8

Yang, C. C., Tseng, S.-S., Liao, A. Y. H. et Liang, T. (2013a). Situated Poetry Learning Using Multimedia Resource Sharing Approach. *Educational Technology & Society*, **16**(2), 282–295.

Yang, C. C., Hwang, G. J., Hung, C. M. et Tseng, S. S. (2013b). An evaluation of the learning effectiveness of concept map-based science book reading via mobile devices. *Journal of Educational Technology and Society, 16*, 167–178.

Pour citer cet article

Boyer, C. et Bissonnette, S. (2022). Le mirage d'une méta-analyse sur les effets positifs des appareils portables [Chronique]. *Formation et profession*, **30**(2), 1-5. http://dx.doi.org/10.18162/fp.2022.a260