# « Ce qui me semble beaucoup plus problématique, c'est l'utilisation de résultats de recherche comme argument d'autorité pour donner des injonctions aux professionnels »

Benoît Galand

<figure><img src="image_1.png" /></figure>

OpenEdition
Journals

## Édition électronique

URL : https://journals.openedition.org/diversite/4552

ISSN : 2427-5409

## Éditeur

ENS Éditions

## Référence électronique

Benoît Galand, « « Ce qui me semble beaucoup plus problématique, c'est l'utilisation de résultats de recherche comme argument d'autorité pour donner des injonctions aux professionnels » », Diversité [En ligne], 205 | 2024, mis en ligne le 18 novembre 2024, consulté le 30 avril 2025. URL : http://journals.openedition.org/diversite/4552

Ce document a été généré automatiquement le 30 avril 2025.

<figure><img src="image_2.png" /></figure>

Le texte seul est utilisable sous licence CC BY-SA 4.0. Les autres éléments (illustrations, fichiers annexes importés) sont « Tous droits réservés », sauf mention contraire.
# « Ce qui me semble beaucoup plus problématique, c'est l'utilisation de résultats de recherche comme argument d'autorité pour donner des injonctions aux professionnels »

Benoît Galand

## NOTE DE L'ÉDITEUR

Entretien réalisé par Aurélia Truong Quang et Régis Guyon en avril 2024.

**Diversité** : La question des métaanalyses est souvent utilisée dans le débat public en France, et très certainement ailleurs, portant sur l'éducation, comme un argument d'autorité. Pouvez-vous nous en donner une définition, du point de vue de la recherche en général ?

**Benoît Galand** : La métaanalyse est un type particulier de revue systématique de la littérature scientifique. Une revue systématique vise à « rassembler toutes les preuves empiriques qui correspondent à des critères d'éligibilité prédéfinis afin de répondre à une question de recherche donnée »². D'après Dachet³, une revue systématique se caractérise par : 1) une question de recherche spécifique clairement et précisément formulée ; 2) une méthodologie de recherche bibliographique explicite, reproductible et définie a priori ; 3) une recherche bibliographique systématique et à large échelle visant à identifier de la façon la plus exhaustive possible l'ensemble des études pertinentes afin de répondre à la question formulée ; 4) des critères prédéfinis d'inclusion et d'exclusion des études ; 5) une évaluation de la qualité méthodologique des études incluses et de la validité de leurs conclusions ; 6) une présentation des caractéristiques et des résultats de chaque étude incluse ; 7) une méthode de synthèse des résultats. La qualité d'une revue systématique – et
par conséquent d'une métaanalyse – peut varier fortement selon le soin apporté au
respect de ces critères.

Dans une métaanalyse, la particularité est que la synthèse est faite de façon quantitative, au moyen de techniques d'analyse permettant de résumer l'ensemble des résultats des études incluses en quelques indices statistiques, qui indiquent notamment la force de la relation entre deux variables étudiées. Ainsi, la métaanalyse est une façon de synthétiser quantitativement un ensemble de résultats de recherche sur une question précise.

**Diversité** : Historiquement, quand et dans quelles disciplines scientifiques en particulier les métaanalyses sont-elles apparues ?

**BG** : Les métaanalyses s'appuient sur des développements statistiques initiés dans les années 1950. Gene Glass, un statisticien américain, serait le premier auteur à avoir utilisé le terme de « métaanalyse » en 1976. Ce type de démarche statistique a connu un usage croissant ces dernières décennies, notamment en médecine, en psychologie et en éducation.

**Diversité** : Qu'est-ce qui a provoqué cette dynamique ? Au-delà de la question de recherche que vous mentionnez, à quels besoins les métaanalyses cherchent-elles à répondre : un besoin académique, institutionnel, sociétal ?

**BG** : Je ne suis pas un spécialiste de l'histoire ou de la sociologie des sciences. On peut néanmoins noter que les métaanalyses présentent potentiellement deux avantages, qui ont sans doute contribué à leur popularité. D'une part, elles aident à gérer le nombre sans cesse croissant de publications scientifiques, en particulier pour les personnes qui n'ont pas le temps de trouver et de lire toutes les études originales.

D'autre part, elles permettent en théorie une plus grande confiance dans le résultat obtenu. En effet, chaque étude a ses particularités, liées notamment à son échantillon, aux mesures spécifiques utilisées, aux circonstances dans lesquelles elle a été réalisée, à l'équipe qui l'a menée, etc., qui vont influer sur ses résultats. Il est donc courant, attendu et normal que – parmi plusieurs études sur un même sujet – les résultats de certaines d'entre elles soient incohérents, voire contradictoires. Par conséquent, il est hasardeux de se fier aux résultats d'une seule étude. En analysant de façon systématique le plus grand nombre possible d'études, la métaanalyse peut permettre de tenir compte des fluctuations entre études afin de dégager un résultat plus robuste, ou d'analyser les sources potentielles de ces variations de résultats entre études.

Ainsi, la technique de la métaanalyse permet non seulement de quantifier l'ampleur d'un résultat global (ex. effet de l'utilisation ou non d'un dispositif pédagogique précis par les enseignants), mais aussi d'estimer dans quelle mesure ce résultat varie en fonction du public concerné (ex. élèves de primaire ou de lycée), du type de mesure utilisée (ex. tâche de rappel ou tâche de production), du contenu investigué (ex. français ou mathématiques), de la durée d'une intervention (ex. une semaine, un mois ou une année scolaire), etc. Cela nécessite bien sûr qu'il existe suffisamment d'études dans chacune de ces différentes configurations.
**Diversité** : John Hattie, souvent cité et mobilisé en France ces dernières années, a proposé une analyse de métaanalyses : quel était son objectif ? Et ne peut-on pas y voir des biais multiples pour neutraliser une diversité des études, des champs, des méthodes... ?

**BG** : Si l'on considère les études empiriques comme des études « primaires » et les métaanalyses comme des revues « secondaires » (synthèse d'études primaires), le travail de John Hattie auquel vous faites référence peut être qualifié de revue « tertiaire » (synthèse d'études secondaires). Un des intérêts du travail de John Hattie est de rappeler la multiplicité des facteurs en jeu dans l'apprentissage tout en (re)mettant en avant la question de leur importance relative : tous les facteurs n'ont pas le même poids, et leur poids respectif n'est pas toujours celui que l'on croit. Cela alimente un débat salutaire face à la tendance à se focaliser sur l'un ou l'autre facteur étudié de façon isolée et présenté comme crucial.

Au-delà des critiques plus techniques adressées à ce travail sur les choix statistiques effectués⁴, deux limites me semblent utiles à souligner. D'une part, la façon de regrouper ou de catégoriser les études selon différents facteurs est discutable, pas toujours fondée sur des critères clairs et en partie arbitraire. Cela renvoie à la première caractéristique d'une revue systématique énoncée ci-dessus (« une question de recherche spécifique clairement et précisément formulée »).

D'autre part, ce travail mélange allègrement des études qui suivent des plans de recherche très différents (ex. : transversaux, longitudinaux, quasi expérimentaux) et présente comme des facteurs causaux de l'apprentissage des tas de facteurs qui ont juste été examinés dans des études transversales. Or de telles études offrent une photographie à un moment donné, mais ne permettent pas de tester la direction des effets ou leur caractère causal (ex. : motivation et bien-être pourraient aussi bien être des résultantes de la réussite que des prédicteurs de celle-ci)⁵. Cela renvoie notamment à la cinquième caractéristique d'une revue systématique déjà citée (« une évaluation de la qualité méthodologique des études incluses et de la validité de leurs conclusions »).

Il faut souligner que ces limites se retrouvent souvent déjà dans les métaanalyses sur lesquelles s'appuie John Hattie. La qualité des revues « tertiaires », telles que celles de John Hattie, est de fait très dépendante de la qualité des revues « secondaires », qui est elle-même totalement dépendante de la qualité des études « primaires ». Au total, on peut estimer qu'il y a un décalage important entre les résultats empiriques synthétisés par John Hattie et les préconisations que lui ou d'autres en tirent⁶.

**Diversité** : À force d'élargir le nombre de recherches mobilisées, et donc des disciplines, des épistémologies, des méthodologies ou des contextes différents, ne prend-on pas le risque de « mélanger » des données qui sont difficiles à agréger ? Et de ce point de vue, comment atténuer des biais ?

**BG** : La métaanalyse est « juste » un outil, avec ses avantages et ses contraintes, qui peut être utilisé de façon plus ou moins adéquate. Comme indiqué ci-dessus, bien circonscrire la question de recherche, mais aussi avoir clarifié des critères d'inclusion et d'exclusion des études sont des enjeux déterminants pour la qualité des conclusions que l'on peut tirer des résultats d'une métaanalyse. Autrement, il y a un risque de mélanger tout et n'importe quoi dans les analyses. Cela dit, la majorité des métaanalyses publiées sont ancrées dans une seule discipline, avec un ancrage épistémologique spécifique, et s'intéressent à des études mobilisant une méthodologie particulière. On peut cependant s'interroger sur la pertinence de
métaanalyses qui recourent à des catégories très larges (comme « l'utilisation du numérique » ou « la classe inversée »), qui recouvrent une telle variété de dispositifs et de pratiques pédagogiques qu'il devient difficile de savoir sur quoi portent exactement les résultats.

Par ailleurs, il y a bien entendu un débat scientifique sur ce qui est généralisable ou non en éducation. Les spécialistes en métaanalyse soulignent que l'approche métaanalytique permet justement de tester si les effets d'une intervention varient selon la méthodologie utilisée ou le contexte d'application, pour peu que l'on inclue ces paramètres dans les analyses (analyses de modération), comme expliqué plus haut. Peu d'autres techniques permettent de faire cela avec autant de rigueur.

En revanche, ce qui me semble beaucoup plus problématique, c'est l'utilisation de résultats de recherche, notamment de métaanalyses, comme argument d'autorité pour donner des injonctions aux professionnels. D'une part, nombre de métaanalyses portent sur des études dont l'objet ou le plan de recherche ne permet pas de tester rigoureusement les effets de différentes pratiques éducatives en situations habituelles. Même si elles apportent des informations très intéressantes au niveau des connaissances, elles ne sont pas en mesure d'éclairer les effets de telle ou telle façon de faire dans la classe. Comme l'affirme entre autres le Comité consultatif national d'éthique en France, formuler des recommandations pédagogiques précises et valides nécessite de « mesurer directement les conséquences d'une pratique pédagogique en conditions réelles » (p. 10)⁷.

D'autre part, et plus fondamentalement, si certaines recherches permettent de mieux comprendre les conséquences probables de telle ou telle manière de faire, ou de tel ou tel facteur (« ce qui est vrai »), aucune recherche scientifique ne permet d'identifier ce qu'il est bien ou bon de faire (« ce qu'il faut faire »). Définir les objectifs souhaitables d'une action éducative, ce qu'est une « bonne » éducation, ne relève pas du débat scientifique, mais d'un choix éthique et politique, idéalement issu d'un débat sociétal, qui doit souvent arbitrer entre plusieurs valeurs en tension.

On peut ajouter qu'il est bien établi qu'informer des professionnels des résultats des recherches ne suffit pas à faire évoluer leurs pratiques. Un grand nombre de travaux de recherche montre qu'une communication descendante, où des acteurs externes au métier prétendent dire à des professionnels ce qu'ils devraient faire, n'entraîne pas de transformation des pratiques visées⁸. Ni réponses absolues et définitives, ni productions artificielles déconnectées de la complexité du réel, les résultats des métaanalyses sont selon moi à remettre à leur juste place, un élément parmi d'autres à examiner de manière critique et à prendre en considération dans les décisions éducatives.

**Diversité**: Dans votre travail de chercheur, quelle place donnez-vous aux métaanalyses et aux différentes approches de recherches ? Partagez-vous l'idée de la supériorité des unes sur les autres ?

**BG**: Mon point de vue est que différentes approches de recherche répondent à des questions différentes, et qu'une foule de questions sont totalement légitimes en science (mais certaines questions intéressent davantage les professionnels et les décideurs). Affirmer qu'une approche méthodologique est *en soi* supérieure à d'autres ne me paraît pas avoir de sens. En revanche, si vous vous intéressez à une question de causalité (les effets de ceci sur cela), certaines approches vont permettre des
conclusions beaucoup plus convaincantes que d'autres pour répondre à ce type de question. À cet égard, une étude expérimentale (mesure avant et après une intervention, plus comparaison avec un groupe témoin) me semble beaucoup plus crédible qu'une étude longitudinale (suivi dans le temps des participants), qui est elle-même plus crédible qu'une étude transversale (un seul point de mesure), et ainsi de suite. Mais, si la question qui vous intéresse concerne la manière dont les personnes interprètent telle ou telle situation, ce sont d'autres approches qui seront plus adaptées. Il y a par conséquent selon moi des plans de recherche plus ou moins pertinents pour répondre à différentes questions de recherche, ce qui n'a d'ailleurs pas grand-chose à voir avec l'opposition habituelle entre qualitatif et quantitatif. Je pense que beaucoup de malentendus viennent du fait que des chercheurs tirent de leurs résultats des conclusions que leur plan de recherche ne permet pas de soutenir (c'est-à-dire que leur approche méthodologique n'est pas adaptée à la question à laquelle ils prétendent apporter une réponse).

En parallèle à cela, différentes approches varient également dans leur capacité à dégager des résultats réplicables et généralisables. Une étude sur trois élèves ou trois classes est sans doute moins généralisable aux élèves de la tranche d'âge concernée qu'une étude sur 600 élèves ou 30 classes. Des résultats similaires dans plusieurs études sont probablement plus robustes que les résultats d'une seule étude, surtout si ces études proviennent d'équipes de recherche diverses. C'est sur cet aspect que les métaanalyses peuvent être utiles. Je lis donc attentivement des métaanalyses pour savoir dans quelle mesure des résultats sont répliqués dans plusieurs contextes et par différentes équipes de recherche, ou au contraire varient selon certaines caractéristiques des études disponibles. Cela peut aussi m'aider à avoir une idée de l'ampleur d'une relation entre des variables ou des effets d'une intervention sur tel ou tel objectif. J'essaie aussi autant que possible de prendre le temps de lire certaines études « primaires » sur lesquelles sont fondées les métaanalyses que je consulte, afin de pouvoir nuancer les conclusions des métaanalyses.

Par exemple, notre équipe travaille sur la prévention du harcèlement à l'école et s'intéresse donc aux métaanalyses regroupant les études qui évaluent les effets de programmes de prévention dans les écoles. Globalement, les résultats indiquent un effet préventif de ces programmes, mais celui-ci est très modéré, et n'est vrai que pour certaines interventions. Beaucoup d'interventions proposées aux écoles n'ont aucun effet détectable sur le harcèlement. En lisant en détail les études concernant certains programmes qui semblent plus prometteurs, nous pouvons identifier des caractéristiques qui semblent aider à ce que les interventions produisent un effet bénéfique⁹.

**Diversité** : À quelles conditions, selon vous, peut-on lire une métaanalyse et s'emparer de ses conclusions, que l'on soit professionnel ou décideur ? Cela nécessite-t-il un travail de traduction, voire de médiation, auquel le chercheur se doit d'y contribuer ?

**BG** : Qu'on le déplore ou non, la « vulgarisation » des connaissances est peu valorisée dans la carrière scientifique. Ce que l'on peut attendre d'un auteur scientifique, c'est donc surtout la plus grande rigueur possible dans l'interprétation de ses résultats. Or, de plus en plus de sources de financement et de revues scientifiques demandent aux chercheurs de mettre en avant les retombées pratiques ou sociétales de leurs résultats. Cela pousse à surinterpréter les résultats de nombreuses recherches.
Cela dit, essayons de résumer une série de points d'attention soulevés tout au long de cet entretien, qui vont moduler le niveau de confiance que l'on accordera aux résultats d'une métaanalyse :

* la question de départ de la métaanalyse est-elle clairement définie, ses contours sont-ils bien précisés ou englobe-t-elle des choses tellement larges qu'il est difficile de savoir concrètement de quoi on parle ?

* un réel effort a-t-il été fait pour inclure un maximum d'études pertinentes au regard de la question posée et ces études sont-elles suffisamment nombreuses et diversifiées ?

* les auteurs ont-ils soigneusement évalué la qualité des études sur lesquelles ils ont fondé leurs analyses, notamment ont-ils tenu compte de la correspondance entre plan de recherche suivi et type de question de recherche posée ? S'ils formulent des recommandations pratiques, peuvent-ils s'appuyer sur des études d'intervention réalisées en situation « naturelle » et menées par des professionnels plutôt que par des chercheurs « en laboratoire » ?

* plusieurs métaanalyses réalisées par des équipes différentes aboutissent-elles à des résultats similaires ?

Il peut aussi être intéressant de réunir un panel d'experts venant de divers pays pour discuter des résultats obtenus, comme le fait l'INSERM (Institut national de la santé et de la recherche médicale). Mais puisque la recherche n'a pas à dicter nos choix de valeurs, il est également important de construire des espaces de dialogue entre scientifiques, professionnels, parents et décideurs, comme le fait le CNESCO (Centre national d'étude des systèmes scolaires) ou l'Institut français de l'éducation de l'ENS (École normale supérieure) de Lyon.

## NOTES

2. THE COCHRANE COLLABORATION (2017). *Glossary*. https://epoc.cochrane.org/sites/epoc.cochrane.org/files/uploads/SURE-Guides-v2.1/Collectedfiles/source/glossary.html

3. DACHET, Dylan (2024). Umbrella Review. De sa méthodologie aux considérations méthodologiques relatives à son application dans le champ des sciences de l'Éducation, thèse de doctorat en sciences de l'éducation. Université de Liège, Belgique. https://hdl.handle.net/2268/309207

4. La taille des effets rapportés semble par exemple surestimée par rapport à d'autres études.

5. BRADY, Anna, GRIFFIN, Marlynn M., LEWIS, Ariah R., FONG, Carlton J., ROBINSON, Daniel H. (2023). « How Scientific Is Educational Psychology Research? The Increasing Trend of Squeezing Causality and Recommendations from Non-intervention Studies ». *Educational Psychology Review*, vol. 35, n° 1, article 37.

6. https://eduveille.hypotheses.org/8314
7. https://www.ccne-ethique.fr/fr/publications/avis-131-cadre-ethique-de-lexperimentation-pedagogique-en-situation-reelle

8. GALAND, Benoît, JANOSZ, Michel (coord.) [2021]. *Améliorer les pratiques en éducation. Qu'en dit la recherche?*. Louvain-la-Neuve : Presses universitaires de Louvain. https://pul.uclouvain.be/book/?GCOI=29303100499330 ; COPPE, Thibault, BAYE, Ariane, GALAND, Benoît (coord.) [2024]. *Transformer les pratiques en éducation. Quelles recherches pour quels apports?*. Louvain-la-Neuve : Presses universitaires de Louvain. https://pul.uclouvain.be/book/?GCOI=29303100150770

9. GALAND, Benoît, DEVLEESCHOUWER, Charlie, SENDEN, Morgane (2023). « Quels sont les programmes efficaces à large échelle pour prévenir le harcèlement à l'école ? Une revue ciblée de la littérature ». *Les Cahiers de recherche du Girsef*, n° 130. https://ojs.uclouvain.be/index.php/cahiersgirsef/article/view/77143

## AUTEUR

**BENOÎT GALAND**

Docteur en psychologie et professeur en sciences de l'éducation à l'Université catholique de Louvain (UCL), membre du comité scientifique de la revue *Diversité*.