# Review and evaluation of meta-analysis methods on correlated data for multiverse analysis

Jeremy Lefort-Besnard, Thomas E. Nichols, Camille Maumet

<figure><img src="image_1.png" /></figure>

## To cite this version:

Jeremy Lefort-Besnard, Thomas E. Nichols, Camille Maumet. Review and evaluation of meta-analysis methods on correlated data for multiverse analysis. IABM 2024, https://iabm2024.sciencesconf.org/, Mar 2024, Grenoble, France. hal-04296407

HAL Id: hal-04296407

https://inria.hal.science/hal-04296407v1

Submitted on 21 Nov 2023

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_2.png" /></figure>

Distributed under a Creative Commons CC BY 4.0 - Attribution - International License
## Titre

Revue et évaluation des méthodes de méta-analyse sur données corrélées pour l'analyse multivers

## Auteur.trice.s

Jeremy Lefort-Besnard<fnref n="1" />, Thomas Nichols<fnref n="2" />*, Camille Maumet<fnref n="1" />,*

## Abstract: (nb mots: 198)

Les chercheurs utilisant des données d'IRMf de tâche disposent d'une vaste gamme d'outils d'analyse pour modéliser l'activité cérébrale. Cette diversité d'approches analytiques signifie qu'il existe de nombreuses variations possibles du même résultat d'imagerie. L'analyse d'un ensemble de données avec une seule approche peut donc être trompeuse. Une solution efficace est d'utiliser une analyse multivers, où plusieurs ensembles de résultats sont obtenus en exécutant différents pipelines sur les mêmes données. Toutefois, le postulat de départ pour les méta-analyses traditionnelles est l'indépendance des données d'entrée. C'est pourquoi nous présentons ici des méthodes de "méta-analyse sur mêmes données" afin d'examiner plusieurs ensembles de résultats de neuro-imagerie issus d'une analyse multivers, tout en tenant compte de la dépendance entre les analyses. La validité de ces méthodes est évaluée et comparée aux méthodes de méta-analyse traditionnelles. Nous évaluons la validité des méthodes sur des simulations ainsi que sur des données réelles provenant de l'étude "NARPS" (Botvinik-Nezer et al. 2020), une analyse multivers avec 70 cartes statistiques issues des mêmes données. Nos résultats montrent que les méthodes développées précisément pour l'analyse multivers sont valides et présentent différents profils de significativité en fonction de leurs spécificités. Ces différents résultats illustrent différents types d'inférences que les analystes pourraient souhaiter mener en fonction des hypothèses sous-jacentes de leurs études.

<footnote n="1">¹ Inria, Univ Rennes, CNRS, Inserm, IRISA UMR 6074, Empenn ERL U 1228, Rennes, France</footnote>

<footnote n="2">² Big Data Institute, Li Ka Shing Centre for Health Information and Discovery, Nuffield Department of Population Health, University of Oxford, Oxford, UK</footnote>

<footnote>*Partage de la position de dernier auteur.rice</footnote>
<figure><img src="image_3.png" /><figcaption>Figure 1 : Graphiques P-P comparatifs des estimateurs de méta-analyse traditionnel ou multivers.</figcaption></figure>

Graphiques P-P comparatifs pour chaque estimateur de méta-analyse dans les simulations de données indépendantes (rangée supérieure) et de données corrélées (rangée inférieure). L'axe des y représente la différence entre les valeurs de p observées et théoriques. L'axe des x représente les valeurs de p attendues. Le fond bleu représente l'intervalle de confiance, et le taux de faux positifs observé à p < 0,05 est indiqué. Comme prévu, seules les méthodes SDMA (côté droit de la ligne en pointillés) sont valides dans le cadre multivers.
<figure><img src="image_4.png" /><figcaption>Figure 2 : Activations multiverses significatives pour chaque estimateur de méta-analyse.</figcaption></figure>

Résultats issus de différentes méthodes de méta-analyse en utilisant les cartes statistiques de la première hypothèse de l'étude NARPS (effet paramétrique des gains dans une tâche de jeux de paris mixtes). Les cartes ont été seuillées à P < 0,05 non corrigé pour permettre une comparaison directe. Le nom du modèle de méta-analyse et le pourcentage de voxels significatifs sont affichés sur chaque carte.