# Variabilité des résultats en imagerie cérébrale au travers de différentes analyses

Camille Maumet

<figure><img src="image_1.png" /></figure>

To cite this version:

Camille Maumet. Variabilité des résultats en imagerie cérébrale au travers de différentes analyses. JRFRR 2025 - Journées du Réseau Français de la Recherche Reproductible, Apr 2025, Lyon, France. pp.1-69, 2025. hal-05019628

HAL Id: hal-05019628

https://inria.hal.science/hal-05019628v1

Submitted on 3 Apr 2025

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_2.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
<figure><img src="image_3.png" /></figure>

# Variabilité des résultats en imagerie cérébrale au travers de différentes analyses

## 3ème Journées du Réseau Français de la Recherche Reproducible (JRFRR)

### Camille Maumet

Inria, Univ Rennes, Inserm, CNRS, IRISA
# Crise de reproductibilité

> La crise de reproductibilité induit une baisse de la confiance dans les résultats de la recherche

## Taux de reproductibilité bas dans de nombreux domaines

- Recherche sur le cancer: <11%

- Psychologie: 36%

- Médicine: 44%

(Begley & Ellis 2012) (Open Science Collab 2016) (Ioannidis 2005)
# Crise de reproductibilité

La crise de reproductibilité induit une baisse de la confiance dans les résultats de la recherche

Taux de reproductibilité bas dans de nombreux domaines

Recherche sur le cancer: <11%

Psychologie: 36%

Médicine: 44%

(Begley & Ellis 2012) (Open Science Collab 2016) (Ioannidis 2005)

Gaspillage d'argent et d'énergie pour la recherche

<figure><img src="image_4.png" /></figure>

Difficulté à transférer les recherches vers la pratique clinique

<figure><img src="image_5.png" /></figure>

Confiance réduite dans les résultats scientifiques

<figure><img src="image_6.png" /></figure>
# Recherche reproductible

<figure><img src="image_7.png" /></figure>
# Recherche reproductible

## Étude initiale

<figure><img src="image_8.png" /></figure>
# Recherche reproductible

## Étude initiale

<figure><img src="image_9.png" /></figure>

<figure><img src="image_10.png" /></figure>
# Recherche reproductible

## Étude initiale

<figure><img src="image_11.png" /></figure>

<figure><img src="image_12.png" /></figure>
# Recherche reproductible

## Étude initiale

<figure><img src="image_13.png" /></figure>

Hum... je n'arrive pas à reproduire les résultats initiaux...

<figure><img src="image_14.png" /></figure>
# Recherche reproductible

<figure><img src="image_15.png" /></figure>
# Recherche reproductible

## Étude initiale

<figure><img src="image_16.png" /></figure>

<figure><img src="image_17.png" /></figure>

<figure><img src="image_18.png" /></figure>
# Recherche reproductible

## Étude initiale

<figure><img src="image_19.png" /></figure>

<figure><img src="image_20.png" /></figure>

<figure><img src="image_21.png" /></figure>
# Recherche reproductible

<figure><img src="image_22.png" /></figure>
# Recherche reproductible

<figure><img src="image_23.png" /></figure>
# Recherche reproductible

<figure><img src="image_24.png" /></figure>
<figure><img src="image_25.png" /></figure>

<figure><img src="image_26.png" /></figure>

# Vers une meilleure reproductibilité...
# Recherche reproductible

<figure><img src="image_27.png" /></figure>
# Recherche reproductible

<figure><img src="image_28.png" /></figure>
# Recherche reproductible

<figure><img src="image_29.png" /></figure>
# Recherche reproductible

<figure><img src="image_30.png" /></figure>
<figure><img src="image_31.png" /></figure>

# Différentes analyses... différents résultats?
# Une multiplicité d'analyses

<figure><img src="image_32.png" /></figure>
# Une multiplicité d'analyses

<figure><img src="image_33.png" /></figure>

Données

Analyse

<figure><img src="image_34.png" /></figure>

Résultats
# Une multiplicité d'analyses

<figure><img src="image_35.png" /></figure>

Données

Analyse

<figure><img src="image_36.png" /></figure>

Résultats

Données d'entrée : Images cérébrales (MRI)

<figure><img src="image_37.png" /></figure>
# Une multiplicité d'analyses

<figure><img src="image_38.png" /></figure>

Données

Analyse

<figure><img src="image_39.png" /></figure>

Résultats

Résultats : Cartes d'activations
# Une multiplicité d'analyses

<figure><img src="image_40.png" /></figure>

Données

Analyse

<figure><img src="image_41.png" /></figure>

Résultats

Résultats : Cartes d'activations

<figure><img src="image_42.png" /></figure>
# Une multiplicité d'analyses

<figure><img src="image_43.png" /></figure>

Données

Analyse

<figure><img src="image_44.png" /></figure>

Résultats

Résultats : Cartes d'activations

<figure><img src="image_45.png" /></figure>

<figure><img src="image_46.png" /></figure>

Musique
# Une multiplicité d'analyses

<figure><img src="image_47.png" /></figure>

Données

Analyse

<figure><img src="image_48.png" /></figure>

Résultats

Résultats : Cartes d'activations

<figure><img src="image_49.png" /></figure>

<figure><img src="image_50.png" /><figcaption>Musique</figcaption></figure>

<figure><img src="image_51.png" /></figure>

<figure><img src="image_52.png" /><figcaption>Visuel</figcaption></figure>
# Une multiplicité d'analyses

<figure><img src="image_53.png" /></figure>

Données

Analyse

<figure><img src="image_54.png" /></figure>

Résultats

## Résultats : Cartes d'activations

<figure><img src="image_55.png" /></figure>

<figure><img src="image_56.png" /><figcaption>Musique</figcaption></figure>

<figure><img src="image_57.png" /></figure>

<figure><img src="image_58.png" /><figcaption>Visuel</figcaption></figure>

<figure><img src="image_59.png" /></figure>

<figure><img src="image_60.png" /><figcaption>Action
de la main</figcaption></figure>
# Une multiplicité d'analyses

<figure><img src="image_61.png" /></figure>

Données

Analyse

<figure><img src="image_62.png" /></figure>

Résultats
# Une multiplicité d'analyses

<figure><img src="image_63.png" /></figure>

Données

Préparation des données

<figure><img src="image_64.png" /></figure>

Données
dérivées

Statistiques

<figure><img src="image_65.png" /></figure>

Résultats
# Une multiplicité d'analyses

<figure><img src="image_66.png" /></figure>

Données

<figure><img src="image_67.png" /></figure>

<figure><img src="image_68.png" /></figure>

Résultats
# Une multiplicité d'analyses

<figure><img src="image_69.png" /></figure>

Données

<figure><img src="image_70.png" /></figure>

Mise en correspondance des
anatomies des participants

Correction du
mouvement

Segmentation
des tissus
cerebraux

<figure><img src="image_71.png" /></figure>

Résultats
# Une multiplicité d'analyses

<figure><img src="image_72.png" /></figure>

Données

<figure><img src="image_73.png" /></figure>

<figure><img src="image_74.png" /></figure>

Résultats
# Une multiplicité d'analyses

<figure><img src="image_75.png" /></figure>

Données

<figure><img src="image_76.png" /></figure>

<figure><img src="image_77.png" /></figure>

Résultats

<figure><img src="image_78.png" /></figure>

≠ algorithme
# Une multiplicité d'analyses

<figure><img src="image_79.png" /></figure>

Données

<figure><img src="image_80.png" /></figure>

<figure><img src="image_81.png" /></figure>

Résultats

<figure><img src="image_82.png" /></figure>

<figure><img src="image_83.png" /></figure>
# Une multiplicité d'analyses

<figure><img src="image_84.png" /></figure>

Données

<figure><img src="image_85.png" /></figure>

<figure><img src="image_86.png" /></figure>

Résultats

<figure><img src="image_87.png" /></figure>

<figure><img src="image_88.png" /></figure>

<figure><img src="image_89.png" /></figure>
# Une multiplicité d'analyses

<figure><img src="image_90.png" /></figure>

Données

<figure><img src="image_91.png" /></figure>

<figure><img src="image_92.png" /></figure>

Résultats

<figure><img src="image_93.png" /></figure>

≠ algorithme

<figure><img src="image_94.png" /></figure>

≠ paramètres

<figure><img src="image_95.png" /></figure>

≠ logiciel

<figure><img src="image_96.png" /></figure>

≠ version logicielle
# Une multiplicité d'analyses

<figure><img src="image_97.png" /></figure>

Données

<figure><img src="image_98.png" /></figure>

<figure><img src="image_99.png" /></figure>

Résultats

<figure><img src="image_100.png" /></figure>
# Une multiplicité d'analyses

<figure><img src="image_101.png" /></figure>

Données

<figure><img src="image_102.png" /></figure>

Résultats

<figure><img src="image_103.png" /></figure>

... and beaucoup d'autres possibilités...

<figure><img src="image_104.png" /></figure>

≠ algorithme

<figure><img src="image_105.png" /></figure>

≠ logiciel

<figure><img src="image_106.png" /></figure>

≠ version logicielle

<figure><img src="image_107.png" /></figure>

≠ paramètres

<figure><img src="image_108.png" /></figure>

≠ environnement

Une famille d'analyses
plus de 10³⁰ combinaisons...
1 projet → de **multiples analystes**

<figure><img src="image_109.png" /></figure>

1 jeu de données

9 questions
oui / non

[Botvinik-Nezer et. al, Nature 2020]
# 1 projet → de multiples analystes

<figure><img src="image_110.png" /></figure>

1 jeu de données

9 questions
oui / non

**Question 1 : Existe-t-il un effet paramétrique du gain (positif) dans le cortex préfrontal ventromédian - pour le groupe d'indifférence égale ?**

[Botvinik-Nezer et. al, Nature 2020]
# 1 projet → de multiples analystes

<figure><img src="image_111.png" /></figure>

1 jeu de données

<figure><img src="image_112.png" /></figure>

<figure><img src="image_113.png" /></figure>

70 analyses
par des équipes différentes

9 questions
oui / non

[Botvinik-Nezer et. al, Nature 2020]
1 projet → de multiples analystes

<figure><img src="image_114.png" /></figure>

9 questions oui / non

[Botvinsk-Nezer et. al, Nature 2020]
# 1 projet → de multiples analystes

<figure><img src="image_115.png" /></figure>

Résultat significatif
(>80% des équipes sont d'accord)

Réponse = Oui

Résultat non-significatif
(>80% des équipes sont d'accord)

Réponse = Non

9 questions oui / non

[Botvinsk-Nezer et. al, Nature 2020]
# 1 projet → de multiples analystes

<figure><img src="image_116.png" /></figure>

Résultat significatif
(>80% des équipes sont d'accord)

Réponse = Oui

Résultats contradictoires
(équipes en désaccord)

Résultat non-significatif
(>80% des équipes sont d'accord)

Réponse = Non

9 questions oui / non

[Botvinsk-Nezer et. al, Nature 2020]
<figure><img src="image_117.png" /></figure>

# Mieux comprendre
la variabilité
analytique
# Causes de la variabilité analytique...

?

<figure><img src="image_118.png" /></figure>
# Causes de la variabilité analytique...

?

<figure><img src="image_119.png" /></figure>

Incertitudes
numériques
(e.g. ≠ OS)

Variabilité
de non
 interest

Implement
ations
differentes
# Causes de la variabilité analytique...

?

<figure><img src="image_120.png" /></figure>

Incertitudes
numériques
(e.g. ≠ OS)

Violations
des
suppositions

Variabilité
de non
 interest

Implement
ations
differentes

Résultats
instables

Interaction
avec les
données
# Causes de la variabilité analytique...

?

Meilleure
explication
des
données

Variabilité
d'intérêt

?

Violations
des
suppositions

Interaction
avec les
données

Résultats
instables

Implement
ations
differentes

Incertitudes
numériques
(e.g. ≠ OS)

Variabilité
de non
intérêt
# Explorer l'espace des résultats d'analyses

Résultats
avec
différentes
analyses

<figure><img src="image_121.png" /></figure>

<figure><img src="image_122.png" /><figcaption>Elodie
Germani</figcaption></figure>

<figure><img src="image_123.png" /><figcaption>Elisa
Fromont</figcaption></figure>

<figure><img src="image_124.png" /></figure>

24 analyses
# Explorer l'espace des résultats d'analyses

<figure><img src="image_125.png" /><figcaption>Elodie
Germani</figcaption></figure>

<figure><img src="image_126.png" /><figcaption>Elisa
Fromont</figcaption></figure>

Résultats
avec
différentes
analyses

<figure><img src="image_127.png" /></figure>

<figure><img src="image_128.png" /></figure>

• 24 analyses

• 1 jeu de données : HCP Young Adult [Van Essen et al., 2013]

• 5 tâches motrices

<figure><img src="image_129.png" /></figure>

<figure><img src="image_130.png" /></figure>

<figure><img src="image_131.png" /></figure>

• 1000 groupes de 50 participants (parmi 1080 sujets)

**Objectif:** Étudier la variabilité observée dans les résultats obtenus avec différentes analyses en l'absence de vérité terrain
# Explorer l'espace des résultats d'analyses

<figure><img src="image_132.png" /></figure>

<figure><img src="image_133.png" /><figcaption>Elodie
Germani</figcaption></figure>

<figure><img src="image_134.png" /><figcaption>Elisa
Fromont</figcaption></figure>

<figure><img src="image_135.png" /></figure>

[Germani Fromont* Maumet*, ICIP 2024]

* ✓ Patterns reproduits pour différents participants

* ? Patterns différents en fonction de la tâche étudiée

## Données partagées (RGPD)

<figure><img src="image_136.png" /></figure>

HCP multi pipeline

DOI: 10.70883/GTKK1541
# NARPS open pipelines

<figure><img src="image_137.png" /><figcaption>Boris
Clenet</figcaption></figure>

<figure><img src="image_138.png" /><figcaption>Elodie
Germani</figcaption></figure>

<figure><img src="image_139.png" /><figcaption>Jérémy
Lefort-Besnard</figcaption></figure>

<figure><img src="image_140.png" /></figure>

1 jeu de données

<figure><img src="image_141.png" /></figure>

9 questions
Oui / Non

<figure><img src="image_142.png" /></figure>

70 analyses
par des équipes différentes
# NARPS open pipelines

<figure><img src="image_143.png" /><figcaption>Boris
Clenet</figcaption></figure>

<figure><img src="image_144.png" /><figcaption>Elodie
Germani</figcaption></figure>

<figure><img src="image_145.png" /><figcaption>Jérémy
Lefort-Besnard</figcaption></figure>

<figure><img src="image_146.png" /></figure>

1 jeu de données

<figure><img src="image_147.png" /></figure>

9 questions
Oui / Non

<figure><img src="image_148.png" /></figure>

70 analyses
par des équipes différentes

<figure><img src="image_149.png" /></figure>
# NARPS open pipelines

<figure><img src="image_150.png" /><figcaption>Boris
Clenet</figcaption></figure>

<figure><img src="image_151.png" /><figcaption>Elodie
Germani</figcaption></figure>

<figure><img src="image_152.png" /><figcaption>Jérémy
Lefort-Besnard</figcaption></figure>

<figure><img src="image_153.png" /></figure>

1 jeu de données

<figure><img src="image_154.png" /></figure>

9 questions
Oui / Non

<figure><img src="image_155.png" /></figure>

70 analyses
par des équipes différentes

<figure><img src="image_156.png" /></figure>

Oui / Non

Résultats

<figure><img src="image_157.png" /></figure>

<figure><img src="image_158.png" /></figure>

Analyse COBIDAS
(textuel)

x9 questions
# NARPS open pipelines

<figure><img src="image_159.png" /><figcaption>Boris
Clenet</figcaption></figure>

<figure><img src="image_160.png" /><figcaption>Elodie
Germani</figcaption></figure>

<figure><img src="image_161.png" /><figcaption>Jérémy
Lefort-Besnard</figcaption></figure>

<figure><img src="image_162.png" /></figure>

1 jeu de données

<figure><img src="image_163.png" /></figure>

9 questions
Oui / Non

<figure><img src="image_164.png" /></figure>

70 analyses
par des équipes différentes

<figure><img src="image_165.png" /></figure>

Oui / Non

Résultats

<figure><img src="image_166.png" /></figure>

<figure><img src="image_167.png" /></figure>

Analyse COBIDAS
(textuel)

<figure><img src="image_168.png" /></figure>

Code

x9 questions
# NARPS open pipelines

<figure><img src="image_169.png" /><figcaption>Boris
Clenet</figcaption></figure>

<figure><img src="image_170.png" /><figcaption>Elodie
Germani</figcaption></figure>

<figure><img src="image_171.png" /><figcaption>Jérémy
Lefort-Besnard</figcaption></figure>

<figure><img src="image_172.png" /></figure>

1 jeu de données

<figure><img src="image_173.png" /></figure>

9 questions
Oui / Non

<figure><img src="image_174.png" /></figure>

70 analyses
par des équipes différentes

<figure><img src="image_175.png" /></figure>

Oui / Non

Résultats

<figure><img src="image_176.png" /></figure>

<figure><img src="image_177.png" /></figure>

Analyse COBIDAS
(textuel)

<figure><img src="image_178.png" /></figure>

Code → NARPS

open

x9 questions
# NARPS open pipelines

<figure><img src="image_179.png" /><figcaption>Boris
Clenet</figcaption></figure>

<figure><img src="image_180.png" /><figcaption>Elodie
Germani</figcaption></figure>

<figure><img src="image_181.png" /><figcaption>Jérémy
Lefort-Besnard</figcaption></figure>

<figure><img src="image_182.png" /></figure>

brainhack.org

**Crédits** - Ce projet a été présenté et a reçu des contributions lors des événements suivants :

* Empenn hackathon (Février 2024)

* Brainhack Marseille 2023 (Décembre 2023)

* ORIGAMI lab hackathon (Septembre 2023)

* OHBM Brainhack 2023 (Juillet 2023): Arshitha Basavaraj, Boris Clénet, Rémi Gau, Élodie Germani, Yaroslav Halchenko, Camille Maumet, Paul Taylor.

* e-ReproNim FENS NENS Cluster Brainhack (Juin 2023) : Liz Bushby, Boris Clénet, Michael Dayan, Aimee Westbrook.

* OHBM Brainhack 2022 (Juin 2022): Elodie Germani, Arshitha Basavaraj, Trang Cao, Rémi Gau, Anna Menacher, Camille Maumet.

## Code open source

<figure><img src="image_183.png" /></figure>

https://github.com/Inria-Empenn/narps_open_pipelines/
<figure><img src="image_184.png" /></figure>

# Quelles solutions pour les praticiens ?
# Trouver un consensus

<figure><img src="image_185.png" /><figcaption>Jérémy Lefort-Besnard Tom Nichols Oxford Uni. (UK)</figcaption></figure>

<figure><img src="image_186.png" /></figure>

## Meta-analyse (traditionnelle)

<figure><img src="image_187.png" /></figure>

[Lefort-Besnard Nichols* Maumet*, Imaging Neuroscience 2025]
# Trouver un consensus

<figure><img src="image_188.png" /><figcaption>Jérémy Lefort-Besnard Tom Nichols Oxford Uni. (UK)</figcaption></figure>

<figure><img src="image_189.png" /></figure>

## Meta-analyse (traditionnelle)

<figure><img src="image_190.png" /></figure>

## Analyse multiverse

<figure><img src="image_191.png" /></figure>

[Lefort-Besnard Nichols* Maumet*, Imaging Neuroscience 2025]
# Trouver un consensus

<figure><img src="image_192.png" /><figcaption>Jérémy Lefort-Besnard Tom Nichols Oxford Uni. (UK)</figcaption></figure>

<figure><img src="image_193.png" /></figure>

## Meta-analyse (traditionnelle)

<figure><img src="image_194.png" /></figure>

## Analyse multiverse

<figure><img src="image_195.png" /></figure>

**Objectif:** Proposer des méthodes pour la méta-analyse sur “même données”

[Lefort-Besnard Nichols* Maumet*, Imaging Neuroscience 2025]
# Trouver un consensus

<figure><img src="image_196.png" /><figcaption>Jérémy Lefort-Besnard Tom Nichols Oxford Uni. (UK)</figcaption></figure>

## Simulations

Meta-Analyse

Stouffer

$$Z_j^S = \frac{\bar{Y}_j}{\sqrt{1/K}}$$

Moyenne standardisée

Multiverse

SDMA Stouffer

$$Z_j^{SS} = \frac{\bar{Y}_j}{\sqrt{\frac{1}{K} \sum_{k=1}^{K} Q_{1k} / K^2}}$$

Moyenne standardisée avec dépendance

SDMA GLS

$$Z_j^{SG} = \frac{1^T Q^{-1} Y_j}{\sqrt{1^T Q^{-1} 1}}$$

Optimal average, standardized

### Independance

<figure><img src="image_197.png" /></figure>

Valid 4.7%

Valid 4.7%

Valid 4.4%

### Dépendance

<figure><img src="image_198.png" /></figure>

Invalid 30%

Valid 4.9%

Valid 4.9%

P<0.05 (uncorrected)

[Lefort-Besnard Nichols\*, Maumet\*, Imaging Neuroscience 2025]
# Trouver un consensus

<figure><img src="image_199.png" /><figcaption>Jérémy Lefort-Besnard
Tom Nichols
Oxford Uni. (UK)</figcaption></figure>

## Données réelles

### Multiverse

SDMA
Stouffer

Moyenne
standardisée
avec
dépendance

SDMA GLS

$$Z_{j}^{\text{SG}} = \frac{1^{\top} Q^{-1} Y_{j}}{\sqrt{1^{\top} Q^{-1}}}$$

Optimal average,
standardized

<figure><img src="image_200.png" /></figure>

P<0.05 (uncorrected)

[Lefort-Besnard Nichols* Maumet*, Imaging Neuroscience 2025]
# Et la suite ?

Status quo

<figure><img src="image_201.png" /></figure>

Résultats avec 1 unique analyse
# Et la suite ?

## Status quo

<figure><img src="image_202.png" /></figure>

Résultats avec 1 unique analyse

<figure><img src="image_203.png" /></figure>

## Étude du futur

Principaux axes
de variabilité

<figure><img src="image_204.png" /></figure>

Stabilité
# Et la suite ?

## Status quo

<figure><img src="image_205.png" /></figure>

Résultats avec 1 unique analyse

<figure><img src="image_206.png" /></figure>

## Étude du futur

Principaux axes de variabilité

<figure><img src="image_207.png" /></figure>

Stabilité

## Modéliser l'espace des analyses

<figure><img src="image_208.png" /><figcaption>Melvin Atay</figcaption></figure>

<figure><img src="image_209.png" /><figcaption>Elise Bannier</figcaption></figure>

## Tracer la provenance

<figure><img src="image_210.png" /><figcaption>Boris Clenet</figcaption></figure>

<figure><img src="image_211.png" /><figcaption>Satra Ghosh
(MIT, US)</figcaption></figure>

<figure><img src="image_212.png" /><figcaption>Yaroslav Halchenko
(Dartmouth, US)</figcaption></figure>

## Explorer l'espace des résultats au sens large

<figure><img src="image_213.png" /><figcaption>Youenn Merel</figcaption></figure>

<figure><img src="image_214.png" /><figcaption>Mathieu Acher</figcaption></figure>
<figure><img src="image_215.png" /></figure>

# Variabilité des résultats en imagerie cérébrale au travers de différentes analyses

Camille Maumet

## Remerciements

anr

<figure><img src="image_216.png" /></figure>

<figure><img src="image_217.png" /></figure>

PROGRAMME
DE RECHERCHE

SANTÉ
NUMÉRIQUE

Data were provided in part by the Human Connectome Project, WU-Minn Consortium (Principal Investigators: David Van Essen and Kamil Ugurbil; 1U54MH091657) funded by the 16 NIH Institutes and Centers that support the NIH Blueprint for Neuroscience Research; and by the McDonnell Center for Systems Neuroscience at Washington University.

Merci !

<figure><img src="image_218.png" /></figure>

@cmaumet.bsky.social

<figure><img src="image_219.png" /></figure>

@cmaumet@fediscience.org