# Prédire l'évolution de la maladie de Parkinson à l'aide de données cliniques et d'IRM fonctionnelles: reproduction et robustesse d'une étude

Elodie Germani, Nikhil Baghwat, Mathieu Dugré, Remi Gau, Andrzej Sokolowski, Elisa Fromont, Camille Maumet, Madeleine Sharp, Jean-Baptiste Poline, Tristan Glatard

► To cite this version:

Elodie Germani, Nikhil Baghwat, Mathieu Dugré, Remi Gau, Andrzej Sokolowski, et al. Prédire l'évolution de la maladie de Parkinson à l'aide de données cliniques et d'IRM fonctionnelles: reproduction et robustesse d'une étude. IABM 2024 - 2ème édition du Colloque Français d'Intelligence Artificielle en Imagerie Biomédicale, Mar 2024, Grenoble, France. pp.1-4, 2024. inserm-04531392

HAL Id: inserm-04531392

https://inserm.hal.science/inserm-04531392

Submitted on 3 Apr 2024

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# A replication study:
# Predicting Parkinson's disease trajectory using
# clinical and functional MRI features (Nguyen et al. 2021)

Germani E.¹, Baghwat N.², Dugré M.³, Gau R.², Montillo A.⁴, Nguyen K.⁴, Sokolowski A.³, Sharp M.², Poline JB.², Glatard T.¹

<figure><img src="image_1.png" /></figure>

↑PREPRINT

<figure><img src="image_2.png" /></figure>

UMR

IRISA

Inria

<figure><img src="image_3.png" /></figure>

Université
de Rennes

¹ Univ Rennes, Inria, CNRS, Inserm, France

² Department of Neurology and Neurosurgery, McGill University, Montreal, Canada

³ Department of Computer Science and Software Engineering, Concordia University, Montreal, Canada

⁴ Lyda Hill Department of Bioinformatics, University of Texas Southwestern Medical Center, Dallas, USA

<figure><img src="image_4.png" /></figure>

UNIVERSITÉ
McGill

<figure><img src="image_5.png" /></figure>

THE MICHAEL J. FOX FOUNDATION
FOR PARKINSON'S RESEARCH

<figure><img src="image_6.png" /></figure>

UNIVERSITÉ
Concordia
UNIVERSITÉ

## 1. Cohort selection

**Parkinson's Progression Markers Initiative (PPMI) (Marek & al. 2018)**

**4 time points:** baseline (N=82), 1y (N=53), 2y (N=45) and 4y (N=33).

**Baseline selection:** fMRI image and MDS-UPDRS score at the same visit, acquisition parameters from the original study (TR, TE), visit before 2020.

**Follow-up selection:** Searching for baseline participants that also had a score 1 year, 2 years and 4 years after.

<figure><img src="image_7.png" /></figure>

**Uncertainties about query time of the database**

<figure><img src="image_8.png" /></figure>

**Evolutive database, updated in Sept. 2021**

Selection with criteria → Replication cohort (A1)

Authors shared participants & sessions list with us ✓

Missing sessions, different session selected using criteria, etc. → Closest-to-original cohort (Default)

<figure><img src="image_9.png" /></figure>

## 3. Features

**fALFF** (fractional Amplitude at Low Frequency Fluctuation) & **ReHo** (Regional Homogeneity).

**Z-scoring** and **parcellation** using 3 atlases.

<figure><img src="image_10.png" /></figure>

Z-scoring step was not found in the code shared by the authors

<figure><img src="image_11.png" /></figure>

ALFF also used by the authors but not reported in the paper

<figure><img src="image_12.png" /></figure>

Homemade Schaefer atlas not available

<figure><img src="image_13.png" /></figure>

Reproduction of the Schaefer atlas using publicly available atlases.

Comparison with and without z-scoring (C1) and with ALFF (C2).

## 4. Machine learning

**Nested-cross validation:** 10-fold CV inner-loop, Leave-One-Out CV outer-loop.

<figure><img src="image_14.png" /></figure>

**Inconsistencies between
code and paper's reporting.**

## 2. Image processing pipeline

Homemade pre-processing pipeline using **open source** software packages. *Code not available.*

<figure><img src="image_15.png" /></figure>

**Missing information on:** WM and CSF timeseries estimation, MNI template & denoising method

<figure><img src="image_16.png" /></figure>

**Non standard pipeline:** homemade, multi-software

Fixed choice for MNI template and denoising.

<figure><img src="image_17.png" /></figure>

Implementation of 3 different variations for CSF and WM estimation using FSL (B1), AFNI (Default) and without using anatomical priors (B2).

## Results

Code available on Software Heritage

swh:1:snp:ac39cd7495afa754e5d0d298a502cda8684c7eca

**With the default reproduction workflow:**

- Better than chance performance for all models

- Performance close to the original ones

**Multiple variations (A → E),**
**which ones impact the performance?**

Baseline: large impact of **feature processing choices (C).**

At 1 year and after, **impact of cohort variations (A) and input features (D - without imaging, without UPDRS)**

Small impact of **pre-processing pipelines** → prediction mainly driven by clinical and demographic features.

<table><thead><tr><th>time point</th><th>Feature</th><th>Type</th><th>R2</th></tr></thead><tbody><tr><td rowspan="4">Baseline</td><td rowspan="4">fALFF</td><td>Original</td><td>0.242</td></tr><tr><td>Default</td><td>0.205</td></tr><tr><td>Workflow E.1</td><td>0.049</td></tr><tr><td>Workflow E.2</td><td>-0.039</td></tr><tr><td rowspan="4">ReHo</td><td rowspan="4">Original</td><td>Default</td><td>0.124</td></tr><tr><td>Workflow E.1</td><td>-0.164</td></tr><tr><td>Workflow E.2</td><td>-0.102</td></tr></tbody></table>

Different choices in machine learning model **optimization** and **performance reporting** (E) → **Large impact**

**Fig. 2** - Performance of models with variations in model selection and performance reporting.

<figure><img src="image_18.png" /><figcaption>**Fig. 1** - Performance of models trained for prediction at each time point, using fALFF or ReHo, with variations in the workflow for prediction at baseline and 1 year. **Green line:** original performance reported in Nguyen et al. 2021. **Red lines:** Chance model.</figcaption></figure>

Reproducibility associated to clinical data is challenging, in particular for cohort selection and re-use of clinical features.

Code and data sharing is important for reproducibility.

fMRI studies are highly flexible and a slight change on the workflow can have a large impact on results.

Software package choice and software versions can impact the results.

Machine learning workflows are complex to design, results are often over-estimated due to leakages.

## Conclusions

**Reproducibility is essential to make trustworthy research.**

For more info, see the preprint:

inserm.hal.science/inserm-04465765

## References

Nguyen K., et al. Predicting Parkinson's disease trajectory using clinical and neuroimaging baseline measures. Parkinsonism & Related Disorders, 2021.
Marek K., et al. The Parkinson's progression markers initiative (PPMI) - establishing a PD biomarker cohort. Annals of clinical and translational neurology, 2018.

## Acknowledgements

This work was funded by the Michael J. Fox Foundation for Parkinson's Research (MJFF-021134). This work was also funded by a MITACS Global Research Award (IT34055). This work was partially funded by Region Bretagne (ARED MAPIS) and Agence Nationale pour la Recherche for the program of doctoral contracts in artificial intelligence (project ANR-20-THIA-0018).
# Prédire l'évolution de la maladie de Parkinson à l'aide de données cliniques et d'IRM fonctionnelles: reproduction et robustesse d'une étude

Elodie Germani*†<fnref n="1" />, Nikhil Baghwat<fnref n="2" />, Mathieu Dugré<fnref n="3" />, Remi Gau<fnref n="2" />, Andrzej Sokolowski<fnref n="3" />,
Elisa Fromont<fnref n="4" />, Camille Maumet*<fnref n="5" />, Madeleine Sharp<fnref n="2" />, Jean-Baptiste Poline<fnref n="2" />, and
Tristan Glatard<fnref n="3" />

## Résumé

La maladie de Parkinson est une pathologie neurodégénérative fréquente pour laquelle il n'existe pas de biomarqueurs établis pour le diagnostic des stades précoces et la prédiction de la progression de la maladie (1). Récemment, plusieurs études ont exploré des biomarqueurs de neuro-imagerie avec des techniques d'apprentissage automatique (2). Néanmoins, ces études sont sensibles à plusieurs sources de variabilité, y compris celles introduites par différentes méthodes d'analyse (3), (4), rendant essentiel l'évaluation de leur robustesse. Nous avons tenté de reproduire (mêmes données, même méthode) et de répliquer (données ou méthode différentes) les modèles décrits dans (5) pour prédire l'état actuel et la progression de la maladie de Parkinson. Nous avons utilisé les données de la base de données Parkinson's Progression Markers Initiative (6) (PPMI), pour reproduire la cohorte, les mesures de neuro-imagerie (fALFF-ReHo) et les modèles d'apprentissage automatique grâce aux informations disponibles dans l'article et le code. Des variations méthodologiques ont aussi été étudiées, notamment pour la sélection des cohortes, le traitement d'image et les variables utilisées (Figure 1).

Les performances obtenues sont supérieures au hasard pour tous nos modèles, mais restent différentes de celles rapportées dans l'étude originale (Figure 2). Les difficultés rencontrées lors de cette reproduction s'expliquent notamment par la complexité des études de neuro-imagerie, en particulier en milieu clinique. Certaines variations ont mené à des performances

<footnote n="1">¹Univ Rennes, Inria, CNRS, Inserm – Univ Rennes, CNRS, Inria, Inserm, IRISA - UMR 6074, F-35000 Rennes, France – France</footnote>

<footnote n="2">²Department of Neurology and Neurosurgery, McGill University, Montreal, Canada – Canada</footnote>

<footnote n="3">³Department of Computer Science and Software Engineering, Concordia University, Montreal, Canada
– Canada</footnote>

<footnote n="4">⁴Univ Rennes, IUF, Inria, CNRS, IRISA, Rennes, France – Univ Rennes, Institut Universitaire de France (IUF), INRIA Rennes - Bretagne Atlantique, Campus de Beaulieu, Rennes, France, Centre National de la Recherche Scientifique - CNRS – France</footnote>

<footnote n="5">⁵Univ Rennes, Inria, CNRS, Inserm, France – Univ Rennes, INRIA Rennes - Bretagne Atlantique, Campus de Beaulieu, Rennes, France, Centre National de la Recherche Scientifique - CNRS, Institut National de la Santé et de la Recherche Médicale - INSERM – France</footnote>

<footnote>*Intervenant</footnote>

<footnote>†Auteur correspondant: elodie.germani@irisa.fr</footnote>
# Prédire l'évolution de la maladie de Parkinson à l'aide de données cliniques et d'IRM fonctionnelles: reproduction et robustesse d'une étude

Elodie Germani*†<fnref n="1" />, Nikhil Baghwat<fnref n="2" />, Mathieu Dugré<fnref n="3" />, Remi Gau<fnref n="2" />, Andrzej Sokolowski<fnref n="3" />, Elisa Fromont<fnref n="4" />, Camille Maumet*<fnref n="5" />, Madeleine Sharp<fnref n="2" />, Jean-Baptiste Poline<fnref n="2" />, and Tristan Glatard<fnref n="3" />

## Résumé

La maladie de Parkinson est une pathologie neurodégénérative fréquente pour laquelle il n'existe pas de biomarqueurs établis pour le diagnostic des stades précoces et la prédiction de la progression de la maladie (1). Récemment, plusieurs études ont exploré des biomarqueurs de neuro-imagerie avec des techniques d'apprentissage automatique (2). Néanmoins, ces études sont sensibles à plusieurs sources de variabilité, y compris celles introduites par différentes méthodes d'analyse (3), (4), rendant essentiel l'évaluation de leur robustesse. Nous avons tenté de reproduire (mêmes données, même méthode) et de répliquer (données ou méthode différentes) les modèles décrits dans (5) pour prédire l'état actuel et la progression de la maladie de Parkinson. Nous avons utilisé les données de la base de données Parkinson's Progression Markers Initiative (6) (PPMI), pour reproduire la cohorte, les mesures de neuro-imagerie (fALFF-ReHo) et les modèles d'apprentissage automatique grâce aux informations disponibles dans l'article et le code. Des variations méthodologiques ont aussi été étudiées, notamment pour la sélection des cohortes, le traitement d'image et les variables utilisées (Figure 1).

Les performances obtenues sont supérieures au hasard pour tous nos modèles, mais restent différentes de celles rapportées dans l'étude originale (Figure 2). Les difficultés rencontrées lors de cette reproduction s'expliquent notamment par la complexité des études de neuro-imagerie, en particulier en milieu clinique. Certaines variations ont mené à des performances

<footnote n="1">¹Univ Rennes, Inria, CNRS, Inserm – Univ Rennes, CNRS, Inria, Inserm, IRISA - UMR 6074, F-35000 Rennes, France – France</footnote>

<footnote n="2">²Department of Neurology and Neurosurgery, McGill University, Montreal, Canada – Canada</footnote>

<footnote n="3">³Department of Computer Science and Software Engineering, Concordia University, Montreal, Canada
– Canada</footnote>

<footnote n="4">⁴Univ Rennes, IUF, Inria, CNRS, IRISA, Rennes, France – Univ Rennes, Institut Universitaire de France (IUF), INRIA Rennes - Bretagne Atlantique, Campus de Beaulieu, Rennes, France, Centre National de la Recherche Scientifique - CNRS – France</footnote>

<footnote n="5">⁵Univ Rennes, Inria, CNRS, Inserm, France – Univ Rennes, INRIA Rennes - Bretagne Atlantique, Campus de Beaulieu, Rennes, France, Centre National de la Recherche Scientifique - CNRS, Institut National de la Santé et de la Recherche Médicale - INSERM – France</footnote>

<footnote>*Intervenant</footnote>

<footnote>†Auteur correspondant: elodie.germani@irisa.fr</footnote>
plus proches de celles de l'étude originale pour certaines prédictions, mais pour d'autres,
celles-ci étaient beaucoup plus faibles, suggérant la faible taille de l'effet détecté et la faible
puissance de ces modèles.

(1) K. Gwinn et al., " Parkinson's disease biomarkers: perspective from the NINDS Parkinson's Disease Biomarkers Program ", Biomark. Med., vol. 11, no 6, p. 451-473, mai 2017, doi: 10.2217/bmm-2016-0370.

(2) Y. Hou et al., " Motor progression marker for newly diagnosed drug-naïve patients with Parkinson's disease: A resting-state functional MRI study ", Hum. Brain Mapp., p. 1-13, oct. 2022, doi: 10.1002/hbm.26110.

(3) R. Botvinik-Nezer et al., " Variability in the analysis of a single neuroimaging dataset by many teams ", p. 26, 2020, doi: https://doi.org/10.1038/s41586-020-2314-9.

(4) S. Kapoor et A. Narayanan, " Leakage and the Reproducibility Crisis in ML-based Science ". arXiv, 14 juillet 2022. Consulté le: 11 octobre 2023. (En ligne). Disponible sur: http://arxiv.org/abs/2207.07048

(5) K. P. Nguyen et al., " Predicting Parkinson's disease trajectory using clinical and neuroimaging baseline measures ", Parkinsonism Relat. Disord., vol. 85, p. 44-51, avr. 2021, doi: 10.1016/j.parkreldis.2021.02.026.

(6) K. Marek et al., " The Parkinson's progression markers initiative (PPMI) - establishing a PD biomarker cohort ", Ann. Clin. Transl. Neurol., vol. 5, no 12, p. 1460-1477, oct. 2018, doi: 10.1002/acn3.644.

Mots-Clés: Parkinson, machine learning, IRMf, reproductibilité, robustesse, prédiction
plus proches de celles de l'étude originale pour certaines prédictions, mais pour d'autres,
celles-ci étaient beaucoup plus faibles, suggérant la faible taille de l'effet détecté et la faible
puissance de ces modèles.

(1) K. Gwinn et al., " Parkinson's disease biomarkers: perspective from the NINDS Parkinson's Disease Biomarkers Program ", Biomark. Med., vol. 11, no 6, p. 451-473, mai 2017, doi: 10.2217/bmm-2016-0370.

(2) Y. Hou et al., " Motor progression marker for newly diagnosed drug-naïve patients with Parkinson's disease: A resting-state functional MRI study ", Hum. Brain Mapp., p. 1-13, oct. 2022, doi: 10.1002/hbm.26110.

(3) R. Botvinik-Nezer et al., " Variability in the analysis of a single neuroimaging dataset by many teams ", p. 26, 2020, doi: https://doi.org/10.1038/s41586-020-2314-9.

(4) S. Kapoor et A. Narayanan, " Leakage and the Reproducibility Crisis in ML-based Science ". arXiv, 14 juillet 2022. Consulté le: 11 octobre 2023. (En ligne). Disponible sur: http://arxiv.org/abs/2207.07048

(5) K. P. Nguyen et al., " Predicting Parkinson's disease trajectory using clinical and neuroimaging baseline measures ", Parkinsonism Relat. Disord., vol. 85, p. 44-51, avr. 2021, doi: 10.1016/j.parkreldis.2021.02.026.

(6) K. Marek et al., " The Parkinson's progression markers initiative (PPMI) - establishing a PD biomarker cohort ", Ann. Clin. Transl. Neurol., vol. 5, no 12, p. 1460-1477, oct. 2018, doi: 10.1002/acn3.644.

**Mots-Clés:** Parkinson, machine learning, IRMf, reproductibilité, robustesse, prédiction
<figure><img src="image_1.png" /></figure>

Figure 1. Résumé des différents workflow mis en œuvre pour reproduire les résultats de [5] et explorer leur robustesse à différentes conditions analytiques. Les cellules en gras et bordées représentent le workflow par défaut à chaque étape, le déroulement de ce workflow par défaut est représenté à l'aide d'une ligne en gras. Les différentes variations du workflow sont représentées par des lignes en pointillés : toutes les étapes différentes de la variation principale suivent le workflow par défaut et chaque workflow correspond à une seule variation par rapport au workflow par défaut.

Variations de la sélection des cohortes (A) :

- Workflow A.1 - Workflow par défaut avec cohorte de réplication.

Variations du pipeline de prétraitement (B) :

- Workflow B.1 - Workflow par défaut avec segmentation FSL,

- Workflow B.2 - Workflow par défaut sans a priori structurels,

- Workflow B.3 - pipeline IRMfprep.

Variations du calcul des caractéristiques (C) :

- Workflow C.1 - workflow par défaut sans Z-scoring,

- Workflow C.2 - Workflow par défaut avec ALFF.

Variations des caractéristiques d'entrée (D) :

- Workflow D.1 - Workflow par défaut sans côté pathologique dominant,

- Workflow D.2 - Workflow par défaut sans ligne de base MDS-UPDRS,

- Workflow D.3 - Workflow par défaut sans caractéristiques d'imagerie,

- Workflow D.4 - Workflow par défaut avec seulement des caractéristiques d'imagerie.

Variations dans le choix du modèle et les rapports (E) :

- Workflow E.1 - Workflow par défaut avec validation croisée imbriquée,

- Workflow E.2 - workflow par défaut avec uniquement le report du meilleur modèle du document.
<figure><img src="image_2.png" /></figure>

Figure 1. Résumé des différents workflow mis en œuvre pour reproduire les résultats de [5] et explorer leur robustesse à différentes conditions analytiques. Les cellules en gras et bordées représentent le workflow par défaut à chaque étape, le déroulement de ce workflow par défaut est représenté à l'aide d'une ligne en gras. Les différentes variations du workflow sont représentées par des lignes en pointillés : toutes les étapes différentes de la variation principale suivent le workflow par défaut et chaque workflow correspond à une seule variation par rapport au workflow par défaut.

Variations de la sélection des cohortes (A) :

- Workflow A.1 - Workflow par défaut avec cohorte de réplication.

Variations du pipeline de prétraitement (B) :

- Workflow B.1 - Workflow par défaut avec segmentation FSL,

- Workflow B.2 - Workflow par défaut sans a priori structurels,

- Workflow B.3 - pipeline IRMfprep.

Variations du calcul des caractéristiques (C) :

- Workflow C.1 - workflow par défaut sans Z-scoring,

- Workflow C.2 - Workflow par défaut avec ALFF.

Variations des caractéristiques d'entrée (D) :

- Workflow D.1 - Workflow par défaut sans côté pathologique dominant,

- Workflow D.2 - Workflow par défaut sans ligne de base MDS-UPDRS,

- Workflow D.3 - Workflow par défaut sans caractéristiques d'imagerie,

- Workflow D.4 - Workflow par défaut avec seulement des caractéristiques d'imagerie.

Variations dans le choix du modèle et les rapports (E) :

- Workflow E.1 - Workflow par défaut avec validation croisée imbriquée,

- Workflow E.2 - workflow par défaut avec uniquement le report du meilleur modèle du document.
<figure><img src="image_2.png" /><figcaption>Figure 2. Performance des modèles entraînés pour la prédiction à différents intervalles de temps en utilisant fALFF ou ReHo, avec des variations dans le workflow. Les boîtes représentent la performance (valeurs R2) des 12 modèles (4 modèles x 3 parcellaires), avec les valeurs individuelles superposées (points). Les lignes en pointillé indiquent la valeur de R2 rapportée dans l'étude originale pour le temps de prédiction et la mesure d'imagerie correspondants. Les p-values sont calculées à l'aide du test statistique de Wilcoxon-Mann Whitney entre la performance avec le workflow par défaut et la performance avec d'autres variations. Seules les p-values inférieures au seuil alpha=0,05 sont rapportées.</figcaption></figure>
<figure><img src="image_3.png" /><figcaption>Figure 2. Performance des modèles entraînés pour la prédiction à différents intervalles de temps en utilisant fALFF ou ReHo, avec des variations dans le workflow. Les boîtes représentent la performance (valeurs R2) des 12 modèles (4 modèles x 3 parcellaires), avec les valeurs individuelles superposées (points). Les lignes en pointillé indiquent la valeur de R2 rapportée dans l'étude originale pour le temps de prédiction et la mesure d'imagerie correspondants. Les p-values sont calculées à l'aide du test statistique de Wilcoxon-Mann Whitney entre la performance avec le workflow par défaut et la performance avec d'autres variations. Seules les p-values inférieures au seuil alpha=0,05 sont rapportées.</figcaption></figure>