# Réseau de neurones convolutifs sur graphes multimodal pour l'étude de la structure et de la fonction cérébrales dans l'anxiété et la dépression à l'adolescence

Sébastien Dam, Jean-Marie Batail, Pierre Maurel, Julie Coloigner

► To cite this version:

Sébastien Dam, Jean-Marie Batail, Pierre Maurel, Julie Coloigner. Réseau de neurones convolutifs sur graphes multimodal pour l'étude de la structure et de la fonction cérébrales dans l'anxiété et la dépression à l'adolescence. IABM 2025 - 3ème édition du Colloque Français d'Intelligence Artificielle en Imagerie Biomédicale, Mar 2025, Nice, France. pp.1-3. hal-04905297

HAL Id: hal-04905297

https://hal.science/hal-04905297v1

Submitted on 22 Jan 2025

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# Réseau de neurones convolutifs sur graphes multimodal pour l'étude de la structure et de la fonction cérébrales dans l'anxiété et la dépression à l'adolescence

Sébastien Dam *<fnref n="1" />, Jean-Marie Batail<fnref n="2" />, Pierre Maurel<fnref n="1" />, and Julie Coloigner †<fnref n="1" />

## Résumé

L'anxiété et la dépression sont des troubles mentaux affectant négativement la qualité de vie [1]. Plusieurs études ont développé des approches multimodales à partir de données issues de l'Imagerie par Résonance Magnétique (IRM) pour exploiter des informations complémentaires à travers plusieurs modalités, afin de mieux comprendre les mécanismes biologiques derrière ces maladies [3]. Récemment, les réseaux de neurones convolutifs sur graphes (GCN) [2] ont émergé comme un outil puissant dans la recherche sur la connectivité cérébrale [6]. Ici, nous développons un modèle GCN multimodal pour modéliser conjointement la structure et la fonction cérébrales afin de classifier l'anxiété et la dépression chez les adolescents, en utilisant la base de données Boston Adolescent Neuroimaging of Depression and Anxiety (BANDA) [5].

La topologie du graphe est initialisée à partir de la connectivité structurelle dérivée de l'IRM de diffusion, tandis que la connectivité fonctionnelle est intégrée sous forme de features sur les noeuds pour améliorer la distinction entre les patients anxieux, dépressifs et les controls sains. L'interprétation des principales régions cérébrales contribuant à la classification est réalisée grâce à la méthode Gradient-weighted Class Activation Mapping (Grad-CAM) [4]. Des approches unimodales utilisant exclusivement des données structurelles ou fonctionnelles ont aussi été étudiées pour établir des tests comparatifs entre notre modèle GCN multimodal et ceux unimodaux (Figure 1).

Les performances obtenues sont supérieures dans la majorité des tâches de classification, révélant la puissance discriminative de notre approche multimodale (Table 1), et mettent en évidence des motifs significatifs d'altérations cérébrales associées à l'anxiété et à la dépression.

[1] J. Hohls, H.-H. König, E. Quirke, and A. Hajek, "Anxiety, depression and quality of life—a systematic review of evidence from longitudinal observational studies," *International Journal of Environmental Research and Public Health*, vol. 18, p. 12022, Nov. 2021.
DOI: 10.3390/ijerph182212022.

[2] T. N. Kipf and M. Welling, "Semi-supervised classification with graph convolutional networks," *5th International Conference on Learning Representations, ICLR 2017*, 2017.

[3] S. Liu, W. Cai, S. Liu, et al., "Multimodal neuroimaging computing: A review of the applications in neuropsychiatric disorders," *Brain Informatics*, vol. 2, pp. 167-180, 2015.
DOI: 10.1007/s40708-015-0019-x.

<footnote n="1">¹Univ Rennes, Inria, CNRS, Inserm – Univ Rennes, CNRS, Inria, Inserm, IRISA - UMR 6074, F-35000 Rennes, France</footnote>

<footnote n="2">²Centre Hospitalier Guillaume Régnier, Pôle Hospitalo-Universitaire de Psychiatrie Adulte, Rennes, France, Centre Hospitalier Universitaire de Rennes, Institut National de la Santé et de la Recherche Médicale (INSERM), Rennes, France, Faculté de Médecine, Rennes Université, Rennes, France</footnote>

<footnote>*Intervenant</footnote>

<footnote>†Auteur correspondant: julie.coloigner@irisa.fr</footnote>
[4] R. R. Selvaraju, M. Cogswell, A. Das, R. Vedantam, D. Parikh, and D. Batra, "Grad-CAM: Visual explanations from deep networks via gradient-based localization.," *ICCV*, pp. 618–626, 2017.

[5] V. Siless, N. A. Hubbard, R. Jones, et al., "Image acquisition and quality assurance in the boston adolescent neuroimaging of depression and anxiety study," *NeuroImage: Clinical*, vol. 26, p. 102242, 2020. DOI: 10.1016/j.nicl.2020.102242.

[6] L. Wang, K. Li, and X. P. Hu, "Graph convolutional network for fMRI analysis based on connectivity neighborhood," *Network Neuroscience*, vol. 5, no. 1, pp. 83–95, 2021.

**Mots-Clés:** Anxiété, dépression, IRM fonctionnelle, connectivité structurelle, réseau de neurones convolutifs sur graphes
<figure><img src="image_2.png" /><figcaption>**Figure 1.** Pipeline expérimentale. La connectivité structurelle est construite à partir de l'IRM de diffusion, tandis que les séries temporelles moyennées provenant de l'IRM fonctionnelle de repos de chaque région cérébrale (416 régions au total) sont utilisées pour calculer la connectivité fonctionnelle via le coefficient de corrélation de Pearson. Ensuite, la connectivité structurelle initialise la topologie du graphe, tandis que la connectivité fonctionnelle est utilisée comme features sur les noeuds. Des approches unimodales basées sur la connectivité structurelle (unimodal SC) ou fonctionnelle (unimodal FC) sont développées pour comparer les performances avec notre approche multimodale. Enfin, la méthode Gradient-weighted Class Activation Mapping est adaptée à la structure de graphe pour identifier les régions cérébrales qui contribuent le plus aux tâches de classification.</figcaption></figure>

<table><caption>**Table 1.** Performance de classification pour toutes les tâches de classification parmi les modalités testées. Les approches unimodales basées exclusivement sur la connectivité structurelle ou fonctionnelle sont dénommées unimodal SC et unimodal FC, respectivement. ± représente l'écart-type des scores d'évaluation parmi les plis de la validation croisée. AA: Adolescents Anxieux; CA: Adolescents Controls; DA: Adolescents Dépressifs; FC: Connectivité Fonctionnelle; SC: Connectivité Structurelle.</caption><thead><tr><th></th><th>unimodal SC</th><th>unimodal FC</th><th>Proposée</th></tr></thead><tbody><tr><td colspan="4">CA vs AA</td></tr><tr><td>Accuracy</td><td>53.08 ± 14.62</td><td>92.75 ± 12.79</td><td><strong>95.51 ± 7.90</strong></td></tr><tr><td>F1-score</td><td>40.35 ± 16.91</td><td>92.82 ± 12.68</td><td><strong>94.84 ± 9.72</strong></td></tr><tr><td>Precision</td><td>44.10 ± 26.44</td><td>94.72 ± 9.44</td><td><strong>95.44 ± 8.74</strong></td></tr><tr><td colspan="4">CA vs DA</td></tr><tr><td>Accuracy</td><td>64.81 ± 16.09</td><td><strong>93.33 ± 6.24</strong></td><td>86.11 ± 8.78</td></tr><tr><td>F1-score</td><td>55.43 ± 23.53</td><td><strong>93.43 ± 6.22</strong></td><td>86.37 ± 8.89</td></tr><tr><td>Precision</td><td>52.22 ± 28.80</td><td><strong>94.59 ± 5.44</strong></td><td>89.07 ± 7.96</td></tr><tr><td colspan="4">AA vs DA</td></tr><tr><td>Accuracy</td><td>56.48 ± 17.54</td><td>88.57 ± 12.56</td><td><strong>93.61 ± 11.55</strong></td></tr><tr><td>F1-score</td><td>42.23 ± 22.21</td><td>87.76 ± 14.32</td><td><strong>93.29 ± 12.46</strong></td></tr><tr><td>Precision</td><td>34.98 ± 23.96</td><td>92.49 ± 7.16</td><td><strong>95.99 ± 6.42</strong></td></tr></tbody></table>