# Safety-Net : Identification automatique des erreurs de segmentation des lésions de la Sclérose-en-Plaques

Benjamin Lambert, Florence Forbes, Senan Doyle, Alan Tucholka, Michel Dojat

<figure><img src="image_1.png" /></figure>

## To cite this version:

Benjamin Lambert, Florence Forbes, Senan Doyle, Alan Tucholka, Michel Dojat. Safety-Net : Identification automatique des erreurs de segmentation des lésions de la Sclérose-en-Plaques. SFRMBM 2023 - 6ème Congrès Scientifique de la Société Française de Résonance Magnétique en Biologie et Médecine, SFRMBM, Mar 2023, Paris, France. [hal-04126182](https://hal.science/hal-04126182)

HAL Id: hal-04126182

https://hal.science/hal-04126182

Submitted on 13 Jun 2023

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_2.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# Safety-Net : Identification automatique des erreurs de segmentation des lésions de la Sclérose-en-Plaques

Benjamin Lambert<fnref n="1" />,<fnref n="3" />, Florence Forbes<fnref n="2" />, Senan Doyle<fnref n="1" />, Alan Tucholka<fnref n="1" />, Michel Dojat<fnref n="3" />

**Objectifs** : Dans le contexte de la Sclérose-En-Plaques (SEP), les réseaux de neurones ont le potentiel d'assister grandement le neurologue dans la personnalisation de la thérapie par la quantification automatique de l'évolution des lésions cérébrales. Néanmoins, ces modèles produisent des prédictions (lésions) sans estimation de leur certitude. Pour rémédier à cela, nous proposons Safety-Net, un réseau de neurones capable de segmenter les lésions SEP, et d'associer une carte de doute, permettant au neurologue d'identifier rapidement les zones problématiques, le cas échéant de corriger la prédiction, augmentant ainsi l'acceptabilité du système.

**Matériel et Méthodes** : Nous utilisons la base de données MS-Shift [1] contenant 33 FLAIR de patients SEP associées à la segmentation manuelle de leurs lésions pour l'apprentissage, ainsi que 2 coortes de test : 33 images venant des mêmes centres que ceux de la base d'apprentissage (Eval_in), et 25 images venant de sites différents (Eval_out). Notre modèle se base sur l'UNet 3D [2], modifié de façon à produire deux cartes en sortie contenant pour chaque voxel 1) sa probabilité *p* d'être une lésion et 2) le doute en la prédiction *u*. La segmentation finale est obtenue en binarisant *p* avec un seuil de 0.5. Pour entraîner Safety-Net, nous utilisons une nouvelle fonction de coût poussant le modèle à prédire un haut doute pour les prédictions incorrectes *z*, correspondant aux voxels où la segmentation prédite et la segmentation manuelle diffèrent. Après l'apprentissage, la performance de la segmentation est évaluée à l'aide du score Normalized Dice (nDSCseg) [1], compris entre 0 et 1, mesurant le degré de superposition entre les segmentations prédites et manuelles. Pour évaluer l'utilité de la carte de doute, nous calculons nDSCerreur, le degré de superposition entre la carte de doute (binarisée à 0.25) et la carte des erreurs *z*.

**Résultats** : Safety-Net atteint un nDSCseg de 0.73 ± 0.09 sur Eval_in et 0.63 ± 0.15 sur Eval_out, tandis que nDSCerreur est de 0.59 ± 0.13 sur Eval_in et de 0.47 ± 0.12 sur Eval_out.

**Conclusion** : Safety-Net est capable de prédire une carte de doute associée à sa segmentation, permettant d'identifier les potentielles erreurs du modèle. De plus, le modèle est capable de généraliser convenablement à des sites d'acquisition non vus pendant l'apprentissage.

**Références** : [1] Malinin, A. et al., Shifts 2.0 : Extending the dataset of real distributional shifts. arXiv preprint arXiv:2206.15407. [2] Çiçek Ö. et al., 3D UNet : Learning Dense Volumetric Segmentation from Sparse Annotation, MICCAI 2016.

<figure><img src="image_3.png" /><figcaption>**Figure 1** – FLAIR et segmentation manuelle des lésions (A), prédiction (B), carte des erreurs (C) et doute estimé (D).</figcaption></figure>

<footnote n="1">¹Pixyl, Research and Development Laboratory, 38000 Grenoble, France,</footnote>

<footnote n="2">²Univ. Grenoble Alpes, Inria, CNRS, Grenoble INP, LJK, 38000 Grenoble, France,</footnote>

<footnote n="3">³Univ. Grenoble Alpes, Inserm, U1216, Grenoble Institut Neurosciences, 38000 Grenoble, France</footnote>