# L'intelligence hybride pour prédire l'évolution des maladies chroniques

Chadia Ed-Driouch, Franck Mars, Pierre-Antoine Gourraud, Cédric Dumas

► To cite this version:

Chadia Ed-Driouch, Franck Mars, Pierre-Antoine Gourraud, Cédric Dumas. L'intelligence hybride pour prédire l'évolution des maladies chroniques. IHM 2022: 33ème Conference Francophone sur l'Interaction Humain-Machine, Apr 2022, Namur, Belgique. 10.1145/3502178.3529109. hal-03656359

HAL Id: hal-03656359

https://hal.science/hal-03656359

Submitted on 2 May 2022

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>
# L'intelligence hybride pour prédire l'évolution des maladies chroniques

## Hybrid intelligence to predict chronic disease progression

**Chadia Ed-driouch**

chadia.ed-edriouch@univ-nantes.fr
Nantes Université, IMT Atlantique
Nantes, France

**Pierre-Antoine Gourraud**

pierre-antoine.gourraud@univ-nantes.fr
Faculté de médecine, Nantes Université
Nantes, France

**Franck Mars**

franck.mars@ls2n.fr
Centrale Nantes, CNRS
Nantes, France

**Cédric Dumas**

cedric.dumas@imt-atlantique.fr
IMT Atlantique
Nantes, France

## ABSTRACT

In personalized medicine, care individualization is a key challenge to provide a more adapted and personalized clinical decision for each patient. The access to large amounts of medical data with the available computational power as well as the evolution of Artificial Intelligence (AI) algorithms allow to overcome this challenge. However, the application of AI algorithms must enable efficient and accurate communication with physicians. The complementarity between human and artificial intelligence holds the most promise for a safe and innovative medical future.

We propose a new personalized medicine approach to improve the results of machine learning algorithms and overcome some barriers to the adoption of AI in medical practice. The proposed approach is based on human-machine interaction to create predictive models of chronic disease progression, especially for multiple sclerosis (MS).

## CCS CONCEPTS

* **Human-centered computing → HCI theory, concepts and models; Pointing; Visualization techniques.**

## KEYWORDS

Human-Machine Interaction, Artificial Intelligence, Personalized medicine

## RÉSUMÉ

En médecine personnalisée, l'individualisation des soins est un défi majeur pour établir une décision clinique plus adaptée et personnalisée pour chaque patient. L'accès aux grandes masses de données médicales avec la puissance de calcul disponible ainsi que l'évolution des algorithmes de l'Intelligence Artificielle (IA) permettent de surmonter ce défi. Cependant, toute application d'algorithmes d'IA

doit permettre une communication efficace et précise avec les médecins. La complémentarité entre l'intelligence humaine et artificielle est la plus prometteuse pour un avenir médical sécurisé et innovant. Nous proposons une nouvelle approche de la médecine personnalisée pour améliorer les résultats des algorithmes d'apprentissage automatique et faire face à certains obstacles à l'adoption de l'IA dans la pratique médicale. L'approche proposée est basée sur l'interaction humain-machine pour la création de modèles prédictifs de l'évolution des maladies chroniques, en particulier pour la sclérose en plaques (SEP).

## MOTS-CLÉS

Interaction humain-machine, Intelligence artificielle, Médecine personnalisée

### ACM Reference Format:

Chadia Ed-driouch, Franck Mars, Pierre-Antoine Gourraud, and Cédric Dumas. 2022. L'intelligence hybride pour prédire l'évolution des maladies chroniques. In *IHM '22: Proceedings of the 33rd Conference on l'Interaction Humain-Machine: Adjunct (IHM '22 Adjunct)*, April 5-8, 2022, Namur, Belgium. ACM, New York, NY, USA, 5 pages. https://doi.org/10.1145/3502178.3529109

## 1 INTRODUCTION

La médecine personnalisée a ouvert de nouvelles voies de recherche pour une vision plus précise des maladies afin de délivrer des measures spécifiques de prise en charge adaptées à chaque patient. L'intelligence artificielle (IA) est devenue un outil essentiel pour faire progresser ces recherches grâce à sa capacité de traiter de grandes quantités de données médicales en un temps record. Les algorithmes d'IA fournissent un raisonnement automatique pour l'analyse et l'observation des données afin d'améliorer la détection, le diagnostic et le suivi thérapeutique de la maladie.

La sclérose en plaques (SEP) [1] est une maladie inflammatoire chronique auto-immune du système nerveux central qui touche 2,8 millions personnes dans le monde [2]. La SEP se caractérise par une variabilité en termes de symptômes, de formes et d'arguments pour poser le diagnostic, le pronostic, et le suivi thérapeutique. Suite à de multiples interactions avec des médecins spécialistes de cette maladie (interviews, observations) et à la littérature [3-6], les principaux indicateurs prédictifs de l'évolution de la SEP sont :
* L'aggravation de l'EDSS (Expanded Disability Status Scale); score permettant de mesurer le niveau d'incapacité physique.

* L'apparition de nouvelles lésions sur l'IRM (Imagerie par Résonance Magnétique).

* Les nouvelles poussées; l'apparition de nouveaux symptômes ou l'aggravation d'anciens symptômes.

L'objectif de cette étude est d'améliorer le suivi thérapeutique et la prédiction de l'évolution des maladies complexes telles que la SEP. Nous abordons les obstacles à l'intégration des modèles d'apprentissage automatique dans la pratique clinique et proposons une nouvelle approche basée sur la création de modèles prédictifs hybrides tirant parti de la puissance de calcul, des données cliniques et de l'interaction avec le médecin.

## 2 L'APPRENTISSAGE AUTOMATIQUE, ÉLÉMENT CENTRAL DE NOMBREUSES APPLICATIONS DE L'IA EN MÉDECINE

L'IA en médecine comporte deux branches principales : virtuelle et physique. La branche physique est représentée par les objets physiques, les dispositifs médicaux et les robots utilisés pour assister le patient âgé ou le chirurgien traitant [7]. Dans notre étude, nous nous concentrons sur la branche virtuelle qui est représentée par les algorithmes d'apprentissage automatique, en particulier nous nous intéressons aux algorithmes de prédiction.

Les algorithmes modernes d'apprentissage automatique, avec la puissance de calcul disponible, peuvent être des outils précieux pour établir des protocoles de décision thérapeutique spécifiques à chaque patient dans des contextes de soins complexes, car ils permettent l'optimisation d'une fonction objective sur la base de données complexes et multidimensionnelles [8]. Ces algorithmes dépassent la capacité des individus à prédire en temps réel les événements futurs liés à la santé à partir des données médicales existantes [9]. Ils peuvent agir comme un outil d'aide à la décision médicale en fournissant des prédictions plus précises basées sur le cas clinique, tel que le montrent les études [10, 11].

L'application de l'apprentissage automatique pour l'aide à la décision médicale est très différente de son application à des fins d'automatisation et entraîne différents types de défis de mise en œuvre. L'automatisation soulève la question de savoir si l'apprentissage automatique va prioritairement améliorer ou remplacer le travail des médecins. Dans ce type d'application, le médecin n'a aucun contrôle direct sur les décisions ou les recommandations du système [12]. Dans les applications d'aide à la décision médicale, les informations produites par les algorithmes d'apprentissage automatique sont utilisées pour aider le médecin à prendre une décision. Ces informations créent de nouvelles formes de réflexion pour le médecin concernant les avantages et les risques de leur utilisation. Actuellement, les entreprises de logiciels informatiques qui s'efforcent d'améliorer l'efficacité des soins de santé ont commercialisé divers outils permettant de prédire l'apparition et la progression des maladies, les traitements, les effets indésirables, etc. Nous ne savons pas à quelle fréquence ces outils sont véritablement utilisés dans la pratique clinique [13].

## 3 LES OBSTACLES À L'INTÉGRATION DE L'APPRENTISSAGE AUTOMATIQUE DANS LA PRATIQUE CLINIQUE

L'utilisation de l'apprentissage automatique dans les pratiques médicales suscite des inquiétudes et des controverses, généralement en ce qui concerne sa précision et sa sécurité. La crainte que les médecins puissent être remplacés par des outils d'IA et que cela puisse nuire à la relation patient-médecin, car de nombreux médecins se trouveront dans l'incapacité d'expliquer les prédictions, a créé des obstacles à l'intégration de l'apprentissage automatique dans la pratique clinique [14]. Les obstacles comprennent des lacunes dans la connaissance du modèle lui-même et la compréhension du processus d'apprentissage [15], ainsi que des risques potentiels pour les patients et le public, relatifs à la confidentialité des données et à la sécurité des patients [10, 16]. Il existe d'autres obstacles, principalement liés à des questions techniques telles que le manque de données de bonne qualité pour entraîner les algorithmes et les plateformes interactives de visualisation et d'information qui ne sont pas assez développées. L'entraînement des algorithmes d'apprentissage automatique nécessite de grandes quantités de données. La qualité de données est corrélée à la qualité des résultats obtenus par les algorithmes. Si les données sont incomplètes ou ne reflètent qu'une partie de la population, le modèle obtenu ne sera pertinent que pour la population représentée dans le jeu de données. Cela pose la question de la provenance des données et représente des problèmes liés aux biais des algorithmes utilisés pour la prise de décision. La transparence, la simplification, la compréhension et l'utilité clinique des ensembles de données doivent être mises en évidence, et chaque résultat doit être interrogé quant à son applicabilité clinique.

Pour que l'assistance fournie par l'IA soit utile à la prise de décision médicale, les résultats des algorithmes doivent être clairement inclus dans le processus décisionnel de la pratique médicale. En outre, toute application d'algorithmes d'IA doit permettre une communication efficace et précise avec les médecins. Le déploiement de systèmes d'IA dans la pratique clinique exigera des médecins qu'ils comprennent le calcul, le traitement des données (qualité, intégration, gouvernance, etc.) et les mesures de performance des modèles prédictifs. Les médecins devront être capables de travailler confortablement avec des outils d'aide à la décision et devront être en mesure d'interpréter les prédictions des algorithmes utilisés pour faire bénéficier leurs patients des progrès de l'IA [8].

## 4 L'INTELLIGENCE HYBRIDE POUR PROMOUVOIR LA CONFIANCE DES MÉDECINS DE SEP DANS L'APPRENTISSAGE AUTOMATIQUE

Il est nécessaire de connaître les obstacles et les facteurs qui facilitent la conception et la mise en œuvre des systèmes d'apprentissage automatique dans la pratique médicale et de comprendre comment ces facteurs interagissent dans divers contextes de façon à élaborer des stratégies susceptibles de remédier aux inconvénients perçus ou réels et de promouvoir l'adoption [17].
<figure><img src="image_2.png" /><figcaption>**FIGURE 1 :** Comparatif de l'approche hybride avec l'approche classique de sélection automatique des facteurs de prédiction
Processus de conception et de validation d'un modèle de prédiction. (1) Utilisation d'un algorithme pour sélectionner les facteurs à utiliser pour la prédiction. (2) Utilisation des facteurs utilisés par les médecins expert et validés dans la littérature.</figcaption></figure>

## 4.1 L'acceptabilité des projections

Dans le contexte de la SEP, nous avons développé une application de médecine personnalisée pour aider à la prise de décision médicale. L'application est interactive et se base sur les connaissances acquises lors de l'observation et l'analyse des pratiques médicales d'une part, et l'exploitation des données d'essais cliniques d'autre part. Elle permet de visualiser comment un patient donné appelé POI (Patient Of Interest) se situe par rapport à ses patients de référence POR (Patients Of Reference), patients représentant des caractéristiques similaires au POI selon des facteurs bien définis avec des professionnels de la sclérose en plaques. Grâce à la projection des données des PORs, l'application montre des prévisions sur l'évolution possible des facteurs prédictifs de la progression de la maladie pour le POI. Nous avons réalisé une évaluation de l'application auprès de quatre spécialistes de la SEP. Les participants étaient invités à utiliser l'application pour mesurer son utilité dans l'aide à la prise de décision médicale. Les résultats de l'enquête n'ont donné lieu à aucun commentaire sur la méthode de prévision. Au contraire, les participants étaient contents de pouvoir interagir avec l'application et de sélectionner les données qui leur semblaient adéquates pour contextualiser le POI : « la possibilité d'envisager différents scénarios thérapeutiques peut aider à décider quel traitement semble adéquat pour un patient et faciliter la communication médecin-patient ». Cette expérience nous a fait réfléchir à une nouvelle approche pour faire face aux craintes des médecins concernant les conséquences potentielles de l'utilisation généralisée des algorithmes d'apprentissage automatique dans la pratique clinique.

## 4.2 L'acceptabilité des prédictions ?

Nous proposons une nouvelle approche basée sur la création des modèles de préiction de facteurs prédictifs de l'évolution de la SEP en utilisant des algorithmes d'apprentissage automatique, des

données de bonne qualité (données d'essais cliniques) et le raisonnement du médecin. Nous nous intéressons ici en particulier à la prédiction de l'évolution de la maladie, faites par les médecins grâce à des mesures (IRM, ...), des données médicales (calcul de l'EDSS, ...) et des observations directes du patient (consultations). Nous utilisons les critères démographiques, cliniques et d'IRM suivants :

* âge,

* sexe,

* âge au début de la SEP,

* durée de la maladie,

* l'EDSS lors de la dernière visite,

* nombre de poussées au cours des 12 derniers mois,

* nombre de lésions T2 sur l'IRM,

* les lésions renforcées par le gadolinium sur l'IRM,

* nombre de nouvelles lésions T2 au cours des 12 derniers mois.

Tous ces critères ont été validés par des neurologues experts et documentés dans la littérature [18-20] comme marqueurs prédictifs de l'activité de la SEP. Il est possible d'ajouter d'autres marqueurs s'ils sont présents dans la base de données, tels que : la cognition, l'humeur, la qualité de vie, etc.

L'approche proposée vise à intégrer le médecin dans le processus de prédiction, plus précisément dans la phase de préparation des données pour l'apprentissage. Plutôt que d'utiliser les valeurs brutes des facteurs de patients dans la base de données et de les filtrer et regrouper automatiquement par un algorithme, nous proposons d'utiliser une sélection et un regroupement basés sur le raisonnement du médecin Fig. 1. Par exemple (voir Table 1), prenons le facteur "âge au début de la maladie", le patient a 30 ans. Selon le raisonnement d'un médecin de la SEP, ce patient appartient au groupe A2. Ainsi, au lieu d'utiliser la valeur brute du facteur "âge au début de la maladie" du patient, nous utiliserons le groupe équivalent selon le raisonnement du médecin. Nous appliquerons le même
<table><caption>TABLE 1 : Exemple de transformation de données d'un patient</caption><thead><tr><th>Caractéristiques</th><th>Raisonnement du médecin</th><th>Données brutes du patient</th><th>Données d'entraînement</th></tr></thead><tbody><tr><td>Age au début de SEP</td><td>A1 : &lt; 20 ans<br>A2 : [20-40] ans<br>A3 : &gt; 40 ans</td><td>30 ans</td><td>A2</td></tr><tr><td>Durée de la maladie</td><td>D1 : &lt; 3 ans<br>D2 : [3-10] ans<br>D3 : &gt; 10 ans</td><td>15 ans</td><td>D3</td></tr><tr><td>EDSS</td><td>E1 : [0-2.5]<br>E2 : [3-5.5]<br>E3 : ≥ 6</td><td>3.5</td><td>E2</td></tr><tr><td>...</td><td>...</td><td>...</td><td>...</td></tr></tbody></table>

principe de transformation des données pour le reste des facteurs (utilisés par les médecins expert et validés dans la littérature) de tous patients figurant dans la bases de données. Nous utiliserons ensuite les données transformées pour créer un modèle de prédiction des indicateurs dits prédictifs de l'évolution de la SEP selon le raisonnement du médecin. L'objectif de cette nouvelle approche est de renforcer la confiance des médecins dans l'apprentissage automatique, car elle est basée sur leur raisonnement, et contribuera également à améliorer la qualité des résultats des prédictions, car les données d'apprentissage sont incluses dans le processus décisionnel de la pratique médicale. Nous suggérons également d'utiliser un système d'aide à la décision médicale permettant au médecin une communication facile et précise avec les algorithmes. Le médecin peut directement modifier le processus de décision interne de l'algorithme par le biais d'une communication synchrone avec le système (changer le type de traitement à proposer au patient, le mode de vie à conseiller au patient, etc.) jusqu'à atteindre des conclusions qui reflètent ses intentions cliniques.

## 5 CONCLUSION

Pour prédire l'évolution de la sclérose en plaques, la combinaison du raisonnement des spécialistes et du modèle de prédiction permet un pronostic plus précis que les médecins seul ou les algorithmes de prédiction seuls, parce que l'utilisation de grandes masses de données des études cliniques sur l'efficacité des traitements à monter dans son intérêt [6], parce que l'utilisation d'outils de décision automatiques dans les systèmes critiques a démontré ses insuffisances [21], et parce que la variabilité des facteurs prédictifs de la maladie rendent le pronostic compliqué [5, 22, 23].

La mise en œuvre des systèmes d'apprentissage automatique dans la pratique médicale nécessite un soutien important des professionnels de santé, des patients et du public. En outre, de nombreux systèmes sont difficiles pour un médecin à comprendre, précisément comment le système traduit les données d'entrée en décisions de sortie. Il faut accorder beaucoup plus d'importance à l'explikabilité des résultats obtenus par les algorithmes car le manque de compréhension pose des problèmes pour l'acceptabilité de l'apprentissage automatique par les médecins. Les outils d'interaction humain-machine, notamment les interfaces de visualisation des données, sont essentielles pour rendre l'apprentissage automatique

plus intuitif, transparent et convivial, car elles facilitent la compréhension des résultats et l'analyse de la qualité des données utilisées, et permettent une prise de décision partagée entre le médecin et le patient [10]. L'hybridation opérationnelle de l'intelligence humaine et artificielle est la plus prometteuse pour un avenir sûr et révolutionnaire des soins médicaux [17].

Nous proposons une nouvelle approche basée sur la création de modèles prédictifs hybrides tirant parti de la puissance de calcul, des données cliniques et de l'interaction avec le médecin. Cette approche suggère l'utilisation d'un système d'aide à la décision médicale intégrant une bonne compréhension des mécanismes d'action des maladies et de leurs traitements et permettant au médecin de prendre la décision finale de suivre ou non les recommandations de l'algorithme. En outre, le médecin est intégré dans la phase de préparation des données d'entraînement et peut modifier directement le processus de décision interne de l'algorithme grâce à une communication synchrone avec le système. Une mise en œuvre de cette nouvelle approche est en cours, afin de soutenir la prise de décision médicale dans la sclérose en plaques en exploitant les données des essais cliniques, l'expérience des neurologues et la capacité des algorithmes d'apprentissage automatique.

## RÉFÉRENCES

[1] Bassem I. Yamout and Raed Alroughani. 2018. Multiple Sclerosis. *Seminars in Neurology* 38, 2 (2018), 212–225. https://doi.org/10.1055/s-0038-1649502

[2] Clare Walton, Rachel King, Lindsay Rechtman, Wendy Kaye, Emmanuelle Leray, Ruth Ann Marrie, Neil Robertson, Nicholas La Rocca, Bernard Uitdehaag, Ingrid van der Mei, Mitchell Wallin, Anne Helme, Ceri Angood Napier, Nick Rijke, and Peer Baneke. 2020. Rising prevalence of multiple sclerosis worldwide : Insights from the Atlas of MS, third edition. *Multiple Sclerosis Journal* 26, 14 (Dec. 2020), 1816–1821. https://doi.org/10.1177/1352458520970841 Publisher : SAGE Publications Ltd STM.

[3] Pierre-Antoine Gourraud, Roland Henry, Bruce AC Cree, Jason C Crane, Antoine Lizee, Marram P Olson, Adam V. Santaniello, Esha Datta, Alyssa H. Zhu, Carolyn J. Bevan, Jeffrey M. Gelfand, Jennifer A. Graves, Douglas E. Goodin, Ari Green, H.-Christian von Büdingen, Emmanuelle Waubant, Scott S. Zamvil, Elizabeth Crabtree-Hartman, Sarah Nelson, Sergio E. Baranzini, and Stephen L. Hauser. 2014. Precision medicine in chronic disease management : the MS BioScreen. *Annals of neurology* 76, 5 (Nov. 2014), 633–642. https://doi.org/10.1002/ana.24282

[4] Vittorio Martinelli, M Rodegher, Lucia Moiola, and Giacomo Comi. 2004. Late onset multiple sclerosis : Clinical characteristics, prognostic factors and differential diagnosis. *Neurological sciences : official journal of the Italian Neurological Society and of the Italian Society of Clinical Neurophysiology* 25 Suppl 4 (Dec. 2004), S350–5. https://doi.org/10.1007/s10072-004-0339-8

[5] Tatjana Reynders, Miguel D'haeseleer, Jacques De Keyser, Guy Nagels, and Marie B. D'hooghe. 2017. Definition, prevalence and predictive factors of benign
multiple sclerosis. *eNeurologicalSci* 7 (June 2017), 37-43. https://doi.org/10.1016/j.ensci.2017.05.002

[6] Caspar E. P. van Munster and Bernard M. J. Uitdehaag. 2017. Outcome Measures in Clinical Trials for Multiple Sclerosis. *CNS Drugs* 31, 3 (2017), 217-236. https://doi.org/10.1007/s40263-017-0412-5

[7] Pavel Hamet and Johanne Tremblay. 2017. Artificial intelligence in medicine. *Metabolism: Clinical and Experimental* 69S (April 2017), S36-S40. https://doi.org/10.1016/j.metabol.2017.01.011

[8] Chris Giordano, Meghan Brennan, Basma Mohamed, Parisa Rashidi, François Modave, and Patrick Tighe. 2021. Accessing Artificial Intelligence for Clinical Decision-Making. *Frontiers in Digital Health* 3 (June 2021), 645232. https://doi.org/10.3389/fdgh.2021.645232

[9] I. Glenn Cohen, Ruben Amarasingham, Anand Shah, Bin Xie, and Bernard Lo. 2014. The legal and ethical concerns that arise from using complex predictive analytics in health care. *Health Affairs (Project Hope)* 33, 7 (July 2014), 1139-1147. https://doi.org/10.1377/hlthaff.2014.0048

[10] James Shaw, Frank Rudzicz, Trevor Jamieson, and Avi Goldfarb. 2019. Artificial Intelligence and the Implementation Challenge. *Journal of Medical Internet Research* 21, 7 (July 2019), e13659. https://doi.org/10.2196/13659

[11] Jonathan Waring, Charlotta Lindvall, and Renato Umeton. 2020. Automated machine learning: Review of the state-of-the-art and opportunities for healthcare. *Artificial Intelligence in Medicine* 104 (April 2020), 101822. https://doi.org/10.1016/j.artmed.2020.101822

[12] Ibrahim Habli, Tom Lawton, and Zoe Porter. 2020. Artificial intelligence in health care: accountability and safety. *Bulletin of the World Health Organization* 98, 4 (April 2020), 251-256. https://doi.org/10.2471/BLT.19.237487

[13] Ariadne A. Nichol, Jason N. Batten, Meghan C. Halley, Julia K. Axelrod, Pamela L. Sankar, and Mildred K. Cho. 2021. A Typology of Existing Machine Learning-Based Predictive Analytic Tools Focused on Reducing Costs and Improving Quality in Health Care: Systematic Search and Content Analysis. *Journal of Medical Internet Research* 23, 6 (June 2021), e26391. https://doi.org/10.2196/26391

[14] Yifan Xiang, Lanqin Zhao, Zhenzhen Liu, Xiaohang Wu, Jingjing Chen, Erping Long, Duoru Lin, Yi Zhu, Chuan Chen, Zhuoling Lin, and Haotian Lin. 2020.

Implementation of artificial intelligence in medicine: Status analysis and development suggestions. *Artificial Intelligence in Medicine* 102 (Jan. 2020), 101780. https://doi.org/10.1016/j.artmed.2019.101780

[15] Sahil Sandhu, Anthony L. Lin, Nathan Brajer, Jessica Sperling, William Ratliff, Armando D. Bedoya, Suresh Balu, Cara O'Brien, and Mark P. Sendak. 2020. Integrating a Machine Learning System Into Clinical Workflows: Qualitative Study. *Journal of Medical Internet Research* 22, 11 (Nov. 2020), e22421. https://doi.org/10.2196/22421

[16] Cécile Petitgand, Aude Motulsky, Jean-Louis Denis, and Catherine Régis. 2020. Investigating the Barriers to Physician Adoption of an Artificial Intelligence-Based Decision Support System in Emergency Care: An Interpretative Qualitative Study. *Studies in Health Technology and Informatics* 270 (June 2020), 1001-1005. https://doi.org/10.3233/SHTI200312

[17] Lawrence A. Lynn. 2019. Artificial intelligence systems for complex decision-making in acute care medicine: a review. *Patient Safety in Surgery* 13 (2019), 6. https://doi.org/10.1186/s13037-019-0188-2

[18] E. Leray, T. Moreau, A. Fromont, and G. Edan. [n.d.]. Epidemiology of multiple sclerosis. 172, 1 ([n. d.]), 3-13. https://doi.org/10.1016/j.neurol.2015.10.006

[19] Tomas Kalincik. [n.d.]. Multiple Sclerosis Relapses: Epidemiology, Outcomes and Management. A Systematic Review. 44, 4 ([n. d.]), 199-214. https://doi.org/10.1159/000382130 Publisher: Karger Publishers.

[20] Nicola De Stefano, Maria Stromillo, Antonio Giorgio, Marco Battaglini, Maria Bartolozzi, Maria Amato, and Maria Pia Sormani. [n.d.]. Long-term assessment of No Evidence of Disease Activity in relapsing-remitting MS. 85 ([n. d.]). https://doi.org/10.1212/WNL.00000000000002105

[21] Abhimanyu S. Ahuja. 2019. The impact of artificial intelligence in medicine on the future role of the physician. *PeerJ* 7 (Oct. 2019). https://doi.org/10.7717/peerj.7702

[22] RH Gross, SH Sillau, AE Miller, C Farrell, and SC Krieger. 2019. The Multiple Sclerosis Severity Score: fluctuations and prognostic ability in a longitudinal cohort of patients with MS. *Multiple Sclerosis Journal - Experimental, Translational and Clinical* 5, 1 (March 2019). https://doi.org/10.1177/2055217319837254

[23] Loren A. Rolak. 2003. Multiple Sclerosis: It's Not The Disease You Thought It Was. *Clinical Medicine and Research* 1, 1 (Jan. 2003), 57-60. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC1069023/