# Artificial intelligence and medical diagnosis: What are the ethical issues? Limits and fantasies, the researcher's point of view

Isabelle Bloch

► To cite this version:

Isabelle Bloch. Artificial intelligence and medical diagnosis: What are the ethical issues? Limits and fantasies, the researcher's point of view. Journal d'imagerie diagnostique et interventionnelle, 2024, 8 (1), pp.45-48. 10.1016/j.jidi.2024.09.004. hal-05362568

HAL Id: hal-05362568

https://hal.science/hal-05362568v1

Submitted on 13 Nov 2025

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
<figure><img src="image_2.png" /></figure>

# Intelligence artificielle et diagnostic médical, quels enjeux éthiques ?
Limites et fantasmes, le point de vue du chercheur

<figure><img src="image_3.png" /></figure>

Podcast

Artificial intelligence and medical diagnosis: What are the ethical issues? Limits and fantasies, the researcher's point of view

I. Bloch

CNRS, LIP6, Sorbonne université, 4, place Jussieu, 75005 Paris, France

Reçu le 10 septembre 2024 ; accepté le 16 septembre 2024

Disponible en ligne sur ScienceDirect le 30 octobre 2024

## RÉSUMÉ

Alors que les applications de l'intelligence artificielle (IA) en imagerie médicale sont de plus en plus nombreuses, les bénéfices attendus sont accompagnés de défis, et de nombreuses questions restent ouvertes. Cet article, à la suite d'une table ronde lors des JFR 2023, résume les deux principaux paradigmes de l'IA, s'appuyant sur la représentation des connaissances et sur la modélisation du raisonnement pour le premier, et sur l'apprentissage à partir de grandes bases de données pour le second, et montre les avantages de leur combinaison dans des approches hybrides. La question des biais, tant statistiques que cognitifs, est abordée, ainsi que celle de l'explicabilité, centrale pour l'adoption de techniques d'IA. Les liens avec les questions éthiques sont évoqués. Les conditions de développement d'un système ou d'un algorithme, les données qui ont été utilisées pour le faire, la validation sur des bases indépendantes, les conditions d'utilisation (type d'image, type de problème ou de question à résoudre, etc.), les biais et limites sont autant de paramètres qui doivent être clairement définis. La place de l'humain reste primordiale, de la conception des méthodes jusqu'à l'interprétation des résultats, dans une réflexion pluridisciplinaire.

© 2024 L'Auteur. Published by Elsevier Masson SAS au nom de Société française de radiologie. Cet article est publié en Open Access sous licence CC BY (http://creativecommons.org/licenses/by/4.0/).

## SUMMARY

While the applications of artificial intelligence in medical imaging are becoming increasingly numerous, the expected benefits are accompanied by challenges, and many questions remain open. This article, following a round table discussion at JFR 2023, summarizes the two main AI paradigms – based on knowledge representation and reasoning modeling for the former, and learning from large databases for the latter – and shows the advantages of combining them, in hybrid approaches. The question of bias, both statistical and cognitive, is addressed, as is that of explicability, central to the adoption of AI techniques. Links with ethical issues are also discussed. The conditions under which a system or algorithm was developed, the data used for training, the validation on independent bases, the conditions of use (type of image, type of problem or question to be solved...), biases and limits, are all parameters that need to be clearly defined. The role of the human beings remains essential, from the design of the methods to the interpretation of the results, framed in a multi-disciplinary approach.

© 2024 The Author(s). Published by Elsevier Masson SAS on behalf of Société française de radiologie. This is an open access article under the CC BY license (http://creativecommons.org/licenses/by/4.0/).

## MOTS CLÉS

Intelligence artificielle

symbolique

Apprentissage statistique

Intelligence artificielle

hybride

Connaissances

Données

Biais

Explicabilité

Éthique

## KEYWORDS

Symbolic artificial intelligence

Statistical machine learning

Hybrid artificial intelligence

Knowledge

Data

Bias

Explicability

Ethics

Adresse e-mail :
isabelle.bloch@sorbonne-universite.fr
<figure><img src="image_4.png" /></figure>

## INTRODUCTION

Les applications de l'intelligence artificielle (IA) dans le domaine de l'imagerie médicale, et plus généralement de la médecine et de la santé, s'appuient sur la plupart des domaines couverts par l'IA, allant de la représentation des connaissances et la modélisation des raisonnements, à l'apprentissage statistique et les réseaux de neurones. À la diversité de ces domaines s'appliquant aux données et connaissances de santé, s'ajoutent les dimensions éthiques et réglementaires dont il n'est pas possible de faire abstraction. Les apports et bénéfices attendus de l'IA dans ce domaine sont nombreux, et constituent des thèmes de recherche actuels et en pleine croissance. Ils s'accompagnent aussi de défis, et de nombreuses questions restent ouvertes.

## LES DEUX PARADIGMES PRINCPAUX DE L'IA : RATIONALITÉ DE LA DÉDUCTION VERSUS VOIE EMPIRISTE DE LA DÉDUCTION

L'IA symbolique s'appuie sur la représentation formelle des connaissances, par exemple à l'aide de formalismes logiques, et bénéficie de la puissance de raisonnement de ces logiques, conduisant à des conclusions démontrables, non réfutables. Le deuxième paradigme de l'IA s'appuie au contraire sur les données, avec des méthodes d'apprentissage statistiques, en particulier par réseaux de neurones, donnant des garanties statistiques sur les résultats, ceux-ci étant potentiellement réfutables.

En imagerie médicale, si le deuxième paradigme est actuellement prédominant, avec des résultats souvent impressionnants, le premier (IA symbolique) garde toute sa place pour modéliser des connaissances (sur l'anatomie, sur les pathologies) accumulées depuis des siècles. Les limites des approches par apprentissage viennent de la quantité de données nécessaire, parfois difficile à obtenir (imagerie pédiatrique, maladies rares, etc.), des coûts d'annotation de ces données et de calcul dans les phases d'apprentissage, des biais potentiels, et de la généralisation parfois difficile dans des études multicentriques.

Pour donner un exemple concret, prenons le problème de la segmentation et la reconnaissance de structures anatomiques dans des clichés d'IRM du cerveau. Si suffisamment d'images annotées (avec des segmentations manuelles par exemple) sont disponibles, il est possible de mettre en œuvre des algorithmes d'apprentissage automatique. Par exemple, un réseau de neurones peut être entraîné à segmenter et reconnaître (segmentation sémantique) des structures, en prenant en entrée des clichés d'IRM, et en ajustant ses paramètres de sorte que la sortie corresponde à la segmentation manuelle. Une fois entraîné, le réseau est alors capable d'effectuer la tâche de segmentation sémantique sur de nouvelles images, non vues lors de l'entraînement. Cependant, si trop peu de données sont disponibles, ou si les sujets souffrent de pathologies pouvant déformer les structures et accroître considérablement leur variabilité, des approches symboliques d'IA peuvent être développées. Par exemple, les relations spatiales entre les structures sont souvent plus stables que les propriétés des structures elles-mêmes, y compris dans les cas pathologiques. Le fait que le noyau caudé droit soit à droite du ventricule latéral droit reste le plus souvent vrai. En modélisant mathématiquement ces relations, avec leurs

imprécisions intrinsèques, des méthodes de raisonnement logique explorent l'image pour reconnaître les structures en fonction de leurs relations spatiales. Ces méthodes ne nécessitent que peu de paramètres, et ne requièrent pas un apprentissage sur un grand nombre de données. Elles s'appuient sur des connaissances et leur modélisation [1].

## IA HYBRIDE ET EXPLICABLE

Alors que les méthodes symboliques et les méthodes statistiques d'apprentissage pour l'IA ont été développées de manière relativement indépendante pendant des décennies, avec une prédominance alternée de l'une ou l'autre au fil du temps, une tendance se dessine pour fusionner les deux types d'approche. Les approches neurosymboliques en sont des exemples, et de manière plus générale l'IA hybride repose la combinaison de plusieurs méthodes d'IA, quel que soit leur type [2,3]. Ces méthodes peuvent appartenir aux domaines de la représentation des connaissances abstraites et du raisonnement logique formel, des représentations structurelles (tels que les graphes et hypergraphes, les ontologies, les treillis de concepts, etc.), des ensembles flous (pour représenter l'imprécision inhérente aux modèles de connaissances, aux données, aux résultats d'un algorithme), ainsi qu'au domaine de l'apprentissage automatique.

L'IA hybride constitue une façon de penser et de concevoir des systèmes d'IA, bénéficiant des avantages des deux paradigmes, maintenant le lien entre connaissances, données et résultats, tout en offrant des possibilités d'explication, dans le domaine de l'IA explicable (appelé XAI) [2,3]. Dans ce domaine également, les deux branches principales sont développées de manière assez indépendante avec, d'une part, le raisonnement logique par abduction (les premiers travaux formels de Peirce datant de la fin du XIXe siècle) ou encore les graphes causaux et, d'autre part, les méthodes récentes qui cherchent à identifier les caractéristiques ou les données les plus impliquées dans une décision (pour n'en citer que quelques-unes).

## APPLICATIONS DE L'IA EN ANALYSE ET INTERPRÉTATION D'IMAGES MÉDICALES

Les apports et bénéfices attendus de l'IA dans le domaine de l'imagerie médicale sont nombreux, et constituent des thèmes de recherche actuels et en pleine croissance. Ils vont de la reconstruction des images au moment de l'acquisition à leur analyse et interprétation, de l'aide au diagnostic, en aidant les experts médicaux dans les tâches de détection, localisation, segmentation, quantification d'organes et de pathologies, à l'imagerie interventionnelle, la planification chirurgicale et thérapeutique, et au suivi des patients, souvent en associant aux images d'autres informations (cliniques, etc.). Des résultats tels qu'un modèle numérique 3D d'un patient, où les organes, les pathologies, les vaisseaux sanguins, les nerfs sont identifiés, sont également un support pour la communication entre les médecins et les patients (et les parents dans le cas de la pédiatrie), ainsi que pour la formation des jeunes médecins.
<figure><img src="image_5.png" /></figure>

## BIAIS ET EXPLICABILITÉ

La question des biais est un sujet de recherche important en analyse d'images médicales. Dans le langage courant, un biais est souvent un moyen de contourner un obstacle ou une difficulté. Mais en matière d'IA, l'acceptation est un peu différente : un biais désigne un manque de neutralité de l'algorithme ou de son utilisation. Il peut fausser les résultats de l'algorithme. Une première difficulté réside dans la définition même du terme. On dit parfois que la neutralité, c'est donner une image la plus fidèle possible de la réalité. Il faut alors se demander ce que l'on veut représenter de cette réalité, et prendre conscience des éventuels biais de cette représentation dans le système ainsi que dans son utilisation (qui est rarement neutre...).

On distingue classiquement les biais statistiques et les biais cognitifs :

* les biais statistiques renvoient à des données insuffisamment représentatives des populations ou des faits concrènes, ou à des données comportant des erreurs ou des inexactitudes. Le développement de méthodes d'IA peut en effet être confronté à des données ne représentant qu'une population restreinte, ne prenant pas en compte certains paramètres, ou au contraire utilisant certaines variables de manière implicite. En traîner un algorithme sur des données limitées constitue un biais de sélection, qui rend l'algorithme difficilement utilisable sur d'autres données, par exemple venant d'un autre hôpital. Ce biais de sélection peut exister aussi sur les données de test, qui permettent d'évaluer les performances de l'algorithme, même si elles sont indépendantes des données d'apprentissage (ce qui est la bonne manière de faire) [4]. Dans les algorithmes d'apprentissage dits supervisés, les données d'apprentissage sont annotées. Par exemple, les médecins localisent une pathologie sur une image. Ces annotations peuvent aussi être biaisées et souvent coûteuses à obtenir. Enfin, un algorithme peut être biaisé s'il apprend des paramètres collatéraux qui ne sont pas pertinents pour la tâche à réaliser. Par exemple, l'âge ou le sexe ne sont pas forcément pertinents et peuvent nuire à la vie privée. Des méthodes sont actuellement développées pour identifier ces biais et pour les compenser ;

* les biais cognitifs (de cadrage, confirmation, complaisance) sont provoqués par une distorsion dans le traitement de l'information [5]. Ils sont parfois plus difficiles à identifier, le fait même de demander un examen d'imagerie, par exemple pour rechercher une tumeur, n'étant pas neutre. À cela s'ajoute le fait que l'image n'est pas la réalité, mais résulte déjà de mesures et de calculs. Cela confère peut-être un avantage aux radiologues, qui ont une longue expérience de l'utilisation d'informations fournies par des calculs et des algorithmes, en complément de l'interaction directe avec le patient.

La quantité massive de données ne peut résoudre seule toutes les questions liées aux biais. Des méthodes hybrides, combinant l'apprentissage statistique à un travail de modélisation des connaissances des experts des domaines, peuvent contribuer à compenser les inévitables biais.

La recherche d'explications, en particulier d'un résultat, bénéficie également d'approches hybrides, en confrontant un résultat à des connaissances, en identifiant les connaissances mobilisées pour aboutir à un résultat. En particulier, les

utilisateurs demandent des explications contrastives (pourquoi le résultat est-il A alors que B était attendu ? Pourquoi le résultat est-il A dans une situation et B dans une autre situation qui semble pourtant très similaire à la première ?), pertinentes, intelligibles, proposant des relations de causalité plutôt que de simples corrélations, et qui dépendent à la fois de ce qui est expliqué, de qui explique et de à qui les explications sont destinées [6]. Cela pose également la question de la forme que doivent prendre les explications (image, schéma, texte dans un langage à préciser, etc.). Avancer dans ce domaine est aussi un moyen d'accroître la confiance dans une méthode et de favoriser son adoption, toujours comme une aide pour l'expert médical.

Enfin, il serait intéressant d'étudier plus en profondeur dans quelle mesure l'IA hybride et explicable pourrait aider à répondre aux questions liées à l'éthique en imagerie médicale [7]. En effet, en cette matière, les problèmes sont complexes et les réponses partielles, laissant souvent les praticiens dépourvus face à des situations quotidiennes ne « rentrant pas toujours dans les cases ». Inversement, comme souligné dans l'avis 141 du Comité consultatif national d'éthique (CCNE), si l'IA peut apporter une aide (toujours sous le contrôle du praticien), il ne serait pas éthique de ne pas l'utiliser. Les conditions de développement d'un système ou d'un algorithme, les données qui ont été utilisées pour le faire, la validation sur des bases indépendantes, les conditions d'utilisation (type d'image, type de problème ou de question à résoudre, etc.), les biais et limites sont autant de paramètres qui doivent être clairement définis. La place de l'humain reste primordiale, de la conception des méthodes jusqu'à l'interprétation des résultats, dans une réflexion pluridisciplinaire.

## Contribution et responsabilité des auteurs

Isabelle Bloch : rédaction.

L'auteur atteste du respect des critères de l'International Committee of Medical Journal Editors (ICMJE) en ce qui concerne sa contribution à l'article.

## Déclaration de liens d'intérêts

L'auteur déclare ne pas avoir de liens d'intérêts.

## Points à retenir

* Modéliser des connaissances est important.

* La validation d'une méthode nécessite des données indépendantes.

* Les biais statistiques existent, il faut en être conscient, même s'ils ne sont pas toujours faciles à contrôler.

* Identifier le périmètre d'application d'un algorithme et les bonnes conditions de son utilisation est primordial.

* L'explication d'un algorithme doit être intelligible, contrastive, identifier des causes plus que des corrélations, et être adaptée au destinataire (ou l'utilisateur) et au contexte.

* Le rôle de l'expert humain est primordial, dans toute la chaîne, de la conception à l'utilisation.
<figure><img src="image_6.png" /></figure>

Financement

Cette étude n'a reçu aucun financement spécifique d'une agence publique, commerciale ou à but non lucratif.

RÉFÉRENCES

[1] Bloch I, Ralescu A. Fuzzy sets methods in image processing and understanding: medical imaging applications. New York: Springer Nature; 2023.

[2] Bloch I. Subsymbolic, hybrid and explainable AI. What can it change in medical imaging? In: Sudmann A, Echterhölter A, Ramsauer M, Retkowski F, Schröter J, Waibel A, editors. Beyond quantity, research with subsymbolic AI. London: Transcript Verlag; 2023;179–96.

[3] Bloch I. Hybrid artificial intelligence for knowledge representation and model based medical image understanding–towards explai-nability. In: Discrete geometry and mathematical morphology (DGMM). Proceedings of the second International Joint Confe-rence, DGMM, Strasbourg, France, October 24–27; 2022;17–25.

[4] Varoquaux G, Colliot O. Evaluating machine learning models and their diagnostic value. In: Colliot O, editor. Machine learning for brain disorders. New York: Springer Nature; 2023;601–30.

[5] Kahneman D. Thinking, fast and slow. New York: Penguin; 2012.

[6] Miller T. Explanation in artificial intelligence: insights from the social sciences. Artif Intell 2019;267:1–38.

[7] Israël-Jost V, Weil-Dubuc PL, Adamsbaum C, Groupe de travail – Atelier éthique Journées francophones de radiologie de printemps Nîmes 2021. L'éthique en radiologie : quand, comment ? Premiers éléments. J Imag Diagn Intervent 2021;4:227–92.