# L'impact attendu du règlement européen sur l'IA sur le secteur des dispositifs médicaux au Brésil

## The Expected Impact of European Regulation on Artificial Intelligence on the Medical Device Sector in Brazil

Timothy James¹

<figure><img src="image_1.png" /></figure>

https://orcid.org/0009-0006-8449-7625

¹ Université Paris Cité. Paris, France.

## RESUMÉ

L'adoption, en juin 2024, du règlement sur l'intelligence artificielle fait de l'Union européenne le premier marché à encadrer la mise en service et la commercialisation des systèmes d'intelligence artificielle. Conçu pour promouvoir une IA sûre et de confiance, ce règlement aura des répercussions sur les acteurs économiques souhaitant accéder au marché européen. Le secteur des dispositifs médicaux sera particulièrement touché, compte tenu du développement croissant des dispositifs médicaux intelligents intégrant des solutions d'IA. Cette étude vise à analyser l'impact du règlement européen sur l'intelligence artificielle au Brésil, en mettant en lumière ses interactions avec la réglementation des dispositifs médicaux qui impose déjà certaines exigences spécifiques à ces dispositifs.

**Mots clés** : Dispositif Médical ; Intelligence Artificielle ; Règlement sur l'Intelligence Artificielle ; Sécurité ; Union Européenne.

## ABSTRACT

The adoption of the European Regulation on Artificial Intelligence last June made the European Union the first market to regulate the implementation and commercialization of artificial intelligence systems. Designed to promote safe and reliable artificial intelligence systems, this regulation has repercussions for economic agents seeking to enter the European market. The medical device sector will be particularly affected by the growing development of smart medical devices that incorporate artificial intelligence solutions. This study aimed to analyze the impact of the European Regulation on Artificial Intelligence in Brazil, highlighting its interactions with the regulation on medical devices, which already imposes certain specific requirements on these devices.

**Keywords:** Medical Device; Artificial Intelligence; European Regulation on Artificial Intelligence; Security; European Union.

**Correspondence :**
Timothy James
timothy.james@outlook.fr

Reçu : 28/11/2024

Révision : 11/03/2025

Approuvé : 12/03/2025

**Conflit d'intérêts :**
L'auteur déclare n'avoir aucun conflit d'intérêt.

**Contribution de l'auteur :**
L'auteur est responsable de l'ensemble du développement de l'article.

**Copyright** : Cette licence vous permet de partager, copier et redistribuer le matériel sous tous support ou format; adapter — remixer, transformer et créer à partir du matériel pour toute utilisation, y compris commerciale.

<figure><img src="image_2.png" /></figure>
# I Le secteur de la santé au Brésil

Le marché des dispositifs médicaux au Brésil est le plus important d'Amérique latine (Le Brésil..., 2020). Cette prééminence s'explique non seulement par la taille de la population brésilienne, mais également par une demande de soins de santé en constante augmentation¹, alimentée par des facteurs démographiques et épidémiologiques, tels que le vieillissement de la population et la prévalence accrue de maladies chroniques. En 2020, le marché brésilien des dispositifs médicaux était évalué à environ 10,5 milliards de dollars américains, et les prévisions de croissance sont prometteuses, avec un taux annuel estimé entre 6 et 7 % jusqu'en 2028 (Le Brésil..., 2020). Bien que le Brésil bénéficie d'une industrie de la santé relativement développée, celle-ci se concentre principalement sur la production de dispositifs à faible ou moyenne intensité technologique. Les entreprises nationales privilégient la fabrication de produits plus accessibles, généralement dépourvus d'innovations technologiques majeures et se limitant à une fonction basique ou standardisée (compresses, pansements, instruments chirurgicaux, etc.). Cependant, cette orientation vers des équipements à technologie modérée rend le pays dépendant des importations pour des dispositifs plus complexes et spécialisés (équipements d'imagerie par résonance magnétique et de scintigraphie, les équipements de rayon X, de tomographie numérique et de radiographie, etc.), indispensables au secteur médical moderne. En conséquence, près de 80 % des dispositifs médicaux utilisés au Brésil sont importés, témoignant de l'insuffisance de la production locale pour couvrir la demande¹. Cette dépendance aux importations souligne la nécessité pour le Brésil de diversifier et d'intensifier ses capacités de production nationale afin de réduire sa vulnérabilité aux fluctuations du marché international et de répondre de manière autonome aux exigences de son système de santé en pleine transformation portée par la numérisation du « Sistema Único de Saúde» (SUS, selon l'acronyme consacré) (Aith; Falcão, 2022, p. 182). Pourtant, malgré ce déséquilibre dans la balance commerciale, les exportations de dispositifs médicaux du Brésil vers l'Europe ont connu un volume notable ces dernières années. Au premier semestre 2024, les exportations brésiliennes de dispositifs médicaux vers l'Europe ont représenté 22,31 % du total des exportations du secteur, soit environ 117,5 millions de dollars américains (Santos, 2024). Ce chiffre intègre une tendance globale d'augmentation des exportations brésiliennes, qui ont atteint environ 400 millions de dollars américains au premier semestre 2024, avec une hausse de 21 % par rapport à l'année précédente (ABIIS, 2024). Le projet Brazilian Health Devices soutenu par l'Association brésilienne de l'industrie des dispositifs médicaux joue un rôle central dans cette croissance, aidant les entreprises brésiliennes à étendre leurs exportations vers des marchés internationaux, y compris l'Europe. Le développement de l'intelligence artificielle (IA) pourrait-il être un moyen pour le Brésil de rattraper son retard ? Il est, en effet, à noter qu'à l'occasion du G20 qui se tenait en novembre 2024 sous la présidence brésilienne, la santé numérique a été annoncée comme l'une des priorités à l'ordre du jour de la réunion des ministres de la Santé prévue fin octobre de cette même année. À cet égard, le Brésil souhaite aboutir à la création d'une alliance pour l'innovation et la production régionale des produits de santé stratégiques.

# 1 Le développement économique de l'IA

Bien que les systèmes d'IA aient commencé à se développer dès la seconde moitié du XXe siècle, ce n'est véritablement qu'à partir de 2016 qu'ils ont capté l'attention des décideurs publics. Cette prise de conscience politique trouve un point de départ marquant dans l'interview de Barack Obama publiée par le magazine Wired en octobre 2016 (Wired, 2016). Au cours de cet entretien, l'IA est abordée par l'ancien président des États-Unis comme une priorité émergente pour l'avenir des États-Unis et des autres nations. Dans cette dynamique, le Canada se distingue en lançant la première
stratégie nationale dédiée à l'intelligence artificielle en mars 2017. Cet engagement
précurseur est rapidement suivi par l'élaboration de 62 plans économiques nationaux
similaires, avec un pic de publications en 2019 (Artificial..., 2023), marquant une
mobilisation internationale sans précédent autour de cette technologie. Initialement,
l'émergence des algorithmes et de l'IA sur les marchés est perçue essentiellement sous
l'angle économique, dans une perspective de domination technologique analogue
aux grandes révolutions que furent le machinisme, l'énergie atomique ou l'Internet''.
À cet égard, le ministère brésilien de la Science, Technologie et Innovation a élaboré
entre 2019 et 2020 une stratégie brésilienne sur l'IA — Estratégia Brasileira de
Inteligência Artificial (EBIA) — concrétisée sous la forme d'un rapport publié en 2021
(EBIA, 2021). Le plan d'investissement se concentre en particulier sur plusieurs secteurs
d'application spéciaux comme celui de l'agroalimentaire (Silveira et al., 2022), de la
gestion d'entreprise ((Medeiros, 2021) et, bien sûr, celui de la santé. Toutefois, malgré
cette politique favorable, selon le Global AI Index publié en 2024, avec un score de
12/100, le Brésil occupe actuellement la 30e position, tout en demeurant le 1er des
pays d'Amérique latine (The Global..., [s.d.]).

2 L'intégration de l'intelligence artificielle dans le secteur de la santé

Le marché de l'intelligence artificielle appliquée au secteur médical est promis à une
expansion significative au Brésil (Briot; Cabral; Cozman, 2024), suivant une tendance
mondiale de développement rapide de cette technologie dans le domaine de la
santé. Parmi ces innovations, la e-santé, la télémédecine, ainsi que les technologies
d'assistance à domicile se démarquent comme des secteurs à fort potentiel (Aith,
2024). Ces évolutions répondent à des défis de plus en plus pressants, tels que le
vieillissement de la population brésilienne, qui compte aujourd'hui environ 30 millions
de personnes âgées de plus de 60 ans, soit 14,35 % de la population totale. Cette
réalité démographique impose une refonte des modes de prise en charge, avec
l'objectif d'améliorer l'efficacité et l'accessibilité du système de santé. À l'échelle
mondiale, le marché de l'IA appliquée à la médecine est estimé à 11 milliards de
dollars américains en 2021 et devrait enregistrer un taux de croissance remarquable
pour atteindre 188 milliards de dollars américains en 2030 (OCDE, 2024). Cette
croissance reflète une adoption rapide des solutions d'IA dans le diagnostic, le
suivi des patients, et l'optimisation des processus cliniques, offrant des perspectives
pour les établissements de santé. Au Brésil, la demande accrue pour des outils de
diagnostic avancés et des dispositifs de surveillance médicale alimentés par l'IA
contribue activement à cette expansion. Ces technologies permettent non seulement
d'améliorer la gestion des patients, notamment en facilitant le suivi à distance et
l'aide à la prise de décision clinique, mais aussi d'optimiser les processus internes
dans les hôpitaux et cliniques (Le Goffic; Lequillerie, 2017; Gruson, 2018; Yim et al.,
2020; Herve et al., 2022; Mistretta, 2022; Sarazin, 2023; Petitprez, 2024). Ces
innovations revêtent ainsi un double caractère, à la fois celui de dispositif médical
et celui d'intelligence artificielle, résultant de leur positionnement à l'intersection de
ces deux domaines.

3 L'application de la réglementation européenne aux dispositifs médicaux intelligents brésiliens

Au titre de leur caractère de dispositif médical, ces dispositifs intelligents sont alors
classiquement soumis à la réglementation relative aux dispositifs médicaux. L'essor
des nouveaux logiciels médicaux, dont la prolifération s'intensifie, soulève des
préoccupations quant aux risques potentiels qu'ils peuvent poser pour la santé et la
sécurité des patients. Les dispositifs médicaux intelligents venant du Brésil et mis sur le
marché européen se trouvent en conséquence soumis aux exigences réglementaires européennes applicables aux dispositifs médicaux (UE, 2017b). Les logiciels sont à cet égard explicitement visés dès lors qu'ils sont destinés

par le fabricant à être utilisé, seul ou en à être utilisé, seul ou en association, chez l'homme pour l'une ou plusieurs des fins médicales précises suivantes : diagnostic, prévention, contrôle, prédiction, pronostic, traitement ou atténuation d'une maladie [...] ou d'une maladie [...] et dont l'action principale voulue dans ou sur le corps humain n'est pas obtenue par des moyens pharmacologiques ou immunologiques ni par métabolisme, mais dont la fonction peut être assistée par de tels moyens (UE, 2017b, art. 2,1).

Il en résulte que les logiciels d'aide à la décision rentrent dans le champ de qualification des dispositifs médicaux. En revanche, tous les systèmes d'IA pouvant intervenir dans le secteur de la santé ne relèvent pas nécessairement de la qualification des dispositifs médicaux. Tel est notamment le cas lorsqu'un logiciel ne délivre pas une information ou une recommandation pour un patient spécifique (UE, 2017a). Cela paraît être le cas pour « un dispositif dont les fonctionnalités sont limitées à la compression, au stockage et la transmission de données nécessaires à un diagnostic sans qu'il n'effectue aucune action sur ces données, ni ne participe de manière active au diagnostic » (France, 2020). Ce point n'est cependant pas de nature à réellement soulever des difficultés dès lors que le Brésil a pris le parti de s'aligner sur les dispositions européennes de sorte que les champs d'application des deux textes se recoupent.

## 4 La mise en place d'une nouvelle réglementation relative aux dispositifs médicaux au Brésil alignée sur l'Union européenne

À l'instar de l'Union européenne qui dispose d'une réglementation en matière de dispositifs médicaux, le Brésil impose également des contrôles sur ces dispositifs, définis par la législation comme

tout instrument, appareil, équipement, implant, dispositif de diagnostic in vitro, logiciel, matériel ou autre article destiné par le fabricant à être utilisé, seul ou en association, chez l'homme, pour l'une des finalités médicales suivantes, sans que son action principale ne repose sur des moyens pharmacologiques, immunologiques ou métaboliques dans l'organisme humain, bien qu'elle puisse être assistée par ces moyens (Anvisa, 2022, Seção III, X ; notre traduction).

Parmi les finalités médicales spécifiques retenues, on retrouve : (i) le diagnostic, la prévention, la surveillance ou le traitement d'une maladie ; (ii) le diagnostic, la surveillance, le traitement ou la compensation d'une blessure ou d'un handicap ; (iii) l'investigation, le remplacement ou la modification de l'anatomie, d'un processus ou d'un état physiologique ou pathologique ; (iv) le soutien ou le maintien de la vie ; (v) l'assistance à la conception ; (vi) la fourniture d'informations par l'examen in vitro d'échantillons corporels, y compris les dons d'organes et de tissus. Avec l'entrée en vigueur de la résolution RDC 751/2022 (Anvisa, 2022), le Brésil a introduit d'importantes révisions au texte du RDC 185/2001 (Anvisa, 2021), qui régit les conditions d'accès au marché et les exigences d'enregistrement des dispositifs médicaux. Ces modifications, effectives depuis le 1er mars 2023, harmonisent la réglementation brésilienne sur les normes internationales, en particulier celles établies par le Mercosur et l'Union européenne. En effet, la nouvelle résolution s'inspire de la résolution n° 25/2021 du Mercosur GMC (Mercosul, 2021), laquelle, à la demande du Brésil, actualise les exigences en matière de documentation et les règles de classification des dispositifs médicaux applicables à la région du marché unique. Ce nouveau cadre réglementaire permet
au Brésil de répondre aux standards internationaux, tant au niveau du Mercosur par l'internalisation de la résolution GMC n° 25/2021, qu'au niveau européen en adoptant des règles de classification des risques similaires à celles en vigueur dans l'Union européenne. La révision de la réglementation brésilienne constitue également une avancée significative dans la prise en compte des technologies émergentes, telles que les logiciels médicaux, témoignant d'une volonté de développer des normes adaptées à ces nouveaux outils. En introduisant des règles de classification spécifiques pour ces technologies, le législateur brésilien entend répondre aux risques accrus que ces dispositifs numériques peuvent présenter pour la santé des patients, en leur conférant une sécurité juridique et une régulation proportionnée à leur impact potentiel sur la pratique médicale.

## 5 L'incertaine régulation de l'IA au Brésil

Toutefois, à l'image des insuffisances avancées sur l'application de la réglementation européenne des dispositifs médicaux sur les dispositifs intelligents (Meunier, 2023; Berger, 2022; Vorkaufer [s,d,]), l'absence d'une prise en compte des spécificités de l'IA et notamment de son usage a conduit le Brésil à s'aventurer sur la voie de la réglementation des systèmes d'IA. Le dépôt du projet de loi 2338/2023 sur l'utilisation de l'intelligence artificielle le 5 avril 2023 par le président du Congrès national, le sénateur Rodrigo Pacheco, fait l'objet d'un examen au Sénat fédéral (Brésil, 2023). Ce projet n'est pas étranger, dans sa substance et dans sa forme, au texte adopté par l'Union européenne sur l'intelligence artificielle.

## II Le développement d'une régulation de l'IA par l'Union européenne

Consciente des risques inhérents à la conception et à l'utilisation des systèmes d'IA, l'Union européenne a entrepris de mettre en place une réglementation spécifique pour encadrer ces technologies. Le 21 avril 2021, la Commission européenne a ainsi présenté un projet de règlement visant à établir des règles harmonisées concernant l'intelligence artificielle (UE, 2024c). Cette **réglementation** (Grynbaum; Le Goffic; Pailler, 2023), couramment désignée sous le nom d'AI Act ou règlement sur l'Intelligence artificielle (RIA), a été adoptée le 21 mai 2024 par le Conseil de l'Union, après un vote favorable du Parlement européen le 13 mars 2024, et est entrée en vigueur le 1er août 2024 (UE, 2024c, art. 113). Le Règlement sur l'IA constitue une réglementation ex ante, fondée sur une approche par les risques<sup>IV</sup>. Cette approche ex ante, qui consiste à poser une règle avant que les comportements visés ne se produisent (Frison-Roche, 2006), vise à limiter en amont la survenance de dommages. Le cadre proposé s'efforce ainsi de classifier les applications d'IA selon leur niveau de risque potentiel, permettant une régulation proportionnée. Il ne s'agit donc pas de réglementer l'IA en tant qu'activité générale, contrairement à ce que le titre du règlement pourrait laisser entendre, mais plutôt d'encadrer son application à travers ses manifestations concrètes, à savoir les systèmes d'IA. Cette dénomination est toutefois imparfaite, illustrant une tendance récurrente du législateur à confondre les usages d'une technologie avec la technologie elle-même, en l'occurrence l'intelligence artificielle.

## 1 La délimitation du champ des dispositifs médicaux intelligents

L'article 3, paragraphe 1, du règlement définit un système d'IA comme

un système automatisé qui est conçu pour fonctionner à différents niveaux d'autonomie et peut faire preuve d'une capacité d'adaptation
après son déploiement, et qui, pour des objectifs explicites ou implicites,
déduit, à partir des entrées qu'il reçoit, la manière de générer des
sorties telles que des prédictions, du contenu, des recommandations
ou des décisions qui peuvent influencer les environnements physiques
ou virtuels (UE, 2024c).

Cette définition repose sur une approche générale, sans référence spécifique aux critères techniques, communément adoptée dans les autres initiatives internationalesV. La superposition de cette définition avec celle des dispositifs médicaux permet dès lors de déterminer ce qu'il faut entendre lorsqu'est évoquée la dénomination de dispositif médical intelligent. Il convient d'estimer à ce propos qu'un dispositif médical intelligent désigne tout système conçu pour traiter des données de manière autonome et adaptive, afin de produire des recommandations, prédictions ou décisions spécifiques à un patient, contribuant ainsi à une finalité médicale déterminée. Ce faisant, les systèmes d'IA relevant de cette définition se trouvent soumis tout à la fois à la réglementation des dispositifs médicaux et à celle sur l'intelligence artificielle. A contrario, tous les dispositifs médicaux intégrant un logiciel ne sont pas nécessairement des systèmes d'IA. Par exemple, les logiciels d'aide à la décision reposant sur une programmation de type « if, then », fondée sur des règles prédéfinies, ne sont pas soumis aux exigences du règlement sur l'intelligence artificielle (UE, 2024c, § 12). De même, tous les systèmes d'IA ne seront pas nécessairement considérés comme des dispositifs médicaux. Par exemple, l'utilisation de ChatGPT par des professionnels de santé n'implique pas que son fournisseur ait revendiqué une finalité médicale. En pratique, de nombreux systèmes d'IA pourront être développés et utilisés par des professionnels de santé sans pour autant être qualifiés de dispositifs médicaux intelligents. Cela ne signifie pas qu'ils échappent à toute réglementation. En tant que systèmes d'IA, ils relèvent, a minima, de la réglementation applicable à l'intelligence artificielle.

## 2 L'instauration d'un mécanisme de compliance pour les systèmes d'IA

La réglementation sur l'IA repose sur une classification des systèmes d'IA en différentes catégories de risque, permettant une distinction entre les systèmes à haut risque et ceux présentant un risque faible ou modéré. Ce mode de classification vise à graduer les obligations réglementaires en fonction du risque. La logique ex ante repose sur « une logique de formulaire » (Frison-Roche, 2006, p. 44), offrant à la fois une contrainte et une sécurité en garantissant que les systèmes d'IA soient créés et validés dès leur conception initiale, sans pour autant freiner les initiatives de recherche et de commercialisation. À cet égard,

les obligations de conformité sont les principaux outils juridiques destinés à prévenir la survenance des risques. Elles consistent à imposer à des organisations des obligations de se mettre en conformité avec un certain nombre d'obligations légales ou réglementaires, comme des obligations de cartographie des risques ou des obligations d'information (Latil, 2024, p. 115).

La mise en place d'une telle réglementation suppose néanmoins que le législateur accepte une restriction d'accès au marché pour les systèmes d'IA qui ne respecteraient pas les prescriptions en vigueur. En effet, s'il est admis que les consommateurs ne doivent pas subir les incertitudes scientifiques ni être confrontés à un rapport de force inégal, une régulation ex ante s'impose comme une réponse appropriée. Cette approche novatrice définit des exigences obligatoires et communes, assorties de garanties techniques et juridiques. Ces garanties sont qualifiées de techniques dans la mesure où elles sont intimement liées aux spécificités de chaque système ou dispositif,
nécessitant parfois une résolution de problèmes dépassant le cadre du raisonnement
juridique strict (Latil, 2024).

3 La recherche d'un Brussels Effect

L'efficacité d'une telle réglementation repose fondamentalement sur l'étendue de son champ d'application. En effet, le caractère extraterritorial des systèmes d'IA, découlant notamment de l'implantation de fournisseurs hors des frontières de l'Union européenne ou de la mise en service de ces systèmes dans des pays tiers, ne doit pas permettre de contourner la réglementation de l'Union, au risque de compromettre la sécurité des citoyens européens. Ainsi, cette réglementation s'applique également à tous les systèmes commercialisés ou activés au sein du marché intérieur européen, ainsi qu'à ceux dont les résultats sont exploités dans l'Union, assurant ainsi que la législation sur l'IA s'impose également aux opérateurs économiques établis dans des pays tiers (UE, 2024c, art. 2). Cette extension unilatérale du champ d'application de la directive européenne répond à la difficulté persistante du droit international à encadrer les effets des nouvelles technologies de communication (El Hage, 2020). Cette approche n'est d'ailleurs pas sans précédent : l'extraterritorialité s'impose déjà dans le domaine de la protection des données personnelles, permettant non seulement de soumettre les responsables de traitement établis dans l'Union aux normes européennes, mais également d'inclure toute entité externe intervenant au sein du territoire européen (Ndior, 2020). Il est, en effet, crucial de ne pas permettre aux fournisseurs étrangers de se soustraire aux normes européennes en s'implantant hors des frontières de l'Union. La nature immatérielle des systèmes d'IA est également prise en compte par le recours aux notions de « mise en service » et d'« utilisation des résultats » au sein de l'Union. En écartant un rattachement personnel fondé sur la nationalité du fournisseur ou un rattachement purement matériel lié à la mise en circulation du système d'IA, la Commission européenne adopte une approche centralisatrice, soumettant à la législation tous les systèmes d'IA dont l'activité s'est fait ressentir au sein de l'Union (El Hage, 2020). Par cette organisation extraterritoriale, le législateur européen impose l'application de sa norme à toute personne souhaitant introduire au sein du marché unique un système d'IA ou diffuser les résultats produits par de tels systèmes développés hors de l'Union. Ce dispositif permet à l'Union européenne de se positionner en modèle législatif mondial. En ouvrant son marché aux systèmes d'IA conformes à des garanties spécifiques, la Commission européenne souhaite un effet incitatif, encourageant les opérateurs économiques à adopter le modèle européen pour rationaliser les coûts, y compris dans le développement de systèmes destinés à d'autres marchés que celui de l'Union (Gery; Noël, 2023). À travers cette stratégie, les institutions européennes ambitionnent une norme de référence pour les systèmes juridiques tiers, alors incités à reproduire ce modèle (Ndior, 2020, p. 305). Ce cadre législatif, empreint de valeurs humanistes et éthiques, pourrait par ailleurs devenir un argument commercial, valorisé par les entreprises désireuses de promouvoir un modèle vertueux auquel les consommateurs sont de plus en plus sensibles. L'adoption de ce cadre par des États tiers serait ainsi susceptible d'attirer les entreprises internationales vers leurs marchés, en raison de la confiance accrue dans les standards de protection (Bradford, 2020)VI.

Le secteur des dispositifs médicaux au Brésil ne sera donc pas exempt de l'influence
de cette réglementation européenne sur l'IA. L'étude que nous nous proposons
de mener s'intéresse ainsi à l'impact de cette réglementation sur les opérateurs
économiques brésiliens du secteur des dispositifs médicaux. L'incidence de cette
réglementation sur l'IA dans le secteur des dispositifs médicaux au Brésil (III) engendre
en effet des conséquences directes, soumettant les acteurs locaux aux exigences
européennes (IV).
### III L'existence d'une influence du règlement sur l'IA sur le secteur des dispositifs médicaux au Brésil

#### 1 La détermination d'un champ d'application large

Conformément à l'article 2 du règlement, les dispositions en matière de réglementation de l'IA s'appliquent non seulement aux fournisseurs établis dans un pays tiers qui introduisent ou mettent en service des systèmes d'IA sur le marché européen, mais également aux fournisseurs et aux utilisateurs finaux situés en dehors de l'Union lorsque les résultats produits par le système d'IA sont exploités au sein de l'Union (UE, 2024c). Par ailleurs, ce règlement vise également les fabricants de produits qui commercialisent ou mettent en service un système d'IA simultanément avec leur produit, sous leur propre nom ou leur marque. La mention du fabricant est à distinguer du fournisseur en ce que le fabricant est la dénomination usuellement retenue dans les législations européennes d'harmonisation sectorielles telles que la réglementation sur les dispositifs médicaux. La qualification de fabricant au titre des législations d'harmonisation retient également ce critère tenant au fait d'apposer son nom ou sa marque, si le fournisseur est entendu comme

> une personne physique ou morale, une autorité publique, une agence ou tout autre organisme qui développe ou fait développer un système d'IA ou un modèle d'IA à usage général et le met sur le marché ou met le système d'IA en service sous son propre nom ou sa propre marque, à titre onéreux ou gratuit (UE, 2017b, art. 2, 30)

Plus encore, même si le système d'IA n'est pas le dispositif médical en tant que tel, mais un composant de sécurité, le fabricant du dispositif est néanmoins considéré comme étant le fournisseur du système d'IA dans deux hypothèses ; soit le système d'IA a été mis sur le marché sous le nom ou la marque du fabricant du dispositif médical, soit le système d'IA a été mis en service sous le nom ou la marque du fabricant du produit après que celui-ci a été mis sur le marché (UE, 2024c, art. 25, § 3). Sur ce point, le règlement relatif à l'IA ne se distingue pas particulièrement de la réglementation existante en matière de dispositifs médicaux de sorte que tout fabricant d'un système d'IA qui serait également un dispositif médical relèverait aussi bien du règlement UE 2017/745 relatif aux dispositifs médicaux (UE, 2017b) que du règlement UE 2024/1689 sur l'intelligence artificielle (UE, 2024c). Enfin, les dispositions du règlement s'étendent aux importateurs et aux mandataires officiellement désignés au sein de l'Union. Ce champ d'application élargi témoigne de la volonté d'appréhender diverses situations, qu'il s'agisse du cas où un fabricant de dispositifs médicaux intelligents importe un tel dispositif sur le territoire européen, ou de celui où le fabricant héberge un système d'IA sur une infrastructure de cloud située dans un pays tiers, mais accessible aux utilisateurs finaux au sein de l'Union.

#### 2 Les contraintes résultant de l'extraterritorialité du fournisseur du système d'IA

Néanmoins, une fois que l'on a identifié les opérateurs économiques tenus de la mise en œuvre de la réglementation, il importe d'en assurer la bonne application. Or, le caractère extraterritorial des systèmes d'IA peut rendre difficile ce contrôle. Pour ce faire, le règlement impose, d'une part, une obligation de vigilance à tous les acteurs de la chaîne économique en vue de s'assurer la bonne conformité du système d'IA avec la législation européenne. Il impose notamment au fournisseur d'un système d'IA établi en dehors de l'Union européenne de désigner un mandataire chargé de le représenter auprès des autorités européennes (UE, 2024c, art. 22). À cet égard, lorsque le fournisseur du système d'IA est également le fabricant du dispositif médical intelligent,
la désignation d'un mandataire se fait conformément à l'article 11 du règlement sur les dispositifs médicaux, mais demeure compétent au titre de la législation sur l'IA. Le règlement impose, d'autre part, l'organisation d'une surveillance post-commercialisation par les autorités publiques.

## 2.1 L'obligation de vigilance imposée aux acteurs de la chaîne de valeur

L'incapacité à prononcer des sanctions à l'encontre des fournisseurs étrangers a conduit le législateur européen à désigner, lorsque le système d'IA provient d'un État tiers, l'importateur, le distributeur et le déployeur comme débiteurs d'une obligation de s'assurer que le système est et demeure en conformité avec la législation européenne tout au long de sa vie<sup>VI</sup>.

### 2.1.1 Le rôle de vigilance de l'importateur

L'importateur d'un système d'IA est chargé de s'assurer que le produit, avant son entrée sur le marché, respecte les exigences réglementaires en vigueur (UE, 2024c, art. 23). Ce contrôle, de nature essentiellement formelle, implique pour l'importateur de vérifier plusieurs éléments. Premièrement, il doit s'assurer que le fournisseur du système d'IA a bien suivi la procédure d'évaluation de la conformité conformément aux dispositions de l'article 43. Deuxièmement, il doit vérifier la production de la documentation technique requise à l'article 11. Troisièmement, il doit s'assurer que le système d'IA porte le marquage CE de conformité et qu'il est accompagné de la déclaration de conformité UE ainsi que des instructions d'utilisation nécessaires. Quatrièmement, l'importateur doit vérifier que le fournisseur a désigné un mandataire. Si l'importateur dispose de raisons de croire qu'un système d'IA n'est pas conforme, qu'il a été falsifié ou qu'il est accompagné de documents falsifiés, il ne peut mettre le système sur le marché tant que celui-ci n'a pas été mis en conformité. Dans le cas où cette non-conformité présente un risque anormal pour la santé, la sécurité des personnes ou leurs droits fondamentaux, l'importateur doit en informer le fournisseur du système, le mandataire ainsi que les autorités de surveillance du marché compétentes (UE, 2024c).

### 2.1.2 Le rôle de vigilance du distributeur

De même, les distributeurs jouent un rôle dans la vérification de la conformité des systèmes d'IA (UE, 2024c, art. 24). Ils sont tenus d'assurer que chaque système portant le marquage CE de conformité est accompagné de la déclaration UE de conformité et des instructions d'utilisation. Ils doivent également veiller à ce que les obligations du fournisseur et de l'importateur soient respectées du point de vue du règlement. Tout comme l'importateur, lorsque le distributeur a des raisons de croire que le système d'IA qu'il a mise sur le marché ne satisfait pas aux exigences réglementaires, celui-ci doit alors procéder à son retrait ou son rappel. Lorsque cette non-conformité présente un risque anormalement élevé, le distributeur doit en outre en informer le fournisseur, l'importateur ainsi que les autorités de surveillance. Enfin, à l'instar de l'importateur, lorsqu'un risque anormal pour la santé, la sécurité ou les droits fondamentaux se manifeste, le distributeur en informe l'importateur, le fournisseur, son mandataire et les autorités de surveillance.

### 2.1.3 Le rôle de vigilance du déployeur

Le règlement définit le déployeur comme toute personne physique ou morale utilisant un système d'IA sous son autorité, à l'exception des cas où cette utilisation s'inscrit dans
une activité personnelle et non professionnelle (UE, 2024c, art. 3, § 4). Le déployeur se distingue ainsi de l'utilisateur privé, pour qui l'usage du système d'IA est limité à des fins personnelles. Sont donc considérés comme déployeurs les professionnels utilisant un système d'IA dans le cadre de leurs activités professionnelles. Les déployeurs sont responsables de la surveillance du fonctionnement du système d'IA en se fondant sur les instructions fournies dans la notice d'utilisation. Le cas échéant, ils informent les fournisseurs des informations recueillies, conformément au système de surveillance post-commercialisation mis en place (UE, 2024c, art. 72). Si le déployeur a des motifs de croire que l'utilisation du système d'IA à haut risque, même en respectant les instructions, pourrait engendrer un risque anormalement élevé pour la santé, la sécurité ou les droits fondamentaux des personnes, il doit en informer sans retard injustifié le fournisseur ou le distributeur, ainsi que l'autorité de surveillance du marché compétente, et suspendre l'utilisation de ce système. Dans le cas où le déployeur ne parvient pas à joindre le fournisseur, il peut procéder à un signalement conformément aux modalités définies à l'article 73 du règlement (UE, 2024c).

### 2.1.4 Le rôle de représentation du mandataire

Chaque acteur économique contribue ainsi à la surveillance de la conformité des systèmes d'IA. Toutefois, à défaut de pouvoir atteindre le fournisseur établi à l'étranger, et dans le souci de disposer d'un point de contact au sein de l'Union européenne, le fournisseur établi dans un pays tiers qui met son système d'IA à disposition dans l'Union doit nommer, par mandat écrit, un mandataire établi dans l'Union. Ce mandataire a vocation à jouer un rôle central dans le contrôle des exigences réglementaires en facilitant la coopération avec les autorités compétentes. Parmi ses responsabilités, le mandataire doit vérifier que la déclaration UE de conformité et la documentation technique sont dûment établies (UE, 2024c, art. 49). Le cas échéant, il doit également s'enregistrer dans la base de données de l'Union européenne. Par ailleurs, il est chargé de conserver ces documents ainsi que, le cas échéant, les certificats délivrés par les organismes notifiés, pour une période de dix ans suivant la mise sur le marché ou la mise en service du système d'IA (UE, 2024c, art. 22). En outre, le mandataire est tenu de fournir aux autorités compétentes toutes les informations nécessaires pour démontrer la conformité du système d'IA et de coopérer avec elles dans toute action visant à réduire les risques associés au système.

## 3 L'effectivité du respect du règlement assuré par les autorités de surveillance nationales

Bien que le règlement impose une vigilance accrue aux différents acteurs de la chaîne de valeur des systèmes d'IA, chacun pouvant engager sa responsabilité personnelle en cas de manquement, la surveillance de ces systèmes demeure placée sous l'autorité des organismes nationaux de surveillanceVIII. En effet, le règlement sur l'IA oblige chaque État membre à désigner une autorité de surveillance (UE, 2024c, art. 70, § 1), cette désignation devant intervenir au plus tard le 2 novembre 2024IX. Une problématique réside dans l'articulation entre le règlement sur l'IA et le règlement sur les dispositifs médicaux. À cet égard, le règlement sur l'IA établit les relations entre les autorités nationales de contrôle. Selon l'article 74, lorsqu'un système d'IA relève également d'une législation sectorielle, « l'autorité de surveillance du marché aux fins du présent règlement est l'autorité responsable des activités de surveillance du marché désignée en vertu de ces actes juridiques». En d'autres termes, les autorités de surveillance désignées dans le cadre d'une législation sectorielle sont, en principe, responsables de la surveillance des systèmes d'IA relevant de ce secteur, conformément aux dispositions du règlement sur l'IA, en remplacement de l'autorité initialement compétente pour ce règlement. Cependant, le texte permet également aux États de « désigner une autre
autorité compétente pour faire office d'autorité de surveillance du marché, à condition d'assurer la coordination avec les autorités sectorielles de surveillances du marché» (UE, 2024c, art. 74, § 3, al. 2). Sans préjudice des dispositions de l'article 14 du règlement sur la surveillance du marché et la conformité des produits du 20 juin 2019 (UE, 2019), ainsi que des pouvoirs conférés par le règlement relatif aux dispositifs médicaux, le règlement sur l'IA autorise les autorités à engager des enquêtes de leur propre initiative (UE, 2019, art. 14) et à prendre toutes les mesures nécessaires lorsqu'un produit est susceptible de compromettre la sécurité ou la santé (UE, 2019, art. 14). Cette démarche s'applique notamment lorsque l'autorité de surveillance d'un État membre a des raisons de penser qu'un système d'IA représente un risque d'ampleur nationale (UE, 2024c, art. 79). Elle procède alors à une évaluation approfondie de la conformité du système avec les exigences réglementaires, en accordant une attention particulière aux systèmes susceptibles de mettre en danger des groupes vulnérables. Dans le cadre de leurs missions, les autorités de surveillance bénéficient d'un accès complet à la documentation, ainsi qu'aux ensembles de données d'entraînement, de validation et de test utilisés pour développer les dispositifs médicaux intelligents, lorsque cela s'avère approprié et nécessaire à l'exécution de leurs fonctions (UE, 2024c, art. 74, § 12). De plus, les autorités de surveillance peuvent, sur demande justifiée, obtenir l'accès à son code source si la documentation fournie se révèle insuffisante pour vérifier la conformité (UE, 2024c, art. 74, § 13). Lorsqu'une autorité de surveillance identifie des cas de non-conformité, telles qu'une application incorrecte ou l'absence du marquage CE, une déclaration de conformité UE inexistante ou inexacte, un défaut d'enregistrement dans la base de données de l'UE, l'absence de représentant autorisé ou l'indisponibilité de la documentation technique, elle ordonne au fournisseur de rectifier ces irrégularités dans un délai imparti (UE, 2024c, art. 83). Si la non-conformité persiste, l'autorité de surveillance est habilitée à prendre des mesures appropriées et proportionnées, pouvant inclure la restriction ou l'interdiction de mise sur le marché du système d'IA, voire son rappel ou son retrait immédiat. Par ailleurs, l'autorité de surveillance est tenue de recevoir les plaintes de toute personne, estimant qu'une violation du règlement sur l'IA a eu lieu (UE, 2024c, art. 85). Les infractions aux dispositions spécifiques du règlement sur l'IA peuvent, en outre, entraîner l'imposition de sanctions pécuniaires (UE, 2024c, art. 99 et s.).

L'instauration de ce double contrôle confié, d'une part, aux acteurs économiques et, d'autre part, aux autorités de surveillance devrait donc conduire à rendre pleinement efficace l'application des dispositions du règlement. En effet, l'assurance de la bonne application des dispositions du règlement est primordiale car celles-ci ont vocation à garantir la sécurité des systèmes d'IA. À ce titre, il convient dès lors de préciser la teneur des obligations imposées aux fabricants brésiliens de dispositifs médicaux.

# IV Les conséquences de l'influence du règlement sur l'IA sur le secteur des dispositifs médicaux au Brésil

## 1 La variabilité des exigences déterminées par la classe du risque

Tous les systèmes d'IA ne sont pas soumis aux mêmes exigences dans le cadre du règlement sur l'IA. Certains systèmes d'IA sont régis par des règles strictes, d'autres bénéficient d'une régulation plus souple. Cette différenciation résulte directement de l'approche fondée sur les risques, adaptant les obligations au degré de risque présenté par chaque système d'IA. Cette approche a rapidement fait consensus. Dès la publication de son Livre blanc (UE, 2020), la Commission européenne exprimait sa volonté de réglementer les systèmes d'IA en fonction des risques qu'ils représentent pour la société.
Cette perspective avait également été recommandée par le groupe d'experts de haut niveau sur l'IA dans leurs Lignes directrices en matière d'éthique (Groupe..., 2019).

Ce choix, en apparence évident, s'inscrit dans la logique croissante des réglementations ex ante, largement orientées vers la gouvernance des risquesX. L'article 3, paragraphe 2, du règlement définit le risque comme « la combinaison de la probabilité d'un préjudice et de la sévérité de celui-ci » (UE, 2024c). Autrement dit, le niveau de risque est évalué en fonction de la probabilité de survenue d'un incident et de la gravité de ses conséquences.

Le risque justifiant la réglementation de l'IA est multiple et varié. Dès le premier paragraphe des motifs du règlement, il est précisé que celui-ci a pour but

de promouvoir l'adoption de l'intelligence artificielle (IA) axée sur le facteur humain et digne de confiance tout en garantissant un niveau élevé de protection de la santé, de la sécurité et des droits fondamentaux consacrés dans la charte des droits fondamentaux de l'Union européenne (ci-après la « charte »), y compris la démocratie, l'État de droit et la protection de l'environnement, contre les effets néfastes des systèmes d'IA dans l'Union (UE, 2024c, § 1).

Le développement et l'utilisation des systèmes d'IA peuvent entraîner des atteintes non seulement corporelles et matérielles, mais également aux droits et libertés des individus. La proposition de règlement vise ainsi à limiter ces effets.

Alors que les premières réglementations sectorielles européennes ciblaient essentiellement la sécurité des consommateursXI, les récentes initiatives témoignent d'une volonté de dépasser ce cadre purement sécuritaire, centré sur la prévention des dommages aux personnes et aux biens, pour instaurer un contrôle plus large des activités, dans le respect des droits et libertés fondamentaux, tels que protégés par la Charte des droits fondamentaux de l'Union européenne.

Contrairement à ce que l'on pourrait penser, le règlement sur l'IA ne se focalise pas sur la technologie de l'IA elle-même, mais plutôt sur ses usages. Le risque, tel que défini par le règlement, n'est donc pas directement lié aux caractéristiques techniques, mais aux applications spécifiques de l'IA. Autrement dit, l'évaluation tient compte du contexte sociotechnique, englobant l'usage prévu du système d'IA, la manière dont il est utilisé et le but recherché. Cette approche permet de cibler les risques associés à certaines applications, tout en laissant de la flexibilité pour s'adapter aux évolutions technologiques. Cependant, elle soulève aussi des questions quant à l'efficacité de cette régulation, dans la mesure où la nature technique des systèmes d'IA est mise au second plan. En privilégiant une régulation centrée sur les usages plutôt que sur la technologie elle-même, le règlement choisit de ne considérer les aspects techniques du fonctionnement interne des systèmes d'IA qu'une fois leur catégorie de risque déterminée, au stade de l'application des exigences. Ainsi, le règlement s'articule autour de quatre niveaux de risque pour les systèmes d'IA : les usages interdits (art. 5), les systèmes à haut risque (art. 6 et s.), les usages spécifiques soumis à des obligations particulières de transparence (art. 50) et, enfin, les systèmes d'IA à faible risque (UE, 2024c).

## 1.1 La classification des dispositifs médicaux intelligents

Qu'en est-il des dispositifs médicaux intelligents ? À quelle catégorie de risque appartiennent-ils ? Pour répondre à cette question, il est nécessaire d'examiner le périmètre de chacun des niveaux de risque définis par le règlement. Il convient toutefois de noter que la catégorie des systèmes d'IA à faible risque est définie par défaut, à l'exclusion des systèmes s'intégrant dans les autres catégories. En d'autres termes, seuls les systèmes
qui ne relèvent pas de ces trois catégories se retrouvent classés comme à faible risque et ne sont soumis à aucune exigence impérative. Il est alors possible d'admettre que certains dispositifs médicaux relèvent de cette catégorie.

En ce qui concerne ces systèmes d'IA à faible risque, l'article 95 du règlement encourage la mise en place de codes de conduite, bien que ceux-ci ne soient pas obligatoires (UE, 2024c). Ces codes ont pour objectif de promouvoir une adoption volontaire de bonnes pratiques, en traduisant des principes éthiques en objectifs concrets et en indicateurs de performance. Parmi les principes encouragés figurent la minimisation de l'impact environnemental des systèmes d'IA, la promotion du contrôle humain sur les technologies d'IA, ainsi que la conception inclusive et diversifiée de ces systèmes. Ils visent également à prévenir les effets négatifs que ces systèmes pourraient exercer sur les groupes vulnérables. Bien qu'il incombe au Bureau de l'IA (UE, 2024a), service placé auprès de la Commission chargé de la mise en œuvre du règlement, et aux États membres de promouvoir ces initiatives, les opérateurs économiques ne sont pas tenus d'y adhérer.

L'article 5 du règlement énumère ensuite les usages interdits de l'IA, couvrant des situations particulièrement contraires aux principes fondamentaux de nos sociétés démocratiques. Ces cas, d'ailleurs énumérés de manière exhaustive (notation sociale, reconnaissance faciale basée sur la collecte de données d'internet ou de vidéosurveillance, catégorisation biométrique des individus pour établir des déductions discriminantes, entre autres), doivent être interprétés de façon stricte. Les dispositifs médicaux intelligents ne font pas partie de cette catégorie d'usages prohibés.

La qualification des systèmes d'IA à haut risque constitue la catégorie centrale du règlement. L'article 6 du règlement établit les règles de classification des systèmes d'IA comme étant à haut risque, et cette qualification peut être obtenue de deux manières distinctes (UE, 2024c). Toutefois, seul le premier cas nous intéresse ici.

## 1.2 La définition des systèmes d'IA à haut risque

Un système d'IA est qualifié de «haut risque» lorsqu'il est soit un composant de sécurité d'un produit, soit un produit à part entière couvert par une législation européenne sectorielle figurant à l'annexe I du règlement. En vertu de cette législation, le produit doit être soumis à une évaluation de conformité par un organisme tiers avant sa mise sur le marché ou sa mise en service. Ce critère de classification repose sur la possibilité d'une atteinte significative à la sécurité des personnes ou des biens. En effet, les législations sectorielles répertoriées à l'annexe I de l'article 6 régissent des produits ou activités présentant un risque élevé de préjudice pour les personnes ou les biens en cas de défaillance. Parmi ces législations, on retrouve notamment celles concernant les dispositifs médicaux (UE, 2024b).

Lorsqu'un système d'IA relève de ces législations sectorielles, cela entraîne une présomption de dangerosité. Cette présomption s'applique également aux systèmes d'IA utilisés comme composants de sécurité, dont l'objectif est de prévenir des dommages potentiels (UE, 2024c, art. 3, 14). Dans ces cas, la législation du produit principal s'étend au système d'IA qui en est un composant, car une défaillance de ce composant de sécurité pourrait compromettre la santé ou la sécurité des personnes ou des biens.

Cependant, le simple rattachement à une législation sectorielle mentionnée à l'annexe I ne suffit pas pour qualifier un système d'IA à haut risque. Il est également requis que le système fasse l'objet d'une évaluation de conformité par un organisme tiers. Cette condition supplémentaire garantit que seuls les systèmes qui présentent effectivement un niveau de risque élevé sont soumis à des exigences réglementaires spécifiques, excluant ceux qui, bien que régis par une législation sectorielle, ne
présentent pas un risque intrinsèque suffisant. En d'autres termes, la classification d'un système comme étant à haut risque repose sur les critères de dangerosité déjà prévus par les législations d'harmonisation sectorielle. Les règles qui soumettent un système d'IA au régime des systèmes à haut risque se trouvent donc dans les législations spécifiques à chaque secteur, ce qui permet de conserver une approche adaptée à chaque domaine. À cet égard, l'annexe VIII du règlement sur les dispositifs médicaux précise que

> les logiciels destinés à fournir des informations utilisées pour prendre des décisions à des fins thérapeutiques ou diagnostiques relèvent de la classe IIa, sauf si ces décisions ont une incidence susceptible de causer : — la mort ou une détérioration irréversible de l'état de santé d'une personne, auxquels cas ils relèvent de la classe III, ou — une grave détérioration de l'état de santé d'une personne ou une intervention chirurgicale, auxquels cas ils relèvent de la classe IIb [...]. Tous les autres logiciels relèvent de la classe I (UE, 2017b, annexe VIII, règle 11).

Or, bien que les dispositifs médicaux de classe IIA soient considérés comme présentant un risque modéré, le règlement sur l'IA les classe parmi les systèmes à haut risque dès lors qu'une évaluation par un tiers est requise pour ces dispositifs, à partir de la classe IIA au titre de la réglementation sur les dispositifs médicaux. A priori donc, les dispositifs médicaux intelligents sont des systèmes d'IA à haut risque, sauf à ce que le dispositif soit de classe I. Dans cette hypothèse, le dispositif relève des systèmes à risque faible et ne fait l'objet d'aucune obligation contraignante au titre du règlement sur l'IA hormis les obligations de transparence qui pourraient s'appliquer au titre de l'article 50.

## 2 Les obligations applicables aux systèmes d'IA à haut risque

La classification de certains dispositifs médicaux dans la catégorie des systèmes d'IA à haut risque entraîne l'application d'un ensemble d'obligations étendues. Parmi celles-ci, figurent non seulement l'obligation de transparence (art. 13), mais aussi des exigences de contrôle (art. 14), la mise en place d'un système de gestion des risques (art. 9), la gouvernance des données (art. 10), et la journalisation (art. 12). Ces exigences sont accompagnées d'une documentation exhaustive (art. 11). Il incombe également au fournisseur d'effectuer une évaluation par un organisme notifié lorsque cela s'avère nécessaire (art. 43). Les fournisseurs sont également tenus de rédiger une déclaration de conformité (art. 16, g), d'apposer le marquage CE, de faire enregistrer et d'enregistrer le système d'IA sur la base de données de l'UE (art. 49) (UE, 2024c).

### 2.1 Les contraintes imposées aux dispositifs médicaux intelligents qualifiés de systèmes à haut risque

Le développement d'un dispositif médical intégrant un système d'IA doit respecter un ensemble de contraintes afin de se conformer aux exigences du règlement sur l'IA. Ces obligations viennent s'ajouter à celles déjà imposées par le règlement UE 2017/745 relatif aux dispositifs médicaux (UE, 2017b). Toutefois, certaines de ces exigences ne sont pas nouvelles, puisque déjà prévues dans la réglementation applicable aux dispositifs médicaux. C'est notamment le cas des exigences en matière de sécurité qui imposent un développement rigoureux et sécurisé des dispositifs médicaux. Sur ce point, le règlement sur l'IA (UE, 2024c) ne semble donc pas ajouter de nouvelles obligations par rapport à la réglementation sectorielle. L'application simultanée des deux réglementations peut, dans certains cas, se compléter, notamment en ce qui concerne la description des objectifs à atteindre pour le fournisseur. Ainsi, alors que le règlement sur les dispositifs médicaux n'était pas suffisamment précis
sur la question de la gouvernance des données, le règlement sur l'IA vient poser,
de manière complémentaire, une obligation en matière de qualité des données
utilisées. La superposition des réglementations permet d'espérer un cumul vertueux.
Cependant, cette superposition pourrait également entraîner, dans certains cas, un
doublement de certaines exigences, telles que la mise en place d'un système de
gestion des risques (art. 9, § 10), d'un système de gestion de la qualité (art. 17, § 3), la
documentation (art. 11, § 2), la certification (art. 43, § 3), la déclaration de conformité
(art. 43, § 3) ou encore le système de surveillance post-commercialisation (art. 72,
§ 4) (UE, 2024c). Pour assurer la cohérence, éviter les redondances et minimiser les
charges supplémentaires, les fournisseurs ont la possibilité, lorsque cela ne conduit
pas à se soustraire aux obligations légales, d'intégrer les processus d'essai et de
déclaration nécessaires, ainsi que les informations et la documentation relatives à leur
produit, dans la documentation et les procédures déjà exigées par la réglementation
sur les dispositifs médicaux (art. 8, § 2) (UE, 2024c).

## 2.2 Les spécificités des exigences applicables aux systèmes d'IA à haut risque

La première exigence énoncée par le règlement sur l'IA concerne l'utilisation des données. Ainsi, lorsque des systèmes d'IA recourent à des techniques impliquant l'entraînement du modèle sur des jeux de données d'apprentissage, de validation et de test, il est impératif que ces jeux de données répondent à des critères de qualité et d'intégrité. En effet, la qualité des données<sup>XII</sup> — caractérisée par des critères de précision, de complétude, de cohérence, de fiabilité et d'actualité — est essentielle pour garantir l'efficacité des systèmes d'IA. Des données incomplètes ou inexactes occasionnent des résultats erronés ou des réponses inappropriées de la part du système. Par ailleurs, un déséquilibre dans la composition des données peut engendrer des biais susceptibles de provoquer des discriminations ou des traitements défavorables sur la base de critères non pertinents. Il importe, en effet, qu'un logiciel de détection des mélanomes soit entraîné sur des données suffisamment hétérogènes et notamment des carnations variées. À défaut, une surreprésentation de certaines ethnies conduirait à des taux de précision inégaux entre différents groupes. Cette exigence oblige dès lors les fabricants brésiliens à ne pas seulement entraîner leurs modèles à partir des données de la population brésilienne accessible via les SUS, mais également de tenter d'accéder à des données européennes pour rendre la formation du système pertinent<sup>XIII</sup>. En parallèle, l'intégrité des données, qui inclut leur précision et leur cohérence tout au long de leur cycle de vie, constitue un pilier de la fiabilité des systèmes d'IA, en prévenant toute altération des résultats. Pour réduire au maximum les risques de biais, le règlement impose au fournisseur de veiller à la sélection et à la qualité des données, ainsi qu'à la pertinence du processus de collecte, de manière à minimiser l'apparition de biais durant l'apprentissage. Ces exigences s'étendent également aux données de validation et de test, même pour les systèmes d'IA symboliques qui ne nécessitent pas d'apprentissage. En effet, il est essentiel que le système puisse être testé sur un large éventail de scénarios représentatifs de situations crédibles après son déploiement. Le règlement précise que

les jeux de données d'entraînement, de validation et de test sont
pertinents, suffisamment représentatifs et, dans toute la mesure
possible, exempts d'erreurs et complets au regard de la destination.
Ils possèdent les propriétés statistiques appropriées, y compris,
le cas échéant, en ce qui concerne les personnes ou groupes de
personnes à l'égard desquels le système d'IA à haut risque est destiné
à être utilisé.

Le prétraitement des données, incluant la détection et la correction
des erreurs, la gestion des valeurs manquantes et la normalisation
est donc indispensable pour garantir que les modèles d'IA soient entraînés sur des ensembles de données fiables et représentatifs. L'équilibrage des données est également crucial pour prévenir les biais pouvant engendrer des discriminations. Pour remédier à ces biais, des techniques telles que le suréchantillonnage, le sous-échantillonnage ou l'application de poids spécifiques dans les algorithmes d'apprentissage peuvent être utilisées pour équilibrer les jeux de données (UE, 2024c, art. 10, § 3).

Ces exigences relatives à la gestion des données jouent un rôle important non seulement dans l'entraînement du modèle qui serait intégré au système d'IA, mais assurent également un moyen de vérifier le bon fonctionnement de ce dernier. L'article 15 du règlement sur l'IA impose à ce titre que la conception et le développement du système d'IA répondent à «un niveau approprié d'exactitude, de robustesse et de cybersécurité, et de fonctionner de façon constante à cet égard tout au long de leur cycle de vie» (UE, 2024c). Les fournisseurs sont tenus de démontrer les mesures pertinentes concernant la performance et l'exactitude de leur système.

Les fournisseurs doivent également s'assurer que les systèmes d'IA soient robustes et résistants aux erreurs, aux pannes, ainsi qu'aux tentatives d'attaques informatiques. Cette robustesse est particulièrement décisive pour les systèmes autoapprenants qui évoluent en fonction des nouvelles données acquises au fil du temps. Il est essentiel que ces systèmes puissent maintenir leur stabilité et prévenir toute déviation de comportement susceptible de compromettre leur intégrité et leur fiabilité. L'objectif est d'éviter les dérives fonctionnelles, garantissant ainsi que l'apprentissage continu ne nuise pas aux performances du système. Pour atteindre ce niveau de robustesse, le règlement préconise l'intégration de mécanismes de contrôle et de correction automatique, permettant aux systèmes de conserver les performances initiales pour lesquelles ils ont été conçus. Parmi les mesures techniques mentionnées figurent notamment les boucles de rétroaction et les plans de sauvegarde, qui assurent une réponse rapide aux anomalies. En complément, des mesures organisationnelles, telles que des contrôles humains périodiques du fonctionnement du système et des données, sont également prévues. Ces contrôles peuvent inclure des tests par des exemples contradictoires, visant à induire volontairement des erreurs dans le système pour en évaluer la résilience, ou des exercices de «red-teaming»XIV dans le domaine de la cybersécurité cybersécurité (Ganguli et al., 2022; Perez et al., 2022; Weidinger et al., 2024), afin de tester sa capacité à résister aux cyberattaques. Des mesures de sécurité, telles que des contrôles d'accès stricts, l'utilisation de techniques de cryptographie et l'établissement de protocoles de vérification, doivent également être mises en place et justifiées pour protéger l'intégrité des donnéesXV. Le fournisseur doit s'assurer, en fonction de l'usage prévu du système d'IA, que ce dernier ne puisse être compromis. Pour ce faire, il doit intégrer des systèmes de contrôle d'accès limitant les interactions avec le système, utiliser des techniques telles que la distillation de modèle pour créer des versions plus compactes et sécurisées (Saberi et al., 2023; Nevo et al., 2024), rendant ainsi leur extraction plus difficile pour d'éventuels adversaires, et mettre en place des systèmes de détection d'anomalies capables d'identifier les comportements ou les entrées suspects (Brundage et al., 2018; Ander-Ljung; Hazell, 2023; Clifford, 2023).

L'article 13 du règlement sur l'IA dispose pour sa part que le système d'IA doit être conçu et développé de manière à ce que «le fonctionnement de ces systèmes soit suffisamment transparent pour permettre aux déployeurs d'interpréter les résultats et de les utiliser de manière appropriée» (UE, 2024c). Souvent qualifiés de «boîtes noires», les systèmes d'IA sont fréquemment critiqués pour leur opacité, perçue comme un défaut majeur (Racoceanu; Ounissi; Kergosien, 2022; Merigoux et al., 2024). Cette opacité peut en effet maintenir le déployeur dans l'ignorance du fonctionnement du système, ce qui risque d'entraîner une incompréhension et une utilisation inadéquate
des résultats, avec des conséquences potentiellement préjudiciables. Cependant, le texte fixe ici un objectif de transparence vers lequel il convient de tendre. En raison de la complexité de certains systèmes, il peut s'avérer difficile de garantir une transparence parfaite. Sur ce point, les fournisseurs sont encouragés à mobiliser tous les moyens nécessaires pour faciliter la compréhension et l'interprétation des systèmes d'IA. Ainsi, le non-respect de cette exigence ne sera pas attribué à la seule opacité du système, mais plutôt à l'absence de mesures raisonnablement disponibles que le fournisseur aurait dû mettre en œuvre.

Enfin, l'article 14 du règlement exige que le système d'IA soit conçu pour permettre « notamment au moyen d'interfaces homme-machine appropriées, un contrôle effectif par des personnes physiques pendant leur période d'utilisation » (UE, 2024c). Ce cadre réglementaire vise à garantir que les opérateurs humains demeurent au centre du processus décisionnel, en leur offrant la possibilité de surveiller activement le fonctionnement de l'IA, de détecter et de corriger rapidement tout dysfonctionnement, de contrer ou d'annuler les décisions prises par le système et de l'arrêter en cas d'urgence. L'introduction de cet article conduit à réduire les risques associés à l'autonomie totale des systèmes d'IA, en imposant une supervision humaine. Ce principe est particulièrement pertinent pour les systèmes d'IA dont les défaillances ou erreurs pourraient avoir des conséquences importantes sur la santé, la sécurité ou les droits fondamentaux des individus. Les mesures de contrôle doivent être proportionnées au contexte d'utilisation, aux risques associés au déploiement du système et à son niveau d'autonomie. Ce dernier aspect, que le fournisseur doit prendre en compte pour déterminer les mesures de contrôle appropriées, peut toutefois paraître paradoxal : en effet, plus un système d'IA est autonome, plus cela suppose que le contrôle humain soit étendu et donc finalement cela conduit à limiter l'autonomie propre du système.

## 3 Les obligations de transparence applicables à certains systèmes d'IA

Le règlement impose à certains usages une obligation spécifique de transparence qui pourra, le cas échéant, s'additionner aux obligations prévues si le système devait également relever de la catégorie des systèmes à haut risque. L'article 50 du règlement liste ainsi les systèmes d'IA « destinés à interagir avec des personnes physiques» sauf lorsqu'il «ressort clairement des circonstances et du contexte d'utilisation» (UE, 2024c, § 1) que l'interlocuteur ne peut ignorer le fait qu'il s'agisse d'un système d'IA. Il inclut également les «systèmes de reconnaissance des émotions ou d'un système de catégorisation biométrique» (UE, 2024c, art. 52, § 3) dont on sait que certains relèvent également des systèmes à haut risque. Il est encore question d'y inclure les systèmes qui manipulent des images, des vidéos ou des audios, c'est-à-dire des systèmes qui «génèr[ent] ou manipul[ent] des images ou des contenus audio ou vidéo présentant une ressemblance avec des personnes, des objets, des lieux ou d'autres entités ou évènements existants et pouvant être perçus à tort comme authentiques ou véridiques» (UE, 2024c, art. 3, 60) mais aussi les systèmes d'IA qui génèrent du contenu audio, image, vidéo ou texte de synthétique en dehors de toute volonté de tromper (UE, 2024c, art. 50, § 3). La nature des systèmes visés nous fait comprendre que cette catégorie transversale se justifie en raison des risques qui peuvent découler de perception humaine et mener à une usurpation d'identité ou à une tromperie justifiant alors l'application d'obligations de conformité spécifiques. Cette obligation de transparence s'exprime différemment selon la nature de l'interaction avec la personne. Lorsque le système d'IA interagit directement avec celle-ci, le fournisseur du système d'IA doit avertir que les échanges se font avec un agent virtuel. Lorsque, cette fois, ce n'est pas le système d'IA qui interagit directement avec le public, mais les contenus qu'il génère, il incombe au fournisseur de les marquer «dans un format lisible par machine et identifiables comme ayant été générés ou manipulés» (UE, 2024c, art. 50, § 3).
V Une application aménagée dans le temps

Bien que la mise en place de ces nouvelles exigences ne nécessite pas d'induire de
profondes modifications des attentes de sécurité, leur intégration peut conduire à devoir
mettre à jour la documentation des dispositifs existants. À cet égard, il convient de
rappeler que, si le texte est rentré en vigueur le 1re août 2024, son application complète
s'étale dans le temps jusqu'au 2 août 2026 (art. 113) et même au-delà pour certaines
hypothèses. C'est ainsi que les opérateurs économiques souhaitant mettre sur le marché
des dispositifs médicaux intelligents ont jusqu'au 2 août 2027 pour mettre en conformité
ces systèmes d'IA à haut risque (art. 113) (UE, 2024c). Un temps suffisamment long
pour assurer une mise en œuvre idoine par les fabricants étrangers.

References

AGÊNCIA NACIONAL DE VIGILÂNCIA SANITÁRIA – ANVISA. Resolução da Diretoria Colegiada – RDC n. 751, de 15 de setembro de 2022. Dispõe sobre a classificação de risco, os regimes de notificação e de registro, e os requisitos de rotulagem e instruções de uso de dispositivos médicos. Diário Oficial da União, ed. 180, seção 1, p. 172, 21/09/2022. Disponible sur: https://www.in.gov.br/en/web/dou/-/resolucao-rdc-n-751-de-15-de-setembro-de-2022-430797145.

AGÊNCIA NACIONAL DE VIGILÂNCIA SANITÁRIA – ANVISA. Resolução da Diretoria Colegiada – RDC n. 185, de 22 de outubro de 2001. Aprova o Regulamento Técnico que consta no anexo desta Resolução, que trata do registro, alteração, revalidação e cancelamento do registro de produtos médicos na Agência Nacional de Vigilância Sanitária - ANVISA. Disponible sur: https://bvsms.saude.gov.br/bvs/saudelegis/anvisa/2001/rdc0185_22_10_2001.pdf.

AITH, Fernando. La transformation numérique du système de santé brésilien. *Journal de Droit de la Santé et de l'Assurance Maladie*, n. 40, p. 141-143, 2024. Disponible sur: https://hal.scienc/hal-04685973/document.

AITH, Fernando; FALCÃO, Matheus. Droit à la santé et numérisation du système de santé au Brésil: opportunités et menaces. *Journal de Droit de la Santé et de l'Assurance Maladie*, n° 35, p. 182-189, 2022. Disponible sur: https://hal.scienc/hal-03990572v1/document. Accès en: 24 juin 2025.

ALIANÇA BRASILEIRA DA INDUSTRIA INOVAÇÃO EM SAUDE - ABIIS. Boletim Econômico, ed. 47, jan./jun. 2024. Disponible sur: https://abiis.org.br/wp-content/uploads/2024/09/ABIIS-Boletim-47-jan-a-jun-24_rev.pdf. Accès en: 24 juin 2025.

ANDER-LJUNG, Markus; HAZELL, Julian. Protecting society from ai misuse: when are restrictions on capabilities warranted? arXiv, 2023. Disponible sur: https://arxiv.org/abs/2303.09377.

ARTIFICIAL Intelligence Index Report 2023. Human-Centered Artificial Intelligence. Stanford University, 2023, p. 285. Disponible sur: https://hai.stanford.edu/assets/files/hai_ai-index-report_2023.pdf.

BALDWIN, Robert; BLACK, Julia. Driving priorities in risk-based regulation: what's the problem? *Journal of Law and Society*, v. 43, n. 4, 2016.

BENLOLO-CARABOT, Myriam. L'influence extérieure de l'Union européenne. In: BENLOLO-CARABOT, Myriam; CANDAS, Ulas; CUJO, Eglantine (dirs.). Union européenne et droit international. Mélanges en l'honneur de P. Daillier. Paris: A. Pedone Ed., 2012.

BERGER, Morgane. Intelligence artificielle et dispositifs médicaux: de nouveaux défis réglementaires. *Sciences pharmaceutiques*, 2022. Disponible sur: https://dumas.ccsd.cnrs.fr/dumas-03982937v1.

BLACK, Julia. Risk-based regulation: choices, practices and lessons being learnt. In: RISK and regulatory policy: improving the governance of risk. OECD Reviews of Regulatory Reform, éd., 2010. p. 185-236. Disponible sur: https://www.oecd.org/content/dam/oecd/en/publications/reports/2010/04/risk-and-regulatory-policy_g1ghc5f1/9789264082939-en.pdf.

BLACK, Julia; BALDWIN, Robert. Really responsive risk-based regulation, Law & Policy, v. 32, 2010. Disponible sur: https://doi.org/10.1111/j.1467-9930.2010.00318.x. (Black; Baldwin, 2010)

BLACK, Julia; BALDWIN, Robert. When Risk-based regulation aims low: approaches and challenges. *Regulation & Governance*, vol. 6, 2012. https://doi.org/10.1111/j.1748-5991.2011.01124.x.

BLACK, Julia; MURRAY, Andrew Douglas. Regulating AI and machine learning: setting the regulatory agenda. *European Journal of Law and Technology*, v. 10, n. 3, 2019. Disponible sur: https://www.ejlt.org/index.php/ejlt/article/view/722/980.
BRADFORD, Anu. *The brussels effect: how the European Union rules the world?* Oxford University Press, 2020. https://doi.org/10.1093/oso/9780190088583.001.0001.

BRÉSIL. Câmara dos Deputados. *Projeto de Lei (PL) n. 2338/2023*. Dispõe sobre o desenvolvimento, o fomento e o uso ético e responsável da inteligência artificial com base na centralidade da pessoa humana. Disponible sur: https://www.camara.leg.br/proposicoesWeb/fichadetramitacao?idProposicao=2487262.

LE BRESIL, une puissance économique régionale et mondiale. *Eurasanté Veille*, n. 43, janv. 2020.

BRIOT, Jean-Pierre; CABRAL, Giordano; COZMAN, Fábio. L'intelligence artificielle au Brésil. HAL, 13 Avr. 2024. Disponible sur: https://hal.science/hal-04545331v1/document.

BRUNDAGE, Miles et al. The malicious use of artificial intelligence: forecasting, prevention, and mitigation. arXiv, 2018. Disponible sur: https://arxiv.org/abs/1802.07228.

CASILLI, A. A. et al. Global Inequalities in the production of artificial intelligence: a four-country study on data work. In: QIU, Jack Linchuan; YEO, Shinjoung; MAXWELL, Richard (Eds.). *The handbook of digital labor*. Wiley Blackwell, In press, 2025.

CASILLI, A. et al. Global inequalities in the production of artificial intelligence: a four-country study on data work. In: QIU, J.; YEO, S.; MAXWELL, R. (Dir.). *The Handbook of Digital Labor*. Wiley Blackwell, In press. 2024.

CHAMBERLAIN, Johanna. The Risk-based approach of the European Union's proposed artificial intelligence regulation: some comments from a tort law perspective. *European Journal of Risk Regulation*, Cambridge University Press, v. 14, 2023. Disponible sur: https://www.cambridge.org/core/services/aop-cambridge-core/content/view/A996034CC512B6B8A77B73FE39E77DAE/S1867299X22000381a.pdf/the-risk-based-approach-of-the-european-unions-proposed-artificial-intelligence-regulation-some-comments-from-a-tort-law-perspective.pdf.

CHAPCHAP, Paulo; MARSAL, Carlos Alberto. Complémentarité des secteurs public et privé de santé au Brésil. *Proparco*, 15 juillet 2013. Disponible sur: https://www.proparco.fr/fr/article/complementarite-des-secteurs-public-et-prive-de-sante-au-bresil. Accés: 24 june 2025.

CLERAULT, St.-Ch. *Traité des établissements dangereux, insalubres ou incommodes, Imprimerie et librairie générale de jurisprudence De Cosse et N. Delamotte*, 1845. Disponible sur: https://bibliothequesv6-specialisees.paris.fr/ark:/73873/pf0000195720.

CLIFFORD, Ben. Preventing AI misuse: current techniques. *Centre for the Governance of AI*, Déc. 2023. Disponible sur: https://www.governance.ai/analysis/preventing-ai-misuse-current-techniques.

CLYMER, Joshua. et al. Safety cases: how to justify the safety of advanced AI systems. arXiv, 2024. Disponible sur: https://arxiv.org/abs/2403.10462c.

CREMONA, Marise; SCOTT, Joanne. (Dir.). *EU law beyond borders: the extraterritorial reach of UE Law*, Oxford University Press, 2019. https://doi.org/10.1093/oso/9780198842170.001.0001.

EBERS, Martin. Truly risk-based regulation of artificial intelligence - how to implement the EU's AI Act, SSRN Electronic Journal, 19 Jun. 2024. Disponible sur: https://papers.ssrn.com/sol3/Delivery.cfm/4870387.pdf?abstractid=4870387&mirid=1.

EL HAGE, Yves. Le droit international privé à l'épreuve de l'internet. Paris: LGDJ, 2020.

ESTRATÉGIA Brasileira de Inteligência Artificial – EBIA. Ministério da Ciência, Tecnologia e Inovações. Secretaria de Empreendedorismo e Inovação, 2021. Disponible sur: https://www.gov.br/mcti/pt-br/acompanhe-o-mcti/transformacaodigital/arquivosinteligenciaartificial/ebia-documento-referencia_4-979_2021.pdf.

FRANCE. Cour Administratif D'Appel – CAA. Versailles, n. 17VE01933, Société de compression d'images en réseau et applications c. ANSM, point 5, 25 février 2020. Disponible sur: https://www.legifrance.gouv.fr/ceta/id/CETATEXT000041681372/.

FRASER, Henry L.; BELLO Y VILLARINO, José-Miguel. Acceptable risks in Europe's Proposed AI Act: reasonableness and other principles for deciding how much risk management is enough. *European Journal of Risk Regulation*, août 2023. Disponible sur: https://www.cambridge.org/core/journals/european-journal-of-risk-regulation/article/acceptable-risks-in-europes-proposed-ai-act-reasonableness-and-other-principles-for-deciding-how-much-risk-management-is-enough/97720BC04BF5F4372-1392FC23BFF4B2E.

FRISON-ROCHE, Marie Anne. Le couple ex ante-ex post, justification d'un droit propre et spécifique de la régulation. *Presses de Sciences Po*, 2006. (Hors collection). Disponible sur: https://mafr.fr/IMG/pdf/ex_ante_ex_post.pdf.

GANGULI, Deep et al. Red teaming language models to reduce harms: methods, scaling behaviors, and lessons learned. arXiv, 2022. Disponible sur: https://arxiv.org/abs/2209.07858.
GERY, Aude; NOËL, E. La recherche de son autonomie stratégique numérique par l'Union européenne. Réflexions de droit international. Revue de l'Union européenne, 2023.

THE GLOBAL AI Index. Tortoise, [s.d.]. Disponible sur: https://www.tortoisemedia.com/intelligence/global-ai/#rankings.

GROUPE d'experts indépendants de haut niveau sur l'Intelligence artificielle. Lignes Directrices en matière d'éthique pour une IA digne de confiance, avril 2019. Disponible sur: https://digital-strategy.ec.europa.eu/fr/library/ethics-guidelines-trustworthy-ai.

GRUSON, David. La machine, le médecin et moi. In: VILLANI, Cédric.; NORDLINGER, Bernard (Dir.). Santé et intelligence artificielle. CNRS Ed., 2018.

GRYNBAUM, Luc; LE GOFFIC, Caroline; PAILLER, Ludovic. Droit des activités numériques. Paris: Dalloz, Précis, 2023.

HERVÉ, Christian et al. (Dir.). Covid-19, one health et intelligence artificielle. Paris: Dalloz, 2022. (Thèmes & Commentaires).

HUTTER, Bridget M. The attractions of risk-based regulation: accounting for the emergence of risk ideas in regulation, Centre for Analysis of Risk and Regulation, 2005.

LATIL, Arnaud. Droit de l'intelligence artificielle (droit international et droit européen). JurisClasseur Communication, LexisNexis, fasc. 988, 2024.

LATIL, Arnaud. Le droit du numérique: une approche par les risques. Paris: Dalloz, 2023.

LE GOFFIC, Caroline; LEQUILLERIE, Clémentine. Intelligence artificielle et santé. Journal de Droit de la Santé et de l'Assurance Maladie, n. 17, p. 8-33, 2017. Disponible sur: https://www.institutdroitsante.fr/wp-content/uploads/2017/09/JDSAM_complet_12-09-2017.pdf.

LUTUN, Adèle. Le Big data en santé: richesse et conditions d'accès. Paris: Université de Paris, 2021. Disponible sur: https://theses.hal.science/tel-04431540.

MAHLER, Tobias. Between risk management and proportionality: the risk-based approach in the EU's artificial intelligence act proposal. Nordic Yearbook of Law and Informatics, mars 2022.

MEDEIROS, Alexandre Dimitri Moreira de. Inteligência artificial na prática de monitorar a exaustão do trabalhador. In: CONGRESSO NACIONAL DA FEPODI, 8., 2021, São Paulo. Anais [...]. São Paulo: Federação Nacional de Pós-Graduandos em Direito, 2021. p. 5-10. Disponible sur: https://papers.ssrn.com/sol3/Delivery.cfm/SSRN_ID3825960_code4262920.pdf?abstractid=3825960&mid=1.

MERCOSUL. MERCOSUL/GMC/RES. N° 25/21. [2021]. Regulamento técnico Mercosul de registro de dispositivos médicos (revogação da resolução GMC n. 40/00). Disponible sur: https://normas.mercosur.int/simfiles/normativas/86824_RES_025-2021_PT_RTM%20Disposit%20medicos.pdf.

MERIGOUX, Denis et al. De la transparence à l'explicabilité automatisée des algorithmes: comprendre les obstacles informatiques, juridiques et organisationnels. INRIA, 2024. Disponible sur: https://inria.hal.science/hal-04391612v1.

MEUNIER, Hadrien. Évaluation des dispositifs médicaux en France: les nouveaux enjeux d'accès au marché à l'ère du numérique et de l'intelligence artificielle. Sciences du Vivant, Reims Champagne-Ardenne, 2023.

MISTRETTA, Patrick. Intelligence artificielle et droit de la santé. In: BENSAMOUN, Alexandra; LOISEAU, Grégoire. Droit de l'intelligence artificielle. 2.ed. Paris: LGDJ, 2022.

NDIOR, Valère. L'extraterritorialité des législations relatives à la protection des données personnelles. In: MIRON, Alina; TAXIL, Bérangère (Eds.). Extraterritorialité et droit international. Colloque d'Angers. Paris: A. Pedone Éd., 2020.

NEVO, Sella et al. Securing AI model weights. Preventing theft and misuse of frontier models. RAND, 2024. Disponible sur: https://www.rand.org/pubs/research_reports/RRA2849-1.html.

OCDE. L'IA dans le domaine de la santé: un immense potentiel, d'énormes risques. 17 jan. 2024. Disponible sur: https://www.oecd.org/fr/publications/l-ia-dans-le-domaine-de-lasante_ebfdeb50-fr.html.

OVERVIEW. International Trade Administration, USA, 12 avril 2023. Disponible sur: https://www-trade.gov/country-commercial-guides/brazil-healthcare. Accès en: 24 june 2025.

PAUL, Regine. European artificial intelligence trusted throughout the world: risk-based regulation and the fashioning of a competitive common AI market. Regulation & Governance, v. 18, n. 4, Oct. 2024. Disponible sur: https://onlinelibrary.wiley.com/doi/epdf/10.1111/reg.12563.

PEREZ, Ethan. et al. Red teaming language models with language models. arXiv, 2022. Disponible sur: https://arxiv.org/abs/2202.03286c.

PETITPREZ, Eugénie (Dir.), Les enjeux liés à l'utilisation de l'intelligence artificielle en matière de santé: regards croisés. 1.ed. CEPRISCA, 2024. (Collection Colloques)
RACOCEANU, Daniel; OUNISSI, Mehdi; KERGOSIEN, Yannick L. Explicabilité en Intelligence Artificielle; vers une IA responsable. Instanciation dans le domaine de la santé. Techniques de l'Ingénieur, 2022. Disponible sur: https://hal.inrae.fr/INRIA-MECSCI/hal-03936135v1.

SABERI, M. et al. Robustness of AI-Image detectors: fundamental limits and practical attacks. arXiv, 2023. Disponible sur: https://arxiv.org/abs/2310.00076.

SANTOS, Juliana. Exportação de dispositivos médicos brasileiros cresce 21% no primeiro semestre de 2024. Saúde Business, 09 sept. 2024. Disponible sur: https://www.saudebusiness.com/artigos/exportacao-dispositivos-medicos-brasileiros-cresce-21-no-primeiro-semestre-de-2024/.

SARAZIN, Marianne. Intelligence artificielle en santé. Iste éd., 2023.

SCHUETT, Jonas. Risk management in the artificial intelligence act. European Journal of Risk Regulation, fév. 2023. Disponible sur: https://www.cambridge.org/core/services/aop-cambridge-core/content/view/2E4D5707E65EFB3251A76E288BA74068/S1867299X23000016a.pdf/risk-management-in-the-artificial-intelligence-act.pdf.

SILVEIRA, Franco da et al. Agriculture 4.0 and its Barriers in the Agricultural Production Chain Development in Southern Brazil, SSRN, 2022. Disponible sur: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4229367.

UNION EUROPEENNE - UE. Commission Européenne. Décision de la Commission du 24 janvier 2024 créant le Bureau européen de l'intelligence artificielle. Journal officiel de l'Union européenne, 14 Février 2024. Disponible sur: https://eur-lex.europa.eu/legal-content/FR/TXT/PDF/?uri=OJ:C_202401459.

UNION EUROPEENNE - UE. Commission Européenne. Livre Blanc. Intelligence artificielle. Une approche européenne axée sur l'excellence et la confiance. Bruxelles, 19 février 2020, COM(2020)65 final. Disponible sur: https://commission.europa.eu/document/download/d2ec4039-c5be-423a-81ef-b9e44e79825b_fr?filename=commission-white-paper-artificial-intelligence-feb2020_fr.pdf.

UNION EUROPEENNE - UE. Conseil de L'Europe. Convention-cadre du Conseil de l'Europe sur l'intelligence artificielle et les droits de l'homme, la démocratie et l'État de droit. 5 Septembre, 2024. Disponible sur: https://rm.coe.int/1680afae3d.

UNION EUROPÉENNE - UE. Cour de Justice de L'Union Européenne - CJUE. Affaire C-329/16, Snitem et Philips France c. France, point 25: RLDI, 2018, 5166, 7 décembre 2017.

UNION EUROPÉNNE - UE. EUR-Lex. Règlement (UE) 2017/745 du Parlement européen et du Conseil du 5 avril 2017 relatif aux dispositifs médicaux, modifiant la directive 2001/83/CE, le règlement (CE) n° 178/2002 et le règlement (CE) n° 1223/2009 et abrogeant les directives du Conseil 90/385/CEE et 93/42/CEE (Texte présentant de l'intérêt pour l'EEE.). Disponible sur: https://eur-lex.europa.eu/eli/reg/2017/745/oj?locale=fr.

UNION EUROPÉENNE - UE. Règlement (UE) 2019/1020 du Parlement européen et du Conseil du 20 juin 2019 sur la surveillance du marché et la conformité des produits, et modifiant la directive 2004/42/CE et les règlements (CE) n° 765/2008 et (UE) n° 305/2011 (Texte présentant de l'intérêt pour l'EEE.). Disponible sur: https://eur-lex.europa.eu/eli/reg/2019/1020/oj?locale=fr.

UNION EUROPÉENNE - UE. EUR-Lex. Règlement (UE) 2024/1689 du Parlement européen et du Conseil du 13 juin 2024 établissant des règles harmonisées concernant l'intelligence artificielle et modifiant les règlements (CE) n° 300/2008, (UE) n° 167/2013, (UE) n° 168/2013, (UE) 2018/858, (UE) 2018/1139 et (UE) 2019/2144 et les directives 2014/90/UE, (UE) 2016/797 et (UE) 2020/1828 (règlement sur l'intelligence artificielle) (Texte présentant de l'intérêt pour l'EEE). Disponible sur: https://eur-lex.europa.eu/legal-content/FR/TXT/?uri=CELEX:32024R1689.

VILLANI, Cédric (Dir.). Donner un sens à l'Intelligence artificielle. Pour une stratégie nationale et européenne. Vie Publique, 28 mars 2018. Disponible sur: https://www.vie-publique.fr/rapport/37225-donner-un-sens-intelligence-artificielle-pour-une-strategie-nation.

VORKAUFE, Elodie. L'encadrement juridique de l'intelligence artificielle dans le secteur de la santé [thèse en cours]. Institut Droit et Santé, Paris, France, [s.d.].

WASIL, Akash R. et al. Affirmative safety: an approach to risk management for advanced AI, SSRN Electronic Journal, 2024. Disponible sur: https://arxiv.org/pdf/2406.15371.

WEIDINGER, Laura et al. STAR: Socio technical approach to red teaming language models. arXiv, 2024. Disponible sur: https://arxiv.org/abs/2406.11757.

WIRED. Le président en conversation avec Joi Ito du MIT et Scott Dadich de WIRED. 2016. Disponible sur: https://www-wired-com translate.goog/2016/10/president-obama-mit-joi-ito-interview/?_x_tr_sl=en&x_trTL=fr&x_x_tr hl=fr&x_x_tr_pto=sc.

YIM, Jason et al. Predicting conversion to wet age-related macular degeneration using deep learning, Nature Medecine, v. 26, p. 892-899, 2020. Disponible sur: https://www.nature.com/articles/s41591-020-0867-7.
## Notas

¹ En 2014, les dépenses de santé représentaient 8,3 % du produit intérieur brut du Brésil. En 2022, ce pourcentage est passé à 9,47 %, soit environ 161 milliards de dollars américains (Chapchap; Marsal, 2013; Overview, 2023).

II Ainsi entre janvier en juin 2024, les importations de dispositifs médicaux ont totalisé 3 898 millions de dollars américains avec une croissance de 14,4 % à la même période de 2023 (ABIIS, 2024, p. 11).

III En ce sens le rapport, Villani (2018). L'IA s'inscrit dans la stratégie de la Commission pour la transition numérique de l'industrie [COM(2016) 180 final] et une stratégie revisitée pour la politique industrielle de l'Union [COM(2017) 479 final]. Ainsi, la Commission européenne souhaite-t-elle faire de l'IA un domaine stratégique [COM (2018) 795 final].

IV L'expression réglementation par les risques à différentes significations. Elle peut tout d'abord signifier l'imposition d'exigences proportionnelles aux risques qu'une activité présente. Mais, elle peut aussi signifier une réglementation élaborée à l'aide d'outils de gestion des risques tels que des techniques d'évaluation des risques (Hutter, 2005; Baldwin; Black, 2016; Black, 2010; Black; Baldwin, 2012; Baldwin; Black, 2016). Pour des études spécifiquement liées au Règlement sur l'IA, Black; Murray (2019), Mahler (2022), Chamberlain (2023), Schuett (2023), Fraser; Bello y Villarino (2023), Paul (2024) et Ebers (2024).

V Voir Convention-cadre du Conseil de l'Europe, préc., art. 2, «on entend par "système d'intelligence artificielle" un système automatisé qui, pour des objectifs explicites ou implicites, déduit, à partir d'entrées reçues, comment générer des résultats en sortie tels que des prévisions, des contenus, des recommandations ou des décisions qui peuvent influer sur des environnements physiques ou virtuels. Différents systèmes d'intelligence artificielle présentent des degrés variables d'autonomie et d'adaptabilité après déploiement» (UE, 2024b).

VI Pour d'autres exemples en matière de numérique : Cremona et Scott (2019) et Benlolo-Carabot (2012).

VII Sur les obligations du mandataire, art. 25 du règlement sur l'IA ; sur les obligations de l'importateur, art. 26 du même texte ; sur les obligations du distributeurs, art. 27 du texte (UE, 2024c).

VIII Si les autorités nationales ont une compétence de principe pour le contrôle des systèmes d'IA, le contrôle des modèles à usage général relève de la compétence exclusive de la Commission, art. 75 du règlement sur l'IA (UE, 2024c).

IX A l'heure où ces lignes ont été rédigées, la France n'avait pas encore fait connaître ses autorités compétentes.

X Mais la recherche d'un contrôle du risque est déjà ancienne (Clerault, 1845; Latil, 2023).

XI Par exemple, Règlement (UE) 2017/745 du Parlement européen et du Conseil du 5 avril 2017 relatif aux dispositifs médicaux, § 89 qui dispose que « le présent règlement respecte les droits fondamentaux et les principes reconnus en particulier par la charte et, spécialement, la dignité humaine, l'intégrité de la personne, la protection des données à caractère personnel, la liberté des arts et des sciences, la liberté d'entreprise et le droit de propriété. Il convient que le présent règlement soit appliqué par les États membres conformément à ces droits et principes » (UE, 2017b).

XII Sur la question du travail sur les données destinées à servir à l'entraînement des systèmes d'IA : Casilli et al. (2024)

XIII Pour une recherche sur les conditions d'accès aux données de santé françaises : Lutun (2021).

XIV Traduit en français par « équipe rouge », le red teaming désigne une pratique consistant à tester la sécurité d'un système en tentant de le pirater.

XV Par exemple via des dossiers de sécurité: Clymer et al. (2024) et Wasil et al. (2024)