L’utilisation d’intelligences artificielles, dans certains cas, génère des risques de discriminations accrues ou encore de perte de confidentialité ; à tel point que l’Union européenne tente de réguler les usages de l’IA à travers différents niveaux de risques. Ceci pose d’autant plus question que la plupart des systèmes d’IA aujourd’hui ne sont pas en mesure de fournir des explications étayant leurs conclusions. Le domaine de l’« IA explicable » est en plein essor.

À l’hôpital, des systèmes d’intelligence artificielle (IA) peuvent aider les médecins en analysant les images médicales ou en prédisant les résultats pour les patients sur la base de données historiques. Lors d’un recrutement, des algorithmes peuvent être utilisés pour trier les CV, classer les candidats et même mener les premiers entretiens. Sur Netflix, un « algorithme de recommandation » prédit les films que vous êtes susceptible d’apprécier en fonction de vos habitudes de visionnage. Même lorsque vous conduisez, des algorithmes prédictifs sont à l’œuvre dans des applications de navigation telles que Waze et Google Maps pour optimiser les itinéraires et prédire les schémas de circulation qui devraient assurer un déplacement plus rapide.

Au bureau, ChatGPT, GitHub Copilot et d’autres outils alimentés par l’IA permettent de rédiger des courriels, d’écrire des codes et d’automatiser des tâches répétitives ; des études suggèrent que jusqu’à 30 % des heures travaillées pourraient être automatisées par l’IA d’ici à 2030.

Ces systèmes d’IA sont très variés, mais ils ont un point commun : leur fonctionnement interne et leurs résultats sont difficiles à expliquer… pas seulement pour le grand public, mais aussi pour les experts. Ce manque d’explicabilité limite le déploiement des systèmes d’IA en pratique. Pour résoudre ce problème et s’aligner sur les exigences réglementaires croissantes, un domaine de recherche connu sous le nom d’« IA explicable » (ou explicabilité) a vu le jour.

## IA, apprentissage automatique… des noms qui recouvrent des systèmes variés

Avec la médiatisation généralisée de l’intelligence artificielle et son déploiement rapide, il est facile de se perdre. En particulier, de nombreux termes circulent pour désigner différentes techniques d’IA, sans que l’on sache forcément bien ce que chacun recouvre, par exemple « apprentissage automatique », « apprentissage profond » et « grands modèles de langage », pour n’en citer que quelques-uns.

En termes simples, l’IA fait référence au développement de systèmes informatiques qui effectuent des tâches nécessitant une intelligence humaine, telles que la résolution de problèmes, la prise de décision et la compréhension du langage. Elle englobe divers sous-domaines tels que la robotique, la vision par ordinateur et la compréhension du langage naturel.

Un sous-ensemble important de l’IA est l’apprentissage automatique, qui permet aux ordinateurs d’apprendre à partir de données au lieu d’être explicitement programmés pour chaque tâche. Pour simplifier, la machine observe des schémas dans les données et les utilise pour faire des prédictions ou prendre des décisions. Dans le cas d’un filtre antispam par exemple, le système est entraîné à partir de milliers d’exemples de courriers électroniques indésirables et non indésirables. Au fil du temps, il apprend des éléments – des mots, des phrases ou des détails sur l’expéditeur – qui sont courants dans les spams.

<figure><img src="image_1.png" /><figcaption>Différentes expressions sont utilisées pour désigner un large éventail de systèmes d’IA. Elsa Couderc, CC BY</figcaption></figure>

L’apprentissage profond est lui-même un sous-ensemble de l’apprentissage automatique et utilise des réseaux de neurones complexes composés de plusieurs couches afin de repérer et d’apprendre des motifs récurrents encore plus sophistiqués. L’apprentissage profond s’avère d’une valeur exceptionnelle pour travailler avec des données textuelles ou des images, et constitue la technologie de base de divers outils de reconnaissance d’images ou de grands modèles de langage tels que ChatGPT.

## Réglementer l’IA

Les exemples du début de cet article montrent la grande variété d’applications possibles de l’IA dans différents secteurs. Plusieurs de ces applications, par exemple la suggestion de films sur Netflix, semblent relativement peu risquées, tandis que d’autres, comme le recrutement, l’évaluation d’éligibilité à un crédit bancaire ou le diagnostic médical, peuvent avoir un impact important sur la vie d’une personne. Il est donc essentiel que ces applications soient conformes à des critères éthiques partagés.

C’est à cause de ce besoin d’encadrement que l’Union européenne a proposé son « AI Act ». Ce cadre réglementaire classe les applications de l’IA en quatre niveaux de risque différents en fonction de leur impact potentiel sur la société et les individus : inacceptable, élevé, limité, et minimal. Chaque niveau mène à différents degrés de réglementation et d’exigences.

Read more: L’Europe propose des règles pour l’intelligence artificielle

Ainsi, les systèmes d’IA à « risque inacceptable », tels que les systèmes utilisés pour le score social ou la police prédictive, sont interdits en Union européenne, car ils représentent des menaces importantes pour les droits de l’homme.

Les systèmes d’IA à « haut risque » sont autorisés, mais ils sont soumis à la réglementation la plus stricte, car ils sont susceptibles de causer des dommages importants en cas d’échec ou d’utilisation abusive, par exemple dans les secteurs sensibles que sont l’application de la loi et le maintien de l’ordre, le recrutement et l’éducation.

Les systèmes d’IA à « risque limité » comportent un certain risque de manipulation ou de tromperie, par exemple les chatbots ou les systèmes de reconnaissance des émotions, dans lesquels il est primordial que les humains soient informés de leur interaction avec le système d’IA.

Les systèmes d’IA à « risque minimal » contiennent tous les autres systèmes d’IA, tels que les filtres antispam, qui peuvent être déployés sans restrictions supplémentaires.

## Le besoin d’explications, ou comment sortir l’IA de la « boîte noire »

De nombreux consommateurs ne sont plus disposés à accepter que les entreprises imputent leurs décisions à des algorithmes à boîte noire. Prenons l’exemple de l’incident Apple Card, où un homme s’est vu accorder une limite de crédit nettement plus élevée que celle de sa femme, en dépit du fait qu’ils partageaient les mêmes biens. Cet incident a suscité l’indignation du public, car Apple n’a pas été en mesure d’expliquer le raisonnement qui sous-tend la décision de son algorithme. Cet exemple met en évidence le besoin croissant d’expliquer les décisions prises par l’IA, non seulement pour garantir la satisfaction des clients et utilisateurs, mais aussi pour éviter une perception négative de la part du public.

De plus, pour les systèmes d’IA à haut risque, l’article 86 de la loi sur l’IA établit le droit de demander une explication des décisions prises par les systèmes d’IA, ce qui constitue une étape importante pour garantir la transparence des algorithmes.

Au-delà de la conformité légale, les systèmes d’IA « transparents » présentent plusieurs avantages, tant pour les propriétaires de modèles que pour les personnes concernées par les décisions.

## Une IA transparente

Tout d’abord, la transparence renforce la confiance (comme dans l’affaire de l’Apple Card) : lorsque les utilisateurs comprennent le fonctionnement d’un système d’IA, ils sont plus susceptibles de l’utiliser.

Deuxièmement, la transparence contribue à éviter les résultats biaisés, en permettant aux régulateurs de vérifier si un modèle favorise injustement des groupes spécifiques.

Read more: Apprendre à plusieurs endroits en même temps pour ne pas révéler ses secrets : vers une IA plus vertueuse

Enfin, la transparence permet l’amélioration continue des systèmes d’IA en révélant les erreurs ou les effets récurrents inattendus.

Globalement, il existe deux approches pour rendre les systèmes d’IA plus transparents.

Tout d’abord, on peut utiliser des modèles d’IA simples, comme les arbres de décision ou les modèles linéaires pour faire des prédictions. Ces modèles sont faciles à comprendre car leur processus de décision est simple.

Par exemple, un modèle de régression linéaire peut être utilisé pour prédire les prix des maisons en fonction de caractéristiques telles que le nombre de chambres, la superficie et l’emplacement. La simplicité réside dans le fait que chaque caractéristique est affectée d’un poids et que la prédiction est simplement la somme de ces caractéristiques pondérées : on distingue clairement comment chaque caractéristique contribue à la prédiction finale du prix du logement.

Cependant, à mesure que les données deviennent plus complexes, ces modèles simples peuvent ne plus être suffisamment performants.

C’est pourquoi les développeurs se tournent souvent vers des « systèmes boîte noire » plus avancés, comme les réseaux de neurones profonds, qui peuvent traiter des données plus importantes et plus complexes, mais qui sont difficiles à interpréter. Par exemple, un réseau de neurones profond comportant des millions de paramètres peut atteindre des performances très élevées, mais la manière dont il prend ses décisions n’est pas compréhensible pour l’homme, car son processus de prise de décision est trop vaste et trop complexe.

## L’IA explicable

Une autre option consiste à utiliser ces puissants modèles malgré leur effet de « boîte noire » en conjonction avec un algorithme d’explication distinct. Cette approche, connue sous le nom d’« IA explicable », permet de bénéficier de la puissance des modèles complexes tout en offrant un certain niveau de transparence.

Une méthode bien connue pour cela est l’explication contre-factuelle, qui consiste à expliquer la décision atteinte par un modèle en identifiant les changements minimaux des caractéristiques d’entrée qui conduiraient à une décision différente.

Par exemple, si un système d’IA refuse un prêt à quelqu’un, une explication contre-factuel pourrait informer le demandeur : « Si votre revenu annuel avait été supérieur de 5 000 euros, votre prêt aurait été approuvé ». Cela rend la décision plus compréhensible, tout en conservant un modèle d’apprentissage automatique complexe et performant. L’inconvénient est que ces explications sont des approximations, ce qui signifie qu’il peut y avoir plusieurs façons d’expliquer la même décision.

## Vers des usages positifs et équitables

À mesure que les systèmes d’IA deviennent de plus en plus complexes, leur potentiel de transformer la société s’accroît, tout comme leur capacité à commettre des erreurs. Pour que les systèmes d’IA soient réellement efficaces et fiables, les utilisateurs doivent pouvoir comprendre comment ces modèles prennent leurs décisions.

La transparence n’est pas seulement une question de confiance, elle est aussi cruciale pour détecter les erreurs et garantir l’équité. Par exemple, dans le cas des voitures autonomes, une IA explicable peut aider les ingénieurs à comprendre pourquoi la voiture a mal interprété un panneau d’arrêt ou n’a pas reconnu un piéton. De même, en matière d’embauche, comprendre comment un système d’IA classe les candidats peut aider les employeurs à éviter les sélections biaisées et à promouvoir la diversité.

En nous concentrant sur des systèmes d’IA transparents et éthiques, nous pouvons faire en sorte que la technologie serve les individus et la société de manière positive et équitable.

<figure><img src="image_2.png" /><figcaption></figcaption></figure>

Créé en 2007 pour accélérer et partager les connaissances scientifiques sur les grands enjeux sociétaux, le Fonds Axa pour la Recherche a soutenu près de 700 projets dans le monde entier, menés par des chercheurs originaires de 38 pays. Pour en savoir plus, consultez le site Axa Research Fund ou suivez-nous sur Twitter @AXAResearchFund.