## Problèmes éthiques posés par les décisions prises par les machines

Un argument mis en lien avec la notion de responsabilité est qu'un robot n'a pas d'intentions, de motivations, de buts qui lui soient propres, car les *intentions* qu'il peut avoir lui sont *données* par le programmeur. De fait, il n'exerce pas vraiment des choix, il n'est pas *responsable*. La responsabilité, qui est une notion morale et juridique, serait le propre de l'humain. La nuance qui est cependant apportée par un intervenant est que le niveau de généralité et d'abstraction du but qui est explicitement programmé peut être très élevé, si bien qu'alors le robot dispose d'une grande *autonomie* dans sa réalisation.

Conscience, identité, responsabilité - cette dernière impliquant la capacité de dire « non », soulignera Francis Eustache lors de la discussion : *si on est capable de dire non, c'est grâce à notre histoire personnelle, mais aussi à l'histoire qui vient de nos parents, à nos valeurs, et à notre Histoire avec un grand 'H'*. Ces termes sont, de façon sous-jacente, au cœur du débat autour de la différence entre *la machine et l'homme* et ses conséquences sur le plan de l'éthique.

Les questions posées autour de ce thème s'articulent autour de celle-ci : le robot est-il responsable de son comportement ? La réponse globale à cette question est que non, la responsabilité restera toujours - ou doit rester ? - in fine humaine, celle du producteur ou de l'utilisateur de la machine. Mais cette réponse générale et ses conséquences se déclinent de plusieurs façons, selon le contexte d'utilisation et le point de vue particulier à chacun des participants.

Ainsi que le soulignera Gérard de Boisboissel, le contexte militaire fait ressortir le lien entre ces questions, la notion d'autonomie et celle de délégation. Le robot militaire apparaît comme un système de fonctions, de catégories d'actions à accomplir, chacune ayant son degré d'autonomie propre ; par exemple la fonction *déplacement* où le robot peut être complètement téléguidé, ou au contraire laissé totalement libre du choix de son trajet, pour atteindre une destination donnée, en définissant lui-même son parcours et en contournant tout obstacle qui entraverait sa progression. Ou encore, la fonction de surveillance, où le robot peut être laissé libre du choix des secteurs d'observation ainsi que de l'orientation et du positionnement de ses capteurs. Par ailleurs, doter les robots de systèmes d'armement est inéluctable, car il est des usages où de telles machines apporteront un avantage tactique. Une question cruciale devient donc celle des *armes autonomes*, armes pouvant décider « librement » du choix de la cible et du moment du tir. Sur ce point une position peut être, par exemple, que ce droit de tirer ne puisse être délégué au robot que dans des circonstances particulières (situations saturantes ou milieux hostiles à la présence

<footnote n="7">⁷ Au jeu de Go, l'intention de gagner est programmée ; de même, pour un robot assistant dans un EHPAD, l'intention d'exprimer et de susciter l'empathie est programmée.</footnote>
humaine) ; selon cette approche, la délégation de tir doit nécessairement être bornée dans
le temps et révocable à tout moment par la personne habilitée. *Abandonner tout contrôle
sur le robot est un non-sens du point de vue de l'action militaire*, car c'est le chef qui donne
du sens à celle-ci. L'utilisation par les militaires d'une machine ayant une forme
d'autonomie doit garantir que cette machine soit sujette aux ordres et aux contre-ordres, et
qu'elle rende compte tout comme n'importe quelle unité militaire<fnref n="8" />. Il est probable selon
Gérard de Boisboissel que tous les pays, malgré leurs conceptions propres de la guerre,
respecteront ces règles d'utilisation, avec des volontés plus ou moins marquées de
développer des armements létaux autonomes. Reste le cas du terrorisme, qui lui souhaite
au contraire que de tels systèmes puissent faire le maximum de pertes sans obligation de
contrôle, et il faudra sans nul doute *tout faire pour éviter de tels scénarios*.

Un robot n'a donc qu'une autonomie déléguée, déléguée par des êtres humains ; mais cette
autonomie partielle pose la question de l'éventuelle attribution aux robots d'une
personnalité juridique. Sur cette question, selon Laurence Devillers, la réponse de la
communauté concernée est plutôt négative. Elle évoque trois types d'arguments. Tout
d'abord un argument financier, lié aux engagements d'assurance qu'il faudrait placer sur
ces machines dotées d'une personnalité juridique, avec des montants qui seraient
supportables par de grands groupes mais pas nécessairement par de petites startups.
Ensuite, considérer qu'en cas de dommages causés c'est la machine qui est « responsable »,
n'incite pas à chercher l'origine du « bug » ou plus exactement de ce comportement
dommageable du robot et à chercher à y remédier. Enfin, l'argument de la confusion
qu'apporterait l'introduction de cette nouvelle catégorie du droit, dans un système où le
matériel juridique permettant le partage de responsabilité entre les différents acteurs
humains impliqués dans un dommage causé par un robot est déjà en place et suffisant, au
moins dans un contexte civil<fnref n="9" />. Oublions donc, dira Laurence Devillers, cette idée de robots
dotés d'une personnalité juridique, idée jugée inutile ; l'important est de bien comprendre
quels sont les différents acteurs humains impliqués dans l'action du robot, la nature, le
degré de leur implication.

Parmi ces acteurs, il y a les chercheurs, qui, en amont des applications opérationnelles,
travaillent sur les algorithmes, et, en lien avec eux, ceux qui conçoivent ces applications.
Puis les « entraineurs » - ceux qui vont entraîner le robot aux tâches qu'il doit effectuer, à
partir de données qu'ils auront sélectionnées. C'est l'apprentissage, dans lequel la fonction

<footnote n="8">⁸ On peut toutefois noter que vient toujours un moment où l'arme est livrée à elle-même, sans possibilité d'en reprendre le contrôle, cela parfois plusieurs dizaines de minutes avant son déclenchement létal effectif : c'est le cas par exemple des missiles balistiques de la dissuasion nucléaire, ou des missiles de croisière, ou, pour des durées plus courtes, des torpilles, ou des missiles sol-air ou air-air. Mais dans ces exemples, l'homme a explicitement désigné les cibles, et un tel choix n'est pas laissé à la machine.</footnote>

<footnote n="9">⁹ On sait qu’en France existent les notions de personne et de meuble, et dans cette catégorie les meubles *sensibles* que sont les animaux ; la responsabilité des dommages causés par ces différents meubles est toujours recherchée du côté des personnes, selon des règles bien établies.</footnote>
objectif est fixée par l'homme. Il y a enfin les utilisateurs eux-mêmes, notamment dans l'action complémentaire qu'ils peuvent avoir sur le robot et son comportement, en lui apprenant par exemple un comportement non approprié ou peu judicieux.

Prenons d'abord, avec Antoine Bordes, le cas des chercheurs, qui se sentent effectivement porteurs d'une responsabilité. Selon lui, un consensus s'est dégagé dans la communauté de ces chercheurs, aussi bien dans le monde industriel comme à Facebook<fnref n="10" /> ou Google, que dans le monde universitaire, pour qu'il n'y ait pas de plan secret, que tout passe par des publications « open access », en domaine ouvert, comme pour les travaux de recherche des autres disciplines. Contrairement à ce qui peut être craint ici ou là, il ne peut y avoir ainsi d'algorithmes superpuissant que personne n'aurait vu venir. La raison de ce comportement n'est pas seulement un désir spontané d'ouverture des grands groupes, mais le fait que les laboratoires sont bien sous le contrôle des chercheurs, qui sont, à la base, imprégnés des principes de la recherche universitaire<fnref n="11" />.

Cette situation, dira Antoine Bordes, ne signifie pas pour autant, de l'aveu même de ces chercheurs, que les systèmes actuels ne peuvent pas être appliqués de manière problématique ; il y a nombre de points auxquels il faut faire attention. C'est notamment le cas dans le contexte de l'apprentissage profond ; car le robot que l'on entraîne pour une tâche donnée, apprend à partir de ce qu'on lui présente, et ce qu'on lui présente peut être affecté de biais de natures et d'origines diverses. Ces biais peuvent entraîner de mauvaises décisions, mais on ne peut pas à proprement parler les considérer comme des bugs. C'est d'autant plus problématique que l'algorithme n'est souvent pas capable d'expliciter ce qui le conduit à fournir telle réponse ou à prendre telle décision, et donc ceux qui ont fourni la base d'exemples peuvent très bien ne pas avoir conscience des biais que celle-ci contient. Ces biais d'apprentissage ne sont pas qu'une crainte théorique, de nombreux exemples ont pu être constatés ; exemples dans lesquels le comportement de la machine s'avère discriminant, toutes les personnes n'étant pas traitées de la même façon selon qu'il s'agit d'hommes ou de femmes, ou selon la couleur de la peau<fnref n="12" />.

La question de la confiance à placer dans la machine, dans sa capacité de non-discrimination, dans son équité, voire dans sa *loyauté*, terme employé par Laurence Devillers, se pose dans de nombreux contextes ; un des facteurs souvent évoqué en faveur de la machine est son insensibilité aux émotions, à la fatigue ; cette insensibilité lui permettrait alors de proposer, sans être affectée par de tels facteurs, contrairement aux

<footnote n="10">¹⁰ Ainsi Facebook a publié en deux ans plus de 200 articles, tous accessibles en plein texte.</footnote>

<footnote n="11">¹¹ En relisant ce compte-rendu de la Table ronde, Raja Chatila fait cependant remarquer que les entreprises sont libres de ne pas tout publier.</footnote>

<footnote n="12">¹² Les conférenciers ont cité ainsi les algorithmes mis en place pour le déblocage des téléphones, qui se sont avérés fonctionner de façon moins efficace pour les personnes noires ; ou encore des algorithmes manipulant le langage et reflétant, par exemple dans le domaine des métiers, les stéréotypes distinguant métiers « masculins » et « féminins » et la réalité sociale qui leur est liée.</footnote>
humains, des décisions *rationnelles* et *justes* selon les règles prescrites ; de fait des études<fnref n="13" /> ont montré que, dans le domaine judiciaire, des juges n'avaient pas, statistiquement, la même sévérité selon le moment de la journée, et donc qu'une machine serait plus constante ; mais encore une fois, si le biais émotionnel ou de fatigue y est inexistant, d'autres biais, on l'a vu, interviennent, et peuvent conduire la machine à faire des choix que personne n'avait anticipé. Selon Laurence Devillers, deux niveaux peuvent être ainsi distingués ; le premier est celui des biais d'apprentissage initiaux, résultat d'un mauvais calibrage des données et aboutissant à ce qui peut être appelé la *bêtise artificielle* ; le second est lié à ce que la machine apprend au cours de son utilisation, qui peut remettre en cause ce qui a déjà été vu, ou encore au fait que l'effet de certains paramètres, fixés par les programmeurs, n'est pas bien contrôlé.

Cette question de la confiance, plus généralement des interactions entre l'homme et la machine dans la prise de décision, rejoint, dans certains cas, des questions éthiques majeures. Dans le contexte médical par exemple, notamment celui de la fin de vie, le fantasme d'une délégation totale du diagnostic ou de la décision à l'algorithme existe et fait peur. Mais justement est-ce seulement un fantasme ? Avec Francis Eustache, on doit s'interroger sur le risque, que l'on peut estimer réel, d'une tendance de plus en plus accentuée vers l'application de procédures automatiques : dans de telles procédures, dès lors que le robot prendra telle décision, celle-ci sera appliquée, l'homme n'ayant pas la possibilité de faire intervenir son propre jugement ; soit parce que c'est ce que prescrit le règlement, le médecin contrevenant risquant alors une sanction ; soit, à l'extrême, en raison d'une automatisation complète.

Il s'agit donc de questions extrêmement importantes, dont la résolution fait l'objet d'un domaine actif de recherche : donner aux algorithmes basés sur l'apprentissage profond la capacité de mieux expliciter leurs résultats ; créer des outils à même d'évaluer les systèmes mis sur le marché en en analysant les biais, les façons de répondre, les discriminations de toutes sortes ; et pour mener au mieux cette entreprise, concevoir ces agents évaluateurs, travailler en interdisciplinarité avec des économistes, des juristes, des informaticiens ; c'est bien de recherche qu'il s'agit, dont le but est de permettre au public et aux décideurs d'avoir confiance dans ces produits ; s'ils ne recueillent pas cette confiance, ils ne seront pas vendus, et pour le monde militaire ne seront pas utilisés par les chefs et les opérateurs qui en auront la responsabilité.

## Interactions et Interdépendances hommes-machines.

C'est un vaste sujet, qui a été abordé sous plusieurs angles : celui de la menace de perte d'humanité, et celui de la préservation du contrôle de la machine par l'homme ; avec deux perspectives, à court terme à l'échelle de l'individu, et à long terme à l'échelle de la société.

<footnote n="13">¹³ Etudes dont la validité est toutefois discutée.</footnote>