humains, des décisions *rationnelles* et *justes* selon les règles prescrites ; de fait des études<fnref n="13" /> ont montré que, dans le domaine judiciaire, des juges n'avaient pas, statistiquement, la même sévérité selon le moment de la journée, et donc qu'une machine serait plus constante ; mais encore une fois, si le biais émotionnel ou de fatigue y est inexistant, d'autres biais, on l'a vu, interviennent, et peuvent conduire la machine à faire des choix que personne n'avait anticipé. Selon Laurence Devillers, deux niveaux peuvent être ainsi distingués ; le premier est celui des biais d'apprentissage initiaux, résultat d'un mauvais calibrage des données et aboutissant à ce qui peut être appelé la *bêtise artificielle* ; le second est lié à ce que la machine apprend au cours de son utilisation, qui peut remettre en cause ce qui a déjà été vu, ou encore au fait que l'effet de certains paramètres, fixés par les programmeurs, n'est pas bien contrôlé.

Cette question de la confiance, plus généralement des interactions entre l'homme et la machine dans la prise de décision, rejoint, dans certains cas, des questions éthiques majeures. Dans le contexte médical par exemple, notamment celui de la fin de vie, le fantasme d'une délégation totale du diagnostic ou de la décision à l'algorithme existe et fait peur. Mais justement est-ce seulement un fantasme ? Avec Francis Eustache, on doit s'interroger sur le risque, que l'on peut estimer réel, d'une tendance de plus en plus accentuée vers l'application de procédures automatiques : dans de telles procédures, dès lors que le robot prendra telle décision, celle-ci sera appliquée, l'homme n'ayant pas la possibilité de faire intervenir son propre jugement ; soit parce que c'est ce que prescrit le règlement, le médecin contrevenant risquant alors une sanction ; soit, à l'extrême, en raison d'une automatisation complète.

Il s'agit donc de questions extrêmement importantes, dont la résolution fait l'objet d'un domaine actif de recherche : donner aux algorithmes basés sur l'apprentissage profond la capacité de mieux expliciter leurs résultats ; créer des outils à même d'évaluer les systèmes mis sur le marché en en analysant les biais, les façons de répondre, les discriminations de toutes sortes ; et pour mener au mieux cette entreprise, concevoir ces *agents évaluateurs*, travailler en interdisciplinarité avec des économistes, des juristes, des informaticiens ; c'est bien de recherche qu'il s'agit, dont le but est de permettre au public et aux décideurs d'avoir confiance dans ces produits ; s'ils ne recueillent pas cette confiance, ils ne seront pas vendus, et pour le monde militaire ne seront pas utilisés par les chefs et les opérateurs qui en auront la responsabilité.

## Interactions et Interdépendances hommes-machines.

C'est un vaste sujet, qui a été abordé sous plusieurs angles : celui de la menace de perte d'humanité, et celui de la préservation du contrôle de la machine par l'homme ; avec deux perspectives, à court terme à l'échelle de l'individu, et à long terme à l'échelle de la société.

<footnote n="13">¹³ Etudes dont la validité est toutefois discutée.</footnote>
Pour le court terme à l'échelle de l'individu, la question est d'abord traitée sous l'angle des implants, et notamment des implants cérébraux. Avec une question symbole : à partir de quand un homme complété par des implants devient-il un robot ? Deux types de positions s'expriment, qui, sans être contradictoires, manifestent un certain malaise.

Les implants sont acceptables quand il s'agit de réparation. Dans le contexte militaire, un homme blessé dont certaines fonctions vitales sont accomplies par des implants fait toujours partie de la famille humaine. Dans le contexte médical, on reconnaît que les implants constituent un progrès considérable dans le suivi et la thérapeutique de certaines maladies<fnref n="14" />. Mais faut-il aller de l'homme réparé à l'homme augmenté ? Par exemple avec la mise au point d'implants cérébraux qui permettraient la communication directe, non médiatisée par le langage ? Ne serait-ce pas un très grand danger, est-ce qu'il n'y a pas un gros risque que ces technologies permettent des manipulations d'individus qui perdraient leur libre arbitre, se transformant de facto en robots ?

Le danger, selon Laurence Devillers, est en effet que l'homme puisse être piloté par ses implants, que ceux-ci prennent le contrôle, et qu'il perde ainsi sa capacité de décision. A partir du moment où il ne peut plus décider, où il est gouverné par la machinerie qui est dans son cerveau, on peut considérer que l'homme devient une machine. Les implants cérébraux sont utilisés jusqu'ici pour des pathologies particulières où il n'existe pas encore d'autres solutions pour l'instant, comme la maladie de Parkinson, avec des effets positifs. Mais certains industriels, notamment parmi les GAFA, commencent à parler de BCI -Brain Computer Interaction- : selon eux, on pourra se connecter directement et communiquer plus vite sur Internet via la pensée. Le langage deviendrait ainsi obsolète, or celui-ci fait partie de notre culture, il véhicule aussi ce que l'on a d'humain. Une telle communication sans langage serait dangereuse. Elle poserait des difficultés en matière de transparence, de partage, d'archivage à long terme, ainsi d'ailleurs que de faculté d'abstraction, de raisonnement ou de conceptualisation complexe.

En fait cette idée d'homme augmenté est-elle vraiment possible ? Certains en doutent, présentant les affirmations de certains industriels ou penseurs comme de l'esbroufe, voire des tentatives de manipulation ? On fait aussi remarquer qu'un être humain est un système de fonctions<fnref n="15" /> qui sont pour une grande part (70%) des sous-systèmes autonomes et indépendants de tout appel à la conscience. Chacun de ces sous-systèmes peut être effectivement réparé en cas de dysfonctionnement, mais cette proportion doit être rappelée

<footnote n="14">¹⁴ Notamment le diabète, la maladie de Parkinson. Francis Eustache mentionne ainsi le traitement de certaines formes de Parkinson avec implants stimulant le noyau sous-thalamique, pour lequel la France a été pionnière. Il évoque également des essais prometteurs concernant la maladie d'Alzheimer, mais exprime un certain doute concernant les implants mémoire.</footnote>

<footnote n="15">¹⁵ Un intervenant cite ainsi le système hormonal, le système digestif, les fonctionnements réflexes comme ceux de la marche. Laurence Devillers fit remarquer dans le même esprit que l'on n'est pas conscient du fonctionnement de notre corps et de notre cerveau.</footnote>
semble-t-il dans toute réflexion sérieuse sur ces sujets. De même que doit être rappelé ce
qui fait l'identité d'un individu, l'importance de son histoire personnelle et l'histoire de ses
relations avec les autres.

Car justement, une plus grande autonomie n'est pas toujours à rechercher ; au contraire, notamment dans le contexte militaire, comme le redira Gérard de Boisboissel, les programmeurs de ces systèmes doivent veiller à ce que le contrôle de l'homme sur le robot puisse être toujours assuré. En fait, on n'a nul besoin de robots conscients<fnref n="16" /> ; on leur demande seulement d'être à même d'accomplir les tâches auxquelles ils sont destinés ; ces tâches peuvent requérir un haut degré d'automatisation, d'adaptation au contexte, de réflexivité, mais la conscience, au sens que nous donnons intuitivement à ce terme, est inutile car la responsabilité d'actes conscients revient au chef militaire.

Sur ce plan du contrôle, Gérard de Boisboissel souligne que l'utilisation des machines nécessite que l'on ait *confiance* en elles, et pour cela, que l'on *comprenne comment elles opèrent, que l'on ait une explication de leurs mécanismes* en disposant des informations relatives à leurs processus d'analyse et aux choix qui en découlent, afin de pouvoir discerner et valider ou invalider leurs comportements.

Antoine Bordes apporte une nuance à propos de la possibilité d'expliquer les actions de la machine, il conçoit que l'on souhaite pouvoir *interpréter la trace de la décision d'une machine* comme une séquence déductive explicite, mais il pense que cela n'arrivera pas systématiquement, sauf dans certaines situations, de même qu'un humain qui a pris une décision n'est pas toujours capable d'expliciter le cheminement qui l'y a conduit. Antoine Bordes souligne en effet que l'homme lui-même a souvent des difficultés à expliquer son processus de décision : il prend l'exemple du joueur de football, qui ne sait pas toujours expliquer comment il contrôle le ballon, ni comment il décide à qui le passer : les tentatives d'explication sont généralement partielles et subjectives.

A l'échelle de la société, le débat a touché à certaines implications possibles de la notion d'homme augmenté. De fait, la communication directe entre l'homme et la machine via des implants cérébraux n'a d'intérêt, en pratique, que si elle fonctionne dans les deux sens. Or, dans le sens réciproque « Computer Brain Interaction », un tel mode de communication ouvrirait par exemple la porte à une commande du cerveau par la machine —y compris via de fausses informations, à défaut de commande directe-. Les implants cérébraux permettraient ainsi de commander à *distance des armées d'individus robotisés*, via les machines, voire permettraient aux machines elles-mêmes d'en prendre le contrôle.

Sur le plan du contrôle justement, une crainte a semblé sous-tendre le débat : celle d'une
perte de contrôle de l'homme sur l'évolution de la société sous l'emprise grandissante des

<footnote n="16">¹⁶ Aucun programmeur ne souhaite a priori mettre de conscience machine dans son programme, dira ainsi Antoine Bordes.</footnote>
machines. Laurence Devillers a ainsi préconisé de limiter les développements en matière de robots et d'algorithmes à ce qui serait le plus utile, pour les personnes âgées, les personnes moins âgées, pour nous faciliter la vie, mais sans nous rendre trop paresseux, ni trop dépendants des machines<fnref n="17" />.

En conclusion sur ce thème de l'interaction homme-machine, il a été regretté que les pouvoirs publics soient parfois mal informés. En particulier, selon Laurence Devillers, *il faut réagir très clairement contre les implants cérébraux*, s'ils ne sont pas justifiés par l'intention de réparer ou de traiter une maladie. Et il est inquiétant de voir que certaines institutions puissent être sensibles à des discours prônant l'eugénisme ou l'augmentation de l'homme, sous prétexte de baisse du QI moyen ou de compétition avec l'intelligence artificielle.

## Intelligence artificielle et Insertion dans les réseaux sociaux

C'était un sujet trop vaste pour être traité dans le temps disponible. Et son rapport avec le cœur du thème central du colloque, voire avec celui de l'intelligence artificielle, n'est pas immédiat. Les interventions et la discussion ont cependant pu aborder plusieurs points.

Antoine Bordes rappelle l'un des caractères des réseaux sociaux : une plateforme telle que Facebook permet à des milliards d'entités d'échanger des informations de façon quasiment instantanée ; ces entités sont des personnes, mais aussi des groupes politiques, des journaux, des entreprises, voire des algorithmes... ; l'échelle de cet énorme espace d'expression, de liberté, qui, de plus, s'auto-développe, engendre des phénomènes qu'on ne prévoyait pas. L'observation et éventuellement, si nécessaire, le contrôle de ce qui se passe dans cet espace est difficile, compte tenu de sa taille mais aussi de la rapidité de son fonctionnement. La détection de contenus inappropriés (fausses nouvelles, faux comptes, incitations à la haine et autres propos interdits par la loi, ...) a d'abord été fondée sur des signalements : le contenu suspect est signalé à une équipe de vérifieurs qui décident s'il est ou non conforme aux règles de la plateforme, règles qui sont publiques et qui peuvent donc être confrontées aux différentes législations. En cas de non-conformité, ces vérifieurs décident éventuellement du retrait du contenu incriminé, mais bien sûr si ce contenu a été signalé c'est qu'il a déjà été vu et donc vu, a priori, par un grand nombre de personnes... L'intelligence artificielle est apparue comme un outil pouvant aider<fnref n="18" /> un tel processus, notamment pour le rendre plus rapide. Mais d'un autre côté, de telles interventions se heurtent à un principe, qui est que l'on n'est pas là pour faire de la censure. La solution serait peut-être de rechercher comment faire comprendre au plus vite aux récepteurs que

<footnote n="17">¹⁷ A ce propos a été cité le rapport récent de la mission Villani, qui préconise un usage raisonné des NTIC, y compris pour des raisons écologiques, du fait de leur coût élevé en énergie.</footnote>

<footnote n="18">¹⁸ La décision quant au retrait devant toutefois rester humaine.</footnote>