Table ronde du colloque
Les signatures de la conscience<fnref n="1" />

La table ronde organisée à l’issue du colloque a été animée par Raja Chatila, entouré d’Antoine Bordes, Gérard de Boisboissel, Laurence Devillers et Francis Eustache. Une part des réflexions de la troisième partie a trouvé un écho dans cette table ronde, dont la présente synthèse constitue la quatrième partie de cet ouvrage. Quatre questions ont d’emblée été proposée par Raja Chatila en introduction et y ont été ensuite débattues : la possibilité (et le caractère souhaitable ou non) d’une conscience artificielle ; la délégation des décisions aux machines et les implications de cette délégation ; les interactions et interdépendances hommes – machines ; et enfin une brève évocation du problème de l’insertion des machines dans les réseaux sociaux

Peut-on envisager une conscience artificielle ?

Que peut être la conscience d'une machine ? Une machine peut-elle être consciente d'elle-même ? Des interventions des participants à la table ronde et de celles du public présent se dégage une réponse plutôt négative. Toutefois, une telle réponse négative semble davantage relever de l'observation de l'état actuel de la technologie, ou encore d'un souhait ou du postulat d'une absence de besoin, voire d'un refus de l'alternative, que d'une argumentation rationnelle<fnref n="2" />.

La réflexion sur ces questions se heurte en effet à plusieurs difficultés liées entre elles.

<footnote n="1">¹ Cette synthèse a été rédigée par Eric Chenin et Jean-Pierre Treuil. Elle a fait l'objet de plusieurs allers-retours avec Raja Chatila et les participants de la table ronde ; elle est publiée avec l'accord de tous. Les passages du texte en italique correspondent aux locutions utilisées par les intervenants.</footnote>

<footnote n="2">² A ce sujet, étant donné l'enjeu pour l'homme, la question mériterait peut-être que l'on y consacre un effort important : peut-on démontrer que la machine n'accèdera jamais à la conscience ? Et sous quelles conditions ? Actuellement en effet, on ne sait pas déterminer les conditions qui pourraient garantir que la machine ne puisse pas devenir consciente, ni reconnaître les indices qui pourraient présager l'apparition de la conscience dans les machines : on ne sait donc ni empêcher cette apparition, ni l'anticiper. Cela semble constituer un risque sérieux pour l'humanité, peut-on se permettre de le négliger ? En relisant ce compte-rendu, Laurence Devillers fait remarquer, à propos de cette note, qu'il faudrait tout d'abord définir ce qu'on entend par conscience. Stanislas Dehaene explique dans son livre intitulé « Le Code de la conscience » que *les calculs mis en œuvre par les réseaux de deep learning actuels correspondent principalement aux opérations non conscientes du cerveau humain*. Les systèmes actuels d'IA ont la capacité d'extraire inconsciemment des corrélations de fait des informations, de prendre des décisions et d'apprendre, mais sans en avoir conscience.</footnote>
La première est la difficulté à s'extraire d'un vocabulaire anthropomorphique lorsqu'on cherche à caractériser le comportement des robots et leurs relations avec les êtres humains. Ce vocabulaire est simultanément une facilité et un piège. En l'employant en effet on humanise les robots dans l'esprit du public et on peut être conduit à des raccourcis trompeurs. Pour Laurence Devillers, il faut éviter les amalgames entre la conscience et la « conscience machine » auxquels conduit l'utilisation, pour les algorithmes ou les robots, du vocabulaire propre au comportement humain. Par exemple, que recouvre la notion de « rêve » appliquée aux machines ? S'agit-il de la phase, chez l'homme, où l'on construit sur les données enregistrées dans la journée, où l'on consolide ce qu'on a vu et fait dans la journée ? et Laurence Devillers a poursuivi son propos, en observant cependant que si un robot est programmé pour mettre à jour périodiquement ses paramètres internes en fonction des données nouvellement enregistrées, cela pourrait s'apparenter effectivement à cette phase de consolidation de la mémoire pendant le sommeil observée chez l'homme<fnref n="3" />. Il y a bien, de ce point de vue, une analogie entre ce que fait l'homme et ce que fait la machine ; mais ce n'est pas pour autant une manifestation de la conscience chez la machine, où le sens et l'émotion, par exemple, restent absents de la reconfiguration des paramètres internes. Un exemple simple d'exercice de l'imagination où la machine a rejoint l'homme est la paréidolie, c'est-à-dire la capacité à voir des structures là où il n'y en a pas. On la considérait comme une manifestation typique de l'imagination humaine, mais en fait les algorithmes s'en avèrent parfaitement capables, comme l'a bien montré le programme DeepDream d'Alexander Mordvintsev. On est capable de simuler facilement ce genre de capacité avec des réseaux de neurones, mais la machine ne rejoint pas pour autant les capacités d'imagination de l'homme. Laurence Devillers poursuit : les machines n'ont pas d'émotions, elles n'ont pas de corps, elles n'ont pas de ressenti, elles n'ont pas de conatus, d'intériorité, la machine ne fait que ce pour quoi elle est programmée, arrêtons d'abuser du langage : les émotions, la conscience, l'intelligence, l'autonomie, tout cela, c'est de la simulation ; et quand la machine fait quelque chose que l'on n'a pas prévu, souvent il s'agit de bugs.

Antoine Bordes rebondit sur le thème des stratégies dans les jeux et l'apprentissage par renforcement ; il s'interroge sur l'interprétation des capacités de certains algorithmes à apprendre par eux-mêmes, sans supervision ; par exemple à apprendre à mieux jouer en jouant une multitude - typiquement plusieurs millions voire milliards - de parties contre un avatar d'eux-mêmes. On pourrait dire que ce sont des parties imaginaires et considérer que l'exercice s'apparente au rêve ou à un travail d'imagination. Peut-on dire qu'une telle capacité est la transposition pour une machine, de ce qu'est pour un être humain la faculté de rêver ou d'imaginer ? Antoine Bordes conclut en disant qu'il n'irait pas jusque là.

<footnote n="3">³ Toutes les formes de mémoire sont concernées, mais chaque stade du sommeil joue un rôle assez sélectif. Lors du sommeil léger puis profond qui suit l'endormissement c'est la mémoire déclarative, faite de nos souvenirs et de nos connaissances, qui est consolidée. Lors du sommeil paradoxal, plus tardif, ce sera la mémoire procédurale, celle de nos habiletés motrices et perceptives.</footnote>
La seconde difficulté est celle de définir la conscience autrement que par ses manifestations extérieures (i.e. dans les comportements), visibles ou mesurables. De fait, rien n'interdit d'interpréter une simulation de ces comportements comme procédant d'une conscience, d'une **intériorité**, d'une **intention**<fnref n="4" />. Laurence Devillers rappelle que Turing observait déjà qu'on ne sait pas si un individu en face de soi est conscient, on ne connaît pas son intériorité. Or on est bien dans la même situation dans notre interaction avec la machine. Mais malgré cette remarque, Laurence Devillers maintient sa position en insistant : *il faut bien comprendre que les machines produisent automatiquement des comportements qui nous ressemblent, mais sans aucune intention interne, sans ressenti, sans corps, sans physiologie, sans compréhension, sans aucun appétit de vie... elles ne font que reproduire des comportements qui nous paraissent intelligents.*

Si le robot décode des émotions, il le fait de manière « abstraite », il est simplement programmé pour apprendre à reconnaître des motifs dans le ton de la voix, dans l'expression du visage ou dans les gestes, et il trouve dans une base de données les catégories d'états émotionnels qui y sont associées. Mais, dira Francis Eustache, décoder les émotions ce n'est pas les ressentir ; il poursuivra cette observation, à partir de son expérience de psychologue : pour lui, la conscience *au sens fort du terme, et notamment la conscience morale*, n'est pas seulement liée au fonctionnement du seul cerveau : *le cerveau est dans un corps, je réagis avec mon cœur, si j'ai une émotion mon cœur se met à battre plus vite, je me mets à transpirer...* Il doute, tout en craignant qu'il puisse se tromper, que de telles réactions puissent être *modélisées* et devenir partie intégrante du comportement de robots humanoïdes.

Enfin, il y a la difficulté à parler de la conscience « tout court », sans l'associer à l'objet de cette conscience ; on parle ainsi de conscience de son environnement, de sa place dans cet environnement, conscience des possibilités de s'y adapter et des limites de ces possibilités d'adaptation, conscience des autres, de leurs situations, de leur attitude à notre égard, conscience de soi. Dans toutes ces expressions, c'est toujours conscience de quelque chose, Gérard de Boisboissel en liste plusieurs exemples comme la conscience de faire partie d'un contexte lié à l'action militaire, c'est-à-dire dans un environnement donné et le plus souvent parfaitement reconnu, et d'être au cœur du déroulement de l'action ; mais aussi la conscience de ce que je peux faire pour les autres ainsi que pour la mission et de ce que les autres peuvent faire pour moi (comme m'appuyer, me soutenir, me secourir). La conscience de son environnement ne doit pas être confondue avec la simple existence, dans la machine,

<footnote n="4">⁴ On peut noter à ce propos que parmi les capacités que l'on associe couramment à la conscience, celle qui serait la plus susceptible d'impacter notre relation avec les machines, serait leur capacité éventuelle à développer des intentions propres : l'intentionnalité serait la capacité au potentiel disruptif le plus fort, puisque rien ne garantit que les intentions propres que les machines développeraient seraient compatibles avec celles des hommes.</footnote>
d'une représentation interne de son environnement<fnref n="5" />. En revanche, si la machine met à jour en continu cette représentation interne à partir des données dont l'alimentent ses capteurs, et si elle s'appuie sur cette représentation interne pour déclencher des actions, pour adapter en temps réel son comportement, et c'est justement le cas dans les situations évoquées par Gérard de Boisboissel, alors on se rapproche, malgré tout, de ce que pourrait recouvrir la notion de conscience de son environnement chez l'homme ou chez l'animal.

La réflexion des participants s'interroge également sur la possibilité effective, l'opportunité, l'intérêt pratique d'aller vers des robots conscients.

Tout d'abord, se manifeste un certain scepticisme quant au fait que l'on puisse « y arriver » (c'est-à-dire à une intelligence artificielle consciente) ; les échanges qu'un être humain peut avoir actuellement avec un robot sont très pauvres, voire *pathétiques* dans leur indigence. A contrario, les progrès constatés vers une meilleure prise en compte du *contexte*, par exemple dans le cadre d'interactions avec les humains, vers une meilleure capacité d'adaptation à des contextes, à des interlocuteurs variés, pourraient inciter à la prudence, quant aux conclusions définitives. Ces progrès dans la reconnaissance et l'adaptation à de multiples contextes provoquent, dira Francis Eustache, un double sentiment : à la fois une admiration devant ces avancées techniques *impressionnantes*, et une crainte, voire un *effroi* devant ce que cela pourrait signifier : un appauvrissement des interactions, une habituation à interagir avec des entités demeurant très frustes et conduisant à l'isolement ; ou à l'inverse l'être humain dépassé par une machine supérieure devenue consciente. A ce sujet Francis Eustache renvoie au livre qu'il a récemment coordonné ayant pour titre « La mémoire entre science et société » (Le Pommier, 2019), où ces aspects sont abordés de façon pluridisciplinaire.

Un autre argument alimentant le scepticisme repose sur le postulat déjà souligné que la conscience est liée à la vie, que c'est une propriété d'un être vivant, avec un cerveau certes, mais aussi un corps. Conscience implique un *contexte intérieur* qui lui soit accessible ; il s'ensuit cette conclusion : un ordinateur n'est pas un être vivant, un être produit par une longue évolution, donc il ne peut avoir de conscience, pour ainsi dire par construction.

Une dernière idée amenée par les intervenants est qu'un robot peut être dupliqué, qu'il n'a pas d'identité, ou encore que son identité n'est pas unique ; que l'intégration du robot dans les réseaux rend cette notion d'identité vide de sens<fnref n="6" />.

<footnote n="5">⁵ Une telle représentation de l'environnement, au sens large, de la machine, est en effet présente dans toute machine sous une forme ou sous une autre, sinon les interactions seraient impossibles, y compris entre algorithmes.</footnote>

<footnote n="6">⁶ La conscience au sens « fort », la conscience d'exister, d'avoir une identité, repose en effet sur l'existence d'une telle identité, d'un soi. Et cette notion est difficile à appliquer à un ensemble diffus d'algorithmes en interaction au sein d'un réseau, dont une partie est dupliquée sur plusieurs supports.</footnote>