Jean-Gabriel Ganascia

Sorbonne Université, ACASA
(Agents Cognitifs et Apprentissage
Symbolique Automatique)
Président du Comité d'Ethique du CNRS

**Abstract**

Jean-Gabriel Ganascia recalls the roots of Artificial Intelligence, going down into cybernetics and the beginning of cognitive sciences with the "Macy lectures" of the immediate post-war years 1946-1953. He provides a brief history of AI since its "official" birth in 1956; at the same time he gives elements of the rise of "Big Data". He then introduces, in an illustrated way, the adventure of neural networks, since the first articles published in the 1940s. Some of the principles of their classification performance are presented, as well as the so-called "gradient back propagation" algorithms, which constitute one of the bases of deep learning. With, in the background, the emergence of the availability of large masses of data, on a scale never known in the history of the Humanity, large masses of data which deep learning makes it possible to exploit. In conclusion, Jean-Gabriel Ganascia addresses the question of the possibility of "Strong Artificial Intelligence" exceeding the performance of current weak AI, which remains very specialized.

<footnote n="1">¹ Ce chapitre est la transcription, effectuée par Eric Chenin et Jean Pierre Treuil, membres de l'AEIS, de la conférence de Jean-Gabriel Ganascia faite devant l'AEIS le 12 septembre 2016. Le texte a été relu et corrigé par le conférencier. Il est publié avec son accord.</footnote>
Pour mieux appréhender les liens entre l'Intelligence Artificielle (IA) et les recherches sur
le fonctionnement du cerveau, il est utile de faire un peu d'histoire. A l'origine de l'IA, une
question s'est posée : le cerveau étant supposé être le siège de notre intelligence, peut-on,
pour construire une « intelligence artificielle », simuler son fonctionnement ? et cette
approche est-elle la plus efficace ? Cette problématique a été reprise de façon récurrente au
cours des 75 dernières années. Nous allons ici retracer les méandres de cette histoire, pour
arriver ensuite au plus contemporain.

Nous parlerons ainsi de qu'on appelle les *masses de données*, en anglais les « *big data* » ; notons ici cette tendance à prendre un mot employé depuis longtemps, puis le traduire en anglais pour faire plus moderne. Il en est de même pour le terme d'apprentissage, terme utilisé en France depuis des lustres dans le domaine de l'IA (cf. les journées françaises d'apprentissage, JFA, se sont tenues régulièrement en France depuis le milieu des années quatre-vingt), puis remplacé par « machine learning » on ne sait très bien pourquoi...

Nous parlerons également des **réseaux de neurones formels**. Ici encore, il s'agit d'approches très anciennes, présentes même avant le début de l'intelligence artificielle, et qui ont fait l'objet de plusieurs renaissances. Ces approches reposent sur une analogie féconde entre les ordinateurs et le fonctionnement du cerveau, en en donnant une image, certes, un peu trop métaphorique et grossière pour être fidèle.

Nous parlerons enfin de ce que nous appelons l'IA apocalypse, en écho à toutes les déclarations entendues dans les dernières années, bien que leur contenu soit lui aussi en substance beaucoup plus ancien, déclarations qui annoncent une sorte de « grand soir » de l'Intelligence Artificielle et de l'Humanité.

1. Bref aperçu historique : de la cybernétique à AlphaGo

A l'origine de l'Intelligence Artificielle, on peut citer les conférences interdisciplinaires organisées entre 1946 et 1953 par la fondation Macy en vue de fonder une science générale du fonctionnement de l'esprit humain. Elles furent à l'origine du courant cybernétique et des sciences cognitives, d'où émergea la notion d'Intelligence Artificielle. Jean-Pierre Dupuy, dans « Aux origines des sciences cognitives » relate cette aventure intellectuelle passionnante, initiée notamment par deux articles princeps. Celui de David Rosenblueth, Norbert Wiener, et Julian Bigelow : « Machine téléologique », qui traite des liens entre information, commande et rétroaction ; et celui de Warren McCulloch et Walter Pitts, qui introduit les réseaux de neurones formels, lesquels, longtemps délaissés, sont revenus sur le devant de la scène avec les développements fulgurants que l'Intelligence Artificielle connaît actuellement. A ces articles, il faut ajouter celui d'Alan Turing, paru dans la revue Mind en octobre 1950², qui traite de ce que signifie penser pour une machine, et décrit le

<footnote n="2">² Intitulé « *Computing Machinery and Intelligence* ». Cet article fait suite à une première version parue en 1947. Voir figure 1</footnote>
<figure><img src="image_1.png" /></figure>

# MIND
A QUARTERLY REVIEW
OF
PSYCHOLOGY AND PHILOSOPHY

## I.—COMPUTING MACHINERY AND INTELLIGENCE
BY A. M. TURING

**Figure 1** L'article de Turing de 1950, où il décrit son fameux test

fameux Test de Turing ; savoir le jeu dit de l'imitation, où un interrogateur essaie de distinguer, en échangeant uniquement des questions-réponses écrites, entre d'un côté, une femme, et de l'autre, un ordinateur imitant un homme qui essaie de se faire passer pour une femme : Turing prédit qu'avant 2000, un ordinateur sera capable de tromper l'interrogateur durant cinq minutes dans au moins 30% des cas.

Mais on considère communément que la naissance de l'expression « Intelligence Artificielle » date de l'atelier d'été co-organisé en 1956 au Dartmouth College par John Mac Carthy, Marvin Minsky, Nathaniel Rochester et Claude Shannon<fnref n="3" />. L'idée de cet atelier (figure 2) reposait sur la conjecture selon laquelle tous les aspects de l'apprentissage, et toutes les autres caractéristiques de l'intelligence, peuvent en principe être décrits de façon si précise qu'une machine pourrait être conçue pour les simuler.

Contrairement à ce que l'expression pouvait suggérer, le nouveau champ disciplinaire envisagé n'avait pas pour ambition de construire UNE intelligence artificielle, mais d'étudier l'intelligence, sous ses différentes composantes, par analogie avec les machines. Ces composantes sont les fonctions cognitives classiquement identifiées : les fonctions réceptives, la mémoire et l'apprentissage, le raisonnement et la pensée, les fonctions interprétatives, et les fonctions exécutives. Toutes ces fonctions peuvent faire l'objet de simulations avec les techniques d'intelligence artificielle, et c'est ce qui a été fait, durant les soixante dernières années.

<footnote n="3">³ A cette époque, John Mac Carthy et Marvin Minsky, tous deux de formation mathématique, avaient moins de trente ans ; malgré leur jeunesse, ils avaient réussi à convaincre de leur projet Nathaniel Rochester, alors Directeur scientifique d'IBM, et Claude Shannon.</footnote>
<figure><img src="image_2.png" /></figure>

> We propose that a 2 month, 10 man study of artificial intelligence be carried out during the summer of 1956 at Dartmouth College in Hanover, New Hampshire. The study is to proceed on the basis of the conjecture that every aspect of learning or any other feature of intelligence can in principle be so precisely described that a machine can be made to simulate it.

<caption>**Figure 2** Eté 1956, Darmouth College, naissance de l'Intelligence Artificielle</caption>

Et de fait, si l'expression a pu susciter de l'incrédulité, et si sur la période ont alterné des phases d'emballement et des moments où les progrès marquaient le pas, il faut reconnaître que sur les soixante dernières années, il n'y a pas une discipline scientifique qui a autant transformé le monde que l'intelligence artificielle. Et je vais en donner quelques exemples. A commencer par le Web tout simplement, dont la force réside dans le couplage de l'hypertexte et du réseau Internet. Le concept d'hypertexte a été inventé par un philosophe, Ted Nelson, qui l'a implémenté en LISP comme une nouvelle manière d'organiser la mémoire, et qui l'a publié dans une conférence d'intelligence artificielle<fnref n="4" />. Et Tim Berners Lee, au CERN, a associé l'hypertexte à l'Internet pour créer le Web.

On peut multiplier les exemples, avec la voiture autonome, les robots, la biométrie, l'apprentissage, la vision par ordinateur, la reconnaissance de la parole et la compréhension du langage naturel ... Sur cet exemple du traitement de la parole et du langage naturel, on peut mesurer l'accélération des progrès, depuis 2001 l'Odyssée de l'espace, où cela relevait encore de la science-fiction, avec une recherche balbutiante en laboratoire, jusqu'à des applications comme SIRI, qui sont maintenant courantes sur les téléphones portables, au sous-titrage en temps réel des vidéos sur Internet, ou à la traduction automatique. Au niveau des jeux aussi, il y a eu des progrès considérables, depuis la victoire de Deep Blue sur Gary Kasparov, aux échecs, en 1997, jusqu'à celle d'AlphaGo sur Lee Sedol, au jeu de

<footnote n="4">⁴ T.H. Nelson : *A file structure for the complex, the changing and the indeterminate* ; Complex Information Processing, Proceedings of the 1965 20th ACM National Conference, August 1965</footnote>
go, en 2016 (figure 3), en passant par la machine Watson, qui a gagné en 2011 contre les
meilleurs au jeu de Jeopardy.

<figure><img src="image_3.png" /><figcaption>**Figure 3** Lee Sedol, un des meilleurs joueurs mondiaux de go et Demis Hassabis, père d'AlphaGo</figcaption></figure>

## 2. La montée en puissance des « Big data »

Ces progrès fonctionnels sont accompagnés d'une croissance impressionnante des volumes de données traités, ce que l'on désigne en anglais par « big data ». On peut se faire une idée de ces volumes en se référant par exemple à celui de l'information contenue dans la totalité des ouvrages que possède la Bibliothèque Nationale de France (BNF). Celle-ci réunit quatorze millions d'ouvrages dans son catalogue des livres et imprimés : si l'on considère qu'un ouvrage compte en moyenne un million de caractères, cela fait une volume de données de 14 x 10¹² octets, soit 14 tera-octets. En comparaison, le volume total du Web était, en 2015, d'environ 7 zeta-octets, 7 x 10¹³, soit un demi-milliard de BNF. Et Twitter génère à lui seul 7 téraoctets par jour, c'est-à-dire une demi BNF par jour. Quant à Whatsapp, 900 Millions de personnes l'utilisent. Et FaceBook, 1,5 Milliard, avec 9 Milliards de photos partagées par jour.

On attache à la notion de big data trois caractéristiques : le Volume bien sûr, la Variété (textes, images, sons, etc.), et la Vitesse (la rapidité d'évolution au cours du temps), caractéristiques que l'on désigne couramment par « les 3 V ». Parmi ces trois caractéristiques, la vitesse joue un rôle clé. L'information est en effet souvent acquise en
continu : c'est un facteur essentiel dans l'économie contemporaine, et c'est un aspect déterminant dans la logique du traitement de l'information.

Une source majeure pour cette acquisition en continu est le « crowd sourcing », lequel est notamment orchestré au moyen d'outils grand public comme les moteurs de recherche, les réseaux sociaux ou AMT (Amazon Mechanical Turk). Ici la source d'information est chacun d'entre nous : il en va ainsi des requêtes que nous soumettons aux moteurs de recherche ; ou bien des données et informations diverses - y compris multimédia : images, sons, vidéos - que nous déposons régulièrement sur les réseaux sociaux ; ou encore des informations que nous fournissons à divers logiciels dont la qualité de service dépend de l'ensemble des informations fournies collectivement : le logiciel de guidage Waze en est un parfait exemple, qui évalue le trafic en temps réel à partir des vitesses des véhicules de l'ensemble des utilisateurs connectés.

Un autre aspect de ces exemples de crowd sourcing est que l'information recueillie couvre des aspects très divers et concerne une part très importante de la population, à laquelle on a accès sans avoir besoin de sélectionner un échantillon, comme on le fait dans les sondages traditionnels. Bien sûr, sans les récents progrès de l'intelligence artificielle, on ne serait pas capable de traiter une telle diversité et une telle quantité de données.

Cette approche paraît puissante et prometteuse. Elle pourrait permettre de détecter des signaux faibles, voire indirects, par corrélation d'éléments divers. Selon Google, l'analyse des requêtes sur un moteur de recherche peut permettre, par exemple, de détecter une épidémie. Mais il ne faut peut-être pas accorder à cette approche une confiance excessive : par exemple, lorsque Edward Snowden dénonce l'aspiration de toutes les télécommunications par les États-Unis, rien ne garantit pour autant que des signaux très faibles leur suffisent pour détecter la préparation d'un attentat.

L'Intelligence Artificielle revêt aujourd'hui une importance d'autant plus grande que toute la vie sociale est maintenant numérisée. Les moteurs de recherche, les réseaux sociaux, les robots, les véhicules autonomes, les agents conversationnels, les objets connectés : tout cela génère d'un côté une énorme quantité de données d'une grande diversité, et requiert d'un autre côté des capacités nouvelles de traitement. Ce sont là deux défis imbriqués que seuls les progrès les plus récents de l'IA permettent de relever.

Si l'on considère le cas de la voiture autonome, les nouvelles capacités de traitement relèvent de la perception, et notamment de la reconnaissance d'images : identifier les voitures, les passants, les panneaux de signalisation, la route et les trottoirs, etc (figure 4). Mais aussi de la décision, y compris pour éviter une collision avec un passant ou un autre véhicule, avec parfois des conflits à trancher.

Dans le cas des agents conversationnels, on s'approche du test de Turing, où l'agent répond comme un humain, et parfois apprend en temps réel, comme l'agent *Tay* de Microsoft.
Celui-ci a fait scandale, parce qu'il apprenait au contact des internautes, dont certains lui ont tenu des propos orduriers, et Tay, par imitation, a tenu des propos similaires, de nature raciste. On a pu constater, sur cet exemple, certaines limites des agents apprenants.

<figure><img src="image_4.png" /><figcaption>**Figure 4** Véhicules autonomes : En bas, la vue « naturelle » et en haut, l'analyse de la même scène par le système de vision du véhicule autonome (Google Car)</figcaption></figure>

Sur ces deux exemples d'application très différents, on observe que se posent des questions de l'ordre de l'éthique « computationnelle ». Il s'agit de voir comment on peut introduire un certain nombre de valeurs dans ces agents autonomes. C'est une question tout à fait passionnante pour un chercheur, dont on perçoit l'étendue et l'acuité.

### 3. Réseaux de Neurones formels

Revenons maintenant aux débuts des réseaux de neurones formels et à la naissance de l'Intelligence Artificielle.

Bien avant l'atelier de l'été 56 au Dartmouth College, dès les années 40, les acquis de la neurobiologie ont inspiré les pères des réseaux de neurones artificiels. Les travaux de Golgi, par exemple, avaient permis, à la fin du XIXe siècle, de visualiser la structure du tissu cérébral<fnref n="5" />. Les travaux de Santiago Ramon Y Cajal avaient ensuite identifié l'axone et les dendrites, grâce auxquels les neurones s'interconnectent via les synapses : chaque neurone envoie des informations par son axone et en reçoit par ses dendrites, la connexion entre axones et dendrites étant réalisée par les synapses (figure 5).

<footnote n="5">⁵ Camillo Golgi, médecin et histologiste italien ; a partagé en 1906, avec Santiago Ramon y Cajal, le prix Nobel de Médecine, « en reconnaissance de leur travaux sur la structure du système nerveux »</footnote>
• Prix Nobel 1906

– Camilo Golgi

– Santiago Ramón Y Cajal

<figure><img src="image_5.png" /><figcaption>**Figure 5** 1906, découverte des neurones biologiques.</figcaption></figure>

<figure><img src="image_6.png" /></figure>

## 3.1 Une histoire mouvementée

Ces travaux en neurosciences font apparaître la structure des réseaux des neurones, et dans leur article de 1943º, Warren McCulloch et Walter Pitts imaginent de simuler cette structure avec des automates. A cette époque où les ordinateurs électroniques n'existait pas encore, les relais téléphoniques étaient utilisés pour faire du calcul « électrique », et McCulloch et Pitts recourent à ces relais pour réaliser leurs automates. Ils montrent qu'avec une structure de réseau à trois couches, à condition d'avoir suffisamment de neurones dans la couche centrale, d'une part, et d'autre part d'attribuer à chaque connexion la bonne pondération, on peut réaliser n'importe quelle fonction logique booléenne. On peut d'ailleurs noter que cette propriété d'universalité a été généralisée, bien plus tard, à toutes les fonctions continues bornées dans [0,1]

Dès les années 50 et les débuts de l'électronique, on se pose des questions ambitieuses touchant à l'utilisation du langage par l'ordinateur, à la théorie de la complexité, à l'amélioration, à l'abstraction, à l'aléatoire et à la créativité. Et de fait actuellement, ces questions commencent à recevoir des réponses concrètes. L'apprentissage profond révolutionne l'IA et nos outils numériques, et le projet Blue Brain, en Suisse, essaie de reproduire complètement un cerveau (objectif en soi illusoire, parce qu'on ne peut pas

<footnote n="6">⁶ Warren McCulloch and Walter Pitts, *A logical Calculus of Ideas Immanent in Nervous Activity* ; Bulletin of Mathematical Biophysics 5, 1943. Pitts avait alors 20 ans</footnote>
simuler un assez grand nombre de neurones ni de connexions ; mais ce projet permet de mieux comprendre certains aspects des neurosciences).

<figure><img src="image_7.png" /><figcaption>**Figure 6** Schéma d'un neurone formel : le vecteur d'entrée, les pondérations, la fonction d'activation et la sortie</figcaption></figure>

### 3.1.1 L'aventure des perceptrons

Mais les réseaux de neurones formels, entre les années 40 et aujourd'hui, ont connu des hauts et des bas. Jusqu'aux années 90, les capacités de calcul limitent ce que l'on peut faire en pratique. Après les tous premiers essais de Warren McCulloch et Walter Pitts dans les années 40, à l'échelle de quelques neurones, les premières implémentations opérationnelles, utilisées dans les laboratoires, vont apparaître dans les années 50. Marvin Minsky y travaille<fnref n="7" />, en essayant de construire une machine qui apprend en modifiant les poids synaptiques et se rend compte qu'il s'agit d'un problème difficile. Il obtient son PhD à l'Université de Princeton en 1954 avec sa thèse intitulée *Theory of Neural-Analog Reinforcement Systems and its Applications to the Brain Model Problem*. Devant les difficultés rencontrées, inévitables compte tenu des machines de l'époque, Franck Rosenblatt opte pour des implémentations limitées à deux couches ; partant de la métaphore de la rétine qui les inspire, ces premières implémentations, prennent le nom de « perceptron »<fnref n="9" />. Arrêtons-nous un instant sur ses travaux.

<footnote n="7">⁷ Il faut voir les conditions effectives, dans ces années là, des approches « hardware » des réseaux neuronaux, conditions dans lesquelles le maniement du fer à souder s'avérait indispensable.</footnote>

<footnote n="8">⁸ Frank Rosenblatt et Marvin Minsky s'étaient connus pendant leurs années d'étude, dans les années 1945-1946</footnote>

<footnote n="9">⁹ Cf. Frank Rosenblatt : *The perceptron, A perceiving and Rognizing Automaton* ; Project Para Report N° 85-460-1, Cornell Aeronautical Laboratory (CAL), Jan. 1957 ; mais aussi, le lieu de la</footnote>
L'apprentissage réalisé par Frank Rosenblatt, dans ses expériences de 1957-1958 (Mark I Perceptron) s'effectue en réalité sur les poids *d'une seule* couche de neurones, les poids $w_{ik}$ affectés aux inputs ($k=1,2, ... p$) des $n$ neurones $i=1,2, ... n$ ; mais le vecteur $[x_1, x_2, ... x_p]$ des inputs est lui-même sortie d'une couche d'association, cette fois ci *câblée* - donc fixe dans chaque expérience - depuis la grille d'unités photo-sensitives, grille constituant un analogue simplifié d'une rétine, la vraie entrée du système<fnref n="10" />. Chacun des $n$ neurones possède une seule sortie, correspondant à l'une des catégories d'objets que le système cherche à classifier : l'apprentissage est accompli lorsque seule s'active la sortie liée à la catégorie effective de l'objet présenté sur la rétine.

Pendant quelques années, les travaux autour du *perceptron* donnent de bons résultats : on développe en particulier des procédures d'apprentissage automatique efficaces. Mais les limites de cette architecture apparaissent vite, et Marvin Minsky lui-même, à la fin des années 60, dans « *Perceptrons: an introduction to computational geometry* »<fnref n="11" />, montre que certaines fonctions ne peuvent pas être réalisées. Il montre notamment que les perceptrons, qui n'utilisent que des combinaisons linéaires, ne peuvent représenter qu'un ensemble limité de fonctions : celui des fonctions « linéairement séparables », c'est-à-dire, dont l'application revient à couper l'espace des possibles en deux régions séparées par un hyper-plan. Or il se trouve même des fonctions élémentaires, par exemple dans le domaine des fonctions logiques, qui ne peuvent pas être réduites à une séparation par un hyper-plan : c'est notamment le cas de la fonction « OU exclusif ».

### 3.1.2 *Un intermède utile, le développement des théories mathématiques de l'apprentissage*

Cette limite théorique condamne les réseaux de neurones formels, pendant une quinzaine d'années, à être délaissés. Comme on le verra plus loin, il fallut attendre 1986 pour que l'on généralise la procédure d'apprentissage du Perceptron à des réseaux de neurones à trois couches ou plus. Ceci étant, compte tenu des performances des ordinateurs, il était très difficile d'appliquer cette généralisation des réseaux de neurones formels à des problèmes de grande taille, avec beaucoup de données. C'est la raison pour laquelle, à partir du milieu des années quatre-vingt-dix, les approches statistiques de l'apprentissage prennent le dessus, avec notamment les machines à vecteur de support<fnref n="12" />, et les machines à noyau, algorithmes qui sont encore d'usage courant aujourd'hui. Rappelons-en quelques bases : l'objectif est de déterminer automatiquement si un objet *x*, pris dans un ensemble

<footnote>publication est intéressant à souligner : The perceptron, A Probabilistic Model for Visual Perception ; in Procs. Of the 15 International Congress of Psychology, 1957 ; et plusieurs autres publications qui vont suivre en 1958, sous l'étiquette du CAL</footnote>

<footnote n="10">¹⁰ Il y a bien ainsi deux couches de neurones : une première couche, la couche d'association – 512 unités dans Mark-I Perceptron – ayant comme entrée la grille photo-sensitive, et la couche de réponse – 8 unités – dont les liens avec la première couche sont les poids $w_{i,k}$, les seuls modifiés par l'algorithme d'apprentissage</footnote>

<footnote n="11">¹¹ Seymour Papert & Marin Minsky : *Perceptrons : An Introduction to Computational Geometry*. MIT Press, 1969, 268 p.</footnote>

<footnote n="12">¹² Dites encore SVM, séparateur à vaste marge.</footnote>
d'objets possibles $X$, peut être classé, ou non comme relevant d'une catégorie C donnée. On retrouve bien là le problème de *discrimination* auquel s'attaquait le perceptron. Pour ce faire, ces algorithmes opèrent sur un ensemble d'apprentissage (ou échantillon) constitué d'objets $x$, les uns relevant de la catégorie C (exemples) et d'autres non (contre exemples) ; chacun de ces objets est décrit par un *vecteur* d'un espace $X^p$ d'une certaine dimension $p$ - un espace doté d'un produit scalaire et donc d'une distance - si bien que l'échantillon se concrétise par un ensemble de ces vecteurs $[x_1, x_2, ..., x_n]$ ; il s'agit alors sur cet échantillon de trouver une fonction $f(x)$ prenant une valeur positive sur les vecteurs descriptifs des objets de la catégorie C et négative pour les autres objets. Bien entendu, cette fonction $f$ doit satisfaire certaines propriétés assurant la qualité de la discrimination, l'assurance que les objets n'appartenant pas à l'ensemble d'apprentissage seront bien classés dans une grande majorité de cas ; et c'est là que les théories mathématiques de l'apprentissage entrent en jeu<fnref n="13" />.

Dans les cas où, dans l'espace $X^p$ les vecteurs relevant de la catégorie C peuvent être séparés des autres par un simple hyperplan, le problème de discrimination est dit *linéairement séparable*. Il s'agit alors de trouver le « meilleur » hyperplan de séparation, c'est-à-dire la « meilleure » fonction discriminante de la forme $f(x) = v.x + a$, $v.x$ étant le produit scalaire d'un vecteur orthogonal à l'hyperplan et donc caractérisant son orientation dans l'espace, et $a$ un scalaire caractérisant sa position. C'est dans la définition de ce qu'est ce « meilleur » qu'interviennent les théories, en définissant différentes *marges de confiance* fournissant – par maximisation – autant de critère de choix pour les couples de valeurs $(v,a)$.

Il faut bien sûr généraliser l'approche, car comme Minsky et Papert l'ont bien rappelé, tous les problèmes de discrimination ne sont pas linéairement séparables. C'est ici qu'apparait l'utilisation des *noyaux*. D'une manière très simplifiée, cette utilisation revient à trouver une « déformation » de l'espace $X^p$, c'est-à-dire une transformation $\Phi$ des descriptions $[x_1, x_2, ..., x_n]$ en $[\Phi(x_1), \Phi(x_2), ..., \Phi(x_n)]$, de façon à se retrouver dans le cas précédent d'une discrimination linéaire. D'une façon plus précise, un noyau est une fonction $k(x_i, x_j)$ évaluant une « séparation » entre deux vecteurs $x_i$ et $x_j$. Le problème à résoudre est alors de déterminer, sur l'exemple d'apprentissage, la meilleure fonction discriminante<fnref n="14" /> de la forme $f(x) = \sum_i \alpha_i y_i k(x_i, x) + a$, les $y_i$ étant les étiquettes (1 ou -1) affectées aux vecteurs selon qu'ils représentent ou non des objets de la catégorie C ; ici encore la recherche de

<footnote n="13">¹³ Entrer dans ces théories dépasserait le cadre de cet article, mais il est utile de mentionner ici quelques références et notions : la théorie statistique de l'apprentissage de l'informaticien d'origine russe Vladimir Vapnik (autour des années 1990) mobilisant les notions de *trace* d'une famille F de sous-ensembles sur un sous-ensemble donné C, de *pulvérisation* de C par F, enfin la dimension de Vapnik-Chervonenkis de cette famille F. Ou encore la théorie de l'apprentissage PAC (Probably Approximately Correct) proposée par l'informaticien britannique Leslie Valiant en 1984</footnote>

<footnote n="14">¹⁴ Evaluant en quelque sorte la force à laquelle un vecteur $x$ donné « se sépare » de l'ensemble des vecteurs de l'ensemble d'apprentissage, en tenant compte de leurs étiquettes respectives.</footnote>
cette meilleure fonction procède de la maximisation d'une certaine marge de confiance, construite sur les valeurs des $\alpha_i$ et a.

Ces approches mathématiques et statistiques, au-delà des applications qu'elles ont permis de mettre au point, allaient se révéler très utiles pour comprendre l'efficacité des réseaux neuronaux.

### 3.1.3 La résurgence des réseaux de neurones

Dans la mi-temps des années 1980, quelques chercheurs, dont David Rumelhart et Yann Lecun<fnref n="15" />, reprennent l'idée des réseaux de neurones formels, mais cette fois avec trois couches et plus. Ils introduisent une nouvelle méthode d'apprentissage, qu'ils appellent la rétro-propagation de gradient, et ajoutent en sortie de chaque neurone une fonction non linéaire, intitulée fonction d'activation. La fonction d'activation permet de dépasser le comportement linéaire trop limité du réseau. Et la rétro-propagation, inspirée de méthodes issues de la physique statistique, est utilisée lors de l'apprentissage, pour calculer, en remontant les couches de proche en proche depuis la sortie jusqu'à l'entrée du réseau, la correction qui doit être apportée dans chaque neurone à ses facteurs de pondération pour minimiser l'écart entre la sortie obtenue et le résultat attendu.

Donnons-en quelques détails. L'idée de base est d'évaluer, pour chaque exemple (vecteur des entrées) et pour une configuration donnée des poids du réseau, les sensibilités – à la valeur de ces différents poids – de l'écart *E* entre le vecteur des sorties attendues et le vecteur des sorties calculées par le réseau ; cet écart *E* peut être la moyenne quadratique des écarts sur chaque sortie élémentaire, encore appelés *erreurs*. Les sensibilités s'expriment par les dérivées partielles $\frac{\partial E}{\partial W(i,j,l)}$ (les coefficients de *gradient*) où chaque $W(i,j,l)$ représente le poids « actuel » de la connexion entre le neurone *i* de la couche *l*-1 et le neurone *j* de la couche *l*. On pourrait penser à priori que leur calcul est difficile, étant donné la complexité du réseau, l'éventuel grand nombre de couches, etc. La solution est, sans changer les poids, de rétro-propager les erreurs d'une couche à celle qui la précède, à l'aide d'une formule, déduite d'une démonstration mathématique, qui s'avère assez intuitive ; formule de plus très « efficace », car les sensibilités s'expriment alors de façon particulièrement simple en fonction de ces erreurs ainsi rétro-propagées sur chaque couche. Ces sensibilités une fois obtenues, il ne reste plus ensuite 1) qu'à modifier « légèrement » les valeurs des poids proportionnellement à l'opposé de la sensibilité de *E* à leur égard – si

<footnote n="15">15 Il faut sans doute citer ici également Paul John Werbos et sa « dissertation » de 1974 sur la rétro-propagation des erreurs dans un réseau neuronal, et quelques autres pionniers tels que David B. Parker, avec son article de 1985 au titre évocateur : *Learning Logic : Casting the Cortex of the Human Brain in Silicon*, Geoffrey Hinton et Ronald Williams, co-auteurs avec D. Rumelhart de leur article de 1986 *Learning representations by back propagating errors*. Quant à Yan Le Cun, il publie plusieurs articles sur le sujet entre 1985 et 1988, notamment en lien avec l'équipe de Françoise Fogelman-Soulié à l'Université Pierre et Marie Curie ; il publie sa thèse en 1987, dans cette université, sous le titre *Modèles Connexionnistes de l'apprentissage*.</footnote>
par exemple *E* augmente avec un poids, on va évidemment diminuer ce poids, et inversement, 2) de recalculer avec ces poids corrigés un nouvel écart *E* en principe plus faible, et 3) itérer le processus jusqu'à obtention d'un écart suffisamment faible pour être considéré comme satisfaisant. Bien entendu, de nombreuses variantes d'un tel algorithme ont été proposées et testées.

Après quelques débuts probants, les progrès sont lents, jusqu'à ce que deux facteurs essentiels, au début des années 2010, permettent aux réseaux de neurones de produire des résultats étonnants. Ces deux facteurs sont d'une part la croissance exponentielle de la capacité de calcul des ordinateurs - encore accrue par l'utilisation depuis quelques années des cartes graphiques, construites pour gérer l'affichage sur les écrans de nos ordinateurs, et dont la capacité à effectuer des opérations simples et répétitives à très grande vitesse est parfaitement adaptée aux réseaux de neurones - et d'autre part les énormes quantités de données qui deviennent disponibles pour entraîner les réseaux.

## 3.2 Techniques et performances actuelles

On utilise communément plus d'une dizaine de couches<fnref n="16" />, réunissant des millions de neurones, que l'on entraîne à l'aide de millions d'exemples. Le rôle que jouent les différentes couches est conditionné par la manière dont elles sont connectées entre elles.

Les premières couches (cf figure 7) sont souvent connectées de manière à effectuer un ensemble de convolutions qui visent à détecter dans le signal d'entrée, sur une fenêtre glissante de taille variable, une série de motifs élémentaires, puis à composer ces motifs pour former des structures plus complexes extraites du signal d'entrée. Ces couches d'entrée sont généralement entraînées sur des jeux de données standard indépendants du sujet spécifique traité par le réseau ; ce sont les couches suivantes, qui sont alimentées avec les structures détectées par les couches d'entrée, que l'on entraîne avec des données spécifiques au problème que l'on veut traiter, jusqu'à la dernière couche, dont on compare la sortie avec le résultat attendu.

<footnote n="16">¹⁶ Le terme de profond – deep – dans apprentissage profond – deep learning – fait depuis 2000 référence à la profondeur du réseau, le nombre de couches entre la couche d'entrée et la couche de sortie. Mais cette expression *Deep Learning* semble avoir été utilisée pour la première fois en 1986, introduite par l'informaticien américain Rina Dechter. Les années qui ont suivi ont vu une lente maturation de l'architecture des réseaux et des algorithmes d'apprentissage. A partir des années 2000, des applications industrielles du Deep Learning ont commencé à fonctionner, pour se développer sur une grande échelle après 2010.</footnote>
• **Apprentissage profond – Deep Learning**

<figure><img src="image_8.png" /><figcaption>**Figure 7** Schéma d'un réseau de neurones pour le Deep Learning, l'Apprentissage profond</figcaption></figure>

On fait ainsi de la reconnaissance d'images, de sons, de vidéos, de la recherche d'informations. La voiture autonome de Google est un exemple d'application de ces techniques. Les architectures se diversifient, ainsi que les méthodes d'apprentissage. On fait de l'apprentissage supervisé, non supervisé, ou par renforcement comme dans le projet Deep Mind d'Alpha Go. On construit des réseaux encodeurs-décodeurs qui apprennent à condenser l'information puis à la restituer, et on parvient même à créer à l'aide de réseaux génératifs « antagonistes », dérivés des encodeurs-décodeurs.

Mais c'est l'apprentissage supervisé qui est encore le mieux maîtrisé, avec cependant des limites pratiques. Il fonctionne en effet d'autant mieux que l'on dispose de grandes quantités de données pour entraîner le réseau. Le logiciel « Deep Face », de FaceBook, par exemple, est entraîné avec 4,4 Millions d'images pour 4030 personnes, soit plus de 1000 images par individu.

Et « Face Net », de Google, apprend sur 200 millions d'images pour 8 millions d'identités uniques, soit une vingtaine ou une trentaine d'images par personne, avec un taux de réussite de 99,63 %.

Dans ces contextes, où l'on dispose de beaucoup d'images pour l'entraînement, et où il s'agit d'identifier des visages isolés, la reconnaissance faciale donne de très bons résultats.
<figure><img src="image_9.png" /><figcaption>1 Détection des points d'intérêt</figcaption></figure>

<caption>2 Apprentissage (SVM, MLP, ...)</caption>

<caption>1 des visages</caption>

<figure><img src="image_10.png" /><figcaption>2 des émotions</figcaption></figure>

**Figure 8 Reconnaissance des visages, détection des émotions.**

<figure><img src="image_11.png" /></figure>

**Figure 9 Exemples d'images fournies pour la reconnaissance de trois identités**

En revanche, dans un contexte de sécurité publique, où il s'agirait d'identifier des personnes suspectes au sein d'une foule, les conditions sont beaucoup moins favorables. La mairie de Nice avait par exemple proposé des portiques pour assurer la sécurité lors de l'Euro 2016 à l'aide de reconnaissance faciale ; mais cela semble impossible à mettre en pratique : d'une part les visages sont plus difficiles à reconnaître, quand ils sont noyés dans une foule, avec des attitudes et des expressions très variables, voire parfois grimés comme
certains supporters ; et d'autre part la mairie n'a tout simplement pas accès aux images des personnes fichées S pour entraîner le système. Nous avons là une situation paradoxale, où la puissance publique, pour des raisons éthiques, se trouve moins bien placée que des sociétés privées pour rendre des services d'identification de personnes, services qui relèvent pourtant de la sécurité publique.

Maintenant je voudrais aborder un autre aspect : celui de l'interface entre cerveau et ordinateur. On sait mesurer les ondes électromagnétiques engendrées par l'activité cérébrale, y compris l'activité des zones qui interviennent dans la préparation des gestes. On a ainsi accès à la signature électromagnétique de l'impulsion d'un geste, comme celui consistant à déplacer la souris de l'ordinateur vers la gauche. Et on peut entraîner un réseau de neurones à reconnaître ces signatures, et utiliser cette reconnaissance, par exemple pour déclencher la commande correspondante dans une prothèse.

## 4. Et pour demain ?

Les performances impressionnantes des réseaux de neurones, couplées aux possibilités qu'ouvre ce type d'interfaçage de notre cerveau avec l'ordinateur, nous conduisent à nous interroger sur les conséquences possibles de ces progrès techniques sur notre société humaine. Certains se demandent si l'ordinateur ne risque pas de dépasser l'homme : ainsi Stephen Hawking, avec plusieurs autres grands scientifiques, a signé une tribune dans ce sens, publiée dans « The Telegraph » du 1er Mai 2014. Dans cet esprit a notamment été reprise la notion mathématique de singularité, au sens mathématique de point critique d'une fonction. Appliquée ici aux capacités de la machine, et en imaginant que la loi de Moore se poursuive indéfiniment, on entrerait dans une spirale de croissance exponentielle des performances des machines, et donc de leur intelligence, ce qui reviendrait à une explosion de l'intelligence, où l'homme serait très vite totalement dépassé. De plus, on peut craindre que si l'homme a été capable de créer une machine consciente et plus intelligente que lui, celle-ci à son tour saura créer une nouvelle génération de machine plus intelligente qu'elle, etc. Certains parlent de « point de non-retour », dans l'évolution actuelle des machines, au-delà duquel l'homme perdra définitivement le contrôle.

Mais on peut ici considérer la distinction que fait John Searle entre intelligence artificielle faible, et intelligence artificielle forte. La première est notamment celle qu'implémentent actuellement les réseaux de neurones : elle est très performante pour des tâches spécialisées, y compris dans des jeux de stratégie comme le Go, mais il lui manque ce que l'on peut appeler le bon sens et la conscience. Tandis que l'intelligence forte, qui intègre bon sens et conscience, dépasse la force calculatoire brute, et repose sur des concepts qui nous échappent encore. John Searle tient même que cette version forte de l'intelligence, la seule qui rendrait la machine potentiellement dangereuse pour l'humanité, est réservée aux êtres vivants, seuls capables d'être doués de conscience.