Jean-Paul Haton

Université de Lorraine
Reconnaissance des Formes en IA
LORIA/INRIA/NANCY

Abstract

Jean-Paul Haton first traces the history of Artificial Intelligence; he sets out the main types of problem that AI is tackling and details the different lines of work that have been implemented in this discipline: symbolic, neuro-mimetic, probabilistic and statistical approaches. The learning issues and methods are then tackled: symbolic learning versus digital learning, supervised learning versus non-supervised learning, reinforcement learning. Then there is an overview of deep neural networks: hardware and software conditions that have allowed their emergence and current performance, different types of networks used, their limits and areas of application. After evoking of the major private or institutional players concerned, Jean-Paul Haton ends by evoking current trends, which cannot be reduced to deep neural networks, in the direction of Strong Artificial Intelligence. As well as the ethical, societal, legal problems, which the progress already in place or expected does not fail to cause.
# 1. Introduction

Depuis le début des années 2010, l'intelligence artificielle (IA) occupe le devant de la scène médiatique, après avoir été longtemps cantonnée aux laboratoires de recherche et à la science-fiction.

Le but de l'intelligence artificielle (IA) est double [1]. D'une part, l'IA s'attache à résoudre des problèmes qui relèvent d'activités humaines ou animales de nature variée : perception, planification, interprétation de données, diagnostic, prise de décision, compréhension du langage, conception. D'autre part, l'IA cherche à mieux comprendre et modéliser l'intelligence. Elle se rapproche ainsi des sciences cognitives dont elle s'inspire par ailleurs pour la conception de modèles (mémoire, raisonnement, apprentissage).

Les systèmes formels ont montré leurs limites intrinsèques pour la modélisation du raisonnement. Les travaux de Gödel et de Church ont démontré qu'un système de raisonnement de logique formel, à l'image du raisonnement mathématique, ne pourrait jamais prouver exhaustivement l'ensemble des propositions vraies. De même, la nécessité de restreindre un raisonnement à un champ d'application délimité et d'appuyer ce raisonnement sur des connaissances de nature diverse est apparue rapidement en IA. Cette approche symbolique de l'IA a donné lieu aux systèmes à bases de connaissances.

Une autre approche, dite connexionniste, tente de s'inspirer du fonctionnement du cortex cérébral. Un réseau neuronal est formé par l'interconnexion d'un grand nombre de neurones artificiels. Il présente des propriétés intéressantes, notamment la capacité d'apprendre à partir d'exemples.

Des succès récents, comme la victoire du programme de jeu d'échecs Deep Blue contre le champion du monde G. Kasparov et du programme de jeu de go DeepMind contre les meilleurs joueurs mondiaux ou du programme Libratus au poker, la mission des robots martiens, le jeu américain de questions-réponses Jeopardy, la reconnaissance d'images dans la compétition mondiale ILSVRC (ImageNet Large Scale Visual Recognition Challenge), la reconnaissance de la parole [41], les jeux vidéo tels que Dota 2 ou StarCraft II, le jeu de construction stratégique Jenga et d'autres ont médiatisé l'IA. Cette dernière a aussi inspiré les scénaristes de films comme A.I. Intelligence artificielle ou I, robot.

L'IA aborde un vaste champ d'activités que l'on peut classer en grands domaines : la reconnaissance et l'interprétation de formes et de données, le diagnostic, la planification d'actions et la robotique, l'aide à la décision, le traitement de la langue naturelle écrite et parlée, la formation assistée. Elle est ainsi entrée dans notre vie quotidienne.

Elle fait partie des sciences du numérique dont elle est une composante importante. Son évolution doit être envisagée dans ce cadre pour en saisir la globalité. En deux générations humaines, le numérique a vu la puissance des processeurs gagner quinze ordres de
grandeur, comme énoncé par la loi de Moore : l'humanité n'a jamais connu au cours de son histoire une telle situation dont l'influence sur l'évolution de l'IA est majeure.

## 2. Intelligence... et intelligence artificielle

### 2.1 Définition de l'intelligence

L'intelligence est une notion multiforme et difficile à préciser. Philosophes et scientifiques se sont attachés à la définir depuis des millénaires. Pour les besoins de l'IA, nous nous contenterons de qualifier l'intelligence par un ensemble de capacités, notamment de mémorisation, de structuration de la connaissance et de conceptualisation, de perception, de raisonnement, de prise de décision, d'apprentissage, de communication et de dialogue.

Ces capacités se retrouvent, à des degrés divers, dans les systèmes d'IA actuels. Ces systèmes se nourrissent des avancées dans ces différents domaines. Inversement, comme il a été dit, l'IA contribue à ce que nous comprenions mieux l'intelligence.

### 2.2 Les paradigmes de l'IA

La mise en œuvre d'un système d'IA se fonde sur un ensemble de paradigmes qui ont fait l'objet de très nombreux travaux depuis les premiers temps de l'IA. Citons :

- l'algorithme de la résolution de problèmes,

- l'apprentissage,

- la reconnaissance de formes,

- la représentation des connaissances,

- la formalisation des raisonnements et des prises de décision,

- l'intelligence collective multi-agents.

Ces différents paradigmes s'appuient sur un ensemble de modèles qui seront décrits dans ce chapitre.

### 2.3 Les grands modèles de l'IA

Dès le début de l'IA dans les années 1950, deux grands types de modèles ont été proposés par les chercheurs pour concevoir des machines intelligentes :

- les *modèles symboliques*, correspondant à une approche (*Making a mind*) que l'on peut qualifier d'IA symbolique, permettant de doter les systèmes d'IA de mécanismes de raisonnement capables de manipuler les données symboliques qui constituent les connaissances d'un domaine. Cette approche fait appel aux modèles et méthodes de la logique. Elle a donné lieu aux systèmes à bases de connaissances [2]. A. Newell considérait le niveau de connaissance (*knowledge level*) comme le trait d'union entre l'homme et la machine intelligente, permettant de rationaliser le comportement d'un agent qui, à l'instar de l'être humain, peut prendre une décision en menant un raisonnement fondé sur ses connaissances [20]. Un aspect important
est la capitalisation et la diffusion du savoir et de l'expérience, éléments constituant
la mémoire d'une organisation. Une base de connaissances se construit à partir
d'ontologies qui la structurent et la contraignent. De telles bases interviennent dans
de nombreux champs d'application comme l'intelligence économique, le droit, la
production industrielle, la médecine, etc.

Pour être utiles, ces bases doivent inclure des modèles opérationnels du monde et du bon sens. Le projet Cyc lancé en 1984 par D. Lenat [26] a cet objectif ambitieux. Il s'agit du plus grand projet existant visant à formaliser les connaissances relatives à notre vie quotidienne (la version actuelle comprend des millions de faits et de règles formalisés dans un langage fondé sur le calcul logique des prédicats) et à les utiliser pour mener des raisonnements. Cyc comporte également des relations de causalité, reconnues très importantes dans le comportement humain. En 2018, Paul Allen (co-fondateur de Microsoft) a lancé dans son *Institute for Artificial Intelligence* le projet Alexandria, avec la même ambition d'apprendre le bon sens à une machine. Ce thème très important pour l'avenir de l'IA a également été repris par l'agence américaine DARPA sous la forme d'une proposition de projet *Machine Common Sense*;

- les *modèles neuromimétiques* correspondent à une approche (*Modeling the brain*) que l'on peut qualifier d'IA connexionniste par analogie métaphorique. Ils reviennent à s'inspirer du fonctionnement du cortex cérébral. L'entité de base est un modèle formel très simplifié du neurone proposé par McCulloch et Pitts en 1943 [32]. Chaque neurone possède un certain nombre d'entrées synaptiques, chacune assortie d'un poids ; le neurone effectue la somme pondérée de ses entrées et active sa sortie, reliée à d'autres neurones, si la somme atteint un seuil prédéterminé. Un système est formé par l'interconnexion d'un grand nombre de tels neurones en couches successives. Cette approche a donné lieu aux réseaux neuromimétiques actuels, avec une grande variété des modèles, comme on le verra par la suite. La plupart de ces modèles, comme le perceptron multicouche, sont de type *feedforward*, ce qui signifie que les informations transitent dans un sens unique, de la couche d'entrée vers la couche de sortie. Comme d'autres modèles, les réseaux neuronaux sont capables de calculer toute fonction, d'où leur utilité en IA ;

- enfin, les *modèles probabilistes et statistiques* présentent un cadre formel intéressant pour capturer la variabilité inhérente au monde réel et en rendre compte. Ces modèles, tout comme les modèles neuromimétiques, sont capables d'apprendre à partir d'exemples. L'apprentissage revient ici à mémoriser des distributions de probabilités à l'aide d'algorithmes souvent complexes mais dont les propriétés sont parfaitement connues.

Un modèle probabiliste largement utilisé est celui des réseaux bayésiens. Ces réseaux sont des graphes constitués de nœuds représentant les concepts d'un domaine et d'arcs représentant des relations de causalité probabilisées entre deux concepts (par exemple, tel état physiopathologique d'un patient peut être la cause
de tel symptôme, avec telle plausibilité). Un réseau bayésien permet de mener un raisonnement probabiliste sur des faits multiples grâce à des mécanismes de propagation de coefficients de probabilité à travers le réseau. Il est ainsi très intéressant dans des problèmes à choix multiples comme le diagnostic, notamment médical et industriel. Pour des applications en vraie grandeur, ces réseaux de dépendance conditionnelle peuvent atteindre des dimensions considérables. La mise au point et l'exploitation de tels réseaux sont des questions parfaitement maîtrisées.

Le temps est une dimension essentielle dans de nombreuses activités en IA. De ce fait, les modèles statistiques intégrant la variable temporelle, ou modèles stochastiques, comptent parmi les plus utilisés en intelligence artificielle. Le modèle stochastique le plus répandu est le modèle de Markov caché, ou MMC (Hidden Markov Model, HMM). C'est le cas en reconnaissance de la parole où chaque entité à reconnaître (mot, unité phonétique) est représentée par une source de Markov capable d'émettre le signal vocal correspondant à cette entité [3]. La reconnaissance revient alors à calculer la vraisemblance de la suite d'observations acoustiques constituant l'entité à reconnaître par rapport à chacun des modèles appris. Le modèle présentant la plus grande vraisemblance d'avoir émis cette suite d'observations fournit la réponse.

Les MMC ont également été utilisés avec succès dans d'autres domaines que la parole, en particulier l'interprétation d'images, la reconnaissance de l'écriture, l'interprétation de signaux (radar, sonar, biologiques, etc.) ou la robotique.

Les trois modèles présentés ci-dessus se rencontrent, parfois simultanément, dans les systèmes d'IA actuels. Les systèmes de traitement d'images et de reconnaissance de la parole, par exemple, sont le plus souvent fondés sur la complémentarité entre des modèles stochastiques MMC et des modèles neuronaux. Les modèles statistiques jouent également un rôle fondamental dans le traitement des grandes masses de données et leur exploitation, en particulier pour la découverte de régularités ou de connaissances.

Une caractéristique commune à tous ces types de modèles est leur capacité d'apprentissage à partir d'exemples. L'apprentissage, capacité fondamentale de l'intelligence, joue ainsi un rôle majeur dans le bon fonctionnement des systèmes d'IA (cf. par.4).

## 2.4 Les différents types d'IA

Il est d'usage de distinguer deux types d'IA en fonction des capacités des tâches envisagées : l'IA faible (Narrow AI) et l'IA forte (General AI). L'IA faible est celle des systèmes actuels, atteignant des résultats de très haut niveau, souvent comparables ou supérieurs à ceux d'êtres humains, mais dans des domaines restreints bien délimités comme évoqué ci-dessus (jeux, diagnostic, reconnaissance de la parole, identification d'images, etc.) pour lesquels un apprentissage spécifique a été mené. Les performances atteintes sont souvent spectaculaires, notamment depuis le début des années 2010 avec l'apport des
réseaux neuronaux profonds (cf. par. 5). Des exemples typiques, parmi beaucoup d'autres sont :

- la reconnaissance automatique de la parole. Les taux de reconnaissance atteints pour de très grands vocabulaires (de l'ordre de 100 000 mots) sont remarquables. En revanche, les systèmes n'ont pas la capacité de comprendre les mots ou les phrases reconnus,

- l'identification de personnes à partir de l'image de leur visage sur caméra vidéo.

L'IA forte tend vers celle de l'être humain, capable d'apprendre à mener des tâches complexes dans des domaines très différents, ou de comprendre et de raisonner sur des sujets variés en se fondant sur l'expérience acquise. Conscience de soi et du monde environnant, émotions, en sont des composantes de base. L'IA forte est encore dans les laboratoires de recherche et il est bien difficile de prédire quand elle en sortira...

### 3. Bref historique

L'intelligence artificielle est née dans les tout premiers temps de l'informatique. En 1950, Alan Turing publie un article désormais célèbre [4] dans lequel il pose la question « Les machines peuvent-elles penser ? » L'auteur propose un test, connu désormais sous le nom de Test de Turing, destiné à répondre à la question posée. Dans ce test, inspiré du jeu de l'imitation, une personne interroge une machine et un être humain qu'il ne voit pas. Lorsque, sur la base des réponses fournies, l'interrogateur ne peut plus distinguer l'être humain de la machine, la machine est déclarée intelligente. Les questions peuvent être de tout type. Pour l'instant, aucun programme n'a pu tromper un interrogateur pendant un temps suffisamment long. Les tentatives ont été nombreuses, à commencer par celles de J. Weizenbaum avec son système Eliza [31] qui simule le dialogue entre un psychothérapeute et son patient en recherchant des mots-clés dans le discours du patient, mais sans aucune capacité de compréhension. Les agents conversationnels (chatbots, et callbots via le téléphone) qui se sont multipliés ces dernières années augmentent progressivement leur compétence à mener un dialogue avec un être humain, comme le montre le prix Alexa lancé par Amazon [37].

Le terme *Artificial Intelligence* apparaît en 1956 lors d'une école d'été (*Dartmouth Conference*) réunissant un ensemble de jeunes chercheurs dont certains allaient devenir de grands noms du domaine : J. McCarthy, M. Minsky, etc. L'ambitieuse conjecture (toujours ouverte) énoncée par ces chercheurs est que: "*every aspect of learning or any other feature of intelligence can in principle be so precisely described that a machine can be made to simulate it*". Au cours de cette rencontre furent étudiées les bases du raisonnement abstrait, de la résolution de problèmes, de l'apprentissage, qui constituent toujours le cœur de nombreux travaux en intelligence artificielle. Les travaux pionniers ont ainsi abordé les domaines des jeux (échecs, dames), de la reconnaissance de formes (parole, caractères écrits), de la résolution de problèmes (systèmes *General Problem Solver*, GPS [27] de A.
Newell et A. Simon, et Alice [28] de J.L. Laurière). Dans GPS, on trouve déjà la notion fondamentale d'heuristique (« qui aide à trouver », par opposition à algorithme [40]) :

> Many kinds of information can aid in solving problems: information may suggest the order in which possible solutions should be examined; it may rule out a whole class of solutions previously thought possible; it may provide a cheap test to distinguish likely from unlikely possibilities; and so on. All these kinds of information are heuristics: things that aid discovery. Heuristics seldom provide infallible guidance. . . Often they "work," but the results are variable and success is seldom guaranteed.

La cybernétique, mouvement scientifique de l'après-Seconde Guerre mondiale autour de N. Wiener [29], W.R. Ashby, L. Couffignal et beaucoup d'autres, a joué également un rôle dans la genèse de l'IA, notamment avec la notion de régulation et le concept clé de rétroaction (feedback), aussi bien chez l'animal que dans la machine, toujours aussi important pour les réseaux neuronaux ou la robotique, spécialement pour des tâches de pilotage.

À la même époque, F. Rosenblatt inventait le perceptron monocouche [5], réseau neuronal classifieur linéaire, ancêtre des réseaux neuronaux profonds actuels qui sont toujours fondés sur la modélisation du neurone proposée en 1943. L'intérêt pour ces modèles a décliné vers 1969 avec la publication d'un livre sur leurs limites par M. Minsky et S. Papert [6]. Il faudra attendre le perceptron multicouche et la redécouverte de l'algorithme d'apprentissage associé de rétropropagation du gradient d'erreur [7] pour constater un regain d'activité dans ce domaine jusqu'aux réseaux neuromimétiques profonds actuels (cf. par. 5) qui occupent presque exclusivement la scène médiatique.

La conception de systèmes à bases de connaissances, et notamment, de systèmes experts, représente néanmoins toujours un domaine important de l'IA. Les systèmes experts sont conçus pour atteindre les performances d'experts humains dans des domaines limités en raisonnant sur un ensemble de connaissances acquises pour l'essentiel auprès de ces experts. Apparus vers 1975 (cf. le système de diagnostic des maladies du sang MYCIN [8]), ils ont eu un impact certain sur l'IA, et aussi un retentissement médiatique parfois exagéré car ils n'ont pas tenu toutes les promesses qui leur furent associées. Le terme de système expert disparaît peu à peu, au profit du concept plus général de système à bases de connaissances (SBC). Ce concept est fondé sur une séparation entre d'une part les connaissances nécessaires pour résoudre un problème et d'autre part les mécanismes de raisonnement qui exploitent ces connaissances.

Parmi ces travaux, les systèmes multi-agents occupent une part importante. L'idée est de parvenir à une décision commune à un ensemble d'entités par fusion d'informations et de points de vue, dans un cadre de coopération ou de compétition. Les modèles développés (tableau noir, acteurs, société d'experts) ont donné lieu à de nombreuses applications [38].

Dès les premières années de l'IA, la langue naturelle écrite a fait l'objet d'un ensemble de projets en traduction automatique (avec des résultats fort limités pendant longtemps, la difficulté de la tâche ayant été initialement sous-estimée) et en dialogue humain-machine. Le système SHRDLU [30], développé par T. Winograd, permettait un dialogue avec un
robot manipulateur dans un monde de blocs de formes (cubes, cônes, sphères) et de couleurs différentes. La capacité du système à interagir avec une personne et à répondre à des questions sur son univers de blocs a connu un succès considérable... malgré ses limites. En effet, le niveau de « compréhension » de la langue atteint par SHRDLU était essentiellement lié à la simplicité de son monde de blocs : nombre et types de blocs, nombre et niveau de complexité des actions possibles. Il a été impossible d'étendre le système à un univers plus complexe, sans parler du monde réel ! Toutefois, son influence a été notable dans les domaines de la langue naturelle et de la planification d'actions.

En ce qui concerne la langue parlée, les travaux en reconnaissance automatique de la parole ont débuté dès la fin des années 1950. Comme on l'a vu, l'utilisation de modèles stochastiques (modèles de Markov cachés), puis leur association à des modèles neuronaux ont permis d'atteindre des niveaux de performance remarquables en reconnaissance de mots ou de phrases, même pour des vocabulaires de dizaines de milliers de mots. En revanche, la compréhension de la parole demeure un sujet de recherche actif.

# 4. Apprentissage

## 4.1 Introduction

Comme on l'a vu, l'apprentissage, caractéristique fondamentale de l'intelligence, est partie prenante de la plupart des systèmes d'IA, permettant d'optimiser leurs performances. En 1959, Arthur Samuel, un des pionniers de l'IA, définit l'apprentissage automatique (machine learning) comme la capacité pour un ordinateur d'apprendre sans être explicitement programmé.

L'apprentissage automatique est une discipline très active et multiforme, selon les modèles sous-jacents. Toutes les méthodes impliquent l'existence de grandes bases de données d'exemples et parfois de contre-exemples, le plus souvent dûment étiquetés, sur lesquels se fonde l'apprentissage. Un système apprend à partir de chaque exemple, avec l'idée d'être capable de généraliser son comportement à de nouveaux cas non encore rencontrés, grâce aux bonnes propriétés des modèles appris.

On distingue deux grands types d'apprentissage en IA, l'apprentissage symbolique et l'apprentissage numérique. Nous résumons ci-dessous les grandes caractéristiques de ces méthodes.

## 4.2 Apprentissage symbolique

Ce type d'apprentissage, lié aux systèmes à bases de connaissances, concerne l'acquisition de concepts et de connaissances structurées [9]. Un exemple fondateur bien connu est Dendral, système expert en chimie organique, capable d'apprendre des règles d'explication à partir de données de spectrographie de masse [10]. Ajouter de nouvelles règles dans une base de connaissances pose des problèmes de gestion des bases, de maintien de cohérence
et, éventuellement, de généralisation des connaissances apprises par recherche d'explications.

Les nombreuses méthodes proposées relèvent de deux grands types d'apprentissage :

- l'apprentissage par détection de similarités (Similarity-based learning) dans lequel on apprend en détectant des similarités et des dissemblances dans une base d'apprentissage d'exemples et de contre-exemples. Cette recherche d'associations et de liens de causalité significatifs permet d'extraire des pépites de connaissances à l'aide de mécanismes de fouille de données associés à une évaluation par un expert du domaine. Cette coopération IA-expertise humaine se retrouve souvent dans les applications pratiques (cf. par. 7) ;

- l'apprentissage par recherche d'explications (Explanation-based learning) dans lequel on apprend à partir des explications extraites d'exemples et de contre-exemples.

Il faut également adjoindre à ces deux types d'autres méthodes telles que l'apprentissage par analogie, la construction automatique de taxonomies et d'ontologies, l'inférence inductive de connaissances ou encore le regroupement automatique de concepts (cf. ci-dessous), ainsi que les arbres de décision [11]. Un arbre de décision est une structure arborescente qui permet de classer une certaine entité (objet, cas, etc.) par un ensemble de questions. À chaque embranchement d'un arbre est associée une question portant sur les caractéristiques de l'entité étudiée. Les feuilles terminales correspondent aux différentes classes définies. L'apprentissage revient à apprendre l'ensemble des questions relatives aux caractéristiques des objets présentés. Plusieurs logiciels de construction d'arbres ont été développés (par exemple CART, C4.5, ID3, etc.).

Les travaux en apprentissage symbolique ont donné lieu à de nombreuses réalisations. En revanche, les méthodes proposées demeurent spécifiques et liées à un domaine particulier. Depuis le début des années 2000, ces méthodes sont moins étudiées que les méthodes relevant de l'apprentissage numérique.

### 4.3 Apprentissage numérique

La majorité des progrès réalisés en IA depuis une dizaine d'années sont dus à l'utilisation de méthodes numériques d'apprentissage.

Les modèles statistiques (modèles de Markov cachés et réseaux bayésiens) ont déjà été brièvement présentés au par. 2. Un des intérêts de ces modèles réside dans l'automatisation de l'apprentissage des différents paramètres et distributions de probabilité du modèle à partir de données représentatives de l'application considérée (appelées observations). Le principe est de trouver un modèle qui maximise la probabilité d'un ensemble (ou dans le cas des MMC d'une séquence) d'observations, c'est-à-dire de déterminer le modèle qui explique le mieux cette séquence. Il n'est pas possible de trouver un tel modèle de façon analytique. L'apprentissage est alors assuré par des algorithmes itératifs d'estimation des
paramètres, notamment l’algorithme de Baum-Welch, cas particulier de l’algorithme
Espérance-Maximisation, dit EM.

Dans les années 1990, un autre modèle numérique statistique, les machines à vecteurs supports, appelées aussi Séparateurs à Vaste Marge (Support Vector Machines, SVM) ont contribué de façon notable au succès des méthodes numériques d’apprentissage [12]. Une SVM est essentiellement un classifieur discriminant à deux classes (qui peut être étendu à une SVM multiclasses) dont le critère d’optimisation est la largeur de la marge entre les deux classes, c’est-à-dire la zone vide autour de la surface de décision définie par les formes les plus proches. Ce modèle est intéressant, mais les réseaux neuronaux profonds se sont révélés plus performants que les SVM pour de nombreuses applications.

Les modèles neuronaux utilisent également un apprentissage numérique. Le principe est d'optimiser les poids des connexions entre les neurones des différentes couches du modèle. Comme il a été dit au par. 3, l'algorithme de rétropropagation du gradient d'erreur a permis le développement dans les années 1990 de modèles neuronaux comportant un nombre limité (quelques unités) de couches cachées. L'idée de ce type d'apprentissage est la suivante : si la réponse du système à une entrée donnée est incorrecte, un gradient d'erreur est calculé en fonction des réponses de la couche de neurones de sortie. Ce gradient est rétropropagé de couche en couche depuis la couche de sortie jusqu'à la couche d'entrée en modifiant les poids des connexions inter-neurones de façon adéquate. On démontre que, moyennant un nombre suffisant d'exemples d'apprentissage, l'algorithme converge vers une configuration stable de poids pour l'ensemble des neurones. Récemment, le nombre de couches cachées a été considérablement augmenté, tout en conservant la capacité d'apprentissage à partir d'exemples, ce qui a donné naissance aux réseaux neuronaux profonds (Deep Neural Nets, DNN) présentés au par. 5.

Après avoir appris sur un grand nombre d'exemples étiquetés, un réseau neuronal est non
seulement capable de classifier correctement ces exemples, mais peut aussi traiter de
nouveaux objets de même catégorie qu'il n'a pas vus durant la phase d'apprentissage ; cette
capacité de généralisation est une des propriétés très intéressantes de ces modèles.

4.4 Supervisé vs non-supervisé

Les méthodes, symboliques et numériques, décrites ci-dessus sont toutes de type
apprentissage supervisé, ou avec professeur. Elles nécessitent, comme il a été dit, de
grandes quantités d'exemples étiquetés avec la bonne réponse associée (portion de signal
vocal et phonème ou syllabe correspondant, description d'un cas de panne et diagnostic
associé, image et sa description, etc.). La réalisation de telles bases d'exemples annotés est
très coûteuse (les bases d'images utilisées pour entraîner un système d'identification
d'objets comportent des millions d'images indexées ; les bases liées à la reconnaissance de
la parole contiennent des centaines d'heures de parole étiquetées phonétiquement). Une
tendance apparue avec Internet est de sous-traiter aux utilisateurs eux-mêmes l'étiquetage
des données comme une tâche, parfois invisible, annexe à l'utilisation d'un système
(crowdsourcing).
Une autre classe de méthodes concerne l'apprentissage non supervisé, dans lequel l'opération se fait de façon totalement autonome. Des données non étiquetées sont présentées en entrée sans indiquer les réponses attendues en sortie. C'est le mécanisme d'apprentissage lui-même qui propose des catégories pour regrouper les réponses possibles. Cette solution semble idéale dans la mesure où elle ne nécessite pas de grandes bases de données. En fait, les deux types d'apprentissage ne sont pas destinés aux mêmes tâches. L'apprentissage non supervisé cherche à partitionner de lui-même, sans intervention extérieure d'un « professeur », les données qui lui sont présentées en catégories homogènes au sens d'un certain critère ou d'un ensemble de caractéristiques communes. Les méthodes de regroupement, parfois appelées coalescence (clustering), ont également donné lieu à de nombreuses études et au développement de méthodes et de logiciels variés (partitionnement, hiérarchisation, etc.), notamment dans le domaine de la reconnaissance des formes. Le succès de l'apprentissage supervisé pour les réseaux neuronaux a quelque peu occulté l'importance de l'apprentissage non supervisé. Ce dernier est certainement appelé à se développer, par référence à l'être humain et à l'animal. Une autre tâche de cet apprentissage est la recherche de liens de causalité qui sont d'une grande importance dans de nombreuses activités telles que le diagnostic ou la prise de décision, comme il a été dit plus haut. Ce type d'apprentissage peut être utilisé simultanément avec un apprentissage supervisé dans lequel les ensembles de données étiquetées sont remplacées par des entités qui changent au cours du temps telles que des vidéos : la trame du temps *t* de la vidéo est utilisée comme un prédicteur pour la trame *t+1*, sans aucun étiquetage préalable [44].

Une solution intermédiaire a également été proposée, qualifiée de semi-supervisée. Comme l'étiquetage complet d'une base d'apprentissage est une tâche lourde et coûteuse, l'idée est de restreindre le volume de données étiquetées nécessaires à un bon apprentissage. Un exemple de tel apprentissage est le co-apprentissage, dans lequel deux classifieurs apprennent un ensemble de données, mais en utilisant chacun un ensemble de caractéristiques différentes, si possibles indépendantes. Le classifieur le mieux capable de bien traiter un exemple d'apprentissage va jouer le rôle de « professeur » pour l'autre. Des approches de ce type ont été utilisées pour la classification de documents HTML et en traitement de la langue naturelle. Une idée similaire se trouve dans les réseaux antagonistes génératifs (Generative Adversarial Networks, GAN). Dans un GAN, deux réseaux sont placés en compétition. Le premier réseau, le générateur, génère un échantillon d'apprentissage, tandis le second, le discriminateur, essaie de détecter si un échantillon est réel ou bien s'il est le résultat du générateur [13].

## 4.5 Apprentissage par renforcement

Parmi les méthodes d'apprentissage, l'apprentissage par renforcement occupe une place à part. Le principe est d'apprendre par essais et erreurs comment se comporter de manière optimale dans des environnements incomplètement connus, situation très commune dans la réalité. Cet apprentissage, très développé en robotique, comme l'algorithme de Q-Learning [14], s'est inspiré au départ de théories de psychologie animale et humaine ; il modélise le comportement d'apprentissage optimal par essais et erreurs permettant de
s'adapter à un environnement. Imaginons un système, ou un agent, situé dans un certain environnement, changeant et mal connu de l'agent, comme un robot se déplaçant dans un univers qu'il cartographie au fur et à mesure. L'agent peut décider de mener un ensemble d'actions qui lui apporteront éventuellement une récompense. Une action de l'agent conduit à un nouvel état de l'environnement dans lequel il peut mener une nouvelle action qui conduit à un nouvel état, etc. L'environnement est le plus souvent stochastique, ce qui signifie que le nouvel état est aléatoire. Ce processus d'essais et erreurs est conduit jusqu'à obtenir la meilleure réponse possible. Une façon efficace la plus utilisée pour raisonner dans de telles conditions est le formalisme des processus de décision markovien (Markov Decision Process, MDP) et celui des processus de décision markovien partiellement observables (Partially Observable Markov Decision Process, POMDP), ces derniers étant plus proches de la réalité des applications. Il existe de très nombreuses variantes de l'apprentissage par renforcement, en général formalisées dans un cadre probabiliste. Cet apprentissage est largement utilisé, y compris dans les réseaux neuronaux profonds (cf. par. 5), notamment dans le vaste domaine des jeux : backgammon (1994), Atari (2013) et, encore plus récemment go et poker : le programme *Libratus* développé à Carnegie Mellon University évoqué au par. 1 utilise aussi ce type d'apprentissage.

La combinaison de l'apprentissage profond et de l'apprentissage par renforcement semble également prometteuse. De très bons résultats ont déjà été obtenus en classification d'images, et aussi en traitement de la langue naturelle.

# 5. Les réseaux neuronaux profonds

Une avancée majeure de l'IA depuis 2010 s'est produite dans le domaine des réseaux neuronaux profonds (Deep Neural Networks, DNN) et des algorithmes d'apprentissage associés. Déjà, dès 2006, les modèles acoustiques de reconnaissance de la parole avaient été améliorés de façon importante grâce aux modèles neuronaux profonds. Depuis, les DNN ont montré leur efficacité dans des domaines très variés, non seulement en reconnaissance de la parole, mais aussi dans les jeux, en traitement de textes, en vision par ordinateur, en diagnostic, en robotique, etc. Comme on l'a vu au par. 3, un réseau neuronal est un classifieur capable d'apprendre des fonctions de décision. Le perceptron monocouche de Rosenblatt avait des performances très limitées puisqu'il ne pouvait apprendre que des fonctions linéaires. L'introduction de couches cachées en nombre restreint a permis d'augmenter les performances. Globalement, un réseau neuronal est capable d'apprendre une mise en correspondance (*mapping*) entre ses entrées et ses sorties, ce qui permet d'utiliser de tels systèmes pour des tâches de classification permettant d'identifier la classe d'appartenance de l'entité placée en entrée. Ces entités peuvent être de nature extrêmement diverse : mots prononcés par un locuteur, image, diagnostic d'un patient, place d'un pion sur un jeu de go, etc. Les DNN sont caractérisés par le fait que leur profondeur (c'est-à-dire le nombre de couches cachées de neurones) est augmentée de façon très importante pour atteindre jusqu'à un millier de couches, ce qui leur donne la capacité d'apprendre des fonctions de mise en correspondance beaucoup plus complexes, d'où leur succès actuel.
La rapide émergence des réseaux profonds est due à la conjonction de trois conditions :

- l'existence de très grandes bases de données étiquetées nécessaires à l'apprentissage de ces modèles. Il s'agit d'un exemple du phénomène récent de Big Data. En reconnaissance de la parole, les grands opérateurs du domaine disposent ainsi de millions d'heures de parole, ce qui permet de disposer de systèmes de reconnaissance dans de nombreuses langues (plus d'une centaine pour Google). Ces bases s'enrichissent quotidiennement. 80 % des données qu'elles renferment sont non structurées, ce qui nécessite une analyse sémantique préliminaire. Le RGPD (Règlement général sur la protection des données) mis en place en 2018 par l'Union Européenne, notamment dans la suite de la loi française de 1978 « Informatique et libertés » et des travaux de la CNIL, aura une influence sur l'exploitation de ces grands entrepôts de données. Il importe en effet d'assurer la protection des données personnelles, tout spécialement les données sensibles comme les informations médicales.

- la disponibilité de capacités de calcul en constante augmentation (notamment à l'aide de cartes additionnelles GPU et du calcul parallèle haute performance). Des exemples sont le processeur TPU (Google's Tensor Processing Unit) ou les puces NVIDIA qui accélèrent notablement le temps d'apprentissage d'un DNN. L'apprentissage d'un DNN peut également être implémenté sur un FGPA (Field Programmable Gate Array). Sur le plan des logiciels, citons Theano, bibliothèque logicielle écrite en langage Python pour le développement de systèmes d'apprentissage profond [15]. Ces moyens sont nécessaires en pratique, sachant que le nombre de paramètres à apprendre dans un DNN peut être de l'ordre du milliard.

La loi de Moore, évoquée en introduction, ayant à peu près atteint ses limites, il ne faut plus compter seulement sur l'augmentation intrinsèque de puissance des circuits intégrés pour améliorer les performances d'apprentissage, mais aussi sur des solutions innovantes, plus créatives, tant logicielles que matérielles. Ceci constitue un changement important par rapport à ce que nous avons vécu lors des dernières décennies. Les algorithmes actuels d'apprentissage fonctionnent aussi bien sur le « nuage » (cf. les solutions Open Source proposées par Google avec son Cloud Machine Learning, ou d'autres) que localement là où s'effectue la capture des données. La technologie des circuits intégrés proposera certainement à l'avenir des architectures d'accélérateurs d'apprentissage, adaptées aux différents lieux de traitement des données.

- l'amélioration des algorithmes d'apprentissage profond (Deep Learning [16]). Initialement, les algorithmes d'apprentissage utilisaient des sigmoïdes comme fonctions non linéaires pour transmettre le résultat du traitement de l'erreur d'une couche à la suivante. L'utilisation de fonctions ReLU (Rectified Linear Unit) a permis un gain en temps très important. Par ailleurs, la technique de dropout qui
revient à éliminer des neurones inutiles durant l'apprentissage permet d'éviter l'écueil du sur-apprentissage, susceptible d'apparaître dans les réseaux neuronaux.

La complexité de l'apprentissage d'un DNN a conduit les chercheurs à essayer de réduire cette complexité. Une solution initialement proposée par K. He [45] est celle des réseaux résiduels, *ResNet*. L'idée est d'introduire des raccourcis dans les connexions entre les neurones de couches cachées, ce qui facilite grandement l'apprentissage.

L'apprentissage fondé sur la rétropropagation du gradient d'erreur peut aussi parfois être couplé à l'apprentissage par renforcement. Ainsi le logiciel *AlphaGo Zero* de *DeepMind* qui s'est révélé le meilleur au jeu de go combine DNN et recherche arborescente de type Monte Carlo. Son apprentissage comporte une phase d'apprentissage profond supervisé fondé sur une base de parties jouées par des experts (plus de 100 000) et une phase d'apprentissage par renforcement partant simplement des règles du jeu de go.

L'apprentissage de tels systèmes nécessite, comme on l'a dit, des quantités de données et des moyens de calcul considérables. Les systèmes résultants sont compétents dans la tâche unique sur laquelle a porté leur apprentissage. Une tendance actuelle est de concevoir des environnements d'apprentissage multi-tâches. Le système IMPALA (*Importance Weighted Actor-Learner Architecture*) de DeepMind en est un exemple [17].

Outre les perceptrons, il existe d'autres types de réseaux neuronaux profonds, avec leurs propres forces et faiblesses :

- les réseaux récurrents : l'état d'un réseau est ici fonction de l'entrée du réseau à un instant donné et de son état à l'instant précédent. Sa structure permet une mémoire des entrées précédentes qui persiste dans ses états internes et peut en conséquence avoir un effet sur ses sorties futures. Les réseaux récurrents sont ainsi les plus profonds des réseaux dits profonds. Ils permettent en outre d'exploiter de façon naturelle et efficace le parallélisme des programmes. Ces réseaux peuvent être entraînés par une variante de l'algorithme de rétropropagation, mais leur apprentissage est délicat. Ils sont bien adaptés au traitement de séquences temporelles telles que celles rencontrées en reconnaissance de la parole, reconnaissance de l'écriture, traduction automatique, etc. Le type de réseau récurrent le plus utilisé, tout spécialement en reconnaissance de la langue et en traduction, est le réseau de neurones récurrents à mémoire court et long terme (*Long short-term memory, LSTM*) [18]. Un réseau LSTM peut mémoriser une information à plus ou moins long terme, un peu comme le fait notre cerveau. Par exemple, lors de l'analyse d'une phrase, le réseau peut se souvenir du début lorsqu'il arrive à la fin ;

- les réseaux convolutionnels (Convolutional Neural Networks, CNN ou ConvNet) : ces réseaux dont un des initiateurs est Y. Le Cun [19], tirent leur inspiration du travail de Hubel et Wiesel sur le cortex visuel du chat. Un réseau convolutionnel profond est formé d'un ensemble hiérarchique de couches de cellules formant un tuilage couvrant l'ensemble du champ visuel. Chaque couche fournit un ensemble
de paramètres convolutionnels de niveau d'abstraction de plus en plus haut à partir
des données d'entrée du réseau. Chaque cellule agit comme un filtre local
permettant d'exploiter les corrélations spatiales présentes dans une image.
L'extraction automatique et la hiérarchisation des paramètres représentatifs des
données en entrée sont une des grandes forces de ce modèle. En effet, dans un
système d'IA « traditionnel » (reconnaissance de formes, diagnostic), les données
brutes présentées en entrée d'un système sont transformées en vecteurs de
paramètres (features) sur lesquels est prise la décision finale. Une succession de
niveaux de traitement permet de transformer les données brutes en représentations
de plus en plus abstraites.

Par exemple, une image est présentée en entrée sous forme d'un ensemble de
pixels. Le premier niveau de traitement va détecter et localiser des bords ou des
angles, le second des arrangements particuliers de bords que le troisième niveau va
identifier comme des objets, et ainsi de suite jusqu'à obtenir une représentation
abstraite des données adéquate pour la tâche poursuivie.

De façon similaire, la parole se décompose en phrases, mots, syllabes, phones,
traits acoustico-phonétiques (bruits, formants, etc.) jusqu'au niveau initial du
signal acoustique. La définition de ces niveaux, ainsi que l'extraction automatique
des paramètres associés, requiert une importante expérience du domaine
d'application.

Le fait que, dans les CNN, la hiérarchie des niveaux ainsi que les paramètres
associés sont déterminés automatiquement, sans intervention humaine lors de
l'apprentissage, est un des gros avantages de ces modèles. Plus précisément, un
CNN présente une structure comportant deux types de couches, directement
inspirée des connaissances actuelles des neurosciences de la vision :

- des couches de convolution destinées à détecter les arrangements pertinents de
paramètres provenant de la couche précédente,

- des couches de regroupement chargées de rassembler des paramètres semblables.
Les CNN se sont révélés très efficaces dans la représentation de données
complexes structurées et dans leur traitement, tout spécialement dans les domaines
de la classification d'images [23] (dans la compétition annuelle ILSVRC (cf. par.
1) dont le but est de localiser et identifier des objets dans des scènes naturelles, et
récemment dans la reconnaissance de visages. Les CNN obtiennent les meilleurs
résultats, de l'ordre de 2 % d'erreur de classification d'images pour ILSVRC, alors
que l'erreur humaine sur les mêmes données est de l'ordre de 5 %). Il en est de
même pour la reconnaissance de la parole [24] et de l'écriture. D'excellents
résultats ont également été obtenus dans une grande variété de domaines [25] tels
que la physique (analyse de résultats d'expériences d'accélération de particules),
la biologie (traitement de mutations d'ADN), le traitement de la langue naturelle
et la traduction automatique. Dans ces deux derniers champs d'activité, les
traditionnels modèles de langage à base de n-grammes (courtes séquences de lettres
et de symboles de longueur 2 à 5, voire plus) sont remplacés par des modèles de
langage neuronaux.
Tous les réseaux neuromimétiques actuels présentent une structure plane bidimensionnelle, les différentes couches de neurones étant organisées horizontalement. Il n'en va pas de même dans le cortex humain qui possède une structure tridimensionnelle où les neurones sont organisés en colonnes. Nous avons réalisé à Nancy une modélisation informatique du modèle de colonne corticale d'Y. Burnod [33]. J. Hinton a récemment proposé un modèle similaire de *capsules* [34]. Ces modèles sont intéressants dans leur principe et doivent être améliorés pour devenir compétitifs avec les DNN actuels.

Malgré leurs propriétés remarquables ayant conduit aux spectaculaires performances évoquées ci-dessus, les réseaux profonds sont intrinsèquement limités et ne résoudront donc pas tous les problèmes qui se posent à l'IA. Les limitations les plus importantes concernent :

- la nécessité d'énormes quantités de données d'apprentissage. Contrairement à l'être humain ces réseaux ne possèdent pas encore de capacité d'abstraction,

- le manque de transparence, c'est-à-dire l'incapacité pour ces systèmes d'expliquer leurs résultats (aspect boîte noire). Des efforts sont faits en ce sens (cf. par. 7),

- la difficulté d'intégrer des connaissances explicites telles que celles utilisées en IA symbolique (cf. par. 2-3) : ainsi, un DNN peut apprendre aisément des corrélations entre ses entrées et ses sorties, mais sans pouvoir expliciter les relations de causalité éventuelles entre ces données. La causalité demeure un thème de recherche important en IA symbolique [42].

# 6. Domaines d'application

Depuis plusieurs décennies, l'IA a conduit au développement d'applications opérationnelles dans de nombreux domaines tels que le diagnostic et l'aide à la décision avec les systèmes à bases de connaissances ou les réseaux neuronaux, ainsi que la reconnaissance de formes et de la parole avec les modèles stochastiques. Mais l'introduction des DNN a permis d'atteindre des niveaux de performance inégalés qui ont valu une couverture médiatique sans précédent dans quasiment tous les secteurs d'activité. Comme toujours, le transfert de la recherche en laboratoire vers les applications réelles nécessite des investissements conséquents en temps et en argent. Le cheminement est long entre une première annonce et un véritable produit commercialisé. En médecine, notamment, le déploiement d'applications implique un mécanisme d'évaluation complexe, notamment clinique. Enfin, le succès d'une application implique une véritable confiance
dans l'IA ainsi qu'une claire identification des responsabilités (cf. la voiture autonome en cours d'expérimentation et de mise au point).

Sans prétention d'exhaustivité, car la liste s'allonge continuellement, on peut citer :

- Dans le domaine des jeux, avec l'évolution de la technologie et des algorithmes, les systèmes fondés sur l'IA sont devenus les meilleurs : morpion (1952), dames (1994), échecs (1997), go (2016), poker (2016), jeux vidéo (2017).

- En aide au diagnostic et à la recommandation d'actions (médical, spatial, industriel...) et aide à la décision (banques, assurances, conduite de procédés, domaine militaire).

- En aide à la conception, notamment de puces électroniques (Electronic Design Automation, EDA).

- En reconnaissance et synthèse de la parole : la conjonction HMM-DNN conduit à des taux de reconnaissance proches de l'humain (annonce récente de Google) et fait le succès des assistants personnels vocaux [41].

- En identification de locuteurs et détection d'émotions.

- En traitement de la langue naturelle : systèmes de questions-réponses, traduction, dialogue, description d'une image ou d'une scène. Le système Jeopardy d'IBM évoqué au par. 1 est un bel exemple du niveau atteint dans le domaine.

- En interprétation de signaux (surveillance, conduite, cybercriminalité).

- En robotique : robots autonomes (exploration, intervention en milieu hostile), robots de compagnie (pour enfants malades, personnes âgées ou astronautes, cf. par. 7), voiture autonome sans chauffeur.

- En traitement d'images : diagnostic à partir d'images médicales (rayons X, IRM...), reconnaissance de l'écriture, reconnaissance de visages (avec les aspects éthiques associés et les dérives potentielles d'identification d'individus sans leur consentement...), télédétection, détection, classification et localisation d'objets, identification d'actions, etc.

- En biologie, notamment pour le traitement des séquences d'ADN.

- En finance : évaluation du risque, trading, marketing prédictif.

- En médecine : les applications citées ci-dessus préfigurent une évolution vers une médecine prédictive et personnalisée, ainsi qu'une évolution des métiers (radiologie, dermatologie, anatomo-pathologie...).

On assiste actuellement de ce fait à un accroissement considérable des investissements privés en intelligence artificielle par les industriels du domaine : Google, Facebook, IBM, Microsoft, Amazon, Adobe, Yandex, Baidu... Les startups ont également proliféré dans le
monde entier. Elles sont ainsi actuellement 14 fois plus nombreuses qu'en l'an 2000 en Amérique du Nord, selon l'index de l'IA de l'Université de Stanford. Leur nombre total est de plus de 1700 dans le monde. Le chiffre d'affaire de l'IA se situe autour de 2 milliards de dollars américains en 2018 (et pourrait atteindre près de 90 milliards en 2024, d'après le cabinet d'analyse Tractica), tandis que plus de 55000 brevets, relatifs à l'IA au sens large, ont été déposés et que plus de 130 000 articles scientifiques ont été publiés cette même année, selon l'Organisation Mondiale de la Propriété Industrielle, OMPI.

Parallèlement, les acteurs institutionnels de la recherche lancent de grands projets : en Europe, aux États-Unis (cf. le projet *Quest for Intelligence* du MIT tendant à coupler la compréhension de ce qu'est l'intelligence et la réalisation de nouveaux systèmes utiles à l'humanité, ou encore la création du *Joint Artificial Intelligence Center* par le Ministère de la Défense dans le cadre des *National Mission Initiatives*, grands projets s'attaquant aux grands défis actuels, intégrant les aspects éthiques et humanitaires des recherches).

La montée en puissance de l'IA pose la question des conséquences en matière d'emploi. L'IA permet d'automatiser de nombreuses tâches répétitives. Nous assistons à une évolution importante du travail car l'IA supprimera ou transformera très certainement des métiers dans de nombreux secteurs d'activité, tout en nécessitant une évolution forte des qualifications (dans la maintenance, la gestion des données, la création assistée, etc.) et des compétences, y compris pour des métiers qui sont encore à imaginer.

# 7. Perspectives et conclusion

Depuis 2010, la conjonction de l'évolution technologique, de l'amélioration des algorithmes d'apprentissage et de la disponibilité de grandes bases de données a conduit à des réalisations spectaculaires fondées essentiellement sur les réseaux neuronaux profonds, les DNN. L'enthousiasme pour l'IA, dernier outil en date de *homo faber*, est donc très grand et sans précédent dans l'histoire du domaine, avec toutes les exagérations médiatiques et les promesses (qui ne seront pas forcément toutes tenues) que cela implique. Cette inflation de promesses pourrait être préjudiciable à l'IA, comme cela s'est déjà produit dans le passé.

Même si aucun système n'est pour l'instant capable de réussir le test de Turing, les progrès réalisés sont importants. Le système d'IBM *Project Debater* est ainsi capable de débattre en temps réel avec un humain sur un sujet donné. Ce système élabore un argumentaire en puisant dans une base de données d'articles et de connaissances.

Par ailleurs, les recherches dans tous les domaines de l'IA se poursuivent, même si elles sont largement occultées par les réseaux neuronaux profonds. On peut considérer que les progrès récents de l'IA ont été surestimés ou du moins mal compris. Ces progrès portent essentiellement sur la reconnaissance de formes ou de concepts, et non sur la compréhension proprement dite : percevoir n'est pas comprendre. Des avancées importantes ont été faites en la matière mais les recherches fondamentales doivent être poursuivies, nos systèmes étant encore bien en deçà de l'intelligence humaine ou même animale. Ainsi, dans le domaine de la voiture autonome, des travaux tendent à doter le système de conduite de notions de physique et de psychologie humaine lui permettant
d'anticiper, ou du moins de gérer au mieux certains comportements inattendus de conducteurs.

Simultanément, les travaux se sont amplifiés dans le vaste champ de l'apprentissage automatique, supervisé ou non, car il s'agit d'un domaine clé pour l'avenir de l'IA.

Un problème lié à l'utilisation de DNN de très grande dimension est leur consommation électrique. Les DNN sont énergivores, contrairement aux systèmes biologiques dans lesquels les neurones communiquent par impulsions électriques très brèves, ou spikes, ce qui diminue grandement la consommation électrique. Des modèles informatiques de spiking neurons ont été proposés [22], de même que les algorithmes d'apprentissage associés. Les résultats obtenus en reconnaissance d'images et de contrôle de robots sont très encourageants, tout en demeurant inférieurs à ceux obtenus par les DNN classiques. Une voie prometteuse est l'utilisation de l'informatique quantique. Une implémentation d'un neurone de perceptron a déjà été réalisée [39], premier pas à confirmer vers un apprentissage quantique des DNN.

Les réseaux neuronaux profonds actuels vont encore progresser dans les années à venir, mais leurs limites vont apparaître, comme il a déjà été dit au par. 5. L'être humain a la capacité remarquable d'apprendre à porter son attention sur les parties pertinentes des objets qu'il observe. Les futurs DNN auront sans doute cette capacité, dans le prolongement des travaux antérieurs sur le développement de modèles d'attention sélective par renforcement. Une amélioration des modèles pourrait provenir d'équipes de recherche pluridisciplinaire regroupant des spécialistes d'IA, de sciences cognitives et de neurosciences. Cela n'est pas nouveau : l'idée initiale de l'algorithme d'apprentissage par rétropropagation vient ainsi de la psychologie. Un rapprochement de ces modèles avec les modèles symboliques « traditionnels » de l'IA pourrait aussi se révéler fructueux. Cela permettrait de remplacer avantageusement la manipulation symbolique de règles ou d'autres types de connaissances par diverses opérations menées sur des grands vecteurs de données numériques [21]. Par ailleurs, la conception de modèles neuro-symboliques hybrides est une voie qu'il convient de poursuivre [43].

Parmi les évolutions nécessaires pour aller vers une IA forte, aux capacités cognitives accrues, trois domaines me paraissent fondamentaux :

- l'apprentissage dans tous ses aspects (supervisé, non supervisé, par renforcement, etc.) et pas seulement relatif aux réseaux neuronaux, en lien avec la simulation des phénomènes considérés (cette technique est courante pour les jeux, indispensable pour les domaines à risques, tels que la voiture autonome). Un DNN est capable de reconnaître un chat après avoir analysé des milliers d'images de chat lors de la phase d'apprentissage. Il suffit pour un enfant d'avoir vu quelques chats pour accomplir la même tâche. L'apprentissage par renforcement va encore se développer dans de nombreux secteurs d'activité, notamment grâce à des progiciels tels que Brain acquis récemment par Microsoft. Par ailleurs, les progrès en la matière s'appuieront en partie, comme on l'a vu à plusieurs reprises, sur les apports des sciences cognitives et des neurosciences ;
- *la compréhension* de formes et de situations. Ce domaine nécessite des progrès en modélisation du bon sens (cf. par. 2-3) et en modélisation prédictive du monde, mécanismes d'interprétation fondés sur des ontologies et d'autres types de connaissances. L'Union Européenne devrait à l'avenir demander à toute société ou organisation d'être capable de fournir une explication à toute décision prise par un système automatique. Ce n'est encore qu'un projet pour tenter de briser le côté « boîte noire » des systèmes d'IA, déjà évoqué, plus précisément des réseaux neuronaux, les systèmes symboliques à bases de connaissances ayant la possibilité de tracer, dans une certaine mesure, le chemin de raisonnement ayant conduit à une décision. Cette tentative de l'UE n'est pas unique. Ainsi, l'agence américaine DARPA vient de lancer un programme de recherche intitulé *Explainable Artificial Intelligence*. Fournir une explication à une décision nécessite un niveau de compréhension du domaine d'activité ;

- *la coopération humain-machine*. La plupart des systèmes d'IA ne sont pas destinés à remplacer des humains, mais plutôt à coopérer avec eux pour optimiser leurs performances. La recherche doit tendre vers la création de modes d'interaction et de dialogue aussi efficaces que possible. L'IA ne doit pas conduire à la marginalisation de l'évaluation humaine dans un cadre applicatif donné, lorsque cette dernière est pertinente voire indispensable. Il s'agit de définir et de mettre en place le cadre permettant d'intégrer au mieux l'intelligence humaine et l'IA. De nombreuses expériences de ce type menées dans des domaines sensibles prouvent l'intérêt de telles approches, en particulier en médecine (e.g. le diagnostic de maladies mentales [35]). Un autre exemple de l'utilité, sinon la nécessité, de la collaboration entre l'IA et l'intelligence humaine concerne l'exploitation des énormes gisements de données de plus en plus disponibles. Ces données ne servent pas seulement à entraîner les réseaux neuronaux. Des techniques de fouille de données permettent aussi d'exploiter ces big data pour en extraire des pépites de connaissances. La complémentarité être humain-machine peut se révéler très fructueuse : une connaissance extérieure à ces données, notamment celle détenue par des experts du domaine considéré, en permet une exploitation optimale [36].

Un domaine connexe est celui des robots compagnons ou domestiques. Les expériences en la matière se multiplient, en particulier à destination des personnes âgées, comme les projets européens GIRAFFPlus et MOBISERV ou le projet français ROMEO2. De tels robots, comme aussi Pepper d'Aldebaran ou d'autres, se développent de plus en plus, au Japon mais aussi dans d'autres pays. En France, plusieurs EHPAD en sont équipés. Un autre exemple est CIMON (*Crew Interactive Mobile Companion*), un petit robot doté de parole conçu par Airbus pour assister les astronautes dans leurs tâches à bord de la station spatiale internationale.

La singularité (point hypothétique où l'IA dépassera l'intelligence humaine) paraît encore peu crédible et la crainte de voir les systèmes d'IA échapper au contrôle humain et prendre le pouvoir paraît infondée. En revanche, les travaux et les réflexions sur le transhumanisme,
l'homme augmenté, tout comme la singularité technologique, nécessitent d'amplifier la réflexion sur les aspects éthiques et sociétaux de la recherche en IA, ainsi que son enseignement. C'est l'être humain et son éthique qui doivent limiter les pouvoirs des systèmes d'IA, de même que leur utilisation frauduleuse : usurpation des données personnelles, pouvoir létal des robots, etc.

Nos valeurs fondamentales comme la liberté, la sécurité, l'intérêt collectif, la dignité de la personne, doivent être prises en compte pour harmoniser les différents systèmes de valeurs que l'on peut trouver dans le monde. Les technologies modernes nous ont rendus, parfois à notre insu, éminemment observables, voire manipulables. Les risques pour la vie privée et la liberté individuelle existent donc potentiellement.

La réflexion sur l'éthique des machines est également essentielle. Le projet *Moral Machine* du MIT est un premier exemple intéressant. L'irruption de l'IA dans le quotidien soulève des questions importantes relatives :

- à la nuisance des systèmes d'IA (cf. lois d'Asimov pour les robots. Des travaux récents portent actuellement sur la conception de robots éthiques, capables d'évaluer les conséquences de leurs actions),

- au statut moral des machines,

- à la détermination de responsabilités,

- aux propriétés requises d'un système du fait de son rôle social et médical potentiel : prédictibilité, transparence à l'inspection...

Il importe donc de définir ou de rappeler des règles éthiques et de mettre en place une charte déontologique pour cadrer aussi bien la recherche scientifique dans ce domaine, qu'elle soit publique ou privée, que les développements industriels. Les enjeux économiques et politiques rendent hélas très difficile la recherche d'un consensus mondial sur ce point. Les dérives possibles, évoquées au par. 6, d'utilisation de la reconnaissance de visages à des fins de surveillance des personnes en est un exemple parmi d'autres. Nous avons mentionné au par. 2 le RGPD européen relatif aux données personnelles. Ce règlement ne doit pas être une contrainte trop forte pour les sociétés européennes, mais il constitue une protection pour le citoyen. Son rôle est triple :

- renforcer les droits des personnes,

- responsabiliser les acteurs traitant des données,

- crédibiliser la régulation grâce à une coopération renforcée entre les autorités de protection des données.

Le Japon a rejoint l'Europe sur la protection des données et la Californie envisage une loi similaire dans un futur proche. Sur le même plan, Microsoft, Google, IBM, Amazon et Apple ont créé le *Partnership on AI* dont le but est de « faire avancer la compréhension du public sur l'intelligence artificielle et de définir les meilleures pratiques sur les défis et les opportunités dans ce domaine ». L'Europe joue un grand rôle sur le plan de l'éthique. Outre
le RGPD, l'UE a mis en place le *AI HLEG (High Level Group on Artificial Intelligence)* qui a publié un premier document sur les lignes directrices pour une IA de confiance (*Trustworthy AI*), utile et au service de l'être l'humain [46].

L'évolution des systèmes vers une IA de plus en plus forte pose par ailleurs la question de la conscience de ces systèmes. On considère généralement que la conscience est le propre d'un organisme vivant, par sa connaissance de lui-même et de son environnement. Bien que des modèles de conscience artificielle aient été proposés, aucun système d'IA n'est pour l'instant doté de conscience. Les agents conversationnels courants sur Internet et par téléphone, ou de nouvelles générations en cours de conception, sont capables de simuler des émotions. Ils peuvent aussi dans une certaine mesure détecter l'état émotif de l'humain (par les gestes, le visage, la voix), répondre en simulant une émotion (cf. le robot Pepper d'Aldebaran), voire influer sur l'état émotif de l'interlocuteur. En revanche, ils ne peuvent en aucun cas pour l'instant ressentir des émotions.

Nous manquons de recul pour examiner sereinement l'évolution de l'IA, et plus généralement de notre société, car les échelles de temps sont très courtes. Il ne s'agit pas de sacraliser la technique, mais simplement d'éviter des peurs irraisonnées et de ne pas oublier que l'IA permet de sauver des vies, d'améliorer nos conditions de vie et de travail ou de mieux comprendre ce que nous sommes.

Il faut donc sensibiliser, former et informer, sans occulter les risques réels, tout en combattant les utilisations malveillantes aussi bien que les craintes non fondées, de façon à établir autant que faire se peut des relations de confiance avec l'IA. Les risques peuvent et doivent être identifiés, anticipés et maîtrisés. Le rôle du monde politique et de la loi, tant pour éviter les dérives « à la Orwell » que pour codifier les utilisations frauduleuses (commerciales, militaires...), est également très important. C'est à ces conditions que l'IA, maîtrisée et démythifiée, pourra apporter tous ses bénéfices potentiels à l'humanité.

## 8. Références

[1] J.-P. Haton et M.-C. Haton, *L'intelligence artificielle*, Coll. Que-sais-je?, PUF, 3ᵉ éd., 1993.

[2] J.-P. Haton et al. *Le raisonnement en intelligence artificielle - Modèles, techniques et architectures pour les systèmes à bases de connaissances*, InterEditions, 1991.

[3] L. Rabiner and B.H. Huang, *Fundamentals of Speech Recognition*, Prentice-Hall, 1993.

[4] A. Turing, "Computing Machinery and Intelligence", *Mind*, 49, pp. 433-460.

[5] F. Rosenblatt, "The Perceptron: a probabilistic model for information storage and organization in the brain", *Psychological review*, vol. 65, 6, pp. 386-408, 1958.

[6] M. Minsky and S. Papert, *Perceptrons: An Introduction to Computational Geometry*. MIT Press, 1969.

[7] D.E. Rumelhart et al., *Parallel Distributed Processing*, vol. 1 and 2, MIT Press, 1988.

[8] E.H. Shortliffe, *Computer-based Medical Consultation: MYCIN*, Elsevier, 1976.
[9] T.M. Mitchell, *Machine Learning*, McGraw-Hill, 1997.

[10] E.A. Feigenbaum and B. G. Buchanan, “DENDRAL and Meta-DENDRAL: roots of knowledge systems and expert system applications”, *Artificial Intelligence*, 59, pp. 233-240, 1993.

[11] L. Breiman et al., *Classification and Regression Trees*, Chapman and Hall/CRC, 1984.

[12] V. Vapnik, *Statistical Learning Theory*, Wiley-Interscience, 1998.

[13] I.J. Goodfellow et al., “Generative Adversarial Networks”, *Advances in Neural Information Processing Systems* 27, 2014.

[14] C.J. Watkins and P. Dayan, P. (1992), “Q-learning”, *Machine Learning*, 8, pp. 279-292, 1992.

[15] R. Al-Rfou et al., “Theano: A Python framework for fast computation of mathematical expressions”, arXiv, 2016.

[16] G. Hinton et al., “A fast learning algorithm for deep belief nets”, *Neural Comp*. 18, pp. 1527–1554, 2006.

[17] L. Espeholt et al., “IMPALA: Scalable Distributed Deep-RL with Importance Weighted Actor-Learner”, *DeepMind Publication*, 2018.

[18] S. Hochreiter and J. Schmidhuber, “Long short-term memory”, *Neural Computation*, vol. 9, 8, pp. 1735–1780, 1997.

[19] Y. Le Cun et al., “Gradient-based learning applied to document recognition”, *Proc. IEEE*, vol. 86, 11, 1998.

[20] A. Newell, “The Knowledge Level”, *Artificial Intelligence*, vol. 18, n°1, pp.87-127, 1982.

[21] L. Bottou, “From machine learning to machine reasoning”, *Machine Learning*, vol. 94, pp.133-149, 2014.

[22] F. Alexandre, “Les spiking neurons : une leçon de la biologie pour le codage et le traitement des données”, F. Ghorbel, J-P. Haton et L. Ben Youssef, editors, *Trajetoy et Analyse de l'Information : Méthodes et Applications* - TAIMA, 2005.

[23] A. Krizhevsky et al., “ImageNet classification with deep convolutional neural networks”, *Proc. Advances in Neural Information Processing Systems*, vol. 25, pp. 1090-1098, 2012.

[24] G. Hinton et al., “Deep neural networks for acoustic modeling in speech recognition”, *IEEE Signal Processing Magazine*, vol. 29, pp. 82-97, 2012.

[25] Y. Le Cun et al., “Deep learning”, *Nature*, vol. 521, pp. 436-444, 2015.

[26] D. Lenat and R.V. Guha., *Building Large Knowledge-Based Systems: Representation and Inference in the Cyc Project*, Addison-Wesley, 1990.

[27] A. Newell, J.C. Shaw and H. A. Simon, N. Wiener, “Report on a General Problem Solving Program”, *Proc. Int. Conf. on Information Processing*, UNESCO, 1959.

[28] J.-L. Laurière, Un langage et un programme pour énoncer et résoudre des problèmes combinatoires, Thèse de doctorat d'état, Université Pierre-et-Marie-Curie, 1976.

[29] N. Wiener, *Cybernetics or control and communication in the animal and the machine*, Wiley, 1948.
[30] T. Winograd, Procedures as a Representation for Data in a Computer Program for Understanding Natural Language. PhD Dissertation, MIT Jan. 1971

[31] J. Weinzenbaum, "ELIZA-A Computer Program For the Study of Natural Language Communication Between Man and Machine", *Com. ACM*, Jan. 1966.

[32] W.S. McCulloch and W.H. Pitts, "A Logical Calculus of the Ideas Immanent in Nervous Activity", *Bulletin of Mathematical Biophysics*, 5, pp. 115-133, 1943.

[33] F. Alexandre, Y. Burnod, F. Guyot and J.-P. Haton, "The Cortical Column: A New Processing Unit for Multilayered Networks", *Neural Networks*, 4, pp. 15-25, 1991.

[34] J. Hinton et al., "Transforming auto-encoders", *Proc. Int. Conf. on Artificial Neural Networks*, pp. 44–51, Springer, 2011.

[35] M. De Choudhury and E. Kiciman, "Integrating artificial and human intelligence in complex, sensitive problems domains: experiences from mental health", *AI Magazine*, 39, n°3, pp. 69-80, 2018.

[36] J. Pearl, "Theoretical Impediments to Machine Learning With Seven Sparks from the Causal Revolution", *Technical Report R-475*, UCLA, 2018.

[37] C. Khatri et al., "Alexa Prize - State of the art in conversational AI", *AI Magazine*, 39, n°3, pp. 40-55, 2018.

[38] J. Ferber, *Les systèmes multi-agents*, InterEditions, 1995.

[39] F. Tacchino et al., "An Artificial Neuron Implemented on an Actual Quantum Processor", *arXiv: 1811.02266v1 [quant-ph]*, 2018.

[40] G. Polya, *How to solve it*, Doubleday, 1957.

[41] J-P. Haton, *La parole numérique*, Académie Royale de Belgique, Collection Poche, n° 79, 2016.

[42] J. Pearl, *Causality: models, reasoning, and inference*, Cambridge University Press, 2000.

[43] T.R. Besold et al., "Neural-Symbolic Learning and Reasoning: A Survey and Interpretation", *arXiv, cs.AI*, 2017.

[44] P. Luc et al., "Predicting Deeper into the Future of Semantic Segmentation", *Int. Conf. on Computer Vision*, 2017.

[45] K. He et al., "Deep residual learning for image recognition", *arXiv preprint arXiv: 1512.03385*, 2015.

[46] https://ec.europa.eu/digital-single-market/en/news/have-your-say-european-expert-group-seeks-feedback-draft-ethics-guidelines-trustworthy