IA: Esquisse des tendances
actuelles et à venir

Brahim Chaib-draa

Plan de la présentation⚫

2

Où en est actuellement le DL ?
–Bataille CNN-Transformers-MLP–

GPT (Generative Pretraining Transformers) et autres
XXX modèles du langage–

Sémantique de la boite noire(Interprétabilité/explicabilité)–

Autres avenues prometteuses⚫

Vers le neuro-symbolique⚫

Foundation Models⚫

Artificial General Intelligence (AGI )⚫

Human vs AI© B. Chaib-draa

Perception (par) Machine3⚫

La perception machine vise à développer des systèmes
informatiques “simulant” la façon qu’ont les humains à
percevoir leur environnement.

⚫

L’objectif ultime de la perception machine consiste à
construire des machines/dispositifs ayant la capacité de voir,d’entendre, de sentir, d’avoir le sens du toucher, etc.

⚫

La recherche actuelle dans le domaine de la perception
machine s’attaque à des problèmes de vision, de traitement
du son/parole/musique, du toucher, de la saisie d’objets,
etc.
© B. Chaib-draa

Vers Multi-skilled Perception Machine4© B. Chaib-draa

Traitement du langage naturel (NLP)⚫

La catégorisation de contenu. Un résumé linguistique du document,
comprenant la recherche et l’indexation, des alertes de contenu, etc.

⚫

Modélisation et découverte automatique de thèmes. Capture précise dusens et des thèmes cachés dans une collection de textes,.

⚫

Extraction contextuelle. Extraction automatique d’informations structurées
prenant en compte le contexte de la phrase à partir de sources textuelles brutes.

⚫

Analyse de sentiment. Identification de l’humeur ou des opinions subjectives
dans de larges volumes de textes, et identification automatique des sentiments.

⚫

Conversion parole-texte et texte-parole. Transformation des commandes
vocales en texte écrit, et inversement.

⚫

Synthèse de documents. Génération automatique de résumés.

⚫

Traduction automatique. Traduction automatique de textes ou discours d’une
langue source vers une langue cible.
https://www.sas.com/fr_ca/insights/analytics/what-is-natural-language-processing-nlp.html

5© B. Chaib-draa

Machine Learning et Deep Learning

From https://www.mathworks.com/discovery/deep-learning.html

6© B. Chaib-draa

… et l’attention apparaît

Traffic signal detection andclassification in street views using
an attention model
https://medium.com/the-research-nest/understandingattention-in-machine-learning-96c187f76cd8

7© B. Chaib-draa

Attention en IA8© B. Chaib-draa

l’attention en IA

mage from EazyLearn.

9© B. Chaib-draa

….de l’attention au Transformeur
The Illustrated Transformer

10© B. Chaib-draa

arXiv:2108.13002

CNN, Transformeur, MLP⚫

« Do Vision Transformers See Like Convolutional Neural
Networks”, NeurIPS’21“…. Compte tenu du rôle central des réseaux de neurones convolutifs
dans les percées de la vision par ordinateur, il est remarquable que lesarchitectures Transformer (presque identiques à celles utilisées dans lelangage) soient capables de performances similaires..” (trad libre)⚫

11« A Battle of Network Structures: An Empirical Study of CNN,
Transformer, and MLP” arXiv:2108.13002“….. les trois structures de réseau sont également compétitives entermes de compromis précision-complexité, bien qu’elles présentent despropriétés distinctives lorsque le réseau se complexifie »© B. Chaib-draa

CNN, Transformeur, MLP⚫

« Pay attention to MLPs » NeurIPs-21« Les chercheurs de Google Brain ont annoncé Le perceptron
multicouche fermé (gMLP), un modèle d’apprentissage en profondeur
qui ne contient que des perceptrons multicouches de base. En utilisantmoins de paramètres, gMLP surpasse les modèles Transformer sur lestâches de traitement du langage naturel (NLP) et atteint une précisioncomparable sur les tâches de vision par ordinateur (CV) ». (Trad libre)

CNN

12

Transformeur© B. Chaib-draa

MLPLa semaine dernière, le SA a fait place à la Focal Modulation

Transformeur est appelé aussi à évoluer sous peu

13© B. Chaib-draa

Sémantique de la boite noire: Interprétabilité en IA

Interpretability, Learn Model, Anirban Nandi, and Aditya Kumar Pal. "Interpreting
Machine Learning Models."

Explainable Artificial Intelligence (XAI): Concepts,
taxonomies, opportunities and challenges toward
responsible AI By Alejandro Barredo Arrieta

14© B. Chaib-draa

Interprétabilité en IA

Interpretability, Learn Model, Anirban Nandi, and Aditya
Kumar Pal. "Interpreting Machine Learning Models."@article{Li2021InterpretableDL, title={Interpretable Deep Learning: Interpretations, Interpretability, Trustworthiness, and Beyond}, author={Xuhong Li and Haoyi Xiong
and Xingjian Li and Xuanyu Wu and Xiao Zhang and Ji Liu and Jiang Bian and Dejing Dou}, journal={ArXiv}, year={2021}, volume={abs/2103.10689} }15© B. Chaib-draa

GPT3 et larges modèles du langage (LML)⚫

Generative Pre-trained Transformer 3 (GPT-3) est unmodèle de langage qui tire parti de l’apprentissage
profond pour générer, en sortie, du texte de type« humain ».
–GPT-3 a été introduit par Open AI en mai 2020 en tantque successeur de GPT-2.

–

Il est considéré comme meilleur et plus grand que GPT2. avec environ 175 milliards de paramètres
entraînables, il était le plus grand modèle jusqu’à
récemment.

–

Non seulement il peut produire du texte, mais il peutégalement générer du code, des histoires/articles, despoèmes, QA, etc.

–

Pour ces capacités et raisons, il est devenu un sujetbrûlant dans le domaine du traitement du langage
naturel (NLP).

(trad libre de https://www.springboard.com/blog/data-science/machine-learning-gpt-3-open-ai/)

16© B. Chaib-draa

L’idée du Siècle : le Prompt

17© B. Chaib-draa

Prompt

From https://thegradient.pub/

18© B. Chaib-draaCe que fait GPT3

19⚫

Il produit des écrits cohérents/originaux qu’on ne peut distinguer dece que font les humains⚫

Il est capable d’analyser le contexte⚫

Il peut générer des images⚫

Il peut écrire des codes IFT⚫

Il peut composer musique; écrire des poésies et des fictions⚫

Il peut faire de la peinture, simuler des styles de modes⚫

Il peut faire des jokes, blagues et autres⚫

Il peut converser comme si c’est un thérapeute⚫

Il peut résumer des films avec des émoi⚫

Il peut imiter des célébrités et autre figures historiques© B. Chaib-draa

Limites de GPT3
⚫

⚫

20

Peu de connaissances sur les capacités et limitations de GPT3▪

Le code source reste plus ou moins privé▪

Les utilisateurs peuvent seulement utiliser un API type boite noire▪

Seulement des utiisateurs autorisés y ont accès.

GPT3 peut-il mener à Artifial General Intelligence (AGI) ?
▪

Il est capable de “comprendre” la structure du langage et placer les
mots correctement pour en faire une sequence.

▪

Il souffre de différents biais▪

Toutefois il ne comprend pas le sens des mots et peut générer desexpressions n’ayant aucun sens, voir des expressions dangereuses
voire radicales.

▪

Plausible mais non vrai

https://research.aimultiple.com/gpt/© B. Chaib-draa

Dangers de GPT3

21⚫

Possibilités d’un language raciste sexiste et autres;⚫

Menaces sur la creation artistique et plus généralement
sur toute création humaine;⚫

Peut poser des problems à la police/justice;⚫

Possibilités de Fake News, sottises, confusions,ambiguités, etc.

⚫

D’autres possibles dangers.

© B. Chaib-draa

Autres Larges Modèles du Langage (LML)

22⚫

Megatron (MT-NLG) le plus gros (à date), puissant transformer
developé par NVIDIA.

⚫

GLaM : Selon Google sa performance est comparable à GPT3⚫

Gopher : DeepMind dis qu’il réduit presque de moitié l’écart deprécision entre GPT-3 et les performances des experts
humains.

⚫

Chinchilla : ne scale pas comme Gopher mais le focus surl’amelioration du training⚫

GPT4 : à venir⚫

DALL-E 2 : Open AI pour générer des images basées sur desdescriptions “prompts”© B. Chaib-draa

DALLE-2
Created with DALL·E 2 by@OpenAI
Prompt: "Mona Lisa isdrinking wine with da Vinci."

23© B. Chaib-draa

Autres avenues prometteuses⚫

Vers un GPT Image (Florence deMicrosoft)⚫

Few-Shot Learning/Domain
Adaptation⚫

Interprétabilité/explicabilité⚫

Inférence causale⚫

Sens commun (ou bon-sens),
Contexte(*) et compositionalité⚫

Apprendre à raisonner utilisantdiverses sources deconnaissances(*) Le bon sens est la capacité d’utiliser efficacement les connaissancesordinaires, quotidiennes et expérientielles pour atteindre des objectifs
ordinaires et pratiques. (Hector Levesque).

24© B. Chaib-draa

Limites du DL

25⚫

Nécessite de très larges quantités de données⚫

Ça prend beaucoup de temps et de ressources⚫

Plutôt des données labelisées⚫

Capacité limitée à l’adaptation⚫

Manque de transparence, difficile à interpréter⚫

Difficulté à intégrer la connaissance à priori⚫

Pas de raisonnement du type « sens commun »⚫

Pas de « raisonnement » type (déductive; inductive ou abductive)⚫

La théorie sous-tendant le DL est encore en gestation (« art »,«technologie » ou « science »)© B. Chaib-draaLe besoin du symbolique26© B. Chaib-draa

IA aujourd’hui

Deep Learning

Symbolic AI

Kautz Engelmore Memorial Lecture, Thirty-fourth AAAI Conf, New York, NY, February 10, 2020.

27

IA d’avant les années 90
Des années 70 jusqu’à peu près 1990

Symbolic AI

Neural Networks

Kautz Engelmore Memorial Lecture, Thirty-fourth AAAI Conf, New York, NY, February 10, 2020.

28

IA symbolique29Symbolique vs Numérique
Pirmin Lemberger –onepoint x weave

30© B. Chaib-draa

Neuro-Symbolic Approches
Symbolic[Neuro]

pattern recognition
Monte-Carlo Game Tree Search Neuralsubroutine within a symbolic
problem solver

NN State Estimator

31© B. Chaib-draa

Neuro; Symbolic
Cascade from neural network
into symbolic reasoner

Kahneman’s dual-system : System 1 et System 2

Design thinking, fast and slow: A framework for Kahneman’s dual-system theory indesign by Udo Kannengiesser1 and John S. Gero2

32© B. Chaib-draa

Skill-Rule-Knowledge de Rasmussen

van Paassen, M. M., Reitsma, J. R., Hujibrechts, E. A., Borst, C., Landman, A., & Mulder, M. (2021). The Skill Assumption Over-Reliance on Perception Skills in Hazard Assessment. 73rd International Symposium on Aviation Psychology, 322-327.

33© B. Chaib-draa

Neuro[Symbolic]⚫ Le solveur symbolique
proposé n’est pas
différentiable, il ne prendra
donc pas en charge
l’apprentissage basé sur ladescente de gradient . On
ne peut donc propager àtravers ce solveur un billiond’étapes d’inférence.
⚫ Le réseau neuronal peut
apprendre desentrées/sorties de SRS en
utilisant l’optimisation nonbasée sur le gradient⚫ Ce schéma ne peut gérer
le raisonnement non
logique. Pourrait êtreétendu au raisonnement
probabiliste, maisprobablement pas au
raisonnement basé sur lasimilitude.

34

Symbolic Reasoning
Engine

Go_To(Cheese)

Decoder

Encoder

NeuralNetwork

Forward(1)Turn left
Forward (2)Kautz Engelmore Memorial Lecture, Thirty-fourth AAAI Conf, New York, NY, February 10, 2020.

© B. Chaib-draaGénération de texte via Systèmes 1 et 2

Nye, M., Tessler, M., Tenenbaum, J., & Lake, B. M. (2021). Improving coherence and consistency in neural sequence models
with dual-system, neuro-symbolic reasoning. Advances in Neural Information Processing Systems, 34.

35© B. Chaib-draa

Modèles dit de fondation (Foundation Models)36© B. Chaib-draa

Modèles dit de fondation (Foundation Models)37© B. Chaib-draa

Fondation Models as Paradigm shift ?
Ces modèles sont entraînés sur de très grandes masses dedonnées (via le self-supervised learning et Domain Adaptation)
et peuvent être adaptés (via le transfer learning) à un largeéventail de tâches en aval.

38© B. Chaib-draa

FM comme chantier à partir des LML

39⚫

Megatron (MT-NLG) le plus gros (à date), puissant transformer
developé par NVIDIA.

⚫

GLaM : Selon Google sa performance est comparable à GPT3⚫

Gopher : DeepMind dis qu’il réduit presque de moitié l’écart deprécision entre GPT-3 et les performances des experts
humains.

⚫

Chinchilla : ne scale pas comme Gopher mais met le focus surl’amelioration du training⚫

GPT4 : à venir⚫

DALL-E 2 : Open AI pour générer des images basées sur desdescriptions “prompts”© B. Chaib-draaCe que peuvent faire les FM (=LML)
Traitement du langage :⚫

Les FM sont devenus centraux dans l’industrie du traitement
du langage naturel (NLP) en étant capables de générer unlangage « similaire » à celui des humains.

⚫

Les FM sont également adaptables et peuvent facilement
apprendre de nouvelles façons de résoudre des problèmes
linguistiques.

⚫

Les FM se sont avérés avoir des capacités profondes allant
du traitement du langage à la vision par ordinateur en
passant par bien d’autres applications.

https://www.forbes.com/sites/forbestechcouncil/2021/10/22/how-to-leverage-ai-foundation-models-while-minimizing-bias/?sh=1e6f3e727179

40© B. Chaib-draaCe que peuvent faire les FM ((=LML)
Compréhension visuelle :41⚫

Dans le domaine de la vision par ordinateur, les FM excellent
en transformant des données brutes provenant de sources
multiples en sorties visuelles.

⚫

Les FM aident les machines à comprendre le monde visuelgrâce à l’utilisation de la reconnaissance d’images, de ladétection d’objets et de la reconnaissance d’actions.

⚫

L’apport à la vision est particulièrement bénéfique parce quela vision s’est avérée être l’un des principaux moyens parlesquels les humains comprennent leur environnement, desorte que le transfert de cette compétence aux machines est
une étape révolutionnaire.
© B. Chaib-draaCe que peuvent faire les FM (=LML)
Aide et interaction Homme-Machine :42⚫

Il a également été prouvé que les FM aident les développeurs
ayant peu d’expérience à créer des applications d’IA efficaces,
augmentant ainsi le niveau d’interactions avec les clients.

⚫

Malgré les progrès de l’apprentissage automatique, concevoir
personnellement une nouvelle IA pour interagir avec leshumains est très difficile, et les FM de base s’avèrent être unebonne solution.

⚫

Les FM peuvent s’avérer d’excellents interfaces entre l’homme
et la machine© B. Chaib-draa

L’AGI prochainement?
⚫

De nos jours on fait face à une IA restreinte/limitée encore
loin d’une AGI.

43⚫

Artificial general intelligence (AGI) une IA ayant des capacités
non biologiques pouvant réaliser de manière autonome et efficace
des objectifs complexes dans un large éventail d’environnements⚫

Atteignerions-nous une AGI dans les années à venir ?
–OUI pour ceux qui pensent que les FM nous y amènent tout
droit

–

D’autres pensent que c’est plutôt en « réconciliant Symboliqueet Numérique »–D’autres en étendant le DL : « DL est notre religion ».

© B. Chaib-draa

AGI vs Humain Intelligence⚫

AGI = IA ayant des capacités non biologiques
pouvant réaliser de manière autonome et efficace desobjectifs complexes dans un large éventail
d’environnements.
Complémenter/aider/remplacer …

⚫ « Intelligence Humaine » :44© B. Chaib-draa

Jitendra Malik sur l’IA actuel⚫

45« La dernière décennie a vu des progrès remarquables de l’IA, mais levoyage n’est encore que partiellement terminé. Des sommités de l’IA telles
que Judea Pearl, Mike Jordan et Rod Brooks ont beaucoup écrit sur ce qui
manque aujourd’hui et je n’ai pas besoin de reprendre leurs arguments. Le
dilemme « explorer-exploiter » est toujours avec nous dans la planificationde la stratégie de recherche à long terme. Mon expérience, ayant été dansl’IA pendant plus de quarante ans, est que nous surinvestissons dans lesparadigmes actuels et ne sommes pas suffisamment attentifs à la grande
idée émergente dans une partie négligée du paysage intellectuel. Les larges
modèles linguistiques sont utiles, et il est très logique pour les grandes
entreprises technologiques comme Google, Facebook ou Microsoft d’yinvestir. Mais le monde universitaire devrait poursuivre une stratégie« Laissez mille fleurs fleurir ». Qui sait quand et où le prochain moment
Alexnet se produira? »© B. Chaib-draa

Conclusion

46⚫

Exploiter ou Explorer ?

⚫

L’avenir de l’IA passe t-il par le tout en numérique (nosymbols) ?

⚫

L’avenir de l’IA passe-t-il par le neuro-symbolique ?

⚫

L’avenir de l’IA passe-t-il par les LML ?

⚫

Quelles stratégies universitaires face aux grands modèles
type FM développés par les GAFAs ?

⚫

Jitendra Malik “Je ne crois pas que l’IA doive imiter
servilement le cours du développement du bébé humain,
mais il est clair que la perception, l’interaction, l’action dans
un monde physique en 4D, l’acquisition de modèles
physique de bon sens, les théories de l’esprit et l’acquisitiond’un langage ancré dans ce monde sont des composants
importants de l’IA.”© B. Chaib-draa

AGI via
Systèmes
1 et 2

47© B. Chaib-draa

The State of AI in 9 Charts

48© B. Chaib-draa

…et l’attention apparaît…

https://www.jmir.org/2020/12/e18418/

Illustrated-attention

49© B. Chaib-draa

….de l’attention au Transformeur
BERT : Le"Transformer
model" quis'entraîne et qui
représente

50© B. Chaib-draa

Overview⚫

First Summer: Irrational Exuberance (1948 – 1966)⚫

First Winter (1967 – 1977)⚫

Second Summer: Knowledge is Power (1978 – 1987)⚫

Second Winter (1988 – 2011)⚫

Third Summer (2012 – ?)⚫

Why there might not be a third winter!

Kautz Engelmore Memorial Lecture, Thirty-fourth AAAI Conf, New York, NY, February 10, 2020.

51

C’est quoi l’IA ? (suite)
A Neural Network PlaygroundIA ce n’est pas que DL

52© B. Chaib-draa

Tests pour confirmer que AGI est opérationnelle⚫ Test de Turing⚫ The Coffee Test (Goertzel) : une machine est

sensée effectuée la tâche qui consiste à aller
dans une maison d’Américain moyen et trouvercomment faire le café.
53© B. Chaib-draa

Tests pour AGI est opérationnelle (2)⚫ The Robot College Student Test (Goertzel) : une

machine est sensée se faire recruter dans une
université, prendre des cours et passer desexamens (comme le ferait un humain ou mieux ?)et obtenir un diplôme.
⚫ The Employement Test (Nilsson) : une machine

est sensée travailler en faisant un job (selon leslois du marché) et performer aussi bien, sinon
mieux qu’un humain faisant le même travail.

54© B. Chaib-draaOu va le DL?
A. Toosi. A brief history of AI

55© B. Chaib-draa

Apprentissage profond-- Deep Learning

From https://www.mathworks.com/discovery/deep-learning.html

56

Réseau neuronal convolutif
Convolutional neural network (CNN)© B. Chaib-draa

Autres modèles pré-entrainés pour NLP
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
GPT2: Language Models Are Unsupervised Multitask Learners
XLNet: Generalized Autoregressive Pretraining for Language Understanding
RoBERTa: A Robustly Optimized BERT Pretraining Approach
ALBERT: A Lite BERT for Self-supervised Learning of Language Representations
StructBERT: Incorporating Language Structures into Pre-training for Deep Language Understanding
T5: Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer
GPT3: Language Models Are Few-Shot Learners
ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators
DeBERTa: Decoding-enhanced BERT with Disentangled Attention
https://www.topbots.com/leading-nlp-language-models-2020/57© B. Chaib-draa

CLEVER from MIT

58© B. Chaib-draa

Watch on youtube

DL: Limites computationnelles
Un nouveau projet mené par deschercheurs du MIT soutient quel’apprentissage profond atteint ses
limites de calcul, ce qui, selon eux,
entraînera l’un des deux résultats
suivants :1) l’apprentissage profond sera forcéd’aller vers des méthodesd’amélioration moins intensives en
calcul, ou bien
1) l’apprentissage automatique sera
poussé vers des techniques plus
efficaces sur le plan informatiqueque l’apprentissage profond.

59© B. Chaib-draa

Neuro-Symbolic⚫

Gestion hors distribution : si le système conçu est capable d’extrapoler àpartir des données d’entrée de formation au moyen de moyens symboliques tels
que les connaissances de base, et est donc capable de gérer des scénarios qui
sont significativement différents de l’entrée de formation.

⚫

Interprétabilité: Si le fait que le système soit neuro-symbolique est essentiel àl’amélioration de l’interprétabilité du comportement ou des résultats du système,par exemple en termes de rendre les décisions du système plus transparentes etexplicables pour un utilisateur humain.

⚫

Récupération des erreurs: Si le système conçu utilise sa conception neurosymbolique afin de récupérer plus facilement des décisions ou des résultats
erronés.

⚫

Apprendre à partir de peu de données: Le fait que le système soit neurosymbolique est essentiel pour rendre le système entraînable sur moins dedonnées que ce que l’on pourrait attendre d’un système qui n’est pas neurosymbolique.

Traduction libre de Sarker, Md Kamruzzaman, et al. "Neuro-symbolic artificial intelligence: Current trends." arXiv
preprint arXiv:2105.05330 (2021).

60© B. Chaib-draa