L’IA est-elle dangereuse ? Laréponse est oui à moins que …

Brahim Chaib-draa

12 menaces qui pourraient détruire le monded’ici 100 ans
 Les menaces qui pèsent sur l’humanité nemanquent pas à en croire un groupe dechercheurs de la fondation des défis globaux
et de l’université d’Oxford.
les 12 menaces2© B. Chaib-draa

Cette présentation vise à …
 IA est-elle dangereuse pour l’humain ?
– Dans combien de temps ?
– Faut-il agir ?
– Si oui, quoi faire ?
– Comment le faire ?

 Cette présentation tente de répondre à cesquestions.
 Stola et Yampolskly (2015) [1].
3

© B. Chaib-draa

Plan de la présentation
 IA faible– « Définition »– Ses avantages– Ses Dangers

 IA forte : AGI– Qu’est ce que l’IA forte ?
– Est-elle possible ?
– Ses risques pour l’humanité ?

 Comment contrer les risques de AGI– Propositions pour actions venant de la société– Propositions pour des contraintes externes sur AGI– Recommandations pour une conception d’AGI safe

4

© B. Chaib-draa

IA faible
 Dans l’IA faible, l’ordinateur digital est juste vu

comme un outil pour étudier l’intelligence etdévelopper une technologie utile.
 Un programme IA est tout au plus une
simulation d’un processus cognitif, mais luimême n’est pas un processus cognitif.
– Ex: une simulation de voiture ne constitue pas unevoiture.

5© B. Chaib-draa

L’IA faible : avantages
 Avantages via des innovations technologiques– Traitement de la parole, Vision, Perception– Applis pour la mobilité– Jeux, interfaces, et autres– Sécurité (ift, routière, etc.)– Robotique– Biologie– Santé–

6Etc.
© B. Chaib-draa

L’IA faible : avantages
 Avantages pour des tâches
– Répétitives;– Non-sécuritaires ou dangereuses– Pénibles– Trop complexes pour des humains– Etc.

7© B. Chaib-draa

L’IA faible : dangers
 Possibles dangers d’un IA autonome– Vers la guerre avec 0 pertes
 Drones
 Autres systèmes d’armements autonomes

 Possibles dangers technologiques– IA + Big Data + Google’s Quantum Computer– IA + Cloud + Google’s Quantum Computer– IA + Nano Technologie

 Dangers d’une automatisation accrue :– Perte de jobs

8

© B. Chaib-draa

L’IA forte ou AGI
 L’IA forte, aussi appelée AGI pour Artificial

General Intelligence, suppose qu’un ordinateur
peut être programmé pour être lui-même unprocessus conscient (a mind)
 Mind (Wikip.) /ˈmaɪnd/ is the set of cognitive

faculties that enables consciousness,perception, thinking, judgement, and memory—a characteristic of humans, but which also may
apply to other life forms.[3][4]9© B. Chaib-draa

AGI comme Mind AGI pourrait être– Intelligente– Comprendre– Percevoir– Avoir des croyances/connaissances– Exhiber d’autres états cognitifs généralement

attribués au « humains ».

10© B. Chaib-draa

Tests pour confirmer que AGI est opérationnelle Test de Turing

 The Coffee Test (Goertzel) : une machine est

sensée effectuée la tâche qui consiste à allerdans une maison d’Américain moyen et trouvercomment faire le café.
11© B. Chaib-draa

Tests pour AGI est opérationnelle (2) The Robot College Student Test (Goertzel) : unemachine est sensée se faire recruter dans une
université, prendre des cours et passer desexamens (comme le ferait un humain ou mieux ?)et obtenir un diplôme.
 The Employement Test (Nilsson) : une machine

est sensée travailler en faisant un job (selon leslois du marché) et performer aussi bien, sinon
mieux qu’un humain faisant le même travail.

12© B. Chaib-draa

AGI est-elle possible ?
 4 niveaux de Penrose [2].
– A. Toute pensée se réduit à un calcul; en particulier,Tte
stdeTuring13

le sentiment de connaissance immédiate conscientenaît simplement de l'exécution de calculs appropriés(AGI ou IA forte).
– B. La connaissance immédiate est un produit del'activité physique du cerveau; mais bien que touteaction physique puisse être simulée par un calcul,
une telle simulation ne peut par elle-même susciterla connaissance immédiate (IA faible).

© B. Chaib-draa

Les 4 niveaux de PenroseC. La connaissance immédiate est suscitée par une
action physique du cerveau, mais aucun calcul nepeut simuler cette action physique (Penrose).

D. On ne peut expliquer la connaissance immédiate à
l'aide du langage de la physique, de l'informatique, nide quelque autre discipline scientifique que ce soit.
– Ce niveau nie résolument la possibilité deprogresser dans la compréhension de laconscience.

14© B. Chaib-draa

Les thèses de Penrose (suite) On ne peut ni démontrée ni réfutée, aucune desthèses A, B, C.
 Le débat n’est pas tranché, toutefois bien deschercheurs croient à un possible avènement deAGI dans les [20 à 100] prochaines années.
– Signature d’une pétition au dernier AAAI;– E. Musk; S. Hawking, B. Gates et bien d’autres ont

sonné l’alarme– E. Musk a mis sur la table 10 millions pour une IAsécure.
– OpenAI (10 billions $)15© B. Chaib-draa

OpenAI OpenAI is a non-profit artificial intelligence researchcompany. Its goal is to advance digital intelligence inthe way that is most likely to benefit humanity as awhole, unconstrained by a need to generate financial
return.
 Since our research is free from financial obligations,

we can better focus on a positive human impact. We
believe AI should be an extension of individual
human wills and, in the spirit of liberty, as broadly
and evenly distributed as possible.
16© B. Chaib-draa

Les risques de l’AGI
 L’AGI permettra d’automatiser la plupart

des tâches; L’AGI risque de porter préjudice àl’humain; L’AGI peut devenir puissante rapidement(alors qu’on n’est pas encore préparé àça).

17© B. Chaib-draa

AGI automatisera les tâches
 AGI remplacera les travailleurs pour des raisons decoût, d’efficacité et de qualité.
 Pour certaines tâches, AGI fera mieux en peu detemps et avec peu d’erreurs
 AGI pourrait apprendre à faire différents types detâches, ou même n’importe quel type de tâche, sansnécessiter un effort de re-engineering Comme de plus en plus de tâches seront

automatisées, l’IA faible pourrait s’avérer insuffisanteet on aurait besoin de plus en plus d’AGI.
18© B. Chaib-draa

AGI pourrait porter préjudice à l’humain
 Des outils mathématiques très sophistiqués

ont contribué à la crise financière de 2010.
 Des systèmes automatiques de défense ont
parfois engendré des catastrophes touchantleur propre utilisateurs.
 Comme les machines vont devenir de plus enplus autonomes et de plus en plus
intelligentes; les humains auront de moins en
moins d’opportunités d’intervenir, ceci mènera
à de plus en plus de machines.
19© B. Chaib-draa

AGI risque de porter préjudice à l’humain (2) ….de plus en plus de machines; alors risques si– AGI n’est pas robuste;– AGI a des objectifs non alignés avec ceux deshumains– AGI n’a pas d’étique. Etc.

20

Si AGI devraient être de plus en plus puissanteet indifférente aux humains : les conséquence
peuvent être désastreuses.

© B. Chaib-draa

AGI est son préjudice à l’humain (3) Yudkowsky a dit : ‘The AI does not hate you,nor does it love you, but you are made out ofatoms which it can use for something else’.
 Les AGI doivent-ils suivre un comportement
que dicte l’économie et la théorie des jeux
– Maximiser son utilité selon le principe de larationalité– Sinon vous êtes vulnérables à d’autres agents qui

pourraient vous exploiter.

21© B. Chaib-draa

AGI est son préjudice à l’humain (4) Les agents qui suivent ce principe pourraientêtre tenté de se reproduire La multiplication des agents pourraient lesamener à vouloir acquérir des ressourcessans tenir compte des autres
 Ces mêmes agents pourraient être amenés às’auto-améliorer et à persister à réaliser leursbuts.
 Concevoir des AGI qui pourraient respecter
les valeurs humaines ? Pas évident du tout.
22© B. Chaib-draa

Les risques de l’AGI
 L’AGI peut devenir puissante très vite; Ceci

peut être causé par :– Un dépassement du hardware
 GPU—DNN (Chip)---hardware de plus en sophistiqué– Une explosion de la vitesse Google’s machine is making the leap from 512 qubits tomore than a 1000 qubits.
– Une explosion de l’intelligence.
 AGI + humain; AGI + Humain, AGI+, AGI++

23© B. Chaib-draa

Les risques de l’AGI (2)Scenarios selon Bugaj [3] : Faible risque– AGI Accompagnée d’une intelligence n’excédant pas

un certain niveau pré-determiné;– Soft takeoff de l’AGI

 Fort risque– Hard takeoff On est pris de court;
 Pas le temps pour des corrections
 Pas le temps d’élaborer un certain contrôle24© B. Chaib-draa

Que faire ? Les recherches sont en cours
 Propositions pour des actions venant de lasociété
 Propositions pour des contraintes externes
sur le comportement de l’AGI;
 Recommandations pour la conception d’AGI
avec des contraintes internes sur leurcomportement.

25© B. Chaib-draa

Vers des contraintes venant de la société Ne rien faire Intégrer les AGI à la société « règlementer » la recherche sur les AGI
 Booster les capacités/habiletés humaines Renoncer à la technologie qui peut mener àl’AGI.

26© B. Chaib-draaNe rien faire
 AGI est trop loin pour que l’on s’y intéresse ;– Pas sure

 Peu de risques de l’AGI et donc pas d’action;– Les risques existent Laissons l’AGI nous détruire : place à plus

forts (plus rationnels) que nous !
– Bien des valeurs humaines d’aujourd’hui sont àpréserver.
– Certaines sont à changer et d’autres à améliorer

pour une humanité future « meilleure ».

27© B. Chaib-draa

Intégration de l’AGI à la société
 Contrôler l’AGI d’un point de vue légal etéconomique ;AGI seront tellement intégrés aux humains que çarisque d’être insuffisant; Encourager les « valeurs positives » auniveau des sociétés humaines– Les AGI auront tendance à apprendre à secomporter comme des humains

28© B. Chaib-draa

Règlementer la recherche sur l’AGI Encourager la recherche sur l’AGI sansdanger(sans) (OpenAI) ; Passer à une surveillance de masse à l’échellemondiale (OpenAI) ; Encourager le « développement technologiquedifférentiel »–29(wiki)…is a strategy proposed by transhumanist philosopher Nick
Bostrom in which societies would strive to retard the developmentof harmful technologies and their applications, while accelerating
the development of beneficial technologies, especially those thatoffer protection against the harmful ones.[1]© B. Chaib-draa

Booster les capacités/habiletés humaines
 Les humains doivent être (au moins) aumême niveau que les AGI–30

téléchargement de l'esprit (Mind Uploading) est une techniquehypothétique qui pourrait permettre de transférer un esprit d'uncerveau à un ordinateur, en l'ayant numérisé au préalable. Un
ordinateur pourrait alors reconstituer l‘esprit par la simulation de sonfonctionnement, sans que l'on ne puisse distinguer un cerveau
biologique « réel » d'un cerveau simulé (Wiki).

© B. Chaib-draa

Booster les capacités/habiletés humaines Mind Uploading (Pros et Cons)– Copier les cerveaux des meilleurs travailleurs pouravoir un avantage économique;– On pourrait copier et mélanger les esprits …
– Humour, Amour, etc. risquent de disparaître

 Seront nous changés ? Restons nous deshumains ?
 Mind Uploading avant ou après l’avènement
de l’AGI? Si avant risque t-elle de booster
AGI?
31© B. Chaib-draa

Renoncer à la technologie menant à l’AGI
 L’AGI est-elle du même niveau que certaines

manipulations génétiques ?
 Bannir l’AGI, la restreindre ou la déclarer``hors la loi’’.
 Restreindre le commerce et l’utilisation d’uncertain harware menant à l’AGI;

32© B. Chaib-draa

Que faire ? Les recherches sont en cours
 Propositions pour des actions venant de lasociété
 Propositions pour des contraintes externes
sur le comportement de l’AGI;
 Recommandations pour la conception d’AGI
avec des contraintes internes sur leurcomportement.

33© B. Chaib-draa

Contraintes externes
 Confiner les AGI dans un certain

environnement ou les entrées/sorties sont trèscontrôlées; Des AGI qui peuvent détecter les mauvais

comportements d’autres AGI– Pas évident34© B. Chaib-draa

Contraintes internes
 AGI uniquement comme Oracle AI
 Top-down safe AGI
 Bottom-up hybrid safe AGI
 Affaiblir la portée des buts à réaliser et trouver

le moyen de relâcher aussi la persistance àréaliser des buts.
 Permettre aux AGI de faire des vérifications
formelles (conformément à la sureté, sécurité,alignement des objectifs, etc.)
35© B. Chaib-draa

AGI uniquement comme Oracles
 Dans ce cas, l’AGI ne fait que répondre à desquestions et il n’exécute pas d’actions.
– Oracles peuvent devenir des experts: Apache (unSystème Expert) donne ses conseils, les médecins luifont de plus en plus confiance, à la fin ils exécutent lesyeux fermés ses recommandations.
– Les utilisateurs sont tentés à émanciper les oracles et à

les rendre des décideurs autonomes
 Les oracles pourraient être facilement détournéspour exécuter des actions (par les autres enparticulier)36© B. Chaib-draa

Top Down Safe AGI
 Prendre une théorie éthique spécifique etl’implémenter– Les 3 lois robotiques d’Asimov– Axiome éthique universel– Axiome Utilitariendu genre : Prendre les actionsqui vont dans le sens d’un plus grand bien-être deshumains tout en diminuant leur « souffrance ».

– Apprendre les valeurs (via une fonction d’utilité)qui peuvent matcher les préférences des humains.

37© B. Chaib-draa

Bottom-Up Safe AGI
 Ce genre d’approche est généralement

basée sur l’évolution et vise a créer une
AGI qui évolue en apprenant les valeurs
humaines– Apprentissage par renforcement– Réseaux de neurones

38© B. Chaib-draa

Autres possibles dangers
 Les humains munis de chips AGI
 Multi-agents AGI
 Multi-agents AGI +– Imprimante 3D– Big Data
– Cloud– Google’s Computer Quantics ou autres– Nanotechnologie

39© B. Chaib-draa

AGI comme espoir
 Planète en meilleur état; Utilisation efficace des ressources;
 Économie très boostée; Prolongation de la durée de vie;
 Éducation at large;
 Recul de la pauvreté; Recul de la violence.

40© B. Chaib-draa

Références[1] Sotala, K. and Yampolskly, R. V. Responses toCatastrophic AGI Risk: A survey. Physica Scripta 50, 2015.
Contient beaucoup de références intéressantes.
[2] Bugaj, S. V. and Goertzel B. Five Ethical Imperative andtheir Implications for Human-AGI Interaction. DynamicalPsychology (2007).
[3] Penrose R. Les ombres de l'esprit, Intereditions, 1995.
[4] Bostrom, N. Superintelligence: Paths, dangers,
Strategies, Oxford, 2014.

41© B. Chaib-draa

Dernière nouvelle Coup de maître dans l’univers de l’intelligenceartificielle. Pour la première fois, un ordinateur
a battu un joueur de go professionnel, commele détaille un article de recherche publié dansla revue Nature du jeudi 28 janvier 2016.
 Un programme de Google DeepMind a relevé

le défi du jeu de go, sur lequel planchentdepuis des décennies les chercheurs en
intelligence artificielle. Une étape historique.
42© B. Chaib-draa

Salut Marvin
Marvin Minsky, “father ofartificial intelligence,” dies at
88
Professor emeritus was a cofounder of CSAIL and afounding member of the MediaLab.
MIT Media Lab
January 25, 2016
Adept du Mind Uploading

43© B. Chaib-draa