# Superintelligence

Une superintelligence est un agent secret hypothétique qui posséderait une intelligence de loin supérieure à celle des humains les plus brillants et les plus doués. Un système résolvant des problèmes (comme un traducteur automatique ou un assistant à la conception) est parfois aussi décrit comme « superintelligent » s'il dépasse de loin les performances humaines correspondantes, même si cela ne concerne qu'un domaine plus limité.
S'il existe des scénarios de création de superintelligence biologique, ou de superintelligence collective, la plupart des analyses se concentrent sur la possibilité qu'une intelligence artificielle devienne capable de s'améliorer elle-même, donnant naissance à la singularité technologique ; celle-ci est le sujet d'espoirs (le transhumanisme), mais aussi de craintes de catastrophe.

## Définitions

De manière générale, on parle de superintelligence dès qu'un agent dépasse de loin les performances humaines dans une activité intellectuelle. Le philosophe Nick Bostrom définit une « superintelligence » comme « un intellect beaucoup plus compétent que les meilleurs cerveaux humains dans pratiquement tous les domaines, y compris la créativité scientifique, la sagesse et les talents sociaux. ». Pour cet auteur, des programmes de jeux de réflexion, tels que Fritz ou AlphaGo, bien que largement supérieurs aux humains, ne méritent ainsi pas d'être considérés comme superintelligents, car ils ne sont compétents que pour une seule tâche. Comme Marcus Hutter avant lui, Bostrom définit la superintelligence comme une supériorité générale dans les comportements ayant un objectif, laissant ouverte la question de capacités telles que l'intentionnalité ou la perception des qualia.

## Possibilité de créer une superintelligence

Les chercheurs sont en désaccord sur les chemins pouvant mener à une superintelligence. Le scénario le plus souvent proposé envisage des progrès en intelligence artificielle (IA), cependant d'autres pensent que les humains évolueront ou modifieront leur biologie pour augmenter radicalement leurs capacités intellectuelles. Certaines analyses de futurologues combinent des éléments de ces deux possibilités, suggérant que les humains pourraient se connecter directement à des ordinateurs, ou même y transférer leur esprit, de façon à permettre une amplification de leurs possibilités.

### Superintelligence artificielle

Certains chercheurs, comme David Chalmers, pensent que la superintelligence apparaîtra rapidement après la création d'une intelligence artificielle générale. Les premières machines véritablement intelligentes seront notablement supérieures - au moins sur certaines capacités intellectuelles : par exemple une mémoire absolue, une base de connaissance énorme, ou la capacité de mener plusieurs tâches simultanément. Plusieurs scientifiques considèrent l'étude de ces possibilités comme prioritaire, en raison de leurs conséquences sociales.
Un logiciel suffisamment intelligent pourrait avoir la capacité de se reprogrammer et de s'améliorer, ce qui le rendrait encore plus performant dans le fait de s'améliorer, scénario connu sous le nom d'explosion d'intelligence, proche du concept de singularité technologique.
Selon Nick Bostrom, les circuits électroniques disposent de nombreux avantages sur les cerveaux humains. Ils peuvent fonctionner à des fréquences typiquement 10 millions de fois supérieures à celle des neurones biologiques, les rendant extrêmement rapides en comparaison. Les transistors sont aussi plus fiables que les neurones biologiques, nécessitant moins de redondance et permettant une meilleure précision. De plus, une IA peut être facilement dupliquée et éditée, contrairement au cerveau humain.
Une autre possibilité envisagée est la simulation du cerveau humain par des circuits électroniques. Les circuits électroniques permettant une meilleure rapidité et diverses optimisations, l'humain ainsi simulé pourrait en théorie être des millions de fois plus rapide. Un tel humain aurait un énorme avantage dans la plupart des tâches intellectuelles, en particulier celles demandant des décisions rapides, ou nécessitant de longues chaines de déductions couvrant de nombreux cas possibles. Un autre avantage des circuits électroniques est leur modularité, permettant d'accroitre presque sans limite leur taille et leur complexité. Nick Bostrom considère également que cela pourrait donner naissance à une « superintelligence collective », si l'on peut faire communiquer un nombre assez grand d'agents déjà intelligents par eux-mêmes.
On peut enfin espérer des améliorations qualitatives des raisonnements et des prises de décision humains$^,$.

### Superintelligence biologique

Carl Sagan a suggéré que la généralisation des césariennes et de la fécondation in vitro pourrait permettre aux humains de développer de plus grands cerveaux, que la sélection naturelle pourrait ensuite conduire à une intelligence améliorée. D'un autre côté, Gerald Crabtree (en) craint au contraire que la diminution des pressions de sélection amène à un déclin de l'intelligence humaine. Il n'y a pas de consensus à ce sujet, et dans tous les cas ces changements seraient lents, comparés à la vitesse des changements culturels.
Des méthodes eugéniques, et plus encore le génie génétique, pourraient améliorer l'intelligence humaine plus rapidement. Bostrom pense que si nous parvenons à comprendre les mécanismes génétiques de l'intelligence, nous pourrons sélectionner des embryons ayant un haut potentiel intellectuel ; itérant ce processus sur de nombreuses générations, les gains pourraient être très importants. Bostrom suggère de plus que le processus pourrait être énormément accéléré en travaillant directement sur les cellules souches embryonnaires ; une organisation sociale convenable d'humains ayant une intelligence exceptionnelle pourrait développer une superintelligence collective.
Les avantages mentionnés plus haut d'une superintelligence artificielle sont cependant moins importants pour une superintelligence biologique, les contraintes physiologiques limitant la vitesse et la taille des cerveaux ; c'est pourquoi les études ont plutôt porté sur des scénarios d'intelligence artificielle. Un compromis intéressant pourrait être la création de cyborgs, associations symbiotiques de l'homme et de la machine. Cependant, Bostrom exprime des doutes sur la faisabilité d'une interface superintelligente, estimant qu'il s'agit d'un problème aussi difficile que de créer une superintelligence artificielle pure.

## Prévisions

La majorité des chercheurs en intelligence artificielle s'attendent à ce que les machines soient un jour capable de rivaliser avec les humains sur le plan de l'intelligence, bien qu'il y ait peu de consensus sur la date à laquelle cela se produira. Ainsi, à la conférence de 2006 de l'AI@50 (en), 18 % des participants s'attendaient à ce que les machines « soient capable de simuler l'apprentissage et les autres capacités intellectuelles humaines » d'ici 2056 ; 41 % pensaient que cela se produirait, mais après 2056, et 41 % pensaient que les machines n'y arriveraient jamais.
En mai 2013, une enquête auprès des cent auteurs les plus cités dans le domaine de l'IA, 2070 était l'année médiane pour laquelle était estimée, avec une confiance de 90 %, que des machines pourraient « exercer la plupart des professions humaines aussi bien qu'un humain typique » ; avec une probabilité de 50 %, ils estimaient de même qu'il faudrait ensuite 30 ans pour que se développe une superintelligence.

## Problèmes de conception et dangers potentiels

Le principal danger envisagé est la possibilité qu'une superintelligence échappe à ses créateurs (ce que Nick Bostrom appelle le « problème du contrôle »). Eliezer Yudkowsky pense que les risques ainsi créés sont plus imprévisibles que toutes les autres sortes de risques, et il ajoute que la recherche à ce sujet est biaisée par l’anthropomorphisme : les gens basant leur analyse de l’intelligence artificielle sur leur propre intelligence, ce qui les amène à en sous-estimer les possibilités. Il sépare d’ailleurs les risques en problèmes techniques (des algorithmes imparfaits ou défectueux empêchant l’IA d’atteindre ses objectifs), et en échecs « philosophiques », bien plus pernicieux et difficiles à contrôler, où les objectifs de l’IA sont en fait nuisibles à l’humanité ; de plus, presque par définition, une superintelligence serait si puissante qu'on ne pourrait l'arrêter en cas de comportement imprévu. Selon Yudkowsky, en l'absence de contrôle, « L'IA ne vous détesterait pas nécessairement, mais vous êtes faits d'atomes qu'elle pourrait décider d'utiliser pour faire autre chose. »
Nick Bostrom s'est inquiété des valeurs qui devraient être incorporées au design d'une superintelligence pour éviter ces problèmes. Il a ainsi comparé plusieurs propositions :
* Valeurs Extrapolées Cohérentes (VEC) : les valeurs sont celles sur lesquelles tous les humains s'accordent.
* Justesse Morale (JM) : la valeur principale est la justice.
* Permissivité Morale (PM) : tout ce qui est moral est permis, en respectant les valeurs VEC.

## Dans la fiction

* Ted Chiang décrit dans sa nouvelle Comprends la vie d'un individu qui a acquis artificiellement une intelligence totalement hors norme.