# Nick Bostrom

Nick Bostrom, né Niklas Boström le 10 mars 1973 en Suède, est un philosophe connu pour ses travaux sur les risques existentiels, le principe anthropique, l'hypothèse de la simulation et l'impact de technologies futuristes telles que la superintelligence.
Il intervient régulièrement aussi sur des sujets tels que le transhumanisme, le clonage, l'intelligence artificielle, le téléchargement de l'esprit, la colonisation de l'espace, les biotechnologies, les nanotechnologies, les pandémies, la réalité simulée et le principe d'indépendance du support.
Nick Bostrom a été le directeur de l'Institut pour le Futur de l'Humanité de l'université d'Oxford de 2005 à 2024, et est maintenant chercheur principal à Macrostrategy Research Initiative.

## Jeunesse et éducation

Né sous le nom de Niklas Boström en 1973 à Helsingborg en Suède, il a une aversion pour l'école dès son jeune âge et a passé sa dernière année de lycée à étudier chez lui.
Il a été diplômé en physique, philosophie et en neurosciences computationelles. En 2000, il obtient un doctorat en philosophie.

## Risques existentiels

Nick Bostrom définit en 2002 le concept de risque existentiel comme un risque d'annihilation de la vie intelligente venant de la Terre ou de perte drastique et irréversible de son potentiel$^,$.
En 2008, il publie le livre Global Catastrophic Risks, où il définit la notion plus large de catastrophe planétaire. Une catastrophe existentielle est un type particulièrement grave et permanent de catastrophe planétaire.
Nick Bostrom a fondé en 2005 l'Institut pour le Futur de l'Humanité (Future of Humanity Institute) de l'université d'Oxford, et en est depuis le directeur. L'institut a été dissous en 2024 pour cause d'obstacles administratifs croissants. Nick Bostrom est désormais chercheur principal à Macrostrategy Research Initiative. Il est aussi conseiller pour le Centre pour l'étude des risques existentiels.

### Hypothèse du monde vulnérable

Il publie en 2019 un article sur l'hypothèse du monde vulnérable, où il décrit un cadre théorique pour classifier et gérer d'éventuelles technologies pouvant détruire l'humanité si elles sont mises au point. Il propose quelques expériences de pensée illustrant comment de telles vulnérabilités auraient pu historiquement survenir (par exemple si les bombes nucléaires avaient été moins difficiles à produire, ou si leur explosion était capable d'embraser l'atmosphère).

## Superintelligence

Dans son livre Superintelligence : chemins, dangers, stratégies publié en 2014, Bostrom argumente qu'il est possible de créer des superintelligences, et explore les différents types de superintelligences, leurs motivations, et les risques associés. Il définit une superintelligence comme « un système qui surpasse largement tous les individus humains dans tous les domaines cognitifs ». Selon lui, ces superintelligences permettraient des avantages sociétaux importants, et posent en même temps un risque existentiel significatif pour l’humanité.
Bostrom fait une distinction importante entre objectif final et objectif instrumental. Pour un agent intelligent, un objectif final a une valeur là où un objectif instrumental n'est utile que comme un moyen d'accomplir des objectifs finaux. Bostrom introduit le concept de convergence instrumentale, qui suggère que certains objectifs instrumentaux (tels que le fait de préserver son intégrité physique ou d'acquérir plus de ressources) sont utiles pour accomplir un grand nombre d'objectifs finaux. Il introduit aussi la thèse d'orthogonalité, qui est l'idée que tout niveau d'intelligence puisse en théorie être combiné avec pratiquement n'importe quel objectif final. Il illustre ces deux principes avec l'expérience de pensée du maximiseur de trombones, une superintelligence ayant l'objectif final absurde de créer autant de trombones que possible :
   « Supposons que nous ayons une IA dont l'unique but soit de faire autant de trombones que possible. L'IA se rendra vite compte que ce serait bien mieux s'il n'y avait pas d'humains, parce que les humains pourraient décider de l'éteindre. Parce que si les humains le faisaient, il y aurait moins de trombones. De plus, le corps humain contient beaucoup d'atomes qui pourraient être transformés en trombones. L'avenir vers lequel l'IA essaierait de se diriger serait un futur avec beaucoup de trombones mais aucun humain. »
— Nick Bostrom
Bostrom considère que chercher à maîtriser une superintelligence n'est pas une solution viable, et qu'il faut aligner la superintelligence avec des valeurs morales de sorte qu'elle soit « fondamentalement de notre côté ». Il écrit aussi que la superintelligence pourrait être un atout dans la réduction d'autres risques existentiels, comme celui lié aux nanotechnologies, et pourrait gagner à être développée avant. Et il estime que les machines superintelligentes pourraient radicalement améliorer le monde, par exemple dans la lutte contre le vieillissement, la maladie et la pauvreté ou en facilitant les voyages spatiaux.
Bostrom met aussi en garde contre d'autres catégories de risque existentiel liés à l'IA, tels que le risque pour que des humains l'utilisent à des fins destructrices, ou au risque pour que l'humanité échoue à tenir compte du statut moral qu'auraient des IAs sentientes.

## Éthique de l'augmentation humaine

En 1998, Bostrom fonde avec David Pearce la World Transhumanist Association (depuis renommé Humanity+) et en 2004 il fonde avec James Hughes l'Institut d'Éthique pour les Technologies Émergentes (Institute for Ethics and Emerging Technologies).
Il publie en 2005 la Fable du Dragon Tyran, qui personnifie la mort sous la forme d'un dragon qui demande tous les jours des sacrifices humains. Cette fable dresse une analogie entre le fait de tuer le dragon et le fait d'adopter des techniques potentiellement accessibles dans le futur pour contrer le vieillissement. Elle critique une attitude de rationalisation de la mort, le but étant que les arguments soutenant cette acceptation de la mort semblent moins rationnels quand il s'agit d'accepter que des humains soient mangés par le dragon.
Avec le philosophe Toby Ord, il propose en 2006 le test de l'inversion. Selon lui, si une action est jugée comme mauvaise mais que l'action inverse est aussi jugée mauvaise, cela met généralement en évidence un biais du status quo. Il prend pour exemple l'augmentation de l'intelligence, comparant le fait d'augmenter et de réduire l'intelligence humaine (en faisant l'hypothèse que le coût et les risques médicaux de l'opération soient négligeables).

## Conscience artificielle

Bostrom soutient le principe d'indépendance du substrat, qui suggère que la sentience puisse émerger sur divers types de substrats physiques, et pas uniquement sur des « réseaux de neurones biologiques à base de carbone » comme dans le cerveau. Il considère qu'il y a différents degrés de sentience, et qu'il est possible en théorie de concevoir des consciences artificielles dont le rythme et l'intensité de l'expérience subjective seraient bien plus élevés que chez l'humain, tout en consommant relativement peu de ressources. Ces machines particulièrement sentientes, qu'il appelle des « super-bénéficiaires », pourraient être extrêmement efficaces pour ressentir du bonheur. Il recommande de chercher un cadre politique et éthique nous permettant de coexister avec ces consciences artificielles de manière mutuellement bénéfique.

## Principe anthropique

Bostrom a publié de nombreux articles sur le raisonnement anthropique, ainsi que le livre Anthropic Bias: Observation Selection Effects in Science and Philosophy, où il critique les précédentes formulations du principe anthropique. Il introduit un nouveau cadre pour analyser ce que la présence d'un observateur conscient permet d'apprendre sur le monde.
Il a par la suite mis en avant la notion d'ombre anthropique (anthropic shadow), un biais de sélection de l'observateur qui pousse à sous-estimer les risques de catastrophes suffisamment graves pour ne laisser aucun observateur, puisque dans ce cas il ne reste personne pour savoir que ça s'est produit.

### L'argument de la simulation

Bostrom considère que si les progrès technologiques continuent, il deviendra possible de créer des simulations de conscience. Ces consciences artificielles pourraient être créées en quantité tellement massive qu'un individu conscient pris au hasard dans le temps et dans l'espace serait quasiment à coup sûr une simulation de conscience. L'argument de la simulation consiste à montrer que l'une de ces trois choses est vraie$^,$:
* Les civilisations n'atteignent très souvent pas ce niveau de technologie (par exemple à cause d'extinctions prématurées).
* Les civilisations choisissent très souvent de ne pas créer un grand nombre de ces simulations.
* Il est très probable d'être dans une simulation informatique.

## Stratégie technologique

Bostrom suggère qu'une politique technologique de réduction des risques existentiels devrait chercher à influencer l'ordre dans lequel arrivent ces technologies. Bostrom a proposé le principe de développement technologique différentiel, qui consiste à accélérer le développement de technologies bénéfiques, principalement celles réduisant les risques existentiels, et à retarder le développement de technologies dangereuses, principalement celles augmentant les risques existentiels.
Bostrom a introduit le concept de malédiction de l'unilatéraliste (unilateralist's curse), qui fait que si une action néfaste peut être accomplie par un grand nombre d'agents bien intentionnés, le fait que ces agents agissent selon leur propre jugement augmente le risque que cette action soit accomplie.

## Utopie

Dans son livre Deep Utopia: Life and Meaning in a Solved World publié en 2024, Bostrom explore le concept de vie idéale, dans un monde où l'humanité aurait accompli avec succès la transition vers un monde post-superintelligence. Bostrom remarque que la question n’est « pas de savoir à quel point un futur est intéressant à observer, mais dans quelle mesure il est bon d’y vivre ». Il décrit certaines technologies qu’il considère physiquement possibles en théorie et disponibles à maturité technologique, telles que l’amélioration cognitive, l’inversion du vieillissement, des entrées sensorielles arbitraires (goût, son...), ou le contrôle précis de la motivation, de l’humeur, du bien-être et de la personnalité. Selon lui, non seulement les machines seraient meilleures que les humains pour travailler, rendant le travail humain superflu, mais de nombreuses activités de loisir perdraient aussi leur raison d'être. Il indique ainsi qu'une telle utopie offrirait un bien-être extrême tout en remettant en question la quête de sens$^,$.