# Superintelligence: Paths, Dangers, Strategies

Superintelligence: Paths, Dangers, Strategies (em português: Superinteligência: Caminhos, Perigos, Estratégias) é um livro de 2014 do filósofo Nick Bostrom. Ele explora como a superinteligência poderia ser criada e quais seriam suas características e motivações. Ele argumenta que a superinteligência, se criada, seria difícil de controlar e que poderia dominar o mundo para atingir seus objetivos. O livro também apresenta estratégias para ajudar a criar superinteligências cujos objetivos beneficiem a humanidade. Ele foi particularmente influente por levantar preocupações sobre o risco existencial da inteligência artificial.

## Sinopse

Não se sabe se a inteligência artificial de nível humano chegará em questão de anos, no final deste século, ou somente nos séculos futuros. Independentemente da escala de tempo inicial, uma vez que a inteligência de máquina em nível humano seja desenvolvida, um sistema “superinteligente” que “exceda em muito o desempenho cognitivo dos seres humanos em praticamente todos os domínios de interesse” provavelmente se seguirá com uma rapidez surpreendente. Essa superinteligência seria muito difícil de controlar.
Embora as metas finais das superinteligências possam variar muito, uma superinteligência funcional gerará espontaneamente, como subobjetivos naturais, “metas instrumentais”, como autopreservação e integridade do conteúdo da meta, aprimoramento cognitivo e aquisição de recursos. Por exemplo, um agente cujo único objetivo final é resolver a hipótese de Riemann (uma famosa conjectura matemática não resolvida) poderia criar e agir com base em um subobjetivo de transformar a Terra inteira em alguma forma de computronium (material hipotético otimizado para computação) para auxiliar no cálculo. A superinteligência resistiria proativamente a qualquer tentativa externa de desligá-la ou de impedir a conclusão de seu subobjetivo. Para evitar essa catástrofe existencial, é necessário resolver com sucesso o “problema de controle da IA” para a primeira superinteligência. A solução pode envolver alimentar a superinteligência com metas compatíveis com a sobrevivência e o bem-estar humanos. Resolver o problema de controle é surpreendentemente difícil porque a maioria das metas, quando traduzidas em código implementável por máquina, leva a consequências imprevistas e indesejáveis.
A coruja na capa do livro faz alusão a uma analogia que Bostrom chama de “Fábula inacabada dos pardais”. Um grupo de pardais decide encontrar um filhote de coruja e criá-lo como seu servo. Eles imaginam ansiosamente “como a vida seria fácil” se tivessem uma coruja para ajudar a construir seus ninhos, defender os pardais e libertá-los para uma vida de lazer. Os pardais iniciam a difícil busca por um ovo de coruja; apenas Scronkfinkle, um “pardal caolho de temperamento irritadiço”, sugere pensar na complicada questão de como domar a coruja antes de trazê-la “para o nosso meio”. Os outros pardais se recusam; a busca por um ovo de coruja já será difícil o suficiente por si só: “Por que não pegar a coruja primeiro e resolver os detalhes mais tarde?” Bostrom afirma que “não se sabe como a história termina”, mas ele dedica seu livro a Scronkfinkle.

## Recepção

O livro ficou em 17º lugar na lista do The New York Times de livros de ciências mais vendidos em agosto de 2014. No mesmo mês, o magnata Elon Musk ganhou as manchetes ao concordar com o livro de que a inteligência artificial é potencialmente mais perigosa do que as armas nucleares. O trabalho de Bostrom sobre superinteligência também influenciou a preocupação de Bill Gates com os riscos existenciais que a humanidade enfrentará no próximo século. Em uma entrevista de março de 2015 com o CEO da Baidu, Robin Li, Gates disse que “recomendaria muito” o livro Superintelligence: Paths, Dangers, Strategies. De acordo com o The New Yorker, os filósofos Peter Singer e Derek Parfit “o receberam como uma obra importante”. Sam Altman escreveu em 2015 que o livro é a melhor coisa que ele já leu sobre os riscos da IA.
O editor de ciências do Financial Times considerou que os textos de Bostrom “às vezes entram em uma linguagem opaca que trai sua formação como professor de filosofia”, mas demonstram de forma convincente que o risco da superinteligência é grande o suficiente para que a sociedade comece a pensar agora em maneiras de dotar a futura inteligência das máquinas de valores positivos. Uma resenha publicada no The Guardian apontou que “até mesmo as máquinas mais sofisticadas criadas até agora são inteligentes apenas em um sentido limitado” e que “as expectativas de que a IA logo superaria a inteligência humana foram frustradas pela primeira vez na década de 1960”, mas a resenha encontra um ponto em comum com Bostrom ao aconselhar que “seria imprudente descartar completamente a possibilidade”.
Alguns dos colegas de Bostrom sugerem que a guerra nuclear representa uma ameaça maior para a humanidade do que a superinteligência, assim como a perspectiva futura da utilização da nanotecnologia e da biotecnologia como armas. A revista The Economist afirmou que “Bostrom é forçado a passar grande parte do livro discutindo especulações construídas sobre conjecturas plausíveis... mas o livro é valioso mesmo assim. As implicações da introdução de uma segunda espécie inteligente na Terra são abrangentes o suficiente para merecer uma reflexão profunda, mesmo que a perspectiva de realmente fazer isso pareça remota." Ronald Bailey escreveu na revista Reason que Bostrom defende com veemência que resolver o problema do controle da IA é a "tarefa essencial de nossa era". De acordo com Tom Chivers, do The Daily Telegraph, o livro é difícil de ler, mas ainda assim gratificante. Um crítico do Journal of Experimental & Theoretical Artificial Intelligence afirmou que o “estilo de redação do livro é claro” e elogiou o livro por evitar “jargões excessivamente técnicos”. Um crítico do Philosophy considerou Superintelligence: Paths, Dangers, Strategies “mais realista” do que The Singularity Is Near, de Ray Kurzweil.

## Veja também

* Alinhamento da inteligência artificial
* Segurança da inteligência artificial
* Future of Humanity Institute
* Filosofia da inteligência artificial
* The Precipice: Existential Risk and the Future of Humanity