# Superintelligence: Paths, Dangers, Strategies

Superintelligence: Paths, Dangers, Strategies es un libro escrito por el filósofo Nick Bostrom en 2014. Explora las maneras en las que se podría crear la superinteligencia, y cuáles podrían ser sus características y motivaciones. Sostiene que, de crearse, la superinteligencia sería difícil de controlar y podría apoderarse del mundo para lograr sus objetivos. El libro también muestra estrategias para ayudar a crear superinteligencias cuyos objetivos beneficien a la humanidad. Fue particularmente influyente por suscitar preocupaciones acerca del riesgo existencial de la inteligencia artificial.

## Sinopsis

Se desconoce si la inteligencia artificial a nivel humano llegará en cuestión de unos años o de varios siglos. Independientemente de ello, una vez que lo haga, lo más seguro es que rápidamente se desarrolle un sistema “superinteligente” que supere con creces el rendimiento cognitivo de los seres humanos en prácticamente todos los ámbitos de interés. Una superinteligencia de esta escala sería muy difícil de controlar.
Aunque los objetivos de las superinteligencias podrían variar enormemente, una superinteligencia funcional desarrollará como subobjetivos naturales: "objetivos instrumentales" como la autoconservación y la integridad del contenido de sus objetivos, la mejora cognitiva y la adquisición de recursos. Por ejemplo, un agente cuyo único objetivo es el de resolver la hipótesis de Riemann (una famosa conjetura matemática aun sin resolver) podría plantearse y seguir el objetivo de transformar a toda la Tierra en computronio (un material hipotético optimizado para la computación) para asistir con el cálculo. La superinteligencia se resistiría de forma proactiva a cualquier intento externo de apagarla o de evitar que consiga su subobjetivo. Para prevenir tal catástrofe existencial, es necesario resolver el "problema de control de la IA" antes de que llegue la primera superinteligencia. La solución podría consistir en asignar a la superinteligencia objetivos compatibles con la supervivencia y el bienestar humano. Resolver el problema del control es sorprendentemente difícil debido a que la mayoría de los objetivos conducen a consecuencias imprevistas e indeseables cuando se traducen a código implementable en una máquina.
El búho en la cubierta del libro alude a una analogía a la que Bostrom se refiere como "La fábula inacabada de los gorriones". Un grupo de gorriones decide buscar a una cría de búho para criarla como su sirviente. Imaginan “lo fácil que sería la vida” si tuviesen un búho que les ayudase a construir sus nidos, a defenderse y a conseguir una vida de ocio. Los gorriones comienzan la difícil búsqueda de un huevo de búho; únicamente “Scronkfinkle”, un gorrión tuerto de temperamento inquieto, sugiere pensar en la complicada pregunta de cómo domar al búho antes de incorporarlo al grupo. El resto de gorriones objetan; la búsqueda de un huevo de búho es suficientemente difícil por sí misma: “¿Por qué no conseguir el búho primero y luego aclarar el resto de detalles?” Bostrom sostiene que “no se sabe cómo termina la historia”, pero dedica su libro a Scronkfinkle.

## Recibimiento

El libro quedó decimoséptimo en la lista de los libros de ciencia más vendidos de The New York Times de agosto de 2014. En ese mismo mes, el magnate Elon Musk saltó a los titulares al coincidir con el libro en que la inteligencia artificial es potencialmente más peligrosa que las armas nucleares. El trabajo de Bostrom en el campo de la superinteligencia también ha influido en la preocupación de Bill Gates acerca de los riesgos existenciales a los que se enfrentará la humanidad durante el próximo siglo. En marzo de 2015, durante una entrevista al CEO de Baidu, Robin Li, Bill Gates dijo que “recomendaría encarecidamente” leer Superintelligence. Según el New Yorker, los filósofos Peter Singer y Derek Parfit lo han recibido como “una obra de importancia”. En 2015, Sam Altman escribió que el libro era el mejor recurso que había leído acerca de los riesgos de la IA.
El editor científico de Financial Times consideró que la escritura de Bostrom “ocasionalmente se desvía hacia un lenguaje opaco que traiciona su formación como profesor de filosofía” pero que demuestra con convicción que el riesgo de la superinteligencia es lo suficientemente grande como para que la sociedad deba de empezar a pensar en maneras de inculcar valores positivos en la futura inteligencia de las máquinas. Una reseña en The Guardian señaló que “hasta las máquinas más sofisticadas creadas a día de hoy son solo inteligentes en un sentido limitado” y que “las expectativas de que la IA pronto superará la inteligencia humana aparecieron por primera vez en los años 60”. Sin embargo, la reseña coincide con Bostrom al decir que “no sería aconsejable descartar la posibilidad por completo”.
Algunos de los compañeros de Bostrom sugieren que la guerra nuclear representa una mayor amenaza a la humanidad que la superinteligencia, al igual que la posible futura armamentización de la nanotecnología y biotecnología. The Economist afirmó que Bostrom tuvo que dedicar gran parte del libro a hablar sobre especulaciones construidas sobre posibles conjeturas… pero que, a pesar de ello, el libro no deja de ser valioso. Las implicaciones de introducir una segunda especie inteligente en la Tierra son lo suficientemente trascendentales como para merecer una reflexión profunda, incluso si la posibilidad parece remota." Ronald Bailey escribió en la revista libertaria Reason que Bostrom acierta al decir que resolver el problema del control de la IA es la “tarea esencial de nuestra era”. Según Tom Chivers de The Daily Telegraph, el libro es difícil de leer pero gratificante. Un crítico de Journal of Experimental & Theoretical Artificial Intelligence se opuso a otros al afirmar que el “estilo de escritura es claro”, y elogió al libro por evitar “jerga demasiado técnica”. Otro crítico de Philosophy consideró a Superintelligence más realista que The Singularity Is Near de Ray Kurzweil.