# Superinteligencia: caminos, peligros, estrategias

Superinteligencia: caminos, peligros, estrategias es un libro de 2014 del filósofo sueco Nick Bostrom de la Universidad de Oxford. Argumenta que si los cerebros de las máquinas superaran a los cerebros humanos en inteligencia general, entonces esta nueva superinteligencia podría reemplazar a los humanos como la forma de vida dominante en la Tierra. Las máquinas suficientemente inteligentes podrían mejorar sus propias capacidades más rápido que los científicos informáticos humanos, y el resultado podría ser una catástrofe existencial para los humanos.

## Resumen

Se desconoce si la inteligencia artificial llegará a un nivel equiparable al humano en cuestión de años, a finales de este siglo, o no hasta siglos futuros. Independientemente de la escala de tiempo inicial, una vez que se desarrolle la inteligencia artificial, lo más probable es que un sistema "superinteligente" que "supere en gran medida el rendimiento cognitivo de los humanos en prácticamente todos los dominios de interés", progrese de forma sorprendentemente rápida. Tal superinteligencia sería muy difícil de controlar o limitar.
Si bien los objetivos finales de las superinteligencias pueden variar mucho, una superinteligencia funcional generará espontáneamente, como subobjetivos naturales, "objetivos instrumentales" como la autopreservación y la integridad del contenido del objetivo, la mejora cognitiva y la adquisición de recursos. Por ejemplo, un agente cuyo único objetivo final es resolver la hipótesis de Riemann (una famosa conjetura matemática no resuelta) podría crear y actuar sobre un subobjetivo de transformar toda la Tierra en alguna forma de computronio (material hipotético optimizado para computación) para ayudar en el cálculo. La superinteligencia resistiría de manera proactiva cualquier intento externo de apagarla o de evitar de otra manera que se alcance el subobjetivo. Para evitar tal catástrofe existencial, es necesario resolver con éxito el "problema de la alineación de la inteligencia artificial" para la primera superinteligencia. La solución podría implicar inculcar a la superinteligencia objetivos que sean compatibles con la supervivencia y el bienestar humanos. Resolver el problema del control es sorprendentemente difícil porque la mayoría de los objetivos, cuando se traducen en código implementable por máquina, conducen a consecuencias imprevistas e indeseables.
El búho de la portada del libro alude a una analogía en la que Bostrom alude a la "Fábula inacabada de los gorriones". Un grupo de gorriones decide encontrar un polluelo de lechuza y criarlo como su sirviente. Ellos imaginan ansiosamente "lo fácil que sería la vida" si tuvieran un búho para ayudar a construir sus nidos, defender a los gorriones y liberarlos para una vida de ocio. Los gorriones inician la difícil búsqueda de un huevo de lechuza; sólo "Scronkfinkle", un "gorrión tuerto de temperamento inquieto", sugiere pensar en la complicada cuestión de cómo domar al búho antes de traerlo "entre nosotros". Los otros gorriones objetan; la búsqueda de un huevo de lechuza ya será bastante difícil por sí sola: "¿Por qué no obtener primero la lechuza y resolver los detalles más tarde?" Bostrom afirma que "No se sabe cómo termina la historia", pero dedica su libro a Scronkfinkle.

## Recepción

El libro ocupó el puesto 17 en la lista de The New York Times de los libros de ciencia más vendidos en agosto de 2014. En el mismo mes, el magnate de los negocios Elon Musk fue noticia al estar de acuerdo con el libro en que la inteligencia artificial es potencialmente más peligrosa que las armas nucleares. El trabajo de Bostrom sobre la superinteligencia también ha influido en la preocupación de Bill Gates por los riesgos existenciales a los que se enfrenta la humanidad en el próximo siglo. En una entrevista de marzo de 2015 con el CEO de Baidu, Robin Li, Gates dijo que "recomendaría encarecidamente" Superintelligence. Según el New Yorker, los filósofos Peter Singer y Derek Parfit la han "recibido como una obra de importancia".
El editor de ciencia del Financial Times concideró que los escritos de Bostrom "a veces se desvían hacia un lenguaje opaco que traiciona su experiencia como profesor de filosofía", pero que demuestra de manera convincente que el riesgo de la superinteligencia es lo suficientemente grande como para que la sociedad comience a pensar ahora en formas de dotar a las futuras máquinas inteligentes con valores positivos. Una revisión en The Guardian si bien señaló que "incluso las máquinas más sofisticadas creadas hasta ahora son inteligentes solo en un sentido limitado" y que "las expectativas de que la IA pronto superaría a la inteligencia humana se desvanecieron por primera vez en la década de 1960", encuentra sin embargo puntos en común con Bostrom. al advertir que "no sería aconsejable descartar la posibilidad por completo".
Algunos de los colegas de Bostrom sugieren que la guerra nuclear presenta una amenaza mayor para la humanidad que la superinteligencia, al igual que la perspectiva futura de la nanotecnología y la biotecnología como armas. The Economist afirmó que "Bostrom se ve obligado a pasar gran parte del libro discutiendo especulaciones basadas en conjeturas plausibles... pero, no obstante, el libro es valioso. Las implicaciones de introducir una segunda especie inteligente en la Tierra son lo suficientemente amplias como para merecer una reflexión profunda, incluso si la posibilidad de hacerlo realmente parece remota". Ronald Bailey escribió en la revista Reason que Bostrom argumenta sólidamente que resolver el problema del control de la IA es la "tarea esencial de nuestra época". Según Tom Chivers de The Daily Telegraph, el libro es difícil de leer, pero no obstante gratificante. Un crítico del Journal of Experimental & Theoretical Artificial Intelligence opinó al contrario que el "estilo de escritura del libro es claro" y lo elogió por evitar una "jerga demasiado técnica". Un crítico de Filosofía consideró que Superintelligence era "más realista" que La Singularidad está cerca de Ray Kurzweil.