# AlphaGo Zero

AlphaGo Zero es una versión del software AlphaGo de DeepMind. El equipo de AlphaGo publicó un artículo en la revista Nature el 19 de octubre de 2017, presentando AlphaGo Zero, una versión creada sin utilizar datos de juegos humanos y más potente que cualquier versión anterior. Al jugar contra sí mismo, AlphaGo Zero superó la fuerza de AlphaGo Lee en tres días al ganar 100 juegos a 0, alcanzó el nivel de AlphaGo Master en 21 días y superó todas las versiones antiguas en 40 días.
Entrenar inteligencia artificial (IA) sin conjuntos de datos derivados de expertos humanos tiene implicaciones significativas para el desarrollo de IA con habilidades sobrehumanas porque los datos de expertos son "a menudo costosos, poco confiables o simplemente no están disponibles". Demis Hassabis, cofundador y director ejecutivo de DeepMind, dijo que AlphaGo Zero era tan poderoso porque "ya no estaba limitado por los límites del conocimiento humano". Además, AlphaGo Zero funcionó mejor que los modelos de aprendizaje profundo con refuerzo estándar (como las implementaciones de DQN ) debido a su integración de la búsqueda de árbol de Monte Carlo. David Silver, uno de los primeros autores de los artículos de DeepMind publicados en Nature sobre AlphaGo, dijo que es posible tener algoritmos de IA generalizados eliminando la necesidad de aprender de los humanos.
Posteriormente, Google desarrolló AlphaZero, una versión generalizada de AlphaGo Zero que podía jugar ajedrez y Shōgi además de Go. En diciembre de 2017, AlphaZero venció a la versión de 3 días de AlphaGo Zero ganando 60 juegos a 40, y con 8 horas de entrenamiento superó a AlphaGo Lee en una escala Elo. AlphaZero también derrotó a un programa de ajedrez superior (Stockfish) y a un programa de Shōgi superior (Elmo).

## Entrenamiento

La red neuronal de AlphaGo Zero se entrenó utilizando TensorFlow, con 64 trabajadores de GPU y 19 servidores de parámetros de CPU. Sólo se utilizaron cuatro TPU para la inferencia. Al principio, la red neuronal no sabía nada sobre Ir más allá de las reglas. A diferencia de versiones anteriores de AlphaGo, Zero solo percibía las piedras del tablero, en lugar de tener algunos casos extremos raros programados por humanos para ayudar a reconocer posiciones inusuales del tablero de Go. La IA participó en el aprendizaje por refuerzo, jugando contra sí misma hasta que pudo anticipar sus propios movimientos y cómo esos movimientos afectarían el resultado del juego. En los primeros tres días, AlphaGo Zero jugó 4,9 millones de juegos contra sí mismo en rápida sucesión. Pareció desarrollar las habilidades necesarias para vencer a los mejores humanos en tan solo unos días, mientras que el anterior AlphaGo requirió meses de entrenamiento para alcanzar el mismo nivel.
A modo de comparación, los investigadores también entrenaron una versión de AlphaGo Zero utilizando juegos humanos, AlphaGo Master, y descubrieron que aprendía más rápido, pero en realidad tenía un peor rendimiento a largo plazo. DeepMind presentó sus hallazgos iniciales en un artículo a Nature en abril de 2017, que luego se publicó en octubre de 2017.

## Costo de hardware

El costo del hardware para un solo sistema AlphaGo Zero en 2017, incluidos los cuatro TPU, se ha estimado en alrededor de 25 millones de dólares.

## Aplicaciones

Según Hassabis, es probable que los algoritmos de AlphaGo sean los más beneficiosos para dominios que requieren una búsqueda inteligente a través de un enorme espacio de posibilidades, como el plegamiento de proteínas (ver AlphaFold) o la simulación precisa de reacciones químicas. Las técnicas de AlphaGo probablemente sean menos útiles en dominios que son difíciles de simular, como aprender a conducir un automóvil. DeepMind declaró en octubre de 2017 que ya había comenzado a trabajar activamente para intentar utilizar la tecnología AlphaGo Zero para el plegamiento de proteínas y afirmó que pronto publicaría nuevos hallazgos.

## Recepción

AlphaGo Zero fue ampliamente considerado como un avance significativo, incluso en comparación con su innovador predecesor, AlphaGo. Oren Etzioni, del Instituto Allen de Inteligencia Artificial, calificó a AlphaGo Zero como "un resultado técnico muy impresionante" tanto en su capacidad para hacerlo como en su capacidad para entrenar el sistema en 40 días, en cuatro TPU. The Guardian lo llamó un "gran avance para la inteligencia artificial", citando a Eleni Vasilaki de la Universidad de Sheffield y Tom Mitchell de la Universidad Carnegie Mellon, quienes lo calificaron como una hazaña impresionante y un "logro de ingeniería sobresaliente", respectivamente. Mark Pesce de la Universidad de Sydney calificó a AlphaGo Zero como "un gran avance tecnológico" que nos lleva a "territorio desconocido".
Gary Marcus, psicólogo de la Universidad de Nueva York, ha advertido que, por lo que sabemos, AlphaGo puede contener "conocimientos implícitos que los programadores tienen sobre cómo construir máquinas para resolver problemas como Go" y necesitará ser probado en otros dominios antes de ser probado. Estoy seguro de que su arquitectura base es efectiva para mucho más que jugar Go. Por el contrario, DeepMind "confía en que este enfoque sea generalizable a un gran número de dominios".
En respuesta a los informes, el profesional surcoreano de Go Lee Sedol dijo: "La versión anterior de AlphaGo no era perfecta, y creo que por eso se creó AlphaGo Zero". Sobre el potencial de desarrollo de AlphaGo, Lee dijo que tendrá que esperar y ver, pero también dijo que afectará a los jugadores jóvenes de Go. Mok Jin-seok, quien dirige el equipo nacional de Go de Corea del Sur, dijo que el mundo del Go ya ha estado imitando los estilos de juego de versiones anteriores de AlphaGo y creando nuevas ideas a partir de ellas, y tiene la esperanza de que surjan nuevas ideas de AlphaGo Zero. . Mok también añadió que las tendencias generales en el mundo del Go ahora están siendo influenciadas por el estilo de juego de AlphaGo. "Al principio era difícil de entender y casi me sentía como si estuviera jugando contra un extraterrestre. Sin embargo, después de haber tenido una gran experiencia, me he acostumbrado", dijo Mok. "Hemos superado el punto en el que debatimos la brecha entre la capacidad de AlphaGo y la de los humanos. Ahora es entre computadoras". Según se informa, Mok ya ha comenzado a analizar el estilo de juego de AlphaGo Zero junto con los jugadores del equipo nacional. "A pesar de haber visto sólo unos pocos partidos, tuvimos la impresión de que AlphaGo Zero juega más como un humano que sus predecesores", dijo Mok. El profesional chino de Go, Ke Jie, comentó sobre los notables logros del nuevo programa: "Un AlphaGo de autoaprendizaje puro es el más fuerte. Los humanos parecen redundantes frente a su superación personal".

## Comparación con predecesores

Configuración y resistencia :
| Versiones | Hardware de reproducción | calificación elo | Partidos |
| AlphaGo Fan | 176 GPU, distribuidas | 3.144 | 5:0 contra Fan Hui |
| AlphaGo Lee | 48 TPU, distribuidos | 3.739 | 4:1 contra Lee Sedol |
| AlphaGo Master | 4 TPU, máquina única | 4.858 | 60:0 contra jugadores profesionales; Cumbre sobre el futuro del Go |
| AlphaGo Cero (40 days) | 4 TPU, máquina única | 5.185 | 100:0 contra AlphaGo Lee 89:11 contra AlphaGo Master |
| AlfaZero (34 hours) | 4 TPU, una sola máquina | 4.430 (est.) | 60:40 contra un AlphaGo Zero de 3 días |

## AlphaZero

El 5 de diciembre de 2017, el equipo de DeepMind lanzó una preimpresión en arXiv, presentando AlphaZero, un programa que utiliza el enfoque generalizado de AlphaGo Zero, que logró en 24 horas un nivel de juego sobrehumano en ajedrez, shogi y Go, derrotando a los programas campeones del mundo, Stockfish. Elmo y la versión de 3 días de AlphaGo Zero en cada caso.
AlphaZero (AZ) es una variante más generalizada del algoritmo AlphaGo Zero (AGZ) y puede jugar shogi y ajedrez además de Go. Las diferencias entre AZ y AGZ incluyen:
* AZ tiene reglas codificadas para configurar hiperparámetros de búsqueda.
* La red neuronal ahora se actualiza continuamente.
* El ajedrez (a diferencia del Go) puede terminar en empate; por lo tanto, el AZ puede tener en cuenta la posibilidad de un empate.
Está disponible un programa de código abierto, Leela Zero, basado en las ideas de los artículos de AlphaGo. Utiliza una GPU en lugar de las TPU en las que confían las versiones recientes de AlphaGo.