# AlphaStar (programari)

AlphaStar és un programari d'intel·ligència artificial (IA) desenvolupat per DeepMind per jugar al videojoc StarCraft II. Es va donar a conèixer al públic pel seu nom el gener de 2019. AlphaStar va assolir l'estatus de "Gran mestre" l'agost de 2019, una fita important no només per a la IA als videojocs, sinó també per al camp en conjunt.

## Rerefons

Es considera que els jocs creats per a humans tenen validesa externa com a referents de progrés en intel·ligència artificial. El motor d'escacs d'IBM Deep Blue (1997) i AlphaGo de DeepMind (2016) es van considerar fites importants; alguns argumenten que StarCraft també seria una fita important, a causa del "joc en temps real, observabilitat parcial, cap estratègia dominant única, regles complexes que dificulten la construcció d'un model d'avançament ràpid i un espai d'acció especialment gran i variat". Encara que és difícil, StarCraft encara pot ser manejable amb la tecnologia actual perquè "les seves regles són conegudes i el món és discret amb només uns pocs tipus d'objectes".
StarCraft II és un popular joc d'estratègia en temps real en línia desenvolupat per Blizzard Entertainment.

## Història

DeepMind Technologies es va fundar al Regne Unit l'any 2010. Ja el 2011, el fundador Demis Hassabis va anomenar StarCraft "el següent pas endavant" després de jocs com Go. DeepMind es va convertir en una subsidiària de Google el 2014, després de demostrar robots d'autoaprenentatge amb habilitats sobrehumanes en una varietat de jocs Atari 2600. El febrer de 2015, l'informàtic Zachary Mason va predir que la investigació de Deepmind "portaria a StarCraft en cinc o deu anys". El març de 2016, després de la victòria d'AlphaGo sobre Lee Sedol, un jugador campió del món de Go, Hassabis va reflexionar públicament sobre la construcció d'una IA per a StarCraft, citant-lo com un joc estratègic amb informació incompleta on, a diferència de Go, gran part del "tauler" és invisible. Es va anunciar una col·laboració formal a la BlizzCon el novembre de 2016, juntament amb un pla per llançar un entorn de desenvolupament obert per a robots el primer trimestre de 2017.
El 2017, DeepMind estava experimentant amb l'alimentació de dades de StarCraft al seu programari. L'agost de 2017, DeepMind i Blizzard van llançar eines de desenvolupament per ajudar en el desenvolupament de bots, així com dades de 65.000 jocs històrics. En aquell moment, l'informàtic i gerent del torneig de StarCraft David Churchill va estimar que trigaria cinc anys a un bot a vèncer un humà, però va advertir que AlphaGo havia superat les expectatives. A Wired, el periodista tecnològic Tom Simonite va declarar "Ningú espera que el robot guanyi aviat. Però quan ho faci, serà un assoliment molt més gran que la conquesta de Go per part de DeepMind".
El desembre de 2018, el bot de DeepMind va derrotar al jugador professional Grzegorz "MaNa" Komincz per 5-0. DeepMind va anunciar el bot, anomenat "AlphaStar", el gener de 2019. Un periodista d'Ars Technica i altres van argumentar que AlphaStar encara tenia avantatges injustos: "AlphaStar té la capacitat de fer clics amb precisió quirúrgica mitjançant una API, mentre que els jugadors humans estan limitats pels límits mecànics dels ratolins d'ordinador". AlphaStar també tenia una visió global en lloc de ser limitat per la càmera del joc. A més, tot i que hi havia un límit en el nombre d'accions durant una finestra de cinc segons, AlphaStar era lliure d'assignar la seva quota d'acció de manera desigual a través de la finestra per tal de llançar esclats d'activitat sobrehumanes en moments crítics. DeepMind va tornar a entrenar ràpidament AlphaStar amb limitacions més realistes i després va perdre una represa amb Komincz. A partir del juliol del 2019, la nova versió restringida d'AlphaStar va competir de manera anònima contra jugadors que "s'havien optat" a l'escala pública multijugador europea 1v1. A finals d'agost de 2019, AlphaStar havia assolit el nivell de Gran Mestre, situant-se entre el 0,2% més important de jugadors humans.

## Algorismes

A diferència d'AlphaZero, AlphaStar inicialment aprèn a imitar els moviments dels millors jugadors de la seva base de dades de jocs humans contra humans; aquest pas és necessari per resoldre el que Dave Silver de DeepMind anomena "el problema de l'exploració": descobrir noves estratègies seria com trobar una "agulla en un paller". Aleshores, els agents juguen entre ells i despleguen un aprenentatge de reforç profund. Aquests agents principals també aprenen jugant contra "agents explotadors" subòptims, el propòsit dels quals és exposar les debilitats dels agents principals.

## Reaccions

Després de la seva derrota per 5-0 el desembre de 2018, Komincz va declarar "No esperava que l'IA fos tan bona".
Stuart Russell va avaluar que la victòria d'AlphaStar el 2018 va requerir "una bona quantitat d'esforç específic per a problemes" i que els mètodes de propòsit general "no estaven del tot preparats per a StarCraft".
Un article a Wired UK va jutjar que les noves limitacions d'AlphaStar, adoptades per als partits de juliol de 2019, eren "justes" aquesta vegada. El professional de StarCraft Raza "RazerBlader" Sekha va declarar que AlphaStar era "impressionant" però tenia les seves peculiaritats, sucumbir en un joc a una composició de l'exèrcit poc ortodoxa formada només per unitats aèries. El millor jugador del Regne Unit, Joshua "RiSky" Hayward, va expressar una certa decepció, dient que AlphaStar "sovint no va prendre les decisions estratègiques més eficients". El professional Diego "Kelazhur" Schwimer va qualificar el joc d'AlphaStar "inimaginablement inusual; realment et fa qüestionar quantes de les diverses possibilitats de StarCraft han explorat realment els jugadors professionals". Els oponents d'AlphaStar sovint no es van adonar que estaven jugant a un bot.
Ian Sample, de The Guardian, va qualificar AlphaStar d'un "assoliment històric" per al camp de la IA. Churchill va declarar que abans havia vist robots que dominaven un o dos elements de StarCraft, però que AlphaStar va ser el primer que pot gestionar el joc en la seva totalitat. Gary Marcus va expressar el seu continuat escepticisme sobre l'aprenentatge profund, afirmant: "Fins ara, el camp ha lluitat per treure tècniques com aquesta dels entorns de laboratori i de joc i al món real, i no veig immediatament aquest resultat com un progrés en aquesta direcció". L'investigador d'IA Jon Dodge va ser sorprès per AlphaStar, afirmant que no esperava una actuació tan "sobrehumana" durant "un parell d'anys més"; en canvi, Churchill afirma que "StarCraft no està a prop de ser "solucionat", i AlphaStar encara no està ni tan sols a prop de jugar a nivell de campió del món".

## Llegat

DeepMind argumenta que els coneixements d'AlphaStar podrien beneficiar els robots, els cotxes autònoms i els assistents virtuals, que han de funcionar amb "informació imperfecta observada". Silver ha indicat que el seu laboratori "pot descansar en aquest punt", en lloc d'intentar millorar substancialment AlphaStar. El mateix Silver argumenta que "AlphaStar s'ha convertit en el primer sistema d'IA a assolir el nivell superior de rendiment humà en qualsevol esport electrònic jugat professionalment en el joc complet sense restriccions en condicions aprovades professionalment... Des que els ordinadors van trencar Go, escacs i pòquer, el joc de StarCraft ha sorgit, essencialment per consens de la comunitat, com el proper gran repte per a la IA".
Computer scientist Noel Sharkey argues, disapprovingly, that "military analysts will certainly be eyeing the successful AlphaStar real-time strategies as a clear example of the advantages of AI for battlefield planning". In contrast, Silver argues: "To say that this has any kind of military use is saying no more than to say an AI for chess could be used to lead to military applications".

## Referències

* ↑ «The unexpected difficulty of comparing AlphaStar to humans» (en anglès americà), 17-09-2019. [Consulta: 1r març 2025].
* ↑ Arulkumaran, Kai. «AlphaStar: An evolutionary computation perspective». A: Proceedings of the Genetic and Evolutionary Computation Conference Companion (en anglès), July 2019, p. 314–5. DOI 10.1145/3319619.3321894. ISBN 9781450367486.
* ↑ Russell, Stuart. «Chapter 2: Intelligence in Humans and Machines». A: Human Compatible: Artificial Intelligence and the Problem of Control (en anglès). Hardcover. Viking, 8 October 2019. ISBN 978-0-525-55861-3.
* ↑ Garisto, Dan Nature, 30-10-2019. DOI: 10.1038/d41586-019-03298-6. PMID: 33116320.
* ↑ , 27-01-2014.
* ↑ Vinyals, Oriol; Babuschkin, Igor; Czarnecki, Wojciech M.; Mathieu, Michaël; Dudzik, Andrew; 3 Nature, 575, 7782, 30-10-2019, pàg. 350–354. Bibcode: 2019Natur.575..350V. DOI: 10.1038/s41586-019-1724-z. PMID: 31666705.
* ↑ Russell, Stuart. «Chapter 2: Intelligence in Humans and Machines». A: Human Compatible: Artificial Intelligence and the Problem of Control (en anglès). Hardcover. Viking, 8 October 2019. ISBN 978-0-525-55861-3.
* ↑ Garisto, Dan Nature, 30-10-2019. DOI: 10.1038/d41586-019-03298-6. PMID: 33116320.