# Cerebras

Cerebras Systems és una empresa nord-americana d'intel·ligència artificial amb oficines a Sunnyvale, San Diego, Toronto, Tòquio i Bangalore. Cerebras construeix sistemes informàtics per a aplicacions complexes d'aprenentatge profund d'intel·ligència artificial.
Cerebras va ser fundada el 2015 per Andrew Feldman, Gary Lauterbach, Michael James, Sean Lie i Jean-Philippe Fricker. Aquests cinc fundadors van treballar junts a SeaMicro, que va començar el 2007 per Feldman i Lauterbach i que després es va vendre a AMD el 2012 per 334 milions de dòlars.

## Tecnologia

El Cerebras Wafer Scale Engine (WSE) és un processador de circuit integrat a escala de wafer únic que inclou computació, memòria i teixit d'interconnexió. La planificació utilitza una arquitectura de flux de dades.
El WSE-1 alimenta el Cerebras CS-1, l'ordinador AI de primera generació de l'empresa. És un dispositiu muntat en bastidor de 19 polzades dissenyat per a la formació d'IA i càrregues de treball d'inferència en un centre de dades. El CS-1 inclou un processador primari WSE amb 400.000 nuclis de processament i dotze connexions Ethernet de 100 Gigabit per a l'entrada/sortida de dades. El WSE-1 té 1,2 bilions de transistors, 400.000 nuclis de càlcul i 18 gigabytes de memòria.
L'abril de 2021, Cerebras va anunciar el sistema CS-2 AI basat en el Wafer Scale Engine (WSE-2) de segona generació, fabricat pel procés de 7 nm de Taiwan Semiconductor Manufacturing Company (TSMC). Fa 26 polzades d'alçada i s'adapta a un terç d'un bastidor de centre de dades estàndard. El WSE-2 té 850.000 nuclis i 2,6 bilions de transistors. El WSE-2 va ampliar la memòria estàtica d'accés aleatori (SRAM) al xip a 40 gigabytes, l'amplada de banda de memòria a 20 petabytes per segon i l'amplada de banda total de teixit a 220 petabits per segon.
L'agost de 2021, la companyia va anunciar un sistema que connecta múltiples circuits integrats (comunament anomenats xips ) a una xarxa neuronal amb moltes connexions. Permet que un sistema admeti models d'IA amb més de 120 bilions de paràmetres.
El juny de 2022, Cerebras va establir un rècord dels models d'IA més grans mai entrenats en un dispositiu. Cerebras va dir que, per primera vegada, un sistema CS-2 amb una hòstia Cerebras pot entrenar models amb fins a 20 mil milions de paràmetres. El sistema Cerebras CS-2 pot entrenar models de processament de llenguatge natural (NLP) multimilionaris, inclosos els models GPT-3XL 1.300 milions, GPT-J-6B, GPT-3 13B i GPT-NeoX 20B amb una complexitat i una infraestructura de programari reduïdes.
L'agost de 2022, Cerebras va anunciar que els seus clients ara poden entrenar models d'IA de llenguatge natural a l'estil Transformer amb seqüències 20 vegades més llargues que les possibles utilitzant maquinari informàtic tradicional, cosa que s'espera que condueixi a avenços en el processament del llenguatge natural (NLP), especialment per a productes farmacèutics i ciències de la vida.

## Referències

* ↑ «Cerebras launches new AI supercomputing processor with 2.6 trillion transistors» (en anglès). VentureBeat, 20-04-2021. [Consulta: 30 abril 2021].
* ↑ «Cerebras Systems Accelerates Global Growth with New India Office» (en anglès). finance.yahoo.com, 30-08-2022. [Consulta: 30 agost 2022].
* ↑ Jolly, Andrew. «Cerebras Systems Opens New India Office» (en anglès). HPCwire. [Consulta: 30 agost 2022].
* ↑ «Cerebras Systems deploys the 'world's fastest AI computer' at Argonne National Lab» (en anglès). VentureBeat, 19-11-2019. [Consulta: 30 abril 2021].
* ↑ Tilley, Aaron. «AI Chip Boom: This Stealthy AI Hardware Startup Is Worth Almost A Billion» (en anglès). Forbes. [Consulta: 30 abril 2021].
* ↑ Hardy, Quentin. «A.M.D. Buying SeaMicro for $334 Million» (en anglès). Bits Blog, 29-02-2012. [Consulta: 30 abril 2021].
* 1 2 3 «The Cerebras CS-1 computes deep learning AI problems by being bigger, bigger, and bigger than any other chip» (en anglès). TechCrunch, 19-11-2019. [Consulta: 30 abril 2021].
* ↑ «Full Page Reload» (en anglès). IEEE Spectrum: Technology, Engineering, and Science News. [Consulta: 30 abril 2021].
* 1 2 «Cerebras launches new AI supercomputing processor with 2.6 trillion transistors» (en anglès americà). VentureBeat, 20-04-2021. [Consulta: 30 abril 2021].
* 1 2 Ray, Tiernan. «Cerebras continues 'absolute domination' of high-end compute, it says, with world's hugest chip two-dot-oh» (en anglès). ZDNet, 20-04-2021. [Consulta: 13 agost 2021].
* ↑ Cutress, Ian. «Cerebras Unveils Wafer Scale Engine Two (WSE2): 2.6 Trillion Transistors, 100% Yield». Anandtech.com. [Consulta: 3 juny 2021].
* ↑ «Cerebras' Tech Trains "Brain-Scale" AIs» (en anglès). IEEE Spectrum, 24-08-2021. [Consulta: 22 setembre 2021].
* ↑ Khalili, Joel. «The world's largest chip is creating AI networks larger than the human brain» (en anglès). TechRadar, 25-08-2021. [Consulta: 22 setembre 2021].
* 1 2 Francisco Pires. «Cerebras Slays GPUs, Breaks Record for Largest AI Models Trained on a Single Device» (en anglès). Tom's Hardware, 22-06-2022. [Consulta: 22 juny 2022].
* ↑ Jolly, Andrew. «Cerebras Announces New Capability for Training NLP Models» (en anglès americà). HPCwire. [Consulta: 1r setembre 2022].