# Hizkuntza-eredu handi

Hizkuntza-eredu handiak (HEH edo LLM, ingelesez: Large Language Model) milaka miloi parametro dituzten sare neuronaletan (gehienbat transformer-ak) oinarritutako hizkuntza-ereduak dira, oro har, hizkuntza-ulermena eta sormena lortzeko duten gaitasunagatik ezagunak. Gaitasun hauek eskuratzeko, entrenamenduan datu-kopuru erraldoiak eta ikasketa-teknika ezberdinak erabiltzen dituzte.
Hizkuntza-eredu autorregresibo gisa, sarrerako testu bat hartu eta hurrengo token edo hitza zein izan daitekeen aurreikusten dute, behin eta berriz.
Esaldi batean hurrengo hitza iragartzea bezalako zeregin sinpleetan trebatuta egon arren, horrekin batera giza hizkuntzaren sintaxiaren eta semantikaren zati handi bat ikasteko gaitasuna ere lortzen dute. Gainera, hizkuntza-eredu handiek munduari buruzko ezagutza orokorra ere badutela erakusten dute, eta entrenamenduan zehar gertaera ugariri buruz ikasteko gai direla. Hala ere, entrenamendua corpuseko testuaren gainean egiten denez, horrenganako menpekotasun handia dute gero, hau da, corpuseko testuak dituen zehaztasun-ezak eta alborapenak heredatzen dituzte.
Adibide aipagarriak dira OpenAIren GPT ereduak (adibidez, GPT-3.5 eta GPT-4, ChatGPT txatbotean erabiltzen direnak), Google-ren PaLM (Bard-en erabilia) eta Meta-ren LLaMa, baita BLOOM, Ernie 3.0 Titan eta Anthropic-en Claude 3 ere.
2024ko Informatikari Euskaldunen Bilkuraren barruan sei hizkuntza-eredu handi jarri zuten lehian euskarazko elkarrizketetan. Helburua EHUko Hitz zentroan garatzen den Latxa eredua «sistema komertzial hoberenen kontra» lehian jartzea izan zen, eta horra ondorioetako bat: GPT-4o eredu ezagunaren parean geratu zen ia. Dema horretan ikusi zen euskaraz «hobekien» zekien sistema Claude Sonnet 3.5 sistema komertziala zela, bigarren GPT-4o sistema geratu zen, eta haren «ia parean» geratu zen Latxa. Beherago geratu zen Gemini Flash 1.5, eta «askoz beherago» Command R+ eta LLama 3.1. Azken hori Latxa eredu berriaren «oinarria» da.
* ChatGPT
* Claude
* Gemini
* Latxa
* Perplexity AI

## Propietateak
### Aurre entrenamendu datu multzoak

HEHak testu-datu multzo handietan aldez aurretik trebatzen dira. Gehien erabiltzen diren testu-datu multzo batzuk Common Crawl, The Pile, MassiveText,​ Wikipedia eta GitHub dira. Datu multzoek 15.000.000 milioi hitz arteko tamaina heldu ziren 2024an. Baliabide urri dituen hizkuntza izanik, euskarazko testu-corpus handienen tamaina milaka aldiz txikiago izaten da; esate baterako EusCrawl corpusa (288 milioi hitz). Hala ere bada berri on bat, euskarazko corpus ·txiki horiek" ingelesezko corpus itzel batekin batera entrenatuz gero, lortzen den eredua gauza da euskaraz modu duinean egiteko eta gauza da ingelesezko corpus handiaren ezagutza orokorra euskaraz erabiltzeko ere. Horrela, HiTZ zentroak 2024ko urtarrilean garatu zuen Latxa ereduan LLaMA 2 ereduko corpusa (2 bilioi hitz) erabili zuten eta euskarazko EusCrawl corpusa (288 milioi hitz, 6 mila aldiz txikiagoa) gehitu zioten.
Bestalde, izugarria da ikustea zelan hazten diren testu-corpusen tamaina. Esate baterako, lehen aipatutako LLaMA 2 ereduko corpusak 2 bilioi hitz zeuzkan 2023ko uztailean, eta urtebete geroago, 2024ko uztailean, LLaMA 3 eredu berriko corpusak 15,7 bilioi hitz zeuzkan. Urtebeteko epean entrenamendu-corpusaren tamaina ia zortzi aldiz handiagoa zen. Noski, HiTZ Zentroak corpus libre handiago hori erabili du Latxaren bertsio hobe bat sortzeko.

### Eskalatzeko legeak

Oro har, HEH bat lau parametrorekin deskriba daiteke: ereduaren tamaina, prestakuntza-datuen multzoaren tamaina, prestakuntza-kostua eta entrenamenduaren ondorengo errendimendua. Lau aldagai horietako bakoitza zehatz-mehatz defini daiteke zenbaki erreal batean, eta enpirikoki lege estatistiko sinpleen bidez erlazionatuta aurkitzen da, "eskala-legeak" izenekoak.
Garai baterako modu autorregresiboan trebatutako HEHentzako eskalatze-lege partikular batek ("Chinchilla eskala"), ikaskuntza-tasa logaritmikoko programazio batekin, hau dio:
${\begin{cases}C=C_{0}ND\\L={\frac {A}{N^{\alpha }}}+{\frac {B}{D^{\beta }}}+L_{0}\end{cases}}$
aldagaiak hauek dira:
    $C$ eredua entrenatzearen kostua da, FLOPetan.
    $N$ ereduko parametro kopurua da.
    $D$ entrenamendu multzoko token kopurua da.
    $L$ token bakoitzeko (nats / token) batez besteko log probabilitate-galera negatiboa da, probako datu multzoan trebatutako HEHak lortutakoa.
eta parametro estatistikoak hauek dira:
    $C_{0}=6$, hau da, parametro bakoitzeko 6 FLOP kostatzen da token batean entrenatzea. Kontuan izan prestakuntza-kostua inferentzia-kostua baino askoz handiagoa dela, non parametro bakoitzeko 1 eta 2 FLOP kostatzen diren token bat ondorioztatzeko.
    $\alpha =0.34,\beta =0.28,A=406.4,B=410.7,L_{0}=1.69$

### Gaitasun emergenteak

Normalean eredu txikien antzekoen errendimenduan oinarritutako hainbat zereginetan eredu handien errendimendua estrapola dezakeen arren, batzuetan eredu handiek "fase-aldaketako etena" izaten dute, non ereduak bat-batean ezagutzen ez diren gaitasun handiak eskuratzen dituen. Hauek "gaitasun emergenteak" izenez ezagutzen dira eta azterketa sakonen gai izan dira. Ikertzaileek adierazi dute gaitasun horiek "ezin direla aurreikusi eredu txikiagoen errendimendua estrapolatuz bakarrik". Gaitasun horiek programatuta edo diseinatuta aurkitu beharrean, kasu batzuetan HEHa publikoki zabaldu ondoren aurkitzen dira. Ehunka trebetasun aurkitu dira. Adibideak honako hauek dira: urrats anitzeko aritmetika, unibertsitate-mailako azterketak gainditzea, hitz baten esanahia identifikatzea, pentsamendu-katea, Nazioarteko Alfabeto Fonetikoa deskodetzea eta abar.

### Aluzinazioak

HEH-sortzaileek beren aurre-entrenamendu datuek justifikatzen ez duten egiazko aldarrikapenak ziurtasunez baieztatzen dituztela ikusi da, "aluzinazioa" deitu izan den fenomenoa da hori.

## Arkitektura

Hizkuntza-eredu handiek transformer izeneko arkitektura erabili dute gehienbat, 2018az geroztik, datu sekuentzialetarako ikaskuntza sakoneko teknika estandarra bihurtu da (lehen, LSTM bezalako arkitektura errepikakorrak ziren ohikoenak).

### Tokenizazioa

HEHak funtzio matematikoak dira, eta hauen sarrera eta irteera zenbakien zerrendak dira. Ondorioz, hitzak zenbaki bihurtu behar dira.
Orokorrean, HEH batek tokenizatzaile bat erabiltzen du. Tokenizatzailea testuen eta zenbaki osoen zerrenden arteko mapak egiten dituen funtzio bijektibo bat da. Tokenizatzailea normalean aurreentrenamentu-datu multzo osora egokitzen da eta gero izoztu egiten da HEHa entrenatu aurretik. Aukera arrunt bat byte bikoteen kodeketa da.
Tokenizatzaileen beste ezaugarri bat testu-konpresioa da, eta horrek konputazioa aurrezten du. "Non dago" bezalako hitz edo esaldi arruntak token batean kodetu daitezke, 7 karaktere izan beharrean. OpenAI GPT-ek tokenizer bat erabiltzen dute, eta token bat 4 karaktere ingururekin osatzen da, edo 0,75 hitz ingururekin, ingelesezko testu arruntean. Ingelesezko testu ezohikoa ezin da hain erraz aurreikusi, beraz, gutxiago konprimitu ahalko da, beraz, token gehiago behar ditu kodetzeko.
Tokenizatzaile batek ezin ditu zenbaki oso arbitrarioak sortu. Normalean $\{0,1,2,...,V-1\}$ barneko zenbaki osoak soilik ateratzen dituzte, $V$ hiztegiaren tamainari deritzo.
Tokenizatzaile batzuk testu arbitrarioak kudeatzeko gai dira (normalean Unicode-n zuzenean funtzionatuz), baina beste batzuk ez. Kodetzerik gabeko testua topatzen denean, tokenizagailu batek "testu ezezaguna" adierazten duen token berezi bat sortuko luke (askotan 0). Hau [UNK] bezala idatzi ohi da, BERT dokumentuan bezala.
Askotan erabiltzen den beste token berezi bat [PAD] da, "betegarria" egiteko. Hau erabiltzen da normalean HEHak aldi berean testu-loteetan erabiltzen direlako, eta testu horiek ez dira luzera berdinean kodetzen. HEHek, oro har, sarrera zerrenda ez-irregularra izatea eskatzen dutenez, kodetutako testu laburragoak bete behar dira luzeagoaren luzerarekin bat etorri arte.

### Irteera

HEH baten irteera bere hiztegiaren gaineko probabilitate banaketa da. Hau normalean honela ezartzen da:
* Testu bat jasotzean, HEH gehienak bektore bat sortzen du $y\in \mathbb {R} ^{V}$ non $V$ bere hiztegiaren tamaina den.
* $y$ bektorea softmax funtzio batetik pasatzen da $softmax(y)$) lortzeko.
Prozesuan, $y$ bektoreari logit bektore ez normalizatua deitzen zaio, eta $softmax(y)$ bektoreari probabilitate-bektorea. $softmax(y)$ bektoreak $V$ sarrera dituenez, guztiak ez-negatiboak, eta 1era batuta, $\{0,1,2,...,V-1\}$ probabilitate-banaketa gisa interpreta dezakegu, hau da, probabilitate banaketa bat da HEHaren hiztegian.

## Entrenamendua

HEH gehienak aurre-entrenamendu generatiboa erabiliz entrenatzen dira, hau da, testu-token prestakuntza-datu multzo bat emanda, ereduak datu-multzoko tokenak aurreikusten ditu. Bi aurre-entrenamendu generatibo estilo orokor daude:
* Autorregresiboa: "Izokia jatea" bezalako testu-segmentu bat emanda, ereduak hurrengo tokenak aurreikusten ditu, "gustatzen zait" adibidez.
* Maskaratua: "Txokolatezko [MASKARA] [MASKARA] gustatzen zait" bezalako testu-segmentu bat emanda, ereduak maskaratutako tokenak aurreikusten ditu, adibidez "izozkia jatea".
HEHak datuen banaketaren ulermena erakusten duten bestelako zereginetan entrenatu daitezke.
Normalean, HEHak galera-funtzio zehatz bat minimizatzeko entrenatzen dira: token bakoitzeko batez besteko log probabilitate negatiboa (entropia gurutzatua ere deitzen zaio) adibidez. Eredu autorregresibo batek, "Izozkia jatea gustatzen" emanda, probabilitate-banaketa bat aurreikusten badu $Pr(\cdot |{\text{Izozkia jatea gustatzen}})$ orduan token honen log probabilitate negatiboa $-\log Pr({\text{zait }}|{\text{Izozkia jatea gustatzen}})$ izango da.
Entrenamenduan zehar, erregularizazio-galera ere erabiltzen da entrenamendua egonkortzeko. Hala ere, erregularizazio-galera hau ez da proba eta ebaluazioan erabiltzen. Ebaluazio-irizpide gehiago ere badaude entropia gurutzatutik haratago.
HEHak milaka milioi hitzen dimentsioa duten corpus linguistikoetan eratzen dira.
GPT-1, OpenAI-ren aurreentrenatutako lehen transformer-eredua, 2018an BookCorpus-en entrenatu zen, hau 985 milioi hitzez osatzen da. Urte berean, BERT BookCorpus eta ingelesezko wikipediaren konbinazio batean entrenatu zen, 3.300 milioi hitz guztira.Harrezkero, HEHrako prestakuntza-corpusak handitu egin dira, eta billoi bat tokenetara iritsi dira.

### Entrenamendu kostua

HEHak konputazionalki oso garestiak dira entrenatzereko garaian. 2020ko ikerketa batek 1.500 milioi parametroko eredua entrenatzearen kostua 1.6 milioi dolarrekoa dela kalkulatu zuen. Softwarearen eta hardwarearen aurrerapenek kostua nabarmen murriztu dute, 2023ko paper batean aurreikusi zen 72.300 orduko A100-GPU kostua duela 12.000 milioi parametro-eredu bat entrenatzeko. Kalkulatzen da GPT-3 bat behin bakarrik entrenatzea, 175.000 milioi parametrorekin, 4,6 milioi dolar behar direla.Horretarako RTX 8000 bakar batek 665 urte beharko lituzke bukatzeko.
Transformerretan oinarritutako HEHetarako, parametro bakoitzeko 6 FLOP kostatzen da token batean entrenatzea. Kontuan izan behar da prestakuntza-kostua inferentzia-kostua baino askoz handiagoa dela, non parametro bakoitzeko 1 eta 2 FLOP artean kostatzen den token batean ondorioztatzeko.
Ingurumen kostuari dagokionez, HEH baten entrenamenduak kostu energetikoa oso altua du. Eredu bat entrenatzeak bidaiari batek New York-etik San Frantziskorako hegaldi batean bezainbesteko karbono-isuria egiten da.​ GPT-3-ren kasuan, kalkulatzen da 1.200 MWh konsumitzen dela, 500 tona CO2 isuri baino gehiago sortuz. Kostu horiek areagotu egiten dira ereduek parametro gehiago dituezten heinean. Prestakuntza-ziklo bakoitzak ehunka edo milaka CPU eta GPUren dedikazio esklusiboa eskatzen du, hauek karga konputazional handia onartzen dute, datu kopuru handiak gordetzeaz eta mugitzeaz gain. Horrek guztiak energia-kontsumo handia eragiten du, eta bero kantitate handiak sortzen ditu.
Kostu horiek murrizteko, irtenbide posible bat eredu txikiagoak erabiltzea da. Hauek eredu handi baten antzera funtziona dezaket, eta 100 dolar inguruko kostua dute entrenatzean. Eredu txiki baten adibidea Alpaca eredua da, Stanfordeko Unibertsitateko ikertzaileek Meta AI-ren LLaMA izeneko ereduan garatua. Hau nahikoa arina da eta mahaigaineko ordenagailu batean exekuta daiteke.

## Ondorengo zereginetarako aplikazioa (downstream tasks)

2018 eta 2020 artean, hizkuntza naturalaren prozesatzeko (NLP) HEH bat prestatzeko metodo estandarra ataza zehatz baterako eredua doitzea izan zen, zeregin espezifikoko prestakuntza osagarri batekin. Ondoren, aurkitu zen HEH indartsuagoek, GPT-3 adibidez, zereginak prestakuntza gehigarririk gabe ebatzi ditzaketela "prompting" tekniken bidez, zeinetan konpondu beharreko arazoa testu-mezu gisa aurkezten zaiola ereduari, agian testu-adibide batzuekin, antzeko arazoak eta haien konponbideak emanez.

### Fine-tuning

Fine-tuning aldez aurretik trebatutako hizkuntza-eredu bat aldatzeko praktika da (modu gainbegiratuan) zeregin zehatz batean trebatuz (adibidez, sentimenduen analisian, entitate izendapenaren errekonozimendua edo gramatika etiketatzea). Ikaskuntza transferitzeko modu bat da. Normalean, hizkuntza-ereduaren azken geruza nahi den zereginaren emaitzekin lotzen duten pisu multzo berri bat sartzeaz oinarritzen da. Hizkuntza-ereduaren jatorrizko pisuak "izoztu" daitezke, eta, beraz, irteerarekin lotzen dituen pisu-geruza berria bakarrik ikasten da entrenamenduan. Jatorrizko pisuen eguneratze txikiak eginez ere lortzen da.

## Ebaluazioa
### Perplexitatea

Hizkuntza-eredu baten errendimenduaren neurririk erabiliena testu-corpus jakin batean duen perplexitatea da. Perplexitatea eredu batek datu-multzo baten edukia zenbateraino iragar dezakeen neurtzen du; ereduak datu multzoa iragartzen duenaren probabilitatea zenbat eta handiago, orduan eta perplexitate txikiagoa izango du. Matematikoki, perplexitatea token bakoitzeko batez besteko log probabilitate negatiboaren esponentzial gisa definitzen da: $\log({\text{Perplexity}})=-{\frac {1}{N}}\sum _{i=1}^{N}\log(Pr({\text{token}}_{i}|{\text{context for token}}_{i}))$ hemen $N$ testu-corpuseko token kopurua da, eta "i tokenaren testuingurua" erabilitako HEH motaren araberakoa da. HEH autorregresiboa bada, "i tokenaren testuingurua" i tokenaren aurretik agertzen den testu-segmentua da. HEHa maskaratuta badago, "i tokenaren testuingurua" i tokenaren inguruko testu-segmentua da.
Hizkuntza-ereduak beren prestakuntza-datuetara gehiegi moldatu daitezkeenez, ereduak normalean ikusten ez diren datuen proba-multzo batean perplexitatearen arabera ebaluatzen dira. Horrek erronka bereziak ditu hizkuntza eredu handiak ebaluatzeko.

## Hizkuntza-eredu handien zerrenda

Prestakuntza-kostuen zutaberako, 1 petaFLOP-egun = 1 petaFLOP/sec × 1 egun = 8,64E19 FLOP. Gainera, modeloaren handienaren kostua bakarrik dago idatzita.
| Izena | Argiratze data | Gara-tzailea | Parametro kopurua (mila milioika) | Corpusaren tamaina | Entrena-mendu-kostua (peta FLOP-egun) | Lizentzia | Oharrak |
| GTP-1 | 2018ko ekaina | OpenAI | 117000000 !0.117 | | 1 | MIT | Lehen GPT modeloa, dekodetzaile hutsezko transformerra. 30 egunez 8 P600 GPUtan entrenatua. |
| BERT | 2018ko urria | Google | 340000000 !0.340 | 3,3 mila milioi hitz | 9 !9 | Apache 2.0 | Hizkuntza-eredu goiztiar eta eragin handikoa. Kodifikatzailea besterik ez, eta, beraz, ez dago eraikita elkarizketan erabilia edo sortzailea izateko . Entrenamenduak 4 egun iraun zuen 64 TPUv2 txipekin. |
| T5 | 2019ko urria | Google | 11 | 34 mila milioi token | | Apache 2.0 | Googleren proiektu askotarako oinarrizko eredua, esate baterako, Irudia. |
| XLNet | 2019ko ekaina | Google | 340000000 !0.340 | 3300000000 !33 mila milioi hitz | 330 | Apache 2.0 | BERTen alternatiba bat; kodetzaile gisa soilik diseinatua. 512 TPU v3 txipetan entrenatua 5,5 egunetan. |
| GTP-2 | 2019ko otsaila | OpenAI | 1500000000 !1.5 | 40 GB (~10000000000 !10 mila milioi mila milioi token) | 28 | MIT | 32 TPUv3-txipetan entrenatuta astebetez. |
| GPT-3 | 2020ko maiatza | OpenAI | 175000000000 !175 | 300000000000 !300 mila milioi token | 3640 | proprietary | GPT-3 aldaera findu bat, GPT-3.5 izenekoa, publikoaren eskura jarri zen ChatGPT izeneko web interfaze baten bidez 2022an. |
| GPT-Neo | 2021eko martxoa | EleutherAI | 2700000000 !2.7 | 825 GiB | | MIT | EleutherAIk liberatu zituen doako GPT-3 alternatiben artean lehena. GPT-Neok proba batzuetan tamaina bereko GPT-3 eredu bat gainditu zuen, baina GPT-3 handiena baino nabarmen okerragoa izan zen. |
| GPT-J | 2021eko ekaina | EleutherAI | 6000000000 !6 | 825 GiB | 200 | Apache 2.0 | GPT-3 estiloko hizkuntza-eredua |
| Megatron-Turing NLG | 2021eko urria | Microsoft eta Nvidia | 530000000000 !530 | 338600000000 !338.6 mila milioi token | 38.000 | Restricted web access | Hiru hilabetez entrenatua A100 motako 2.000 GPU baino gehiagotan NVIDIA Selene Superkonputagailuan, 3 milioi GPU ordu baino gehiagotan. |
| Ernie 3.0 Titan | 2021eko urria | Baidu | 260000000000 !260 | 4 Tb | | Proprietary | Txinerarako HEHa. Ernie Bot izeneko bot-ak eredu hau du oinarri. |
| Claude | 2021eko urria | Anthropic | 52000000000 !52 | 400000000000 !400 mila milioi token | | beta | Elkarrizketetan nahi den portaerarako ongi doitua . |
| GLaM (hizkuntza-eredu orokorra) | 2021eko urria | Google | 1200000000000 !1200 | 1600000000000 !1.6 bilioi token | 5.600 | Proprietary | Eredu berezia (aditu-konbinazioa), garestiagoa da entrenatzeko, baina merkeagoa inferentzia exekutatzeko, GPT-3rekin alderatuta. |
| Gopher | 2021eko urria | DeepMind | 280000000000 !280 | 300000000000 !300 mila milioi token | 5.833 | Proprietary | Ondoren, Chinchilla eredurako garatu zen. |
| LaMDA (Elkarrizketa hizkuntza ereduak) | 2022ko urtarrila | Google | 137000000000 !137 | 1.56T hitz, 168000000000 !168 mila milioi token | 4.110 | Proprietary | Elkarrizketetan erantzunak sortzeko espezializatua. |
| GPT-NeoX | 2022ko otsaila | EleutherAI | 20000000000 !20 | 825 GiB | 740 | Apache 2.0 | Megatron arkitekturan oinarritua |
| Chinchilla | 2022ko martxoa | DeepMind | 70000000000 !70 | 1400000000000 !1.4 bilioi token | 6.805 | Proprietary | Parametro gutxiko eredua, datu gehiagotan entrenatua. Sparrow botean erabilia. Sarritan aipatua bere eskala neuronalaren legearengatik. |
| PaLM (Pathways Language Model, Pathways hizkuntza-eredua) | 2022ko apirila | Google | 540000000000 !540 | 768000000000 !768 mila milioi token | 29250 !29,250 | Proprietary | Entrenatua ~60 egunetan, ~6000 TPU v4 txipetan. 2024ko urrian, argitaratutako transformer trinko handiena zen |
| OPT (Open Pretained Transformer) | 2022ko Maiatza | Meta | 175000000000 !175 | 180000000000 !180 mila milioi token | 310 | Non-commercial research | GPT-3 arkitektura, Megatronetik hartutako egokitzapen batzuekin. Modu bakarrean, taldeak idatzitako prestakuntza koadernoa argitaratu zuten. |
| YaLM 100B | 2022ko ekaina | Yandex | 100000000000 !100 | 1,7 Tuberkulosia | | Apache 2.0 | Eredu anglo-errusiarra, Microsoften Megatron-LMan oinarritua. |
| Minerva | 2022ko ekaina | Google | 540000000000 !540 | Eduki matematikan iragazitako web orrien eta arXiv aurre-inprimaketa-zerbitzarira bidalitako dokumentuen 38,5B token | | Proprietary | "Gai matematiko eta zientifikoak urratsez urratseko arrazoiketa erabiliz" ebazteko. PaLM ereduetatik abiatua, datu matematiko eta zientifikoekin findua. |
| BLOOM | 2022ko uztaila | Lankidetza handia, Hugging Face buru zela | 175000000000 !175 | 350000000000 !350 mila milioi token (1.6TB) | | Responsible AI | Funtsean, GPT-3, baina corpus eleanitz batekin entrenatua (% 30 ingelesez, programazio-lengoaiak alde batera utzita) |
| Galactica | 2022ko azaroa | Meta | 120000000000 !120 | 350000000000 !106 mila milioi token | ezezaguna | CC-BY-NC-4.0 | Entrenatua testu zientifikoetarako eta modalitateetarako. |
| AlexaTM (Irakasle-Ereduak) | 2022ko azaroa | Amazon | 20000000000 !20 | 1300000000000 !1.3 bilioi | | proprietary | Sekuentziatik-sekuentziara arkitekturakoa baina bi noranzkoetan |
| Neuro-sama | 2022ko abendua | Independ. | Ezezaguna | Ezezaguna | | privately-owned | Twitchen zuzenean transmititzeko diseinatutako hizkuntza-eredua. |
| Llama (Large Language Model Meta AI, Meta AI Hizkuntza Eredu Handia) | 2023ko otsaila | Meta AI | 65000000000 !65 | 1400000000000 !1.4 bilioi | 6.300 | Non-commercial research | Corpusak 20 hizkuntza ditu. "Gainentrenatua" (Chinchillako eskalatze-legearekin alderatuta) parametro gutxiagorekin errendimendu hobea lortzeko. |
| GPT-4 | 2023ko martxoa | OpenAI | Ezezaguna (Zurrumurruen arabera: 1.760) | Ezezaguna | Ezezaguna | proprietary | ChatGPT Plus-eko erabiltzaileentzat eskuragarri eta hainbat produktutan erabilia. |
| Chameleon | 2024ko ekaina | Meta AI | 34000000000 !34 | 4400000000000 !4.4 bilioi | | |
| Cerebras-GPT | 2023ko martxoa | Cerebras | 13000000000 !13 | | 270 | Apache 2.0 | Chinchillaren formularekin entrenatua. |
| Falcon | 2023ko martxoa | Technology Innovation Institute | 40000000000 !40 | Bilioi bat token, RefineWeb-etik hartuta (corpusetik iragazitako web testua) eta zenbait "corpus ondu". | 2.800 | Apache 2.0 | |
| BloombergGPT | 2023ko martxoa | Bloomberg L.P. | 50000000000 !50 | 363 mila milioi token zuen datu multzoa Bloomberg-eko datu-iturrietan oinarrituta, gehi 345 mila milioi token helburu orokorreko datu-multzotatik | | Proprietary | Jabedun iturritako finantza-datuetan trebatua, finantza-zereginetarako. |
| PanGu-Σ | 2023ko martxoa | Huawei | 1085000000000 !1085 | 329 mila milioi token | | Proprietary | |
| OpenAssistant | 2023ko martxoa | LAION | 17000000000 !17 | 1,5 bilioi token | | Apache 2.0 | Crowdsourcing-eko datu irekietan trebatua |
| Jurascli-2 | 2023ko martxoa | AI21 Labs | Ezezaguna | Ezezaguna | | Proprietary | Eleaniztuna |
| PALM 2 (Pathways Language Model 2) | 2023ko maiatza | Google | 340000000000 !340 | 3600000000000 !3.6 bilioi token | 85000 !85,000 | Proprietary | Bard chatboten erabili zuten (Gemini). |
| Llama 2 | 2023ko uztaila | Meta AI | 70000000000 !70 | 2000000000000 !2 bilioi token | 21000 !21,000 | Llama 2 license | 1,7 milioi A100-ordu. |
| Claude 2 | 2023ko uztaila | Anthropic | Ezezaguna | Ezezaguna | Ezezaguna | Proprietary | Claude txatborean erabiltzen da. |
| Granitoa 13b | 2023ko uztaila | IBM | Ezezaguna | Ezezaguna | Ezezaguna | Proprietary | IBM Watsonx-en erabilia. |
| Mistral 7B | 2023ko iraila | Mistral AI | 7300000000 !7.3 | Ezezaguna | | Apache 2.0 | |
| Claude 2.1 | 2023ko azaroa | Anthropic | Ezezaguna | Ezezaguna | Ezezaguna | Proprietary | Claude txabotean erabiltzen da. 200.000 tokeneko edo ~500 orrialdeko testuinguru-leihoa du. |
| Grok-1 | 2023ko azaroa | x.AI | 314 | Ezezaguna | Ezezaguna | Apache 2.0 | Grok txatbotean erabiltzen da. Grok-1ek 8.192 tokeneko testuinguru-luzera du eta X-rako (Twitter) atzipena du. |
| Gemini 1.0 | 2023ko abendua | Google DeepMind | Ezezaguna | Ezezaguna | Ezezaguna | Proprietary | Eredu multimodala, hiru tamainatan dator. Izen bereko chatbotean erabilia. |
| Mixtrala 8x7B | 2023ko abendua | Mistral AI | 46,7 | Ezezaguna | Ezezaguna | Apache 2.0 | GPT-3.5 eta Llama 2 70B gainditzen ditu proba askotan. Aditu-konbinazioa eredua, 12.900 milioi parametro token bidez aktibatuak. |
| Phi-2 | 2023ko abendua | Microsoft | 2,7 | 1.4T token | 419 | MIT | "Kalitatezko testuliburuetako" datu erreal eta sintetikoetan trebatua, 14 egunez A100 motako 96 GPU etan. |
| Latxa | 2024ko urtarrila | HiTZ zentroa | 70 | Llama 2-ren 2 mila milioi token + euskarazko 288 milioi hitz | | LLaMA-2 License | Euskararako eredua da. Baliabide urri dituen hizkuntza izanik LLaMA ereduetan oinarritzen da eta euskarazko EusCrawl corpusa (288 milioi hitz) gehitu da. |
| Mixtral 8x22B | 2024ko apirila | Mistral AI | 141 | Ezezaguna | Ezezaguna | Apache 2.0 | |
| Gemini 1.5 | 2024ko otsaila | Google DeepMind | Ezezaguna | Ezezaguna | Ezezaguna | Proprietary | Eredu multimodala, Aditu-konbinazioko (Mixture of experts, MoE) arkitekturan oinarritua. Milioi bat tokenetik gorako testuinguruaren leihoa . |
| Gemini Ultra | 2024ko otsaila | Google DeepMind | Ezezaguna | Ezezaguna | Ezezaguna | | |
| Gemma | 2024ko otsaila | Google DeepMind | 7 | 6T token | Ezezaguna | Gemma Terms of Use | |
| Claude 3 | 2024ko martxoa | Anthropic | Ezezaguna | Ezezaguna | Ezezaguna | Proprietary | Hiru modelo ditu: Haiku, Sonnet eta Opus. |
| Nova | 2024ko urria | Rubik's AI | Ezezaguna | Ezezaguna | Ezezaguna | Proprietary | Hiru modelok osatzen dute: Nova-Instant, Nova-Air, eta Nova-Pro. |
| DBRX | 2024ko martxoa | Databricks eta Mosaic ML | 13600000000 !136 | 12T token | | Databricks Open Model License | Entrenamenduak 10 milioi dolarreko kostua izan zuen. |
| Fugaku-HEH | 2024ko maiatza | Fujitsu, Tokioko Teknologia Institutua, etab. | 1300000000 !13 | 380 B token | | | CPUtan bakarrik entrenatutako inoizko eredurik handiena, Fugakun. |
| Phi-3 | 2024ko apirila | Microsoft | 14 | 4.8T token | | MIT | Microsoftek "hizkuntza-eredu txiki" gisa komertzializatzen ditu. |
| Granite Code Models | 2024ko maiatza | IBM | Ezezaguna | Ezezaguna | Ezezaguna | Apache 2.0 | |
| Qwen2 | 2024ko ekaina | Alibaba Cloud | 72 | 3T token | | | Hainbat tamaina, txikiena 0.5 B-koa izanik. |
| Nemotron-4 | 2024ko ekaina | Nvidia | 34000000000 !340 | 9T token | 200000 !200,000 | NVIDIA Open Model License | Epoch baterako entrenatua. H100 motako 6.144 GPUtan entrenatua 2023ko abendutik 2024ko maiatzera. |
| Llama 3.1 | 2024ko uztaila | Meta AI | 405 | 15.6 T token | 440000 !440,000 | Llama 3 license | 405B bertsioak 31 milioi ordu behar izan zituen H100-80GB makina batean, 3,8E25 FLOPetan. |
| Llama-eus-8B | 2024ko iraila | Orai NLP Teknologiak | | 15.6 T + 0.5 T tokenLlama3.1-8B-ko corpusa + ZelaiHandi corpusa | | Llama 3 license | |
| DeepSeek V3 | 2024ko abendua | DeepSeek | 671 | 14.8T token | 44000 !440,000 | DeepSeek License | 2.788M ordu H800 GPUs makina batean. |
| Amazon Nova | 2024ko abendua | Amazon | Ezezaguna | Ezezaguna | Ezezaguna | Proprietary | Hiru eredu ditu: Nova Micro, Nova Lite, eta Nova Pro |
| DeepSeek R1 | 2025eko urtarrila | DeepSeek | 671 | Ezezaguna | Ezezaguna | MIT | Aurre-entrenamendurik gabe. V3-Base oinarriaren gainean. |
| Qwen2.5 | 2025eko urtarrila | Alibaba | 72 | 18T token | Ezezaguna | License | |
| MiniMax-Text-01 | 2025eko urtarrila | Minimax | 456 | 4.7T token | Ezezaguna | Minimax Model license | |

## Erreferentziak

* ↑ Elhuyar. .
* ↑ What Is a Transformer Model?. .
* ↑ (Ingelesez) «AI Index Report 2024 – Artificial Intelligence Index» aiindex.stanford.edu: (chapter 1, image 3). (Noiz kontsultatua: 2024-11-25).
* ↑ Sustatu. (2024-11-10). «Adimen artifiziala euskaraz, sailkapena: 1) Claude / 2) GPT 4o / 3) Latxa» sustatu.eus (Noiz kontsultatua: 2025-01-03).
* ↑ «Latxa hizkuntza eredua GPT-4ren parean geratu da lehiaketa batean» Berria 2024-11-19 (Noiz kontsultatua: 2024-11-25).
* ↑ (Gaztelaniaz) Quesada Webb, Armando. (2024-06-12). «Latxa, un ChatGPT en euskera contra la brecha digital de los idiomas» El País (Noiz kontsultatua: 2024-11-25).
* 1 2 «Latxa hizkuntza eredua GPT-4ren parean geratu da lehiaketa batean» Berria 2024-11-19 (Noiz kontsultatua: 2024-11-25).
* ↑ The Unpredictable Abilities Emerging From Large AI Models. .
* ↑ Survey of Hallucination in Natural Language Generation. .
* ↑ OpenAI API. .
* ↑ A Short Survey of Pre-trained Language Models for Conversational AI-A New Age in NLP. doi:10.1145/3373017.3373028. ISBN 9781450376976..
* ↑ OpenAI's GPT-3 Language Model: A Technical Overview. .
* ↑ Energy and Policy Considerations for Deep Learning in NLP. .
* ↑ ISBN 978-1-5443-6137-6..
* ↑ Perplexity in Language Models. .
* ↑ «Improving language understanding with unsupervised learning» openai.com June 11, 2018.
* 1 2 Txantiloi:Cite arXiv
* ↑ Manning, Christopher D.. (2022). «Human Language Understanding & Reasoning» Daedalus 151 (2): 127–138. doi:10.1162/daed_a_01905..
* 1 2 Raffel, Colin; Shazeer, Noam; Roberts, Adam; Lee, Katherine; Narang, Sharan; Matena, Michael; Zhou, Yanqi; Li, Wei et al.. (2020). «Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer» Journal of Machine Learning Research 21 (140): 1–67. ISSN 1533-7928..
* ↑ «Imagen: Text-to-Image Diffusion Models» imagen.research.google.
* ↑ «Better language models and their implications» openai.com.
* 1 2 «OpenAI's GPT-3 Language Model: A Technical Overview» lambdalabs.com 3 June 2020.
* 1 2 «openai-community/gpt2-xl · Hugging Face» huggingface.co.
* ↑ (Ingelesez) AI, Abhishek Iyer, FreeText. (2021-05-15). «GPT-3’s free alternative GPT-Neo is something to be excited about» VentureBeat (Noiz kontsultatua: 2024-11-30).
* 1 2 3 «GPT-J-6B: An Introduction to the Largest Open Source GPT Model | Forefront» web.archive.org 2023-03-09 (Noiz kontsultatua: 2024-11-30).
* 1 2 Rajbhandari, Samyam; Li, Conglong; Yao, Zhewei; Zhang, Minjia; Aminabadi, Reza Yazdani; Awan, Ammar Ahmad; Rasley, Jeff; He, Yuxiong. (2022-07-21). DeepSpeed-MoE: Advancing Mixture-of-Experts Inference and Training to Power Next-Generation AI Scale. .
* ↑ Txantiloi:Cite arXiv
* ↑ «Product» Anthropic.
* 1 2 Txantiloi:Cite arXiv
* 1 2 3 Txantiloi:Cite arXiv
* 1 2 3 4 Table 20 and page 66 of PaLM: Scaling Language Modeling with Pathways Error in Webarchive template: url hutsa.
* ↑ Txantiloi:Cite arXiv
* ↑ (Ingelesez) «metaseq/projects/OPT/chronicles at main · facebookresearch/metaseq» GitHub.
* 1 2 .
* ↑ «Minerva: Solving Quantitative Reasoning Problems with Language Models» ai.googleblog.com 30 June 2022.
* ↑ doi:10.1038/d41586-023-00641-w. PMID 36890378. Bibcode: 2023Natur.615..202A..
* ↑ Txantiloi:Cite arXiv
* ↑ Txantiloi:Cite arXiv
* 1 2 3 «The Falcon has landed in the Hugging Face ecosystem» huggingface.co.
* ↑ (Ingelesez) Schreiner, Maximilian. (2023-07-11). «GPT-4 architecture, datasets, costs and more leaked» THE DECODER.
* ↑ «tiiuae/falcon-40b · Hugging Face» huggingface.co 2023-06-09.
* ↑ UAE's Falcon 40B, World's Top-Ranked AI Model from Technology Innovation Institute, is Now Royalty-Free Artxibatua 2024-02-08 hemen: Wayback Machine, 31 May 2023
* ↑ Wrobel, Sharon. «Tel Aviv startup rolls out new advanced AI language model to rival OpenAI» www.timesofisrael.com.
* ↑ Wiggers, Kyle. (2023-04-13). «With Bedrock, Amazon enters the generative AI race» TechCrunch.
* 1 2 .
* ↑ «Introducing PaLM 2» Google May 10, 2023.
* 1 2 .
* ↑ «llama/MODEL_CARD.md at main · meta-llama/llama» GitHub.
* ↑ «Claude 2» anthropic.com.
* ↑ (Ingelesez) Nirmal, Dinesh. (2023-09-07). «Building AI for business: IBM's Granite foundation models» IBM Blog.
* ↑ «Introducing Claude 2.1» anthropic.com.
* ↑ xai-org/grok-1. xai-org 2024-03-19.
* ↑ «Grok-1 model card» x.ai.
* ↑ «Gemini – Google DeepMind» deepmind.google.
* ↑ Franzen, Carl. (11 December 2023). «Mistral shocks AI community as latest open source model eclipses GPT-3.5 performance» VentureBeat.
* ↑ «Mixtral of experts» mistral.ai 11 December 2023.
* 1 2 Hughes, Alyssa. (12 December 2023). «Phi-2: The surprising power of small language models» Microsoft Research.
* 1 2 «Latxa - a HiTZ Collection» huggingface.co 2024-07-02 (Noiz kontsultatua: 2024-11-25).
* ↑ «EusCrawl» ixa.ehu.eus (Noiz kontsultatua: 2024-11-25).
* ↑ Agirre, Eneko; Etxaniz, Julen; Sainz, Oscar. (2024). Latxa - - euskararentzat inoiz eraikitako hizkuntza eredurik handiena. HiTZ Zentroa - UPV/EHU.
* ↑ AI, Mistral. (2024-04-17). «Cheaper, Better, Faster, Stronger» mistral.ai.
* ↑ «Our next-generation model: Gemini 1.5» Google 15 February 2024.
* ↑ «Introducing the next generation of Claude» www.anthropic.com.
* ↑ «Fugaku-LLM/Fugaku-LLM-13B · Hugging Face» huggingface.co.
* ↑ «Phi-3» azure.microsoft.com 23 April 2024.
* ↑ «Phi-3 Model Documentation» huggingface.co.
* ↑ «Qwen2» GitHub.
* ↑ «nvidia/Nemotron-4-340B-Base · Hugging Face» huggingface.co 2024-06-14.
* ↑ «Nemotron-4 340B | Research» research.nvidia.com.
* ↑ (Ingelesez) «llama-models/models/llama3_1/MODEL_CARD.md at main · meta-llama/llama-models» GitHub.
* ↑ «orai-nlp/ZelaiHandi · Datasets at Hugging Face» huggingface.co 2024-12-20 (Noiz kontsultatua: 2025-01-07).
* ↑ «Eredu neuronal berria euskarazko adimen artifizialerako | Orai» www.orai.eus (Noiz kontsultatua: 2025-01-04).
* ↑ «Aitzol Astigarraga: "2025ean euskararentzako LLM propioaren garapenari lotuko gatzaizkio"» Enpresa Bidea 2024-12-31 (Noiz kontsultatua: 2025-01-04).
* ↑ deepseek-ai/DeepSeek-R1. DeepSeek 2025-01-31 (Noiz kontsultatua: 2025-01-31).
* ↑ Qwen; Yang, An; Yang, Baosong; Zhang, Beichen; Hui, Binyuan; Zheng, Bo; Yu, Bowen; Li, Chengyuan; Liu, Dayiheng (2025-01-03), Qwen2.5 Technical Report, arXiv, doi:10.48550/arXiv.2412.15115, arXiv:2412.15115
* ↑ MiniMax; Li, Aonian; Gong, Bangwei; Yang, Bo; Shan, Boji; Liu, Chang; Zhu, Cheng; Zhang, Chunhao; Guo, Congchao (2025-01-14), MiniMax-01: Scaling Foundation Models with Lightning Attention, arXiv, doi:10.48550/arXiv.2501.08313, arXiv:2501.08313
* ↑ This is the date that documentation describing the model's architecture was first released.
* ↑ In many cases, researchers release or report on multiple versions of a model having different sizes. In these cases, the size of the largest model is listed here.
* ↑ This is the license of the pre-trained model weights. In almost all cases the training code itself is open-source or can be easily replicated.
* ↑ The smaller models including 66B are publicly available, while the 175B model is available on request.
* ↑ Facebook's license and distribution scheme restricted access to approved researchers, but the model weights were leaked and became widely available.

## Ikus, gainera

* ChatGPT
* Claude
* Gemini
* Perplexity AI
* Latxa
* Laguntzaile birtuala

## Kanpo estekak

* Leturia Azkarate, Igor. Adimen artifizial sortzailearen booma (Zientzia.eus, 2023)
* Datuak: Q115305900
* Multimedia: Large language models / Q115305900