Hizkuntza-eredu handi

Hizkuntza-eredu autorregresibo gisa, sarrerako testu bat hartu eta hurrengo token edo hitza zein izan daitekeen aurreikusten dute, behin eta berriz.

Esaldi batean hurrengo hitza iragartzea bezalako zeregin sinpleetan trebatuta egon arren, horrekin batera giza hizkuntzaren sintaxiaren eta semantikaren zati handi bat ikasteko gaitasuna ere lortzen dute. Gainera, hizkuntza-eredu handiek munduari buruzko ezagutza orokorra ere badutela erakusten dute, eta entrenamenduan zehar gertaera ugariri buruz ikasteko gai direla. Hala ere, entrenamendua corpuseko testuaren gainean egiten denez, horrenganako menpekotasun handia dute gero, hau da, corpuseko testuak dituen zehaztasun-ezak eta alborapenak heredatzen dituzte.

Adibide aipagarriak dira OpenAIren GPT ereduak (adibidez, GPT-3.5 eta GPT-4, ChatGPT txatbotean erabiltzen direnak), Google-ren PaLM (Bard-en erabilia) eta Meta-ren LLaMa, baita BLOOM, Ernie 3.0 Titan eta Anthropic-en Claude 3 ere.

2024ko Informatikari Euskaldunen Bilkuraren barruan  sei hizkuntza-eredu handi jarri zuten lehian euskarazko elkarrizketetan. Helburua EHUko Hitz zentroan garatzen den Latxa eredua «sistema komertzial hoberenen kontra» lehian jartzea izan zen, eta horra ondorioetako bat: GPT-4o eredu ezagunaren parean geratu zen ia. Dema horretan ikusi zen euskaraz «hobekien» zekien sistema Claude Sonnet 3.5 sistema komertziala zela,  bigarren GPT-4o sistema geratu zen, eta haren «ia parean» geratu zen Latxa. Beherago geratu zen Gemini Flash 1.5, eta «askoz beherago» Command R+ eta LLama 3.1. Azken hori Latxa eredu berriaren «oinarria» da.

 Propietateak 

 Aurre entrenamendu datu multzoak 

HEHak testu-datu multzo handietan aldez aurretik trebatzen dira. Gehien erabiltzen diren testu-datu multzo batzuk Common Crawl, The Pile, MassiveText,​ Wikipedia eta GitHub dira. Datu multzoek 15.000.000 milioi hitz arteko tamaina heldu ziren 2024an. Baliabide urri dituen hizkuntza izanik, euskarazko testu-corpus handienen tamaina milaka aldiz txikiago izaten da; esate baterako EusCrawl corpusa (288 milioi hitz).  Hala ere bada berri on bat, euskarazko corpus ·txiki horiek" ingelesezko corpus itzel batekin batera entrenatuz gero, lortzen den eredua gauza da euskaraz modu duinean egiteko eta gauza da ingelesezko corpus handiaren ezagutza orokorra euskaraz erabiltzeko ere. Horrela, HiTZ zentroak 2024ko urtarrilean garatu zuen Latxa ereduan LLaMA 2 ereduko corpusa (2 bilioi hitz) erabili zuten eta euskarazko EusCrawl corpusa (288 milioi hitz, 6 mila aldiz txikiagoa) gehitu zioten.

Bestalde, izugarria da ikustea zelan hazten diren testu-corpusen tamaina. Esate baterako, lehen aipatutako LLaMA 2 ereduko corpusak 2 bilioi hitz zeuzkan 2023ko uztailean, eta urtebete geroago, 2024ko uztailean, LLaMA 3 eredu berriko corpusak 15,7 bilioi hitz zeuzkan. Urtebeteko epean entrenamendu-corpusaren tamaina ia zortzi aldiz handiagoa zen. Noski, HiTZ Zentroak corpus libre handiago hori erabili du Latxaren bertsio hobe bat sortzeko.

 Eskalatzeko legeak 

Oro har, HEH bat lau parametrorekin deskriba daiteke: ereduaren tamaina, prestakuntza-datuen multzoaren tamaina, prestakuntza-kostua eta entrenamenduaren ondorengo errendimendua. Lau aldagai horietako bakoitza zehatz-mehatz defini daiteke zenbaki erreal batean, eta enpirikoki lege estatistiko sinpleen bidez erlazionatuta aurkitzen da, "eskala-legeak" izenekoak.

Garai baterako modu autorregresiboan trebatutako HEHentzako eskalatze-lege partikular batek ("Chinchilla eskala"), ikaskuntza-tasa logaritmikoko programazio batekin, hau dio:

aldagaiak hauek dira:
 eredua entrenatzearen kostua da, FLOPetan.
 ereduko parametro kopurua da.
 entrenamendu multzoko token kopurua da.
 token bakoitzeko (nats / token) batez besteko log probabilitate-galera negatiboa da, probako datu multzoan trebatutako HEHak lortutakoa.

eta parametro estatistikoak hauek dira:

 , hau da, parametro bakoitzeko 6 FLOP kostatzen da token batean entrenatzea. Kontuan izan prestakuntza-kostua inferentzia-kostua baino askoz handiagoa dela, non parametro bakoitzeko 1 eta 2 FLOP kostatzen diren token bat ondorioztatzeko.



 Gaitasun emergenteak 

Normalean eredu txikien antzekoen errendimenduan oinarritutako hainbat zereginetan eredu handien errendimendua estrapola dezakeen arren, batzuetan eredu handiek "fase-aldaketako etena" izaten dute, non ereduak bat-batean ezagutzen ez diren gaitasun handiak eskuratzen dituen. Hauek "gaitasun emergenteak" izenez ezagutzen dira eta azterketa sakonen gai izan dira. Ikertzaileek adierazi dute gaitasun horiek "ezin direla aurreikusi eredu txikiagoen errendimendua estrapolatuz bakarrik". Gaitasun horiek programatuta edo diseinatuta aurkitu beharrean, kasu batzuetan HEHa publikoki zabaldu ondoren aurkitzen dira. Ehunka trebetasun aurkitu dira. Adibideak honako hauek dira: urrats anitzeko aritmetika, unibertsitate-mailako azterketak gainditzea, hitz baten esanahia identifikatzea, pentsamendu-katea, Nazioarteko Alfabeto Fonetikoa deskodetzea eta abar. 

 Aluzinazioak 

HEH-sortzaileek beren aurre-entrenamendu datuek justifikatzen ez duten egiazko aldarrikapenak ziurtasunez baieztatzen dituztela ikusi da, "aluzinazioa" deitu izan den fenomenoa da hori.

 Arkitektura 

Hizkuntza-eredu handiek transformer izeneko arkitektura erabili dute gehienbat, 2018az geroztik, datu sekuentzialetarako ikaskuntza sakoneko teknika estandarra bihurtu da (lehen, LSTM bezalako arkitektura errepikakorrak ziren ohikoenak).

 Tokenizazioa 

HEHak funtzio matematikoak dira, eta hauen sarrera eta irteera zenbakien zerrendak dira. Ondorioz, hitzak zenbaki bihurtu behar dira.

Orokorrean, HEH batek tokenizatzaile bat erabiltzen du. Tokenizatzailea testuen eta zenbaki osoen zerrenden arteko mapak egiten dituen funtzio bijektibo bat da. Tokenizatzailea normalean aurreentrenamentu-datu multzo osora egokitzen da eta gero izoztu egiten da HEHa entrenatu aurretik. Aukera arrunt bat byte bikoteen kodeketa da.

Tokenizatzaileen beste ezaugarri bat testu-konpresioa da, eta horrek konputazioa aurrezten du. "Non dago" bezalako hitz edo esaldi arruntak token batean kodetu daitezke, 7 karaktere izan beharrean. OpenAI GPT-ek tokenizer bat erabiltzen dute, eta token bat 4 karaktere ingururekin osatzen da, edo 0,75 hitz ingururekin, ingelesezko testu arruntean.  Ingelesezko testu ezohikoa ezin da hain erraz aurreikusi, beraz, gutxiago konprimitu ahalko da, beraz, token gehiago behar ditu kodetzeko.

Tokenizatzaile batek ezin ditu zenbaki oso arbitrarioak sortu. Normalean  barneko zenbaki osoak soilik ateratzen dituzte,  hiztegiaren tamainari deritzo.

Tokenizatzaile batzuk testu arbitrarioak kudeatzeko gai dira (normalean Unicode-n zuzenean funtzionatuz), baina beste batzuk ez. Kodetzerik gabeko testua topatzen denean, tokenizagailu batek "testu ezezaguna" adierazten duen token berezi bat sortuko luke (askotan 0). Hau [UNK] bezala idatzi ohi da, BERT dokumentuan bezala.

Askotan erabiltzen den beste token berezi bat [PAD] da, "betegarria" egiteko. Hau erabiltzen da normalean HEHak aldi berean testu-loteetan erabiltzen direlako, eta testu horiek ez dira luzera berdinean kodetzen. HEHek, oro har, sarrera zerrenda ez-irregularra izatea eskatzen dutenez, kodetutako testu laburragoak bete behar dira luzeagoaren luzerarekin bat etorri arte.

 Irteera 

HEH baten irteera bere hiztegiaren gaineko probabilitate banaketa da. Hau normalean honela ezartzen da:

 Testu bat jasotzean, HEH gehienak bektore bat sortzen du  non  bere hiztegiaren tamaina den.
  bektorea softmax funtzio batetik pasatzen da ) lortzeko.

Prozesuan,  bektoreari logit bektore ez normalizatua deitzen zaio, eta  bektoreari probabilitate-bektorea.  bektoreak  sarrera dituenez, guztiak ez-negatiboak, eta 1era batuta,  probabilitate-banaketa gisa interpreta dezakegu, hau da, probabilitate banaketa bat da HEHaren hiztegian.

 Entrenamendua 

HEH gehienak aurre-entrenamendu generatiboa erabiliz entrenatzen dira, hau da, testu-token prestakuntza-datu multzo bat emanda, ereduak datu-multzoko tokenak aurreikusten ditu. Bi aurre-entrenamendu generatibo estilo orokor daude:

 Autorregresiboa: "Izokia jatea" bezalako testu-segmentu bat emanda, ereduak hurrengo tokenak aurreikusten ditu, "gustatzen zait" adibidez.
 Maskaratua: "Txokolatezko [MASKARA] [MASKARA] gustatzen zait" bezalako testu-segmentu bat emanda, ereduak maskaratutako tokenak aurreikusten ditu, adibidez "izozkia jatea".

HEHak datuen banaketaren ulermena erakusten duten bestelako zereginetan entrenatu daitezke.

Normalean, HEHak galera-funtzio zehatz bat minimizatzeko entrenatzen dira: token bakoitzeko batez besteko log probabilitate negatiboa (entropia gurutzatua ere deitzen zaio) adibidez. Eredu autorregresibo batek, "Izozkia jatea gustatzen" emanda, probabilitate-banaketa bat aurreikusten badu  orduan token honen log probabilitate negatiboa  izango da.

Entrenamenduan zehar, erregularizazio-galera ere erabiltzen da entrenamendua egonkortzeko. Hala ere, erregularizazio-galera hau ez da proba eta ebaluazioan erabiltzen. Ebaluazio-irizpide gehiago ere badaude entropia gurutzatutik haratago.

HEHak milaka milioi hitzen dimentsioa duten corpus linguistikoetan eratzen dira.

GPT-1, OpenAI-ren aurreentrenatutako lehen transformer-eredua, 2018an BookCorpus-en entrenatu zen, hau 985 milioi hitzez osatzen da. Urte berean, BERT BookCorpus eta ingelesezko wikipediaren konbinazio batean entrenatu zen, 3.300 milioi hitz guztira.Harrezkero, HEHrako prestakuntza-corpusak handitu egin dira, eta billoi bat tokenetara iritsi dira.

 Entrenamendu kostua 

HEHak konputazionalki oso garestiak dira entrenatzereko garaian. 2020ko ikerketa batek 1.500 milioi parametroko eredua entrenatzearen kostua 1.6 milioi dolarrekoa dela kalkulatu zuen. Softwarearen eta hardwarearen aurrerapenek kostua nabarmen murriztu dute, 2023ko paper batean aurreikusi zen 72.300 orduko A100-GPU kostua duela 12.000 milioi parametro-eredu bat entrenatzeko. Kalkulatzen da GPT-3 bat behin bakarrik entrenatzea, 175.000 milioi parametrorekin, 4,6 milioi dolar behar direla.Horretarako RTX 8000 bakar batek 665 urte beharko lituzke bukatzeko.

Transformerretan oinarritutako HEHetarako, parametro bakoitzeko 6 FLOP kostatzen da token batean entrenatzea. Kontuan izan behar da prestakuntza-kostua inferentzia-kostua baino askoz handiagoa dela, non parametro bakoitzeko 1 eta 2 FLOP artean kostatzen den token batean ondorioztatzeko.

Ingurumen kostuari dagokionez, HEH baten entrenamenduak kostu energetikoa oso altua du. Eredu bat entrenatzeak bidaiari batek New York-etik San Frantziskorako hegaldi batean bezainbesteko karbono-isuria egiten da.​ GPT-3-ren kasuan, kalkulatzen da 1.200 MWh konsumitzen dela, 500 tona CO2 isuri baino gehiago sortuz. Kostu horiek areagotu egiten dira ereduek parametro gehiago dituezten heinean. Prestakuntza-ziklo bakoitzak ehunka edo milaka CPU eta GPUren dedikazio esklusiboa eskatzen du, hauek karga konputazional handia onartzen dute, datu kopuru handiak gordetzeaz eta mugitzeaz gain. Horrek guztiak energia-kontsumo handia eragiten du, eta bero kantitate handiak sortzen ditu.

Kostu horiek murrizteko, irtenbide posible bat eredu txikiagoak erabiltzea da. Hauek eredu handi baten antzera funtziona dezaket, eta 100 dolar inguruko kostua dute entrenatzean. Eredu txiki baten adibidea Alpaca eredua da, Stanfordeko Unibertsitateko ikertzaileek Meta AI-ren LLaMA izeneko ereduan garatua. Hau nahikoa arina da eta mahaigaineko ordenagailu batean exekuta daiteke.

 Ondorengo zereginetarako aplikazioa (downstream tasks) 
2018 eta 2020 artean, hizkuntza naturalaren prozesatzeko (NLP) HEH bat prestatzeko metodo estandarra ataza zehatz baterako eredua doitzea izan zen, zeregin espezifikoko prestakuntza osagarri batekin. Ondoren, aurkitu zen HEH indartsuagoek, GPT-3 adibidez, zereginak prestakuntza gehigarririk gabe ebatzi ditzaketela "prompting" tekniken bidez, zeinetan konpondu beharreko arazoa testu-mezu gisa aurkezten zaiola ereduari, agian testu-adibide batzuekin, antzeko arazoak eta haien konponbideak emanez.

 Fine-tuning 
Fine-tuning aldez aurretik trebatutako hizkuntza-eredu bat aldatzeko praktika da (modu gainbegiratuan) zeregin zehatz batean trebatuz (adibidez, sentimenduen analisian, entitate izendapenaren errekonozimendua edo gramatika etiketatzea). Ikaskuntza transferitzeko modu bat da. Normalean, hizkuntza-ereduaren azken geruza nahi den zereginaren emaitzekin lotzen duten pisu multzo berri bat sartzeaz oinarritzen da. Hizkuntza-ereduaren jatorrizko pisuak "izoztu" daitezke, eta, beraz, irteerarekin lotzen dituen pisu-geruza berria bakarrik ikasten da entrenamenduan. Jatorrizko pisuen eguneratze txikiak eginez ere lortzen da.

 Ebaluazioa 

 Perplexitatea 

Hizkuntza-eredu baten errendimenduaren neurririk erabiliena testu-corpus jakin batean duen perplexitatea da. Perplexitatea eredu batek datu-multzo baten edukia zenbateraino iragar dezakeen neurtzen du; ereduak datu multzoa iragartzen duenaren probabilitatea zenbat eta handiago, orduan eta perplexitate txikiagoa izango du. Matematikoki, perplexitatea token bakoitzeko batez besteko log probabilitate negatiboaren esponentzial gisa definitzen da:  hemen  
testu-corpuseko token kopurua da, eta "i tokenaren testuingurua" erabilitako HEH motaren araberakoa da. HEH autorregresiboa bada, "i tokenaren testuingurua" i tokenaren aurretik agertzen den testu-segmentua da. HEHa maskaratuta badago, "i tokenaren testuingurua" i tokenaren inguruko testu-segmentua da.

Hizkuntza-ereduak beren prestakuntza-datuetara gehiegi moldatu daitezkeenez, ereduak normalean ikusten ez diren datuen proba-multzo batean perplexitatearen arabera ebaluatzen dira. Horrek erronka bereziak ditu hizkuntza eredu handiak ebaluatzeko.

 Hizkuntza-eredu handien zerrenda 

Prestakuntza-kostuen zutaberako, 1 petaFLOP-egun = 1 petaFLOP/sec × 1 egun = 8,64E19 FLOP. Gainera, modeloaren handienaren kostua bakarrik dago idatzita.
IzenaArgiratze dataGara-tzaileaParametro kopurua (mila milioika) Corpusaren tamainaEntrena-mendu-kostua (peta
FLOP-egun)LizentziaOharrakGTP-12018ko ekainaOpenAI1 Lehen GPT modeloa, dekodetzaile hutsezko transformerra. 30 egunez 8 P600 GPUtan entrenatua.BERT2018ko urriaGoogle3,3 mila milioi hitz Hizkuntza-eredu goiztiar eta eragin handikoa. Kodifikatzailea besterik ez, eta, beraz, ez dago eraikita elkarizketan erabilia edo sortzailea izateko . Entrenamenduak 4 egun iraun zuen 64 TPUv2 txipekin.T52019ko urriaGoogle1134 mila milioi token Googleren proiektu askotarako oinarrizko eredua, esate baterako, Irudia.XLNet2019ko ekainaGoogle mila milioi hitz330 BERTen alternatiba bat; kodetzaile gisa soilik diseinatua. 512 TPU v3 txipetan entrenatua 5,5 egunetan.GTP-22019ko otsailaOpenAI40 GB (~ mila milioi token)28 32 TPUv3-txipetan entrenatuta astebetez.GPT-32020ko maiatzaOpenAI token3640 GPT-3 aldaera findu bat, GPT-3.5 izenekoa, publikoaren eskura jarri zen ChatGPT izeneko web interfaze baten bidez 2022an.GPT-Neo2021eko martxoaEleutherAI825 GiB  EleutherAIk liberatu zituen doako GPT-3 alternatiben artean lehena. GPT-Neok proba batzuetan tamaina bereko GPT-3 eredu bat gainditu zuen, baina GPT-3 handiena baino nabarmen okerragoa izan zen.GPT-J2021eko ekainaEleutherAI825 GiB200 GPT-3 estiloko hizkuntza-ereduaMegatron-Turing NLG2021eko urriaMicrosoft eta Nvidia token38.000 Hiru hilabetez entrenatua A100 motako 2.000 GPU baino gehiagotan NVIDIA Selene Superkonputagailuan, 3 milioi GPU ordu baino gehiagotan.Ernie 3.0 Titan2021eko urriaBaidu4 Tb  Txinerarako HEHa. Ernie Bot izeneko bot-ak eredu hau du oinarri.Claude2021eko urriaAnthropic token  Elkarrizketetan nahi den portaerarako ongi doitua .GLaM (hizkuntza-eredu orokorra)2021eko urriaGoogle token5.600 Eredu berezia (aditu-konbinazioa), garestiagoa da entrenatzeko, baina merkeagoa inferentzia exekutatzeko, GPT-3rekin alderatuta.Gopher2021eko urriaDeepMind token5.833Table 20 and page 66 of PaLM: Scaling Language Modeling with Pathways  Ondoren, Chinchilla eredurako garatu zen.LaMDA (Elkarrizketa hizkuntza ereduak)2022ko urtarrilaGoogle1.56T hitz,  token4.110 Elkarrizketetan erantzunak sortzeko espezializatua.GPT-NeoX2022ko otsailaEleutherAI825 GiB740 Megatron arkitekturan oinarrituaChinchilla2022ko martxoaDeepMind token6.805 Parametro gutxiko eredua, datu gehiagotan entrenatua. Sparrow botean erabilia. Sarritan aipatua bere eskala neuronalaren legearengatik.PaLM (Pathways Language Model, Pathways hizkuntza-eredua)2022ko apirilaGoogle token Entrenatua ~60 egunetan, ~6000 TPU v4 txipetan. 2024ko urrian, argitaratutako transformer trinko handiena zenOPT (Open Pretained
Transformer)2022ko MaiatzaMeta token310  GPT-3 arkitektura, Megatronetik hartutako egokitzapen batzuekin. Modu bakarrean, taldeak idatzitako prestakuntza koadernoa argitaratu zuten.YaLM 100B2022ko ekainaYandex1,7 Tuberkulosia   Eredu anglo-errusiarra, Microsoften Megatron-LMan oinarritua.Minerva2022ko ekainaGoogleEduki matematikan iragazitako web orrien eta arXiv aurre-inprimaketa-zerbitzarira bidalitako dokumentuen 38,5B token  "Gai matematiko eta zientifikoak urratsez urratseko arrazoiketa erabiliz" ebazteko. PaLM ereduetatik abiatua, datu matematiko eta zientifikoekin findua.BLOOM2022ko uztailaLankidetza handia, Hugging Face buru zela token (1.6TB)  Funtsean, GPT-3, baina corpus eleanitz batekin entrenatua (% 30 ingelesez, programazio-lengoaiak alde batera utzita)Galactica2022ko azaroaMeta tokenezezaguna Entrenatua testu zientifikoetarako eta modalitateetarako.AlexaTM (Irakasle-Ereduak)2022ko azaroaAmazon  Sekuentziatik-sekuentziara arkitekturakoa baina bi noranzkoetan Neuro-sama2022ko abenduaIndepend.EzezagunaEzezaguna  Twitchen zuzenean transmititzeko diseinatutako hizkuntza-eredua.Llama (Large Language Model Meta AI, Meta AI Hizkuntza Eredu Handia)2023ko otsailaMeta AI6.300 Corpusak 20 hizkuntza ditu. "Gainentrenatua" (Chinchillako eskalatze-legearekin alderatuta) parametro gutxiagorekin errendimendu hobea lortzeko.GPT-42023ko martxoaOpenAIEzezaguna (Zurrumurruen arabera: 1.760)EzezagunaEzezaguna ChatGPT Plus-eko erabiltzaileentzat eskuragarri eta hainbat produktutan erabilia.Chameleon2024ko ekainaMeta AICerebras-GPT2023ko martxoaCerebras270  Chinchillaren formularekin entrenatua.Falcon2023ko martxoaTechnology Innovation InstituteBilioi bat token, RefineWeb-etik hartuta (corpusetik iragazitako web testua) eta zenbait "corpus ondu".2.800 UAE's Falcon 40B, World's Top-Ranked AI Model from Technology Innovation Institute, is Now Royalty-Free , 31 May 2023BloombergGPT2023ko martxoaBloomberg L.P.363 mila milioi token zuen datu multzoa Bloomberg-eko datu-iturrietan oinarrituta, gehi 345 mila milioi token helburu orokorreko datu-multzotatik  Jabedun iturritako finantza-datuetan trebatua, finantza-zereginetarako.PanGu-Σ2023ko martxoaHuawei329 mila milioi token  OpenAssistant2023ko martxoaLAION1,5 bilioi token  Crowdsourcing-eko datu irekietan trebatuaJurascli-22023ko martxoaAI21 LabsEzezagunaEzezaguna  EleaniztunaPALM 2 (Pathways Language Model 2)2023ko maiatzaGoogle token Bard chatboten erabili zuten (Gemini).Llama 22023ko uztailaMeta AI token 1,7 milioi A100-ordu.Claude 22023ko uztailaAnthropicEzezagunaEzezagunaEzezaguna Claude txatborean erabiltzen da.Granitoa 13b2023ko uztailaIBMEzezagunaEzezagunaEzezaguna IBM Watsonx-en erabilia.Mistral 7B2023ko irailaMistral AIEzezaguna  Claude 2.12023ko azaroaAnthropicEzezagunaEzezagunaEzezaguna Claude txabotean erabiltzen da. 200.000 tokeneko edo ~500 orrialdeko testuinguru-leihoa du.Grok-12023ko azaroax.AI314EzezagunaEzezaguna Grok txatbotean erabiltzen da. Grok-1ek 8.192 tokeneko testuinguru-luzera du eta X-rako (Twitter) atzipena du.Gemini 1.02023ko abenduaGoogle DeepMindEzezagunaEzezagunaEzezaguna Eredu multimodala, hiru tamainatan dator. Izen bereko chatbotean erabilia.Mixtrala 8x7B2023ko abenduaMistral AI46,7EzezagunaEzezaguna GPT-3.5 eta Llama 2 70B  gainditzen ditu proba askotan. Aditu-konbinazioa eredua, 12.900 milioi parametro token bidez aktibatuak.Phi-22023ko abenduaMicrosoft2,71.4T token419 "Kalitatezko testuliburuetako" datu erreal eta sintetikoetan trebatua, 14 egunez A100 motako 96 GPU etan.Latxa2024ko urtarrilaHiTZ zentroa70Llama 2-ren 2 mila milioi token 
+ euskarazko 288 milioi hitzEuskararako eredua da. Baliabide urri dituen hizkuntza izanik LLaMA ereduetan oinarritzen da eta euskarazko EusCrawl corpusa (288 milioi hitz) gehitu da.Mixtral 8x22B2024ko apirilaMistral AI141EzezagunaEzezaguna Gemini 1.52024ko otsailaGoogle DeepMindEzezagunaEzezagunaEzezaguna Eredu multimodala, Aditu-konbinazioko (Mixture of experts, MoE) arkitekturan oinarritua. Milioi bat tokenetik gorako testuinguruaren leihoa .Gemini Ultra2024ko otsailaGoogle DeepMindEzezagunaEzezagunaEzezagunaGemma2024ko otsailaGoogle DeepMind76T tokenEzezaguna Claude 32024ko martxoaAnthropicEzezagunaEzezagunaEzezagunaHiru modelo ditu: Haiku, Sonnet eta Opus.Nova2024ko urriaRubik's AIEzezagunaEzezagunaEzezagunaHiru modelok osatzen dute: Nova-Instant, Nova-Air, eta Nova-Pro.DBRX2024ko martxoaDatabricks eta Mosaic ML12T tokenEntrenamenduak 10 milioi dolarreko kostua izan zuen.Fugaku-HEH2024ko maiatzaFujitsu, Tokioko Teknologia Institutua, etab.380 B tokenCPUtan bakarrik entrenatutako inoizko eredurik handiena, Fugakun.Phi-32024ko apirilaMicrosoft144.8T tokenMicrosoftek "hizkuntza-eredu txiki" gisa komertzializatzen ditu.Granite Code Models2024ko maiatzaIBMEzezagunaEzezagunaEzezaguna Qwen22024ko ekainaAlibaba Cloud723T tokenHainbat tamaina, txikiena 0.5 B-koa izanik.Nemotron-42024ko ekainaNvidia9T tokenEpoch baterako entrenatua. H100 motako 6.144 GPUtan entrenatua 2023ko abendutik 2024ko maiatzera.Llama 3.12024ko uztailaMeta AI40515.6 T token 405B bertsioak 31 milioi ordu behar izan zituen H100-80GB makina batean, 3,8E25 FLOPetan.Llama-eus-8B 2024ko irailaOrai NLP Teknologiak15.6 T + 0.5 T tokenLlama3.1-8B-ko corpusa + ZelaiHandi corpusa DeepSeek V32024ko abenduaDeepSeek67114.8T token02.788M ordu H800 GPUs makina batean.Amazon Nova2024ko abenduaAmazonEzezaguna Ezezaguna EzezagunaHiru eredu ditu: Nova Micro, Nova Lite, eta Nova ProDeepSeek R12025eko urtarrilaDeepSeek671EzezagunaEzezagunaAurre-entrenamendurik gabe.  V3-Base oinarriaren gainean.Qwen2.52025eko urtarrilaAlibaba7218T tokenEzezagunaQwen; Yang, An; Yang, Baosong; Zhang, Beichen; Hui, Binyuan; Zheng, Bo; Yu, Bowen; Li, Chengyuan; Liu, Dayiheng (2025-01-03), Qwen2.5 Technical Report, arXiv, doi:10.48550/arXiv.2412.15115, arXiv:2412.15115 MiniMax-Text-012025eko urtarrilaMinimax4564.7T tokenEzezagunaMiniMax; Li, Aonian; Gong, Bangwei; Yang, Bo; Shan, Boji; Liu, Chang; Zhu, Cheng; Zhang, Chunhao; Guo, Congchao (2025-01-14), MiniMax-01: Scaling Foundation Models with Lightning Attention, arXiv, doi:10.48550/arXiv.2501.08313, arXiv:2501.08313
 Erreferentziak 

 Ikus, gainera 

 ChatGPT
 Claude
 Gemini
 Perplexity AI
 Latxa
 Laguntzaile birtuala

 Kanpo estekak 
 Leturia Azkarate, Igor. Adimen artifizial sortzailearen booma (Zientzia.eus, 2023)

Kategoria:Adimen artifizial sortzailea
Kategoria:Hizkuntzaren prozesamendua
Kategoria:Hizkuntza Eredu Handiak