LLaMA (hizkuntza-eredu handia)

LLaMA (Large Language  Model Meta AI) hizkuntza eredu handi bat da (HEH edo LLM), Meta AIk 2023ko otsailean plazaratua. 7 mila milioitik 65 mila milioi parametrora bitarteko ereduak entrenatu ziren. LLaMAren garatzaileek jakinarazi zutenez, 13.000 milioi parametroko ereduaren errendimenduak hizkuntzaren prozesamenduko erreferentzia-puntu gehienak gainditzeko balio du, esaterako,  askoz handiagoa zen GPT-3rena  (175.000 milioi parametrorekin) gainditu zuen, eta eredu handiena lehiakorra zela PaLM eta Chinchilla bezalako azken belaunaldiko ereduekin. HEH indartsuenak normalean API mugatuen bidez bakarrik banatu diren bitartean (baldin badaude ere), Metak LLaMAren ereduaren pisuak zabaldu zituen ikerketa komunitatean, lizentzia ez-komertzial baten pean. LLaMA merkaturatu eta astebetera, haren pisuak 4chan-era zabaldu ziren BitTorrenten bidez.

LLaMAk arkitektura eraldatzailea erabiltzen du, hizkuntza modelatzeko arkitektura estandarra 2018tik. LLaMAren garatzaileek ereduaren errendimendua eskalatzera bideratu zituzten beren ahaleginak, entrenamendu-datuen bolumena handituz, parametro kopurua handitu beharrean, HEHetarako kostu nagusia entrenatutako ereduaren gaineko inferentzia egitetik datorrela argudiatuz, entrenatze-prozesuaren kostu konputazionalaren ordez. 1,4 bilioi fitxarekin entrenatu zen LLaMA. Fitxa horiek publikoki eskura zeuden datu-iturrietatik atera ziren, hauek barne: 

 CommonCrawl-ek hazkatutako web orriak.
 GitHub-en iturburu-kode irekiko gordailuak.
 Wikipedia 20 hizkuntzatan.
 Gutenberg Proiektuaren jabari publikoko liburuak.
 LaTeX iturburu-kodea ArXiv-en zintzilikatutako artikulu zientifikoentzat.
 Stack Exchange webguneen galderak eta erantzunak.

 Aplikazioak 
Stanford Unibertsitateko Human Zentratutako Adimen Artifizialeko Institutuko Fundazio Ereduei buruzko Ikerketa Zentroak (CRFM) Alpaca plazaratu zuen, LLaMA 7B ereduan oinarritutako entrenamendu errezeta bat, zeinak instrukzioak doitzeko "Self-Instruct" metodoa erabiltzen duen, eta OpenAI GPT-3.5 serieko text-davinci-003 ereduarekin alderagarriak diren gaitasunak lortzen dituen.

 Bertsioak 
Hizkuntza-eredu handien zerrendan ikus daiteke noiz sortu diren HEH honen bertsioak eta horien ezaugarriak.

Prestakuntza-kostuen zutaberako, 1 petaFLOP-egun = 1 petaFLOP/sec × 1 egun = 8,64E19 FLOP. Gainera, modeloaren handienaren kostua bakarrik dago idatzita.
IzenaArgiratze dataGara-tzaileaParametro kopurua (mila milioika) Corpusaren tamainaEntrena-mendu-kostua (peta
FLOP-egun)LizentziaOharrakLlama (Large Language Model Meta AI, Meta AI Hizkuntza Eredu Handia)2023ko otsailaMeta AI651.4 bilioi6.300Non-commercial researchCorpusak 20 hizkuntza ditu. "Gainentrenatua" (Chinchillako eskalatze-legearekin alderatuta) parametro gutxiagorekin errendimendu hobea lortzeko.Llama 22023ko uztailaMeta AI702 bilioi token21,000Llama 2 license1,7 milioi A100-ordu.Latxa2024ko urtarrilaHiTZ zentroa70Llama 2-ren 2 bilioi token
+ euskarazko 288 milioi hitzLLaMA-2 LicenseEuskararako eredua da. Baliabide urri dituen hizkuntza izanik LLaMA ereduetan oinarritzen da eta euskarazko EusCrawl corpusa (288 milioi hitz) gehitu da.Llama 3.12024ko uztailaMeta AI40515.6 T token440,000Llama 3 license405B bertsioak 31 milioi ordu behar izan zituen H100-80GB makina batean, 3,8E25 FLOPetan.

 Euskara, Latxa eta beste hizkuntza ereduak 
2024ko Informatikari Euskaldunen Bilkuraren barruan  sei hizkuntza-eredu handi jarri zuten lehian euskarazko elkarrizketetan. Helburua EHUko Hitz zentroan garatzen den Latxa eredua «sistema komertzial hoberenen kontra» lehian jartzea izan zen, eta horra ondorioetako bat: GPT-4o eredu ezagunaren parean geratu zen ia. Dema horretan ikusi zen euskaraz «hobekien» zekien sistema Claude Sonnet 3.5 sistema komertziala zela,  bigarren GPT-4o sistema geratu zen, eta haren «ia parean» geratu zen Latxa. Beherago geratu zen Gemini Flash 1.5, eta «askoz beherago» Command R+ eta LLama 3.1. Azken hori Latxa eredu berriaren «oinarria» da.

 Erreferentziak 

 Ikus, gainera 

 Kanpo estekak 

Kategoria:Hizkuntza Eredu Handiak