Latxa (hizkuntza-eredu handia)

Latxa Euskal Herriko Unibertsitateko HiTZ zentroak sortutako Hizkuntza Eredu Handien (HEH, Large Laguage Model) familia bat da, lizentzia libre duen  Meta konpainiaren LLaMA ereduetan oinarrituta dagoena. 

Gaur egungo HEHek errendimendu harrigarria dute baliabide ugariko hizkuntzetan, adibidez ingeleserako ChatGPT edo Bard-ek dituztenak. Euskara eta baliabide urriko beste hizkuntzen kasuan, ordea, haien errendimendua ausazko asmatzetik hurbil dago. Honek baliabide ugariko eta urriko hizkuntzen arteko arrakala teknologikoa handitu egiten du, tresna digitalei dagokionez behinik behin.  Latxaren helburua muga horiek gainditu eta HEH-etan oinarritutako euskaraz dabiltzan ikerketa, berrikuntza eta produktuen garapena sustatzea da. Lan hori Eusko Jaurlaritzak lagundu du (IKER-GAITU proiektuaren barruan).

Hitz zentroak 2024ko maiatzean Latxa eredu linguistikoaren aurrerabideen berri eman zuenean azaldu zuen ChatGPTren lehen bertsioa gainditu zuela, adibidez, EGAren atariko proba egiten, eta Trivialen.

 Deskribapena 
Latxa ereduak aldez aurretik trebatutako oinarrizko ereduak dira, 7-70 mila miloi parametro arteko ereduak biltzen dituzte. Erabiltzaileari zuzendutako jarraibide edo hobespenetan findu ez direnak. Eredu hauek ez dira, beraz, publiko orokorrak zuzenean erabiltzeko. Alabaina, eredu hauek funtsezkoak dira euskararako hizkuntza-teknologia darabilten tresna arrakastatsuak eraikitzeko. Eredu ireki hauek kaleratu dituzte teknikari adituek produktuak garatzeko erabil ditzaten edo eredua bera aplikazio jakinetara doitu dezaten. Dagoeneko erabiltzaileen jarraibideak segitzeko gai diren ereduak lantzen ari dira zentro horretan, baina 2024an oraindik ez zegoen garbi publiko orokorrak GPTrekin gazteleraz edo ingelesez lortzen den adinako kalitatea duten ereduak eraiki daitezkeenik euskararentzat. Hori da, hain zuzen, zentroaren ikerketen jomuga eta hortaz 2024ko eredua lehen bertsio bat bezala hartu daiteke, ikerketaren ondorioz eredu hobeak sortu nahi dituzte eta. Ereduak HiTZ zentroak dituen GPU motako zerbitzariak erabiliz garatu dituzte, eta azken ereduak CINECAko Leonardo superordenagailuan entrenatu dituzte.

Eredua eraikitzeko testu multzoari dagokionez, EusCrawl erabili dute, euskarazko testuez osatutako testu multzoa, 1,72 milloi dokumentu eta 288 miloi hitz dituena. EusCrawl kalitatezko edukia duten 33 webguneetatik erauzi zen, internetetik corpusak osatzeko beste teknikak baino kalitate hobea eskainiaz.

Ereduen kalitatea ebaluatzeko, ataza ezberdin eta askotarikoak erabili dituzte. Ataza horiek hainbat gaitasun linguistikotan ereduek duten gaitasuna neurtzen dute, hala nola, irakurketen ulermena, sen ona eta arrazoibidea, sentimenduen analisia, jarreren hautematea, gaien sailkapena, korreferentzia, inferentzia eta hitzen adierak. Ingelesezko LLaMA ereduak eta orain arteko euskara biltzen duten hizkuntza eredu onenetariko batzuk probatu dituzte Latxaren emaitzekin konparatzeko, eta argi ikusten da Latxa ereduak direla hoberenak, eta tamaina. handitu ahala emaitzak ere hobetzen doazela.

Latxa ereduek LLaMA-2  License delakoa heredatzen dute, ikerkuntzarako eta jarduera komertziala baimentzen duena. Nahiz eta ingelesezko ereduetan egon oinarrituta, Latxa ereduak euskaraz erabiltzeko pentsatu dira, eta hortaz, beste hizkuntzatan duten kalitatea ez dute bermatzen.

 Bertsioak 
Hizkuntza-eredu handien zerrendan ikus daiteke noiz sortu diren HEH honen bertsioak eta horien ezaugarriak.

Prestakuntza-kostuen zutaberako, 1 petaFLOP-egun = 1 petaFLOP/sec × 1 egun = 8,64E19 FLOP. Gainera, modeloaren handienaren kostua bakarrik dago idatzita.
IzenaArgiratze dataGara-tzaileaParametro kopurua (mila milioika) Corpusaren tamainaEntrena-mendu-kostua (peta
FLOP-egun)LizentziaOharrakLatxa2024ko urtarrilaHiTZ zentroa70Llama 2-ren 2 bilioi token
+ euskarazko 288 milioi hitzLLaMA-2 LicenseEuskararako eredua da. Baliabide urri dituen hizkuntza izanik LLaMA ereduetan oinarritzen da eta euskarazko EusCrawl corpusa (288 milioi hitz) gehitu da.

 Euskara, Latxa eta beste hizkuntza ereduak 

2024ko Informatikari Euskaldunen Bilkuraren barruan  sei hizkuntza-eredu handi jarri zuten lehian euskarazko elkarrizketetan. Helburua EHUko Hitz zentroan garatzen den Latxa eredua «sistema komertzial hoberenen kontra» lehian jartzea izan zen, eta horra ondorioetako bat: GPT-4o eredu ezagunaren parean geratu zen ia. Dema horretan ikusi zen euskaraz «hobekien» zekien sistema Claude Sonnet 3.5 sistema komertziala zela,  bigarren GPT-4o sistema geratu zen, eta haren «ia parean» geratu zen Latxa. Beherago geratu zen Gemini Flash 1.5, eta «askoz beherago» Command R+ eta LLama 3.1. Azken hori Latxa eredu berriaren «oinarria» da.

 Erreferentziak 

 Ikus, gainera 

 Kanpo estekak 
 Latxa HuggingFace-en. Begiratu “model card” delakoa informazio teknikorako eta ereduak erabiltzen hasteko argibideetarako.
 LLaMA-2 lizentzia

Kategoria:Hitz zentroa
Kategoria:Txatbotak
Kategoria:Hizkuntza Eredu Handiak