# Latxa (hizkuntza-eredu handia)

Latxa Euskal Herriko Unibertsitateko HiTZ zentroak sortutako Hizkuntza Eredu Handien (HEH, Large Laguage Model) familia bat da, lizentzia libre duen Meta konpainiaren LLaMA ereduetan oinarrituta dagoena.
Gaur egungo HEHek errendimendu harrigarria dute baliabide ugariko hizkuntzetan, adibidez ingeleserako ChatGPT edo Bard-ek dituztenak. Euskara eta baliabide urriko beste hizkuntzen kasuan, ordea, haien errendimendua ausazko asmatzetik hurbil dago. Honek baliabide ugariko eta urriko hizkuntzen arteko arrakala teknologikoa handitu egiten du, tresna digitalei dagokionez behinik behin. Latxaren helburua muga horiek gainditu eta HEH-etan oinarritutako euskaraz dabiltzan ikerketa, berrikuntza eta produktuen garapena sustatzea da. Lan hori Eusko Jaurlaritzak lagundu du (IKER-GAITU proiektuaren barruan).
Hitz zentroak 2024ko maiatzean Latxa eredu linguistikoaren aurrerabideen berri eman zuenean azaldu zuen ChatGPTren lehen bertsioa gainditu zuela, adibidez, EGAren atariko proba egiten, eta Trivialen.

## Deskribapena

Latxa ereduak aldez aurretik trebatutako oinarrizko ereduak dira, 7-70 mila miloi parametro arteko ereduak biltzen dituzte. Erabiltzaileari zuzendutako jarraibide edo hobespenetan findu ez direnak. Eredu hauek ez dira, beraz, publiko orokorrak zuzenean erabiltzeko. Alabaina, eredu hauek funtsezkoak dira euskararako hizkuntza-teknologia darabilten tresna arrakastatsuak eraikitzeko. Eredu ireki hauek kaleratu dituzte teknikari adituek produktuak garatzeko erabil ditzaten edo eredua bera aplikazio jakinetara doitu dezaten. Dagoeneko erabiltzaileen jarraibideak segitzeko gai diren ereduak lantzen ari dira zentro horretan, baina 2024an oraindik ez zegoen garbi publiko orokorrak GPTrekin gazteleraz edo ingelesez lortzen den adinako kalitatea duten ereduak eraiki daitezkeenik euskararentzat. Hori da, hain zuzen, zentroaren ikerketen jomuga eta hortaz 2024ko eredua lehen bertsio bat bezala hartu daiteke, ikerketaren ondorioz eredu hobeak sortu nahi dituzte eta. Ereduak HiTZ zentroak dituen GPU motako zerbitzariak erabiliz garatu dituzte, eta azken ereduak CINECAko Leonardo superordenagailuan entrenatu dituzte.
Eredua eraikitzeko testu multzoari dagokionez, EusCrawl erabili dute, euskarazko testuez osatutako testu multzoa, 1,72 milloi dokumentu eta 288 miloi hitz dituena. EusCrawl kalitatezko edukia duten 33 webguneetatik erauzi zen, internetetik corpusak osatzeko beste teknikak baino kalitate hobea eskainiaz.
Ereduen kalitatea ebaluatzeko, ataza ezberdin eta askotarikoak erabili dituzte. Ataza horiek hainbat gaitasun linguistikotan ereduek duten gaitasuna neurtzen dute, hala nola, irakurketen ulermena, sen ona eta arrazoibidea, sentimenduen analisia, jarreren hautematea, gaien sailkapena, korreferentzia, inferentzia eta hitzen adierak. Ingelesezko LLaMA ereduak eta orain arteko euskara biltzen duten hizkuntza eredu onenetariko batzuk probatu dituzte Latxaren emaitzekin konparatzeko, eta argi ikusten da Latxa ereduak direla hoberenak, eta tamaina. handitu ahala emaitzak ere hobetzen doazela.
Latxa ereduek LLaMA-2 License delakoa heredatzen dute, ikerkuntzarako eta jarduera komertziala baimentzen duena. Nahiz eta ingelesezko ereduetan egon oinarrituta, Latxa ereduak euskaraz erabiltzeko pentsatu dira, eta hortaz, beste hizkuntzatan duten kalitatea ez dute bermatzen.

## Bertsioak

Hizkuntza-eredu handien zerrendan ikus daiteke noiz sortu diren HEH honen bertsioak eta horien ezaugarriak.
Prestakuntza-kostuen zutaberako, 1 petaFLOP-egun = 1 petaFLOP/sec × 1 egun = 8,64E19 FLOP. Gainera, modeloaren handienaren kostua bakarrik dago idatzita.
| Izena | Argiratze data | Gara-tzailea | Parametro kopurua (mila milioika) | Corpusaren tamaina | Entrena-mendu-kostua (peta FLOP-egun) | Lizentzia | Oharrak |
| Latxa | 2024ko urtarrila | HiTZ zentroa | 70 | Llama 2-ren 2 bilioi token + euskarazko 288 milioi hitz | | LLaMA-2 License | Euskararako eredua da. Baliabide urri dituen hizkuntza izanik LLaMA ereduetan oinarritzen da eta euskarazko EusCrawl corpusa (288 milioi hitz) gehitu da. |

## Euskara, Latxa eta beste hizkuntza ereduak

2024ko Informatikari Euskaldunen Bilkuraren barruan sei hizkuntza-eredu handi jarri zuten lehian euskarazko elkarrizketetan. Helburua EHUko Hitz zentroan garatzen den Latxa eredua «sistema komertzial hoberenen kontra» lehian jartzea izan zen, eta horra ondorioetako bat: GPT-4o eredu ezagunaren parean geratu zen ia. Dema horretan ikusi zen euskaraz «hobekien» zekien sistema Claude Sonnet 3.5 sistema komertziala zela, bigarren GPT-4o sistema geratu zen, eta haren «ia parean» geratu zen Latxa. Beherago geratu zen Gemini Flash 1.5, eta «askoz beherago» Command R+ eta LLama 3.1. Azken hori Latxa eredu berriaren «oinarria» da.
* ChatGPT
* Claude
* Gemini
* Latxa
* Perplexity AI

## Erreferentziak

* 1 2 Iraola, Arantxa. (2024-05-10). «EGA egiten ikasten ari da Latxa» Berria (Noiz kontsultatua: 2024-12-29).
* ↑ (Ingelesez) Julen Etxaniz, Oscar Sainz, Naiara Perez, Itziar Aldabe, German Rigau, Eneko Agirre, Aitor Ormazabal, Mikel Artetxe eta Aitor Soroa.. (2024). «Latxa: An Open Language Model and Evaluation Suite for Basque --- Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics.» Association for Computational Linguistics (ACL, Association for Computational Linguistics): 14952–14972..
* 1 2 3 4 5 Agirre, Eneko; Etxaniz, Julen; Sainz, Oscar. (2024). «Latxa - euskararentzat inoiz eraikitako hizkuntza eredurik handiena | HiTZ Zentroa» www.hitz.eus (HiTZ zentroa - EHuskal Herriko Unibertsitatea) (Noiz kontsultatua: 2024-12-28).
* ↑ Sustatu. (2024-11-10). «Adimen artifiziala euskaraz, sailkapena: 1) Claude / 2) GPT 4o / 3) Latxa» sustatu.eus (Noiz kontsultatua: 2025-01-03).
* ↑ «Latxa hizkuntza eredua GPT-4ren parean geratu da lehiaketa batean» Berria 2024-11-19 (Noiz kontsultatua: 2024-11-25).
* ↑ (Gaztelaniaz) Quesada Webb, Armando. (2024-06-12). «Latxa, un ChatGPT en euskera contra la brecha digital de los idiomas» El País (Noiz kontsultatua: 2024-11-25).

## Ikus, gainera

* Hizkuntza eredu handiak
* ChatGPT
* Claude
* Gemini
* LLaMA
* Perplexity AI
* Hizkuntzen prozesamendua
* Adimen artifiziala
* Adimen artifizial sortzailea
* Txatbot (Elkarrizketa-agentea)
* Laguntzaile birtuala
* Indargarri bidezko ikaskuntza

## Kanpo estekak

* Latxa HuggingFace-en. Begiratu “model card” delakoa informazio teknikorako eta ereduak erabiltzen hasteko argibideetarako.
* LLaMA-2 lizentzia
* Datuak: Q131583275