# LLaMA (hizkuntza-eredu handia)

LLaMA (Large Language Model Meta AI) hizkuntza eredu handi bat da (HEH edo LLM), Meta AIk 2023ko otsailean plazaratua. 7 mila milioitik 65 mila milioi parametrora bitarteko ereduak entrenatu ziren. LLaMAren garatzaileek jakinarazi zutenez, 13.000 milioi parametroko ereduaren errendimenduak hizkuntzaren prozesamenduko erreferentzia-puntu gehienak gainditzeko balio du, esaterako, askoz handiagoa zen GPT-3rena (175.000 milioi parametrorekin) gainditu zuen, eta eredu handiena lehiakorra zela PaLM eta Chinchilla bezalako azken belaunaldiko ereduekin. HEH indartsuenak normalean API mugatuen bidez bakarrik banatu diren bitartean (baldin badaude ere), Metak LLaMAren ereduaren pisuak zabaldu zituen ikerketa komunitatean, lizentzia ez-komertzial baten pean. LLaMA merkaturatu eta astebetera, haren pisuak 4chan-era zabaldu ziren BitTorrenten bidez.
LLaMAk arkitektura eraldatzailea erabiltzen du, hizkuntza modelatzeko arkitektura estandarra 2018tik. LLaMAren garatzaileek ereduaren errendimendua eskalatzera bideratu zituzten beren ahaleginak, entrenamendu-datuen bolumena handituz, parametro kopurua handitu beharrean, HEHetarako kostu nagusia entrenatutako ereduaren gaineko inferentzia egitetik datorrela argudiatuz, entrenatze-prozesuaren kostu konputazionalaren ordez. 1,4 bilioi fitxarekin entrenatu zen LLaMA. Fitxa horiek publikoki eskura zeuden datu-iturrietatik atera ziren, hauek barne:
* CommonCrawl-ek hazkatutako web orriak.
* GitHub-en iturburu-kode irekiko gordailuak.
* Wikipedia 20 hizkuntzatan.
* Gutenberg Proiektuaren jabari publikoko liburuak.
* LaTeX iturburu-kodea ArXiv-en zintzilikatutako artikulu zientifikoentzat.
* Stack Exchange webguneen galderak eta erantzunak.

## Aplikazioak

Stanford Unibertsitateko Human Zentratutako Adimen Artifizialeko Institutuko Fundazio Ereduei buruzko Ikerketa Zentroak (CRFM) Alpaca plazaratu zuen, LLaMA 7B ereduan oinarritutako entrenamendu errezeta bat, zeinak instrukzioak doitzeko "Self-Instruct" metodoa erabiltzen duen, eta OpenAI GPT-3.5 serieko text-davinci-003 ereduarekin alderagarriak diren gaitasunak lortzen dituen.

## Bertsioak

Hizkuntza-eredu handien zerrendan ikus daiteke noiz sortu diren HEH honen bertsioak eta horien ezaugarriak.
Prestakuntza-kostuen zutaberako, 1 petaFLOP-egun = 1 petaFLOP/sec × 1 egun = 8,64E19 FLOP. Gainera, modeloaren handienaren kostua bakarrik dago idatzita.
| Izena | Argiratze data | Gara-tzailea | Parametro kopurua (mila milioika) | Corpusaren tamaina | Entrena-mendu-kostua (peta FLOP-egun) | Lizentzia | Oharrak |
| Llama (Large Language Model Meta AI, Meta AI Hizkuntza Eredu Handia) | 2023ko otsaila | Meta AI | 65 | 1.4 bilioi | 6.300 | Non-commercial research | Corpusak 20 hizkuntza ditu. "Gainentrenatua" (Chinchillako eskalatze-legearekin alderatuta) parametro gutxiagorekin errendimendu hobea lortzeko. |
| Llama 2 | 2023ko uztaila | Meta AI | 70 | 2 bilioi token | 21,000 | Llama 2 license | 1,7 milioi A100-ordu. |
| Latxa | 2024ko urtarrila | HiTZ zentroa | 70 | Llama 2-ren 2 bilioi token + euskarazko 288 milioi hitz | | LLaMA-2 License | Euskararako eredua da. Baliabide urri dituen hizkuntza izanik LLaMA ereduetan oinarritzen da eta euskarazko EusCrawl corpusa (288 milioi hitz) gehitu da. |
| Llama 3.1 | 2024ko uztaila | Meta AI | 405 | 15.6 T token | 440,000 | Llama 3 license | 405B bertsioak 31 milioi ordu behar izan zituen H100-80GB makina batean, 3,8E25 FLOPetan. |

## Euskara, Latxa eta beste hizkuntza ereduak

2024ko Informatikari Euskaldunen Bilkuraren barruan sei hizkuntza-eredu handi jarri zuten lehian euskarazko elkarrizketetan. Helburua EHUko Hitz zentroan garatzen den Latxa eredua «sistema komertzial hoberenen kontra» lehian jartzea izan zen, eta horra ondorioetako bat: GPT-4o eredu ezagunaren parean geratu zen ia. Dema horretan ikusi zen euskaraz «hobekien» zekien sistema Claude Sonnet 3.5 sistema komertziala zela, bigarren GPT-4o sistema geratu zen, eta haren «ia parean» geratu zen Latxa. Beherago geratu zen Gemini Flash 1.5, eta «askoz beherago» Command R+ eta LLama 3.1. Azken hori Latxa eredu berriaren «oinarria» da.
* * ChatGPT
* * Claude
* * Gemini
* * Latxa
* * Perplexity AI

## Erreferentziak

* ↑ Edwards, Benj. (2023-02-24). Meta unveils a new large language model that can run on a single GPU [Updated. ] https://arstechnica.com.
* ↑ Meta has built a massive new language AI—and it’s giving it away for free. https://www.technologyreview.com.
* ↑ Edwards, Benj. (2023-03-13). You can now run a GPT-3-level AI model on your laptop, phone, and Raspberry Pi. https://arstechnica.com.
* ↑ Vincent, James. (2023-03-08). Meta’s powerful AI language model has leaked online — what happens now?. https://www.theverge.com.
* ↑ Taori, Rohan. (13 març 2023). Alpaca: A Strong, Replicable Instruction-Following Model. Stanford Institute for Human-Centered Artificial Intelligence.
* ↑ Sustatu. (2024-11-10). «Adimen artifiziala euskaraz, sailkapena: 1) Claude / 2) GPT 4o / 3) Latxa» sustatu.eus (Noiz kontsultatua: 2025-01-03).
* ↑ «Latxa hizkuntza eredua GPT-4ren parean geratu da lehiaketa batean» Berria 2024-11-19 (Noiz kontsultatua: 2024-11-25).
* ↑ (Gaztelaniaz) Quesada Webb, Armando. (2024-06-12). «Latxa, un ChatGPT en euskera contra la brecha digital de los idiomas» El País (Noiz kontsultatua: 2024-11-25).

## Ikus, gainera

* Adimen artifiziala
* Adimen artifizial sortzailea
* Txatbot (Elkarrizketa-agentea)
* Laguntzaile birtuala
* Indargarri bidezko ikaskuntza
* Hizkuntzen prozesamendua
* Hizkuntza eredu handiak
* ChatGPT
* Claude
* Google Gemini
* Perplexity AI
* Latxa

## Kanpo estekak

* Datuak: Q116894231