LLaMA (hizkuntza-eredu handia)

**LLaMA** (**Large Language**  **Model Meta AI**) hizkuntza eredu handi bat da (HEH edo LLM), Meta AIk 2023ko otsailean plazaratua. 7 mila milioitik 65 mila milioi parametrora bitarteko ereduak entrenatu ziren. LLaMAren garatzaileek jakinarazi zutenez, 13.000 milioi parametroko ereduaren errendimenduak hizkuntzaren prozesamenduko erreferentzia-puntu gehienak gainditzeko balio du, esaterako,  askoz handiagoa zen GPT-3rena  (175.000 milioi parametrorekin) gainditu zuen, eta eredu handiena lehiakorra zela PaLM eta Chinchilla bezalako azken belaunaldiko ereduekin. HEH indartsuenak normalean API mugatuen bidez bakarrik banatu diren bitartean (baldin badaude ere), Metak LLaMAren ereduaren pisuak zabaldu zituen ikerketa komunitatean, lizentzia ez-komertzial baten pean. LLaMA merkaturatu eta astebetera, haren pisuak 4chan-era zabaldu ziren BitTorrenten bidez.

LLaMAk arkitektura eraldatzailea erabiltzen du, hizkuntza modelatzeko arkitektura estandarra 2018tik. LLaMAren garatzaileek ereduaren errendimendua eskalatzera bideratu zituzten beren ahaleginak, entrenamendu-datuen bolumena handituz, parametro kopurua handitu beharrean, HEHetarako kostu nagusia entrenatutako ereduaren gaineko inferentzia egitetik datorrela argudiatuz, entrenatze-prozesuaren kostu konputazionalaren ordez. 1,4 bilioi fitxarekin entrenatu zen LLaMA. Fitxa horiek publikoki eskura zeuden datu-iturrietatik atera ziren, hauek barne: 

* CommonCrawl-ek hazkatutako web orriak.
* GitHub-en iturburu-kode irekiko gordailuak.
* Wikipedia 20 hizkuntzatan.
* Gutenberg Proiektuaren jabari publikoko liburuak.
* LaTeX iturburu-kodea ArXiv-en zintzilikatutako artikulu zientifikoentzat.
* Stack Exchange webguneen galderak eta erantzunak.

## Aplikazioak 
Stanford Unibertsitateko Human Zentratutako Adimen Artifizialeko Institutuko Fundazio Ereduei buruzko Ikerketa Zentroak (CRFM) Alpaca plazaratu zuen, LLaMA 7B ereduan oinarritutako entrenamendu errezeta bat, zeinak instrukzioak doitzeko "Self-Instruct" metodoa erabiltzen duen, eta OpenAI GPT-3.5 serieko text-davinci-003 ereduarekin alderagarriak diren gaitasunak lortzen dituen.

## Bertsioak 
Hizkuntza-eredu handien zerrendan ikus daiteke noiz sortu diren HEH honen bertsioak eta horien ezaugarriak.

Prestakuntza-kostuen zutaberako, 1 petaFLOP-egun = 1 petaFLOP/sec × 1 egun = 8,64E19 FLOP. Gainera, modeloaren handienaren kostua bakarrik dago idatzita.

## Euskara, Latxa eta beste hizkuntza ereduak 
2024ko Informatikari Euskaldunen Bilkuraren barruan  sei hizkuntza-eredu handi jarri zuten lehian euskarazko elkarrizketetan. Helburua EHUko Hitz zentroan garatzen den Latxa eredua «sistema komertzial hoberenen kontra» lehian jartzea izan zen, eta horra ondorioetako bat: GPT-4o eredu ezagunaren parean geratu zen ia. Dema horretan ikusi zen euskaraz «hobekien» zekien sistema Claude Sonnet 3.5 sistema komertziala zela,  bigarren GPT-4o sistema geratu zen, eta haren «ia parean» geratu zen Latxa. Beherago geratu zen Gemini Flash 1.5, eta «askoz beherago» Command R+ eta LLama 3.1. Azken hori Latxa eredu berriaren «oinarria» da.
Fitxategi:ChatGPT_logo.svg|* ChatGPT
Fitxategi:Claude_AI_logo.svg|* Claude
Fitxategi:Google_Gemini_logo.svg|* Gemini
Fitxategi:Latxa_logotipoa.jpg|* Latxa
Fitxategi:Perplexity_AI_logo.svg|* Perplexity AI

## Erreferentziak 
## Ikus, gainera 
## Kanpo estekak