Hizkuntza eredu

Hizkuntza-eredu bat hitzen sekuentzien gaineko probabilitate-banaketa bat da.  luzerako hitzen edozein sekuentzia emanda, hizkuntza-eredu batek probabilitate bat esleitzen dio sekuentzia osoari:  Hizkuntza ereduetako probabilitateak kalkulatzeko hizkuntza bateko edo askotako testu corpusak erabiltzen dira, ikasketa edo trebakuntza deitzen den urratsean. Hizkuntzak baliozko esaldi ugari adierazteko erabil daitezkeenez hizkuntzaren modelizazioak arazo bati egin behar dio aurre: ikasketa-datuetan aurkitzen ez diren hizkuntza-sekuentzia baliozkoei probabilitate ez-nuluak esleitzea. Arazo hori gainditzeko hurbilpen desberdinak erabili dira, hala nola Markoven suposizioa aplikatzea edo neurona-sare errekurrenteak edo transformer modukoak.

Hizkuntza ereduak erabilgarriak dira hizkuntzalaritza konputazionalean problema askotarako; hizketaren ezagutza, itzulpen automatikoa, etiketatze morfosintaktikoa eta analisi sintaktikoa, karaktereen ezagutza optikoa, informazioa berreskuratzea eta beste hainbat.

Eredu motak 
Teknika desberdinak erabiltzen dira. Hona hemen horietako batzuk konplexutasunaren arabera (sinpleetatik hasita):

 unigramak
 n-gramak
 esponentziala (entropia)
 neurona-sareak

Euskarazko hizkuntza ereduak 
Euskararako entrenatu ziren hiru eredu neuronal zeuden 2022an publikoki atzigarri: 

 fastext embedding-ak, 
 BERT hizkuntza eredua, 
 FLAIR hizkuntza eredua. BERT hizkuntza eredua Hugging Face-eko liburutegiarekin erabili daiteke zuzenean

Alde nabarmena dago euskararen eta Europako gainerako hizkuntzen artean 2022an, ikerketaren heldutasunari eta hizkuntza-baliabideen inguruko prestakuntza-egoerari dagokienez. MC4 dataset eleaniztunak, adibidez, 10,401 Gb eskaintzen ditu ingeleserako, 1,613 Gb gaztelaniarako (6 aldiz gutxiago), eta 5 Gb bakarrik euskararako (2.000 aldiz gutxiago). Era berean, BERT hizkuntza-ereduaren ingeleserako jatorrizko bertsioa Google Books-en corpus bat erabiliz entrenatu zen. Corpus horrek 155.000 milioi hitz ditu Estatu Batuetako ingelesez eta 34.000 milioi hitz Britainia handiko ingelesez. Horrek esan nahi du corpus ingelesa bere euskal baliokidea (384 milioi hitz) baino ia 500 aldiz handiagoa zela 2020an. Hizkuntzen arteko alde hori hizketarako baliabideetan ere argi ikusten da. Common Voice enpresak, adibidez, 2015 baliozkotutako hizketa-ordu ematen ditu ingeleserako, 377 gaztelaniarako, eta 91 bakarrik euskararako.

Goiko adibide gutxi horietan ikusten den hizkuntzen arteko alde nabariak hizkuntza teknologian dagoen eten digital endemikoa azpimarratzen du. Hala ere, euskara bezalako baliabide gutxiko hizkuntzentzat puntu positiboa da aurrez prestatutako hizkuntza-eredu elebakarrek eta eleaniztunek nahiko emaitza onak ematen dituztela Hizkuntzaren Prozesamenduko ataza desberdinetan, baita entrenamendurako corpus askoz txikiagoak erabilita ere.

Erreferentziak

Ikus, gainera 

 Hizkuntzaren prozesamendu
 https://kevincrawfordknight.github.io/papers/wkbk.pdf

Kanpo estekak 

Estatistika aplikatua
Hizkuntzaren prozesamendua
Prozesu estokastikoak