Modeli i gjuhës

Një **model gjuhësor** (ang. Language Model) është një model probabilistik i një gjuhe natyrore.Në vitin 1980, u propozua modeli i parë i rëndësishëm statistikor i gjuhës dhe gjatë dekadës IBM kreu eksperimente të stilit Shannon, në të cilat burimet e mundshme për përmirësimin e modelimit të gjuhës u identifikuan duke vëzhguar dhe analizuar performancën e subjekteve njerëzore në parashikimin ose korrigjimin e tekstit.

Modelet gjuhësore janë të dobishme për një sërë detyrash, duke përfshirë njohjen e të folurit (duke ndihmuar në parandalimin e parashikimeve të sekuencave me probabilitet të ulët (p.sh. të pakuptimta), përkthimin makinerik, gjenerimin e gjuhës natyrore (duke gjeneruar më shumë tekst të ngjashëm me njeriun), optik njohja e karaktereve, optimizimi i rrugës, njohja e shkrimit të dorës, induksioni gramatikor dhe rikthimi i informacionit .

Modelet e mëdha të gjuhëve, aktualisht forma e tyre më e avancuar, janë një kombinim i grupeve më të mëdha të të dhënave (shpesh duke përdorur fjalë të fshira nga interneti publik), rrjete nervore të përshpejtuara dhe transformatorë. Ata kanë zëvendësuar modelet e bazuara në rrjete nervore të përsëritura, të cilat më parë kishin zëvendësuar modelet e pastra statistikore, siç është modeli i gjuhës së fjalës *n-* gram.

## Modele të pastra statistikore 
### Modele të bazuara në fjalën *n*-gram 
Modeli i gjuhës së fjalës n-gram është një model statistikor i gjuhës. Ai është zëvendësuar nga modelet e përsëritura të bazuara në rrjetet nervore, të cilat janë zëvendësuar nga modelet e mëdha të gjuhëve. Ai bazohet në një supozim se probabiliteti i fjalës tjetër në një sekuencë varet vetëm nga një dritare me madhësi fikse të fjalëve të mëparshme. Nëse merret parasysh vetëm një fjalë e mëparshme, ajo quhet model bigram; nëse dy fjalë, një model trigram; nëse n − 1 fjalë, një model n-gram. Prezantohen shenja të veçanta për të treguar fillimin dhe fundin e një fjalie ⟨s⟩  dhe ⟨/s⟩.

Për të parandaluar caktimin e një probabiliteti zero për fjalët e padukshme, probabiliteti i secilës fjalë është pak më i ulët se numri i frekuencës së saj në një korpus. Për ta llogaritur atë, u përdorën metoda të ndryshme, nga metoda e thjeshtë "shto një" deri te modelet më të sofistikuara, të tilla si modelet e zbritjes Good–Turing discounting ose modelet e back-off.

### Eksponenciale 
Modelet e gjuhës së entropisë maksimale kodojnë marrëdhënien midis një fjale dhe historisë *n* -gram duke përdorur funksionet e veçorive. Ekuacioni është:

 P(w_m \mid w_1,\ldots,w_{m-1}) = \frac{1}{Z(w_1,\ldots,w_{m-1})} \exp (a^T f(w_1,\ldots,w_m))

ku Z(w_1,\ldots,w_{m-1}) është funksioni i ndarjes, a është vektori i parametrit, dhe f(w_1,\ldots,w_m) është funksioni i veçorisë. Në rastin më të thjeshtë, funksioni i veçorisë është vetëm një tregues i pranisë së një *n* -grami të caktuar. Është e dobishme të përdorni paraprakisht a ose ndonjë formë rregullimi.

Modeli log-bilinear është një shembull tjetër i një modeli gjuhësor eksponencial që është më i mirë se çdo model tjetër.

### Modeli Skip-gram 
Modeli i gjuhës Skip-gram është një përpjekje për të kapërcyer problemin e pakësimit të të dhënave me të cilin u përball modeli i mëparshëm (d.m.th. modeli i gjuhës së fjalës n-gram). Fjalët e përfaqësuara në një vektor ngulitjeje nuk ishin domosdoshmërisht më të njëpasnjëshme, por mund të lënë boshllëqe që kapërcehen.

Formalisht, një k-skip-n-gram është një nënsekuencë me gjatësi-n ku komponentët ndodhen në distancë më së shumti k nga njëri-tjetri.

Për shembull, në tekstin hyrës:

*shiu në Spanjë bie kryesisht në fushë*

grupi i 1-skip-2-gram përfshin të gjitha bigramet (2-gram), dhe përveç kësaj edhe pasardhësit

*në, shi Spanjë, në bie, Spanja kryesisht, bie në, kryesisht, dhe në fushë.*

Në modelin skip-gram, marrëdhëniet semantike ndërmjet fjalëve përfaqësohen nga kombinime lineare, duke kapur një formë kompozicioni. Për shembull, në disa modele të tilla, nëse v është funksioni që harton një fjalë w në paraqitjen e saj vektoriale n-d, atëherë

𝓋(king) – 𝓋(male) + 𝓋(female) ≈ 𝓋(queen)

ku ≈ bëhet i saktë duke përcaktuar se ana e djathtë e saj duhet të jetë fqinji më i afërt i vlerës së anës së majtë.

## Modelet nervore 
### Rrjeti nervor i përsëritur 
Paraqitjet e vazhdueshme ose futjet e fjalëve prodhohen në modele gjuhësore të bazuara në rrjet nervor periodik (të njohur edhe si *modele gjuhësore të hapësirës së vazhdueshme* ). Të tilla ngulitje të vazhdueshme hapësinore ndihmojnë në zbutjen e mallkimit të dimensionalitetit, që është pasojë e rritjes së numrit të sekuencave të mundshme të fjalëve në mënyrë eksponenciale me madhësinë e fjalorit, duke shkaktuar më tej një problem të pakësimit të të dhënave. Rrjetet nervore e shmangin këtë problem duke paraqitur fjalët si kombinime jolineare të peshave në një rrjet nervor.

### Modele të mëdha gjuhësore 
Një **model i madh gjuhësor** ( **LLM** ) është një lloj modeli llogaritës i projektuar për detyra të përpunimit të gjuhës natyrore si gjenerimi i gjuhës. Si modele gjuhësore, LLM-të i fitojnë këto aftësi duke mësuar marrëdhëniet statistikore nga sasi të mëdha teksti gjatë një procesi trajnimi të vetë-mbikëqyrur dhe gjysmë të mbikëqyrur.

LLM-të më të fuqishme dhe më të avancuara, që nga gushti 2024, janë rrjete nervore artificiale me një arkitekturë të bazuar kryesisht në dekoderë, duke ofruar përpunim efikas dhe gjenerim të gjuhës në shkallë të gjerë. Këto modele mund të përshtaten për detyra specifike ose të përdorin inxhinierinë e shpejtë. Ato ofrojnë parashikime në lidhje me sintaksën dhe semantikën, por gjithashtu trashëgojnë pasaktësitë dhe paragjykimet nga të dhënat mbi të cilat janë trajnuar.

Edhe pse ndonjëherë përputhen me performancën njerëzore, nuk është e qartë nëse ato janë modele të besueshme njohëse. Të paktën për rrjetet nervore të përsëritura, është treguar se ato ndonjëherë mësojnë modele që njerëzit nuk i bëjnë, por nuk arrijnë të mësojnë modele që njerëzit zakonisht i bëjnë.

## Vlerësimi dhe standardet 
Vlerësimi i cilësisë së modeleve gjuhësore bëhet kryesisht duke krahasuar me standardet e mostrave të krijuara nga njeriu të krijuar nga detyra tipike të orientuara nga gjuha. Teste të tjera cilësore, më pak të vendosura, shqyrtojnë karakterin e brendshëm të një modeli gjuhësor ose krahasojnë dy modele të tilla. Meqenëse modelet e gjuhës zakonisht synohen të jenë dinamike dhe të mësojnë nga të dhënat që shohin, disa modele të propozuara hetojnë shkallën e të mësuarit, p.sh., nëpërmjet inspektimit të kurbave të të mësuarit.

Janë zhvilluar grupe të ndryshme të dhënash për t'u përdorur në vlerësimin e sistemeve të përpunimit të gjuhës. Këto përfshijnë:

* Korpusi i pranueshmërisë gjuhësore
* Standardi GLUE
* Korpusi i parafrazës së kërkimit të Microsoft
* Konkluzioni i Gjuhës Natyrore për shumë gjini
* Pyetje Konkluzioni i Gjuhës Natyrore
* Çiftet e pyetjeve Quora
* Njohja e ndikimit tekstual
* Standardi i ngjashmërisë tekstuale semantike
* Testi i përgjigjes së pyetjes SQuAD
* Stanford Sentiment Treebank
* Winograd NLI
* BoolQ, PIQA, SIQA, HellaSwag, WinoGrande, ARC, OpenBookQA, NaturalQuestions, TriviaQA, RACE, MMLU (Massive Multitask Language Understanding), BIG-bench hard, GSM8k, RealToxicityPrompts, WinoGenders, Crows-Pair.S. ( LlaMa Standardi )

## Referime