Լեզվի մոդել

**Լեզվի մոդելը** հաշվողական մոդել է, որը կանխատեսում է հաջորդականությունները բնական լեզվում։ Լեզվի մոդելները օգտակար են տարբեր խնդիրների համար, ներառյալ խոսքի ճանաչումը, մեքենայական թարգմանությունը, օպտիկական նիշերի ճանաչումը, երթուղու օպտիմալացումը, ձեռագրի ճանաչումը, քերականության ինդուկցիան, և տեղեկատվության վերականգնումը։

Մեծ լեզվական մոդելները (LLM), որոնք 2019 թվականի դրությամբ, հիմնականում հիմնված են ավելի մեծ տվյալների հավաքածուների վրա մարզված տրանսֆորմերների վրա (հաճախ օգտագործելով հանրային ինտերնետից վերցված տեքստեր): Դրանք փոխարինել են կրկնվող նեյրոնային ցանցերի վրա հիմնված մոդելներին, որոնք նախկինում փոխարինել էին զուտ վիճակագրական մոդելներին, ինչպիսին է n-գրամ լեզվի մոդելը:

## Պատմություն
Նոամ Չոմսկին 1950-ականներին լեզվական մոդելների վերաբերյալ առաջատար աշխատանք կատարեց՝ մշակելով ֆորմալ քերականությունների տեսություն:

1980 թվականին ուսումնասիրվեցին վիճակագրական մոտեցումները և պարզվեց, որ շատ նպատակների համար դրանք ավելի օգտակար են, քան կանոնների վրա հիմնված ֆորմալ քերականությունները: Բառերի n-գրամ լեզվական մոդելների նման դիսկրետ ներկայացումները՝ դիսկրետ համակցությունների հավանականություններ, զգալի առաջընթաց գրանցեցին:

2000-ականներին բառերի շարունակական ներկայացումները, ինչպիսիք են բառերի վեկտորական ներկայացումը, սկսեցին փոխարինել դիսկրետ ներկայացումներին: Որպես կանոն, ներկայացումը իրական վեկտոր է, որը կոդավորում է բառի իմաստը այնպես, որ վեկտորային տարածությունում իրար մոտ գտնվող բառերը, ենթադրաբար իմաստով նման կլինեն։

## Զուտ վիճակագրական մոդելներ
1980 թվականին առաջարկվեց առաջին նշանակալի վիճակագրական լեզվի մոդելը, և շուրջ մեկ տասնամյակ IBM-ը իրականացրեց «Շենոնի ոճով» փորձեր, որոնց ընթացքում լեզվի մոդելավորման բարելավման պոտենցիալ աղբյուրները բացահայտվեցին՝ դիտարկելով և վերլուծելով  մարդկային սուբյեկտների կատարողականը՝ տեքստը կանխատեսելու կամ ուղղելու հարցում:
### Բառերի n-գրամների վրա հիմնված մոդելներ
**word ''n''-գրամ լեզվի մոդելը** լեզվի վիճակագրական մոդել է, որը հաջորդականության մեջ հաշվարկում է հաջորդ բառի առաջացման հավանականությունը նախորդ բառերի քանակի  ֆիքսված չափից ելնելով։ Եթե հաշվի է առնվում մեկ նախորդ բառ, դա բիգրամ մոդել է, եթե երկու բառ՝ եռագրամ մոդել, եթե n − 1 բառ՝ n-գրամ մոդել։

Նախադասության սկիզբը և վերջը նշելու համար ներմուծվում են հատուկ նշաններ․ \langle s\rangle and \langle /s\rangle.

Բառերի n-գրամ մոդելները մեծ մասամբ փոխարինվել են ռեկուրենտ նեյրոնային ցանցերի վրա հիմնված մոդելներով, որոնք էլ իրենց հերթին փոխարինվել են Տրանսֆորմերի վրա հիմնված մոդելներով, որոնք հաճախ անվանում են մեծ լեզվի մոդելներ:
### Էքսպոնենցիալ
Առավելագույն էնտրոպիայի սկզբունքը լեզվական մոդելները կոդավորում են բառի և *n*-գրամի պատմության միջև եղած կապը՝ օգտագործելով հատկանիշային ֆունկցիաներ: Հավասարումն է՝

 P(w_m \mid w_1,\ldots,w_{m-1}) = \frac{1}{Z(w_1,\ldots,w_{m-1})} \exp (a^T f(w_1,\ldots,w_m))

որտեղ Z(w_1,\ldots,w_{m-1}) տրոհման ֆունկցիան է, aը՝ պարամետրային վեկտորը, իսկ f(w_1,\ldots,w_m) Պարզագույն դեպքում հատկանիշային ֆունկցիան պարզապես որոշակի *n*-գրամի առկայության ցուցիչ է:
### Skip-gram մոդել
thumb|1-skip-2-grams «the rain in Spain falls mainly on the plain» տեքստի համար
Skip-gram լեզվի մոդելը նախորդ մոդելի (այսինքն՝ Word n-gram լեզվի մոդելի) առջև ծառացած տվյալների նոսրության խնդիրը հաղթահարելու փորձ է։ Ներկառուցված վեկտորում ներկայացված բառերը այլևս պարտադիր չէ, որ հաջորդական լինեն, այլ կարող են թողնել բացեր, որոնք բաց են թողնվում (այստեղից էլ՝ «skip-gram» անվանումը)։

## Նեյրոնային մոդելներ
### Պարբերական նեյրոնային ցանց
Պարբերական նեյրոնային ցանցերի վրա հիմնված լեզվական մոդելներում (հայտնի են նաև որպես անընդհատ տարածական լեզվական մոդելներ)  ստեղծվում են բառերի անընդհատ ներկայացումներ կամ վեկտորներ: Նման անընդհատ տարածության վեկտորական ներկայացումները օգնում են մեղմել չափայնության խնդիրը, որը բառերի հնարավոր հաջորդականությունների քանակի էքսպոնենցիալ աճի հետևանք է բառապաշարի չափի հետ մեկտեղ, ինչը հետագայում առաջացնում է տվյալների նոսրության խնդիր: Նեյրոնային ցանցերը խուսափում են այս խնդրից՝ բառերը ներկայացնելով որպես կշիռների ոչ գծային համադրություններ նեյրոնային ցանցում:

**Մեծ լեզվի մոդելը** (**LLM**) լեզվական մոդել է, որը մարզված ինքնավերահսկվող մեքենայական ուսուցմամբ՝ հսկայական ծավալի տեքստի վրա, որը նախատեսված է բնական լեզվի մշակման խնդիրների համար, մասնավորապես լեզվի գեներացիա: Ամենամեծ և ամենաունակ LLM-ները գեներատիվ նախապես մարզված տրանսֆորմերներն (GPT) են, որոնք ապահովում են ժամանակակից չաթբոտների հիմնական հնարավորությունները: LLM-ները կարող են ճշգրտվել որոշակի առաջադրանքների համար կամ ուղղորդվել հրահանգների ինժեներիայի միջոցով:
 Այս մոդելները ձեռք են բերում մարդկային լեզվի կորպուսներին բնորոշ շարահյուսության, իմաստաբանության և օնտոլոգիաների կանխատեսողական ուժ, բայց նաև ժառանգում են անճշտություններ և կողմնակալություններ, որոնք առկա են այն տվյալներում, որոնց վրա դրանք մարզվում են:

Դրանք բաղկացած են միլիարդներից մինչև տրիլիոններ պարամետրերից և գործում են որպես ընդհանուր նշանակության հաջորդականության մոդելներ՝ ստեղծելով, ամփոփելով, թարգմանելով և դատողություններ անելով տեքստի վրա: Մեծ լեզվի մոդելները (LLM) ներկայացնում են նշանակալի նոր տեխնոլոգիա՝ նվազագույն վերահսկողությամբ առաջադրանքներն ընդհանրացնելու իրենց ունակությամբ, որը թույլ է տալիս այնպիսի հնարավորություններ օգտագործել, ինչպիսիք են խոսակցական գործակալները, կոդի ստեղծումը, գիտելիքների վերականգնումը և ավտոմատացված դատողությունները, որոնք նախկինում պահանջում էին հատուկ պատվերով ​​համակարգեր:

## Ծանոթագրություններ