# Գեներատիվ նախապատրաստված տրանսֆորմեր[խմբագրել | խմբագրել կոդը]

Գեներատիվ նախապատրաստված տրանսֆորմերԽոշոր լեզվական մոդելի տեսակ

|  |  |
| --- | --- |
| Ենթակատեգորիա | • statistical model  • Լեզվի մոդել   • խոշոր լեզվական մոդել |
| Կազմված է | foundation model, GPT-1 |

GPT մոդել
**Գեներատիվ նախնական պատրաստված տրանսֆորմերը** (**GPT**) մեծ լեզվական մոդելի (LLM) տեսակ է, որը լայնորեն օգտագործվում է գեներատիվ արհեստական ​​բանականության չաթբոտներում GPT-ները հիմնված են խորը ուսուցման ճարտարապետության վրա, որը կոչվում է տրանսֆորմեր: Դրանք նախնական պատրաստված են մեծ տվյալների հավաքածուների վրա և կարող են ստեղծել նոր բովանդակություն։

OpenAI-ն առաջինն էր, որ գեներատիվ նախնական պատրաստվածությունը կիրառեց տրանսֆորմերային ճարտարապետությանը՝ 2018 թվականին ներկայացնելով GPT-1 մոդելը։ Այդ ժամանակվանից ի վեր ընկերությունը թողարկել է GPT-ի շատ ավելի մեծ մոդելներ: 2022 թվականի վերջին թողարկված ChatGPT չաթբոտին (օգտագործելով GPT-3.5), հաջորդեցին շատ մրցակից չաթբոտներ, որոնք տեքստ ստեղծելու համար օգտագործում էին իրենց սեփական գեներատիվ նախապես պատրաստված տրանսֆորմերները, ինչպիսիք են Gemini-ն, DeepSeek-ը և Claude-ը:

GPT-ները հիմնականում օգտագործվում են տեքստ ստեղծելու համար, բայց կարող են նաև մարզվել այլ տվյալներ ստեղծելու համար: Օրինակ՝ GPT-4o-ն կարող է մշակել և ստեղծել տեքստ, պատկերներ և աուդիո: Բարդ առաջադրանքների կատարողականությունը բարելավելու համար որոշ GPT-ներ, ինչպիսիք են OpenAI o3-ը, խնդիրը վերլուծելուն ավելի շատ հաշվարկային ժամանակ են հատկացնում՝ արդյունք ստեղծելուց առաջ, և կոչվում են դատողության մոդելներ: 2025 թվականին թողարկվեց GPT-5-ը՝ երթուղիչով, որն տրված առաջադրանքի հիման վրա, ավտոմատ ընտրում է, արդյոք օգտագործել արագ մոդել, թե ավելի դանդաղ դատողության մոդել:

## Նախապատմություն

2010-ականներին մեքենայական ուսուցման ալգորիթմների կատարելագործումը, ավելի հզոր համակարգիչները և թվայնացված նյութի ծավալի աճը բերեցին արհեստական ​​բանականության բումի:

Մասնավորապես, հարկ է նշել գեներատիվ նախնական ուսուցումը մեքենայական ուսուցման մեջ վաղուց հաստատված տեխնիկա էր: ԳՆ-ն ինքնակառավարվող ուսուցման ձև է, որտեղ մոդելը նախ մարզվում է մեծ տվյալների բազմության վրա («նախնական ուսուցման» քայլ)՝ տվյալների միավորներ ստեղծելու համար: Այս նախապես մարզված մոդելը այնուհետև հարմարեցվում է որոշակի խնդրի՝ օգտագործելով նշված տվյալների բազմությունը («նուրբ կարգավորման» քայլ):

Խորը ուսուցման համար տրանսֆորմերային ճարտարապետությունը ԳՆՀ-ի հիմնական տեխնոլոգիան է: Google-ի հետազոտողների կողմից մշակված այն ներկայացվել է «Ուշադրությունն այն ամենն է, ինչ ձեզ հարկավոր է» 2017 թվականին հրապարակված հոդվածում: Տրանսֆորմերային ճարտարապետությունը լուծել է բնական լեզվի մշակման (ՆԼԾ) համար նախատեսված հին կրկնվող նեյրոնային ցանցերի (ՌՆՑ) նախագծերի հետ կապված բազմաթիվ կատարողական խնդիրներ: Ճարտարապետության կողմից ուշադրության մեխանիզմի օգտագործումը թույլ է տալիս մոդելներին միաժամանակ մշակել տեքստի ամբողջական հաջորդականություններ՝ հնարավորություն տալով մարզել շատ ավելի մեծ և ավելի բարդ մոդելներ 2017 թվականից ի վեր, տրանսֆորմերների վրա հիմնված NLP համակարգերը կարող են մշակել, վերլուծել, կազմակերպել, կապել, հակադրել և ամփոփել տեքստերը, ինչպես նաև պատասխանել տեքստային մուտքագրումից ստացված հարցերին։

## Պատմություն

2018 թվականի հունիսի 11-ին OpenAI-ի հետազոտողներն ու ինժեներները հրապարակեցին «Լեզվի ըմբռնման բարելավումը գեներատիվ նախնական ուսուցման միջոցով» վերնագրով հոդված, որը ներկայացրեց առաջին GPT մոդելը՝ GPT-1-ը: Այն նախագծվել է որպես տրանսֆորմերի վրա հիմնված մեծ լեզվական մոդել, որը գեներատիվ նախնական ուսուցումը (GP) օգտագործում էր BookCorpus-ի՝ բազմազան տեքստային կորպուսի վրա, որին հաջորդում էր որոշակի լեզվական առաջադրանքների վրա կենտրոնանալու տարբերակիչ նուրբ կարգավորումը:

2019 թվականի փետրվարի 14-ին OpenAI-ը ներկայացրեց GPT-2-ը՝ ավելի մեծ մոդել, որը կարող է ստեղծել կապակցված հասկանալի տեքստ: Ստեղծվելով որպես իր նախորդի ուղղակի մասշտաբավորում, այն ուներ 10 անգամ մեծացված պարամետրերի քանակ, տվյալների հավաքածուի ծավալ։ GPT-2-ն ունի 1.5 միլիարդ պարամետր և մարզվել է WebText-ի վրա, որը 8 միլիոն վեբ էջերի 40 գիգաբայթ տվյալների հավաքածու է։ Վկայակոչելով չարամիտ օգտագործման ռիսկերը՝ OpenAI-ն ընտրեց «փուլային թողարկում», սկզբում հրապարակելով մոդելի ավելի փոքր տարբերակներ, նախքան նոյեմբերին թողարկել ամբողջական 1.5 միլիարդ պարամետրանոց մոդելը:

2020 թվականի փետրվարի 10-ին Microsoft-ը ներկայացրեց իր Turing Natural Language Generation-ը, որը, ըստ ընկերության, «17 միլիարդ պարամետրերով հրատարակված ամենամեծ լեզվական մոդելն էր»։ Մոդելը գերազանցեց բոլոր նախորդ լեզվական մոդելներին մի շարք առաջադրանքներում, այդ թվում՝ տեքստերի ամփոփման և հարցերի պատասխանման հարցում։

2020 թվականի մայիսի 28-ին OpenAI-ը ներկայացրեց GPT-3-ը՝ 175 միլիարդ պարամետրերով մոդել, որը մարզվել է GPT-2-ի համեմատ ավելի մեծ տվյալների բազմության վրա: Այն նշանակալի առաջընթաց էր քիչ և զրոյական օրինակով ուսուցման հնարավորություններում: Քիչ օրինակներով այն կարող էր կատարել տարբեր առաջադրանքներ, որոնց համար հստակորեն մարզված չէր:

GPT-3-ի թողարկումից հետո OpenAI-ը սկսեց օգտագործել մարդկային հետադարձ կապի միջոցով ուժեղացված ուսուցումը (RLHF)՝ մոդելների վարքագիծն ավելի մոտեցնելու մարդկային նախասիրություններին: Սա հանգեցրեց InstructGPT-ի մշակմանը, որը GPT-3-ի կատարելագործված տարբերակն է: OpenAI-ը հետագայում կատարելագործեց InstructGPT-ն՝ ստեղծելով ChatGPT-ն՝ OpenAI-ի առաջատար չաթբոտային արտադրանքը, որը թողարկվեց 2022 թվականի նոյեմբերի 30-ին: ChatGPT-ն սկզբում հիմնված էր GPT-3.5-ի վրա, բայց ավելի ուշ այն անցում կատարվեց GPT-4 մոդելի, որը թողարկվեց 2023 թվականի մարտի 14-ին: GPT-4-ը նաև ինտեգրվեց մի քանի ծրագրերի մասերի մեջ, այդ թվում՝ Microsoft Copilot-ի, GitHub Copilot-ի, Snapchat-ի, Khan Academy-ի և Duolingo-ի:

ChatGPT-ի հսկայական ժողովրդականությունը խթանեց այլ կազմակերպությունների կողմից GPT-ի վրա հիմնված մրցակից համակարգերի լայն զարգացումը: EleutherAI-ը թողարկեց մի շարք բաց կշռի մոդելներ, այդ թվում՝ GPT-J-ն 2021 թվականին: Այլ խոշոր տեխնոլոգիական ընկերություններ ավելի ուշ մշակեցին իրենց սեփական GPT մոդելները, ինչպիսիք են Google-ի PaLM-ը և Gemini-ն, ինչպես նաև Meta AI-ի Llama-ն:

Հետագա GPT մոդելներից շատերը բազմամոդալ լինելու համար մարզվել են (կարող են մշակել կամ ստեղծել բազմաթիվ տեսակի տվյալներ): Օրինակ՝ GPT-4o-ն կարող է մշակել և ստեղծել տեքստ, պատկերներ և աուդիո: Ի հավելումն, GPT մոդելները, ինչպիսիք են o3-ը և DeepSeek R1-ը, մարզվել են ուժեղացված ուսուցմամբ՝ վերջնական պատասխան տալուց առաջ բազմաստիճան մտքի շղթայական դատողություն ստեղծելու համար, ինչը օգնում է լուծել բարդ խնդիրներ մաթեմատիկայի նման ոլորտներում:

2025 թվականի օգոստոսի 7-ին OpenAI-ը թողարկեց GPT-5-ը, որը ներառում է ռաութեր, որը ավտոմատ կերպով ընտրում է, թե արդյոք օգտագործել ավելի արագ մոդել, թե ավելի դանդաղ դատողության մոդել՝ հիմնվելով խնդրի վրա:.

## Բազիսային մոդելներ

Հիմնական կամ բազիսային մոդելը արհեստական ​​բանականության մոդել է, որը մարզվում է լայնածավալ տվյալների վրա այնպես, որ այն կարող է հարմարեցվել հետագա լայն սպեկտրի առաջադրանքների համար:

OpenAI-ի GPT-ի շարքի ամենավերջին մոդելը GPT-5-ն է:

Այլ նման մոդելների թվում են Google-ի PaLM-ը, որը լայն բազիսային մոդել է, որը համեմատվել է GPT-3-ի հետ և մշակողներին հասանելի է դարձել API-ի միջոցով, և Together-ի GPT-JT-ն, որը համարվում է GPT-3-ին ամենամոտ բաց կոդով այլընտրանքը (և ծագել է նախորդ բաց կոդով GPT-ներից): Meta AI-ն (նախկինում Facebook) ունի նաև գեներատիվ տրանսֆորմերի վրա հիմնված հիմնարար մեծ լեզվի մոդել, որը հայտնի է որպես LLaMA:

Բազիսային GPT-ները կարող են նաև օգտագործել տեքստից բացի այլ մոդալություններ՝ մուտքագրման և/կամ ելքագրման համար: GPT-4-ը բազմամոդալ LLM է, որը կարող է մշակել տեքստի և պատկերի մուտքագրումը (չնայած ելքը սահմանափակված է տեքստով): Ինչ վերաբերում է բազմամոդալ ելքին, որոշ տրանսֆորմերի վրա հիմնված գեներատիվ մոդելներ օգտագործվում են տեքստից պատկեր տեխնոլոգիաների համար, ինչպիսիք են դիֆուզիան և զուգահեռ վերծանումը։ Այս տեսակի մոդելները կարող են ծառայել որպես տեսողական բազիսային մոդելներ (VFM) պատկերների հետ աշխատող համակարգեր մշակելու համար։

## Տրանսֆորմերների արդյունավետ ճարտարապետություններ

Տրանսֆորմերների վրա հիմնված մոդելների հաշվողական և հիշողության պահանջները զգալիորեն աճում են մուտքային հաջորդականությունների մասշտաբների աճին զուգընթաց: Ստանդարտ ինքնաուշադրության մեխանիզմը մուտքային հաջորդականության երկարության նկատմամբ ունի քառակուսային բարդություն, ինչպես նկարագրված է «Ուշադրությունն է ամեն ինչ, ինչ քեզ անհրաժեշտ է» գրքում:

Հետազոտողներն առաջարկել են արդյունավետության մի շարք բարելավումներ, ինչպիսիք են՝ ուշադրության ցրված մեխանիզմները և հիշողության արդյունավետ ճարտարապետությունները, որոնք նվազեցնում են հաշվողական ծախսերը՝ միաժամանակ աջակցելով ավելի երկար համատեքստային պատուհաններին:
BigBird-ի, Reformer-ի և FlashAttention-ի նման մոդելները ցուցադրում են կառուցվածքային ուշադրության օրինաչափություններ կամ օպտիմալացված հաշվարկներ՝ մասշտաբայնությունն ու արդյունավետությունը բարելավելու համար:

Սա մեծ լեզվական մոդելներին օգնել է արդյունավետորեն մշակել երկար մուտքային հաջորդականություններ՝ կրճատված հիշողությամբ և հաշվարկներով՝ թե՛ մարզման, թե՛ եզրակացության ընթացքում:

## Ծանոթագրություններ