Úlken til modeli

**Úlken til modeli** yamasa **LLM** *([[Inglis tili|ingl]]. Large language model, LLM)* − ulıwma maqsetli til generaciyasına hám klassifikaciya sıyaqlı basqa tábiyiy tildi qayta islew wazıypalarına erisiw qábileti menen ózgeshelenetuǵın esaplaw modeli. Til modellerine tiykarlanıp, LLM bul qábiletlerdi esaplawda qızǵın ózin-ózi basqaratuǵın hám yarım baqlanatuǵın oqıw procesinde teksttiń úlken kóleminen statistikalıq baylanıslardı úyreniw arqalı aladı. Úlken til modelleri tekstti jaratıw ushın, generativ jasalma intellekt túri, kiris tekstin alıw hám keyingi token yamasa sózdi qaytalap boljaw arqalı paydalanılıwı múmkin.

LLM − 2017-jılı oylap tabılǵan transformator arxitekturasın paydalanatuǵın jasalma neyron tarmaqlar bolıp tabıladı. 2024-jıl iyundaǵı eń úlken hám eń qábiletli LLM-ler tek dekoderlerge, transformatorǵa tiykarlanǵan arxitektura menen dúzilgen, ol úlken ólshemdegi keń kólemli tekstli maǵlıwmatlardı ónimli qayta islewge hám jaratıwǵa imkaniyat beredi.

Tariyxıy túrde, 2020-jılǵa shekem anıq sazlaw - modeldi belgili wazıypalarǵa beyimlew ushın qollanılatuǵın tiykarǵı metod edi. Degen menen, GPT-3 sıyaqlı úlkenirek modeller modeldiń juwapların basqarıw ushın arnawlı kirgiziw kórsetpelerin islep shıǵıwdı óz ishine alatuǵın operativ injenerlik *(ingl. prompt engineering)* arqalı uqsas nátiyjelerge erisiw imkaniyatın kórsetti. Bul modeller adam tiliniń korpusına tán sintaksis, semantika hám ontologiyalar ituwralı bilim aladı, biraq sonıń menen birge olar oqıtılatuǵın maǵlıwmatlarda ushırasatuǵın anıq emeslikler menen qátelerdi miyras etedi.

Ayırım kórnekli LLM-ler − OpenAI-diń GPT modeller seriyası (mısalı, ChatGPT hám Microsoft Copilot-te qollanılatuǵın GPT-3.5 hám GPT-4), Google-dıń Gemini, Meta-nıń LLaMA shańaraǵı modelleri, Anthropic's Claude modelleri hám Mistral AI modelleri usılar qatarınan.

## Tariyxı
2017-jılǵa shekem sol waqıttaǵı múmkinshilikler menen salıstırǵanda úlken bolatuǵın bir neshe til modelleri bar edi. 1990-jılları IBM sáykesli modelleri statistikalıq tildi modellestiriwge túrtki boldı. 2001-jılı 0,3 milliard sózge úyretilgen tegislengen n-gramm modeli sol gezdegi SOTA maqsetine eristi. 2000-jılları Internetti paydalanıw keń tarqalǵanlıqtan, ayırım izertlewshiler Internet masshtabındaǵı til maǵlıwmatlar jıynaǵın («veb korpus retinde») jarattı, sonıń tiykarında olar statistikalıq til modellerin oqıttı. 2009-jılı tildi qayta islew wazıypalarınıń kópshiliginde statistikalıq til modelleri simvollı modellerinen basım boldı, óytkeni olar úlken maǵlıwmatlar jıynaǵın paydalı túrde qabıllay aladı.

2012-jılı neyron tarmaqlar súwretlerdi qayta islewde basım bolǵannan keyin olar tildi modellestiriwge de qollanıldı. Google awdarma xızmetin 2016-jılı neyron mashina awdarmasına aylandırdı. Transformers-ke shekem bolǵanday, onı seq2seq deep LSTM tarmaqları tárepinen ámelge asırdı.

2017-jılǵı NeurIPS konferenciyasında Google izertlewshileri transformatorlardıń arxitekturasın «Itibar beriń - sizge kerek» maqalasında tanıstırdı. Bul hújjettiń maqseti 2014 Seq2seq texnologiyasın jetilistiriw edi, hám tiykarınan 2014-jılı Baxdanau h.t.b tárepinen islep shıqqan zeyin mexanizmine tiykarlanǵan edi. Keyingi 2018-jılı BERT engizildi hám tez arada «barlıq jerde» boldı. Túpnusqa transformatorda kodlawshı da, dekoder blokları bolsa da, BERT tek kodlawshıǵa arnalǵan model bolıp tabıladı.

Tek dekoder menen jumıs isleytuǵın GPT-1 2018-jılı engizilgeni menen, 2019-jılı GPT-2 kópshiliktiń itibarın tarttı, óytkeni OpenAI dáslebinde zıyanlı paydalanıwdan qorıqqanlıqtan onı kópshilikke shıǵarıw ushın dım kúshli dep esapladı. 2020-jılı GPT-3 bir adım alǵa jıljıdı hám 2024-jıldan baslap tek API arqalı ashıq, ol modeldi jergilikli orınlaw ushın júklep alıwdı usınbaydı. Biraq bul 2022-jılǵı tutınıwshıǵa arnalǵan brauzer tiykarındaǵı ChatGPT ulıwma xalıqtıń qıyalın jawlap alıp, ayırım ǵalaba xabar qurallarında daw hám onlayn dawlı talqılawlar payda etti. 2023-jılı GPT-4 joqarı anıqlıǵı ushın hám multimodal imkaniyatları ushın «qásiyetli reys» retinde joqarı bahalandı. OpenAI joqarı dárejeli arxitekturanı hám GPT-4 parametrleriniń sanın anıqlamadı.

Básekiles til modelleri, eń bolmaǵanda parametrler sanı boyınsha GPT seriyasın teńlestiriwge háreket etti.

2024-jılǵı jaǵday boyınsha eń úlken hám eń qábiletli modellerdiń barlıǵı Transformator arxitekturasına tiykarlanǵan. Ayırım sońǵı qosımshalar basqa arxitekturalarǵa tiykarlanǵan, mısalı qaytalanatuǵın neyron tarmaq variantları hám Mamba (mámleketlik kosmos modeli).

## Maǵlıwmatlar jıynaǵın aldınnan qayta islew

### Itimal tokenizaciya
Mashinalıq oqıtıw algoritmleri tekstti emes, sanlardı qayta isleytuǵınlıqtan, tekst sanlarǵa aylandırılıwı kerek. Birinshi adımda sózlik tuwralı sheshim qabıllanadı, sonnan keyin pútin indeksler hárbir sózlik jazıwǵa erikli túrde, biraq unikal tayınlanadı hám aqırında, jaylastırıw pútin indeks penen baylanıstırıladı. Algoritmlerge bayt jup kodlaw hám WordPiece kiredi.

Itimal tokenizaciya maǵlıwmatlar jıynaǵın da qısadı. LLM-lar ádette kiritiwdi qısqartılmaǵan massiv bolıwın talap etetuǵınlıqtan, qısqa tekstler eń uzın teksttiń uzınlıǵına sáykes kelgenshe «toltırılıwı» kerek. Bir sózge ortasha esap penen qansha token kerek ekenligi, maǵlıwmatlar jıynaǵınıń tiline baylanıslı.

#### BPE
Bayt-juplı kodlawdıń modifikaciyasın qollanıp, birinshi adımda barlıq unikal simvollar (sonıń ishinde bos orınlar menen punktuaciyalıq belgileri) n-gramnıń dáslepki jıynaǵı (yaǵnıy, uni-grammlardıń dáslepki jıynaǵı) retinde qarastırıladı. Izbe-iz qońsı simvollardıń eń jiyi jubı bi-grammaǵa biriktiriledi hám juptıń barlıq danaları onıń menen almastırıladı. Jiyi jiyi ushırasatuǵın (aldın biriktirilgen) n-grammlardıń qońsı juplarınıń barlıq kórinisleri belgilengen ólshemdegi sózlik alınǵanǵa shekem qayta-qayta onnan da uzınıraq n-grammǵa biriktiriledi (GPT-3 jaǵdayında ólshem 50257). Token sózligi nolden baslap leksikanıń ólshemine shekemgi pútin sanlardan ibarat. Jańa sózlerdi bárqulla tokenler menen baslanǵısh ornatılǵan unigrammalardıń kombinaciyası retinde túsindiriwge boladı.

Tiykarınan inglisshe korpustan alınǵan chastotalarǵa tiykarlanǵan token sózligi ortasha inglis tili sózi ushın ilajı barınsha az tokenlerdi paydalanadı. Inglis tilinde optimallastırılǵan tokenizator arqalı kodlanǵan basqa tildegi ortasha sóz, biraq tokenlerdiń optimal emes sanına bólinedi. GPT-2 tokenizatorı ayırım tiller ushın, mısalı Myanmadaǵı shan tilindegi sóz ushın 15 ese kóp tokenlerdi paydalana aladı. Inglis tili menen salıstırǵanda portugal hám nemis sıyaqlı keń tarqalǵan tillerde «50% ke teń».

Mısalı, GPT-3 (Legacy) paydalanatuǵın tokenizator tómendegi gáp tokenizatorın qalay bóledi: `tokenizer: texts -> series of numerical "tokens"`.

### Maǵlıwmatlar jıynaǵın tazalaw
LLM oqıtıw konteksinde maǵlıwmatlar jıynaǵı ádette maǵlıwmatlar jıynaǵınan zıyanlı bóleklerdi óshiriw, sapası tómen maǵlıwmatlardı joq etiw hám qaytalawdı óshiriw arqalı tazartıladı. Tazalanǵan maǵlıwmatlar jıynaǵı oqıtıw ónimliligin arttırıp, tómen aǵımnıń ónimliligin jaqsılawǵa alıp keliwi múmkin. Oqıtılǵan LLM keyingi LLM-dı oqıtıw ushın maǵlıwmatlar jıynaǵın tazalawda paydalanılıwı múmkin.

Internette LLM arqalı jaratılǵan kontent úlesiniń artıwı menen keleshekte maǵlıwmatlardı tazalaw bunday kontentti filtrlewdi qamtıwı múmkin. LLM arqalı jaratılǵan kontent, eger kontent adam tekstine uqsas bolsa (filtrdi qıyınlastıradı), biraq sapası tómen bolsa (onda oqıtılǵan modellerdiń ónimliligin tómenletse) mashqala payda bolıwı múmkin.

### Sintetikalıq maǵlıwmatlar
Eń úlken til modellerin oqıtıw ushın tábiyiy qoljetimlilikten góre kóbirek til maǵlıwmatları kerek bolıwı múmkin yamasa tábiyiy túrde payda bolatuǵın maǵlıwmatlardıń sapası jetkiliksiz bolıwı múmkin. Bunday jaǵdaylarda sintetikalıq maǵlıwmatlar qollanılıwı múmkin. Microsoft korporaciyasınıń Phi LLM seriyası basqa LLM jaratqan sabaqlıqqa uqsas maǵlıwmatlarǵa úyretilgen.

## Úyretiw hám arxitektura

### Adamnıń keri baylanısınan oqıtıwdı kúsheytiw (RLHF)
Proksimal siyasattı optimallastırıw sıyaqlı algortimler arqalı **Adamnıń keri baylanısınan oqıtıwdı kúsheytiw** *(ingl. Reinforcement learning from human feedback (RLHF))*, adam qolaylıqlarınıń maǵlıwmatlar jıynaǵına tiykarlanǵan modeldi jáne de anıq sazlaw ushın paydalanıladı.

### Kórsetpeni sazlaw
«Ózbetinshe kórsetpe beriw» usılların qollanıp, LLM-ler bir neshe jaǵdaydı adam tárepinen jaratılǵan dúzetiwlerden baslap hár qanday ápiwayı juwaplardı almastırıp, durıs juwaplardı júkley aldı. Mısalı, «Gamlette usınılǵan tiykarǵı temalar tuwralı esse jazıń» kórsetpesinde «Eger siz esseni 17 marttan keyin tapsırsańız, siziń bahańız keshiktirilgen hárbir kún ushın 10%-ke tómenleydi» degen baslanǵısh ápiwayı juwmaq bolıwı múmkin. Yaǵnıy korpustaǵı usı tekstli izbe-izliktiń chastotasına tiykarlanǵan.

### Ekspertlerdiń aralasıwı
Eń úlken LLM oqıtıw hám tikkeley paydalanıw ushın dım qımbat bolıwı múmkin. Bunday modeller ushın Google izertlewshileri 2017-jıldan baslap 1 trillion parametrge shekem jetetuǵın modellerdi oqıtıw ushın alıp barılǵan izertlewlerdiń tarmaǵın ekspertler aralasıwın qollanıwǵa boladı.

### Operativ injenerlik, itibar qaratıw mexanizmi hám kontekstli ayna
Aldın tek (qımbat) anıq sazlaw arqalı erisiwge bolatuǵın nátiyjelerdiń kópshiligine bir sóylesiw kólemi menen sheklengen bolsa da (anıǵıraq, kontekstli aynanıń kólemi menen sheklengen) operativ injenerlik *(ingl. prompt engineering)* arqalı erisiwge boladı.

Kontekstli ayna sheńberinde qanday tokenlerdiń bir-birine sáykes keletuǵının anıqlaw ushın itibar qaratıw mexanizmi hárqaysısınıń ózine tán «sáykesligi» bar bir neshe itibar qaratıw basların paydalanıw arqalı hárbir token ushın, anıǵıraq aytqanda, onı kirgiziw ushın «jumsaq» salmaqlardı esaplaydı. Mısalı, kishi (yaǵnıy 117M parametr ólshemi) GPT-2 modelinde on eki itibar qaratıw bası hám bar bolǵanı 1k tokennen ibarat konteksli ayna bar edi. Ortasha versiyasında onıń 345M parametri bar hám hárqaysısında 12 itibar qaratıwshısı bar 24 qabattan ibarat. Gradient túsiwi bar shınıǵıwlar ushın 512 partiya ólshemi paydalanıldı.

2024-jıl fevralda usınılǵan Google Gemini 1.5 sıyaqlı eń úlken modellerde 1 millionǵa shekemgi kontekstli aynası bolıwı múmkin (10 million konteksli ayna da «sátli testten ótken»). Úlken kontekstli aynaları bar basqa modellerde 200 mıń tokenge shekemgi kontekstli aynası bar Anthropic's Claude 2.1. Bul maksimal kiriwshi tokenleriniń sanına baylanıslı ekenin hám shıǵıwshı tokenleriniń maksimal sanı kiriwshiden ózgeshelenetuǵın hám jiyi kishirek bolatuǵının este saqlań. Mısalı, GPT-4 Turbo modeliniń maksimal shıǵıwshısı 4096 tokendi quraydı.

Model keyingi juwaptı jaratıwda esapqa alatuǵın sáwbettiń uzaqlıǵı kontekstli aynanıń ólshemi menen de sheklenedi. Eger sóylesiwdiń uzaqlıǵı, mısalı ChatGPT menen onıń kontekstli aynasınan uzaǵıraq bolsa, keyingi juwaptı jaratıwda konteksli aynanıń ishindegi bólimler ǵana esapqa alınadı yamasa model dım alıs bólimlerdi sáwbetten ulıwmalastırıw ushın ayırım algoritmdi qollanıwı kerek.

Kontekstli aynanı úlkeytiwdiń kemshilikleri joqarı esaplaw bahasın hám jergilikli kontekstke itibar qaratıwdı qamtıydı, al onı kishireytiw modeldiń zárúrli uzaq múddetli ǵárezlilikti jiberip alıwǵa alıp keliwi múmkin. Olardı teńlestiriw eksperiment hám domenge tán pikirler máselesi bolıp tabıladı.

Model segmenttiń qalay dawam etetuǵının yamasa onıń oqıtıw maǵlıwmatlar jıynaǵınan segmentti esapqa alıp, segmentte neniń jetispeytuǵının boljaw ushın aldınnan tayarlanıwı múmkin. 

* avtoregressiv (yaǵnıy segmenttiń qalay dawam etetuǵının, GPT onı qalay islewin boljaw): mısalı, «Men awqatlanǵandı unataman» segmenti berilgen, model «muzqaymaq» yamasa «sushi» di boljaydı.
* «maskalanǵan» (yaǵnıy segmentte jetispeytuǵın bólimlerdi toltırıw, «BERT» bunı islew usılı): mısalı, «Men [__] [__] kremdi unataman» segmentin esapqa alıp, model onı «jew» hám «muz» jetispeytuǵının boljaydı.

Modeller gáplerdiń jupları usınǵan hám model olardıń oqıw korpusında izbe-iz payda bolıwın boljawı kerek keyingi gápti boljaw (NSP) sıyaqlı maǵlıwmatlardı tarqatıwdı túsiniwin tekseretuǵın járdemshi wazıypalar boyınsha oqıtılıwı múmkin. Shınıǵıw waqtında regulyarizaciyanıń joǵalıwı shınıǵıwlardı turaqlı etiw ushın da qollanıladı. Degen menen, regulyarizaciyanıń joǵalıwı ádette testlew hám bahalaw waqtında paydalanılmaydı.

## Trening bahası

Programmalıq támiynat penen apparatlıq támiynattaǵı jetiskenlikler 2020-jıldan baslap shıǵınlardı aytarlıqtay tómenletti, usılayınsha 2023-jılı 12 milliard parametrli LLM esaplaw bahası 72 300 A100-GPU-saattı quraydı, al 2020-jılı 1,5 milliard parametrli LLM oqıtıw bahası (bul 2020-jılǵı texnikalıq dárejeden eki ese az edi) 80 mıń dollar menen 1,6 mln dollar aralıǵında edi. 2020-jıldan baslap barǵan sayın úlken modellerge úlken summalar salındı. Mısalı, 2019-jılı GPT-2 (yaǵnıy 1,5 milliard parametrli model) oqıtıw 50 000 AQSH dolların qurasa, 2022-jılı PaLM (yaǵnıy, 540 milliard parametrli model) 8 million dollar, al Megatron-Turing NLG oqıtıw bahası 530B (2021-jılı) shama menen 11 million dollardan ibarat.

Transformator tiykarındaǵı LLM ushın oqıtıw bahası juwmaqlawshı bahasınan álleqayda joqarı. Bir token boyınsha shınıǵıw ushın bir parametrde 6 FLOP turadı, al bir token boyınsha juwmaq shıǵarıw ushın bir parametrge 1-2 FLOP kerek.

## Derekler

__BÖLİDİMÖNDEMEW__