# Generativ aldınnan tayarlanǵan transformatorKirill

Original GPT modeli
**Generativ aldınnan tayarlanǵan transformator** yaǵnıy **GPT(ingl. Generative pre-trained transformers, GPT)* − úlken til modeliniń (LLM) bir túri hám generativ jasalma intellekt ushın belgili struktura bolıp tabıladı. Olar tábiyiy tildi qayta islew wazıypalarında qollanılatuǵın jasalma neyron tarmaqlar. GPT-ler transformator arxitekturasına tiykarlanǵan, tańbalanbaǵan teksttiń úlken maǵlıwmatlar jıynaǵında aldınnan tayarlanǵan hám adamǵa uqsas jańa kontentti jarata aladı. 2023-jılǵı jaǵday boyınsha LLM-lerdiń kópshiliginde usı qásiyetler bar bolıp, geyde olardı GPT-ler dep ataydı.

Birinshi GPT 2018-jılı OpenAI tárepinen usınılǵan. OpenAI óziniń "GPT-*n*" seriyasınan ibarat izbe-iz nomerlengen tásirli GPT negizgi modellerin shıǵardı. Olardıń hárqaysısınıń kólemi (shınıǵıwǵa bolatuǵın parametrlerdiń sanı) hám oqıtıwdıń úlkeyiwine baylanıslı aldınǵısına qaraǵanda álleqayda qábiletli boldı. Olardıń eń sońǵısı, GPT-4 — 2023-jıl martta shıǵarıldı. Bunday modeller olardıń wazıypalarǵa arnalǵan GPT sistemalarına, sonıń ishinde keyingi kórsetpelerge anıq sazlanǵan modellerge tiykar boldı, bul óz gezeginde ChatGPT chatbot xızmetin qollaydı.

"GPT" termini basqalar tárepinen islep shıǵarılǵan usınday modellerdiń atları menen táriyiplerinde de qollanıladı. Mısalı, basqa GPT tiykar modellerine EleutherAI tárepinen jaratılǵan modeller seriyasın, hám 2023-jılı Cerebras tárepinen jaratılǵan jeti modeldi óz ishine aladı. Sonday-aq, hár túrli tarawlardaǵı kompaniyalar Salesforce kompaniyasınıń "EinsteinGPT" (CRM ushın) hám Bloomberg-tiń "BloombergGPT" (finans ushın) sıyaqlı tiyisli tarawlarda wazıypalarǵa arnalǵan GPT-lerdi jaratıldı.

## Tariyxı

### Dáslepki islenbeler

Generativ aldınnan tayarlıq (GP) mashinalıq oqıtıw programmalarında burınnan qáliplesken túsinik. Ol dáslebinde yarım baqlanatuǵın oqıtıw obyekti retinde paydalanıldı, óytkeni model aldı menen maǵlıwmatlar jıynaǵında maǵlıwmatlar noqatların jaratıwdı úyreniw arqalı tańbalanǵan maǵlıwmatlar jıynaǵında (aldınnan tayarlıq basqıshı) oqıtıladı, sonnan keyin ol tańbalanǵan maǵlıwmatlar jıynaǵın klassifikaciyalawǵa úyretiledi.

Normalanbaǵan sızıqlı transformator 1992-jıldan berli payda bolǵanı menen, zamanagóy transformator arxitekturası 2017-jılı Google izertlewshileri «Itibar beriń — sizge kerek» maqalasında járiyalanǵanǵa shekem qol jetimli bolmadı. Bul rawajlanıw 2018-jılı BERT sıyaqlı úlken til modelleriniń payda bolıwına alıp keldi, ol aldınnan tayarlanǵan transformator (PT) boldı, biraq generativ bolıwǵa arnalmaǵan (BERT tek «koder ushın» model boldı). Sonday-aq, sol waqıtta 2018-jılı OpenAI óziniń «General Pre-Training arqalı tildi túsiniwdi jaqsılaw» atlı maqalasın járiyaladı, onda ol birinshi generativ aldınnan tayarlanǵan transformator (GPT) sistemasın ("GPT-1") engizdi.

Transformatorǵa tiykarlanǵan arxitekturalarǵa shekem eń jaqsı jumıs isleytuǵın neyron NLP (tábiyiy tildi qayta islew) modelleri ádette qol menen belgilengen maǵlıwmatlardıń úlken kóleminen baqlanatuǵın oqıtıwdı paydalandı. Baqlanatuǵın oqıtıwǵa ǵárezlilik olardı jaqsı túsindirilmegen maǵlıwmatlar jıynaǵında paydalanıwdı shekledi, sonıń menen qatar júdá úlken til modellerin úyretiw júdá qımbat hám waqıttı talap etedi.

OpenAI keń kólemli sistemanı jaratıw ushın qollanılǵan hám birinshi ret transformator modeli menen ámelge asırılǵan yarım baqlawlı usıl — eki basqıshtı qamtıdı: tildi modellestiriw maqsetin paydalanıp dáslepki parametrlerdi ornatıw ushın baqlanbaytuǵın generativ «aldınnan tayarlıq» basqıshı hám baqlanatuǵın usı parametrlerdi maqsetli wazıypaǵa beyimlew ushın diskriminativ «anıq sazlaw» basqıshı.

### Keyingi rawajlanıwlar

Eń sońǵı GPT tiykar modellerine kelsek, OpenAI GPT-3-tiń birinshi versiyaların 2020-jıl iyulda járiyaladı. 1B, 6.7B, 175B parametrleri bar úsh model bar edi, olar sáykes túrde Bebbidj, Kyuri hám Davinchi (B,C hám D bas háripler menen) dep atalǵan.

2021-jıl iyulde OpenAI programmalastırıw qosımshaları ushın wazıypalarǵa arnalǵan GPT modeli bolıp tabılatuǵın Codex-ti shıǵardı. Bul GitHub kodın paydalanıp, GPT-3 (aldınǵı GPT-3 modellerinen ayırmashılıǵı) 12B parametr versiyasın anıq sazlaw arqalı islep shıqtı.

2022-jıl mart ayında OpenAI kórsetpe boyınsha (kórsetpege muwapıq sazlanǵan),  davinci-instruct-beta (175B) hám text-davinci-001 dep atalatuǵın GPT-3-tiń eki versiyasın járiyaladı, sonnan keyin beta-test code-davinci-002 ni basladı. text-davinci-002 code-davinci-002 kórsetpesinen sazlandı. text-davinci-003 hám ChatGPT ekewi de 2022-jıl noyabrde shıǵarıldı, ekewi de adam keri baylanısınan (RLHF) bilim alıw arqalı text-davinci-002 tiykarında islengen. text-davinci-003 kórsetpelerdi orınlawǵa úyretilgen (burınǵıları sıyaqlı), al ChatGPT adam paydalanıwshı menen sóylesiw háreketine úyretilgen.

OpenAI-diń eń sońǵı GPT tiykar modeli − GPT-4 2023-jıl 14 martta shıǵarıldı. Oǵan ChatGPT premium versiyası arqalı paydalanıwshılar tikkeley kire aladı hám OpenAI-diń API arqalı basqa ónimler menen xızmetlerge qosıw ushın baǵdarlamashılarǵa qoljetimli. GPT tiykar modelleriniń basqa óndiriwshilerine EleutherAI (2021-jıl martta baslanǵan modeller seriyası menen) hám Cerebras (2023jıl martta shıqqan jeti modeli menen) kiredi.

## Tiykarǵı modeller

Tiykarǵı model — keń kólemli maǵlıwmatlar boyınsha oqıtılǵan AI modeli, sonlıqtan onı tómengi aǵımdaǵı wazıypalardıń keń sheńberine beyimlewge boladı.

Usı waqıtqa shekem GPT-diń ataqlı tiykar modelleri OpenAI GPT-n seriyasınan boldı. Onıń eń sońǵısı GPT-4, ol ushın OpenAI ólshemin yamasa shınıǵıw maǵlıwmatların járiyalawdan bas tarttı («básekige qábiletli landshaft penen kólemli modellerdiń qáwipsizligi sebebinen»).

OpenAI-diń *GPT-n* seriyası| Model | Arxitektura | Parametrler sanı | Trening (shınıǵıw) maǵlıwmatları | Shıǵarılǵan sánesi | Trening bahası |
| --- | --- | --- | --- | --- | --- |
| GPT-1 | 12 dárejeli, 12 baslı Transformator deshifratorı (kodersiz), onnan keyin sızıqlı-softmax. | 117 mln | BookCorpus: 4,5 GB tekst, hár túrli janrdaǵı 7000 járiyalanbaǵan kitaplardan. | 2018-jıl 11-iyun | 8 P600 GPU-da 30 kún yamasa 1 petaFLOP/s-kún. |
| GPT-2 | GPT-1, biraq ózgertilgen normalaw menen | 1,5 mlrd | WebText: 40 GB tekst, Reddit-te tastıyıqlanǵan 45 million veb-bettiń 8 million hújjeti. | 2019-jıl 14 fevral (dáslepki/sheklengen versiya) hám 2019-jıl 5-noyabr (tolıq versiya) | "onlaǵan petaflop / s-kún" yamasa 1,5e21 FLOP., |
| GPT-3 | GPT-2, biraq úlkenirek masshtablawǵa imkaniyat beretuǵın modifikaciyası bar. | 175 mlrd | CommonCrawl (570 GB), WebText, inglisshe Wikipedia hám eki kitap korpusınan (Books1 hám Books2) ibarat 499 milliard token. | 28-may, 2020-jıl | 3640 petaflop/s-kún (D.1-keste), yamasa 3,1e23 FLOP. |
| GPT-3.5 | Járiyalanbaǵan | 175 mlrd | Járiyalanbaǵan | 2022-jıl 15-mart | Járiyalanbaǵan |
| GPT-4 | Sonday-aq tekstti boljaw hám RLHF ekewi de oqıtıldı; tekstti de, súwretlerdi de kirgiziw retinde qabıllaydı. Tolıǵıraq maǵlıwmatlar áshkara emes. | Járiyalanbaǵan. Shama emen 1,7 trln. | Járiyalanbaǵan | 2023-jıl 14-mart | Járiyalanbaǵan. Shama menen 2.1 × 1025 FLOP. |

Basqa usınday modellerge GPT-3 penen salıstırılǵan hám jaqında API arqalı baǵdarlamashılarǵa qoljetimli bolǵan Google kompaniyasınıń PaLM modeli, hám eń jaqın jumıs isleytuǵın ashıq kodlı alternativ retinde xabarlanǵan Together GPT-JT kiredi. GPT-3 (hám burınǵı ashıq kodlı GPT-lerden alınǵan). Meta AI (burınǵı Facebook) sonıń menen qatar LLaMA dep atalatuǵın generativ transformatorǵa tiykarlanǵan úlken til modeline iye.

Tiykarǵı GPT-ler kirgiziw hám/yamasa shıǵarıw ushın tekstten basqa usıllardı da paydalana aladı. GPT-4 tekstti hám súwretti kirgiziwdi qayta islewge uqıplı multimodal LLM bolıp tabıladı (biraq onıń shıǵıwı tekst penen sheklenedi). Multimodal shıǵıwǵa baylanıslı ayırım generativ transformatorlarǵa tiykarlanǵan modeller diffuziya hám parallel dekodlaw sıyaqlı tekstten súwretke texnologiyalar ushın paydalanıladı. Modellerdiń bunday túrleri súwretler menen jumıs isley alatuǵın tómengi aǵım sistemalardı islep shıǵıw ushın vizual tiykar modelleri (VFM) retinde xızmet ete aladı.

## Derekler