Generativ aldınnan tayarlanǵan transformator

Generativ aldınnan tayarlanǵan transformator yaǵnıy GPT (ingl. Generative pre-trained transformers, GPT) − úlken til modeliniń (LLM) bir túri hám generativ jasalma intellekt ushın belgili struktura bolıp tabıladı. Olar tábiyiy tildi qayta islew wazıypalarında qollanılatuǵın jasalma neyron tarmaqlar. GPT-ler transformator arxitekturasına tiykarlanǵan, tańbalanbaǵan teksttiń úlken maǵlıwmatlar jıynaǵında aldınnan tayarlanǵan hám adamǵa uqsas jańa kontentti jarata aladı. 2023-jılǵı jaǵday boyınsha LLM-lerdiń kópshiliginde usı qásiyetler bar bolıp, geyde olardı GPT-ler dep ataydı.

Birinshi GPT 2018-jılı OpenAI tárepinen usınılǵan. OpenAI óziniń "GPT-n" seriyasınan ibarat izbe-iz nomerlengen tásirli GPT negizgi modellerin shıǵardı. Olardıń hárqaysısınıń kólemi (shınıǵıwǵa bolatuǵın parametrlerdiń sanı) hám oqıtıwdıń úlkeyiwine baylanıslı aldınǵısına qaraǵanda álleqayda qábiletli boldı. Olardıń eń sońǵısı, GPT-4 — 2023-jıl martta shıǵarıldı. Bunday modeller olardıń wazıypalarǵa arnalǵan GPT sistemalarına, sonıń ishinde keyingi kórsetpelerge anıq sazlanǵan modellerge tiykar boldı, bul óz gezeginde ChatGPT chatbot xızmetin qollaydıHaddad, Mohammed. "How does GPT-4 work and how can you start using it in ChatGPT?". www.aljazeera.com..

"GPT" termini basqalar tárepinen islep shıǵarılǵan usınday modellerdiń atları menen táriyiplerinde de qollanıladı. Mısalı, basqa GPT tiykar modellerine EleutherAI tárepinen jaratılǵan modeller seriyasın, hám 2023-jılı Cerebras tárepinen jaratılǵan jeti modeldi óz ishine aladı. Sonday-aq, hár túrli tarawlardaǵı kompaniyalar Salesforce kompaniyasınıń "EinsteinGPT" (CRM ushın) hám Bloomberg-tiń "BloombergGPT" (finans ushın) sıyaqlı tiyisli tarawlarda wazıypalarǵa arnalǵan GPT-lerdi jaratıldı.

 Tariyxı 

 Dáslepki islenbeler 
Generativ aldınnan tayarlıq (GP) mashinalıq oqıtıw programmalarında burınnan qáliplesken túsinik. Ol dáslebinde yarım baqlanatuǵın oqıtıw obyekti retinde paydalanıldı, óytkeni model aldı menen maǵlıwmatlar jıynaǵında maǵlıwmatlar noqatların jaratıwdı úyreniw arqalı tańbalanǵan maǵlıwmatlar jıynaǵında (aldınnan tayarlıq basqıshı) oqıtıladı, sonnan keyin ol tańbalanǵan maǵlıwmatlar jıynaǵın klassifikaciyalawǵa úyretiledi.

Normalanbaǵan sızıqlı transformator 1992-jıldan berli payda bolǵanı menen, zamanagóy transformator arxitekturası 2017-jılı Google izertlewshileri «Itibar beriń — sizge kerek» maqalasında járiyalanǵanǵa shekem qol jetimli bolmadı. Bul rawajlanıw 2018-jılı BERT sıyaqlı úlken til modelleriniń payda bolıwına alıp keldi, ol aldınnan tayarlanǵan transformator (PT) boldı, biraq generativ bolıwǵa arnalmaǵan (BERT tek «koder ushın» model boldı). Sonday-aq, sol waqıtta 2018-jılı OpenAI óziniń «General Pre-Training arqalı tildi túsiniwdi jaqsılaw» atlı maqalasın járiyaladı, onda ol birinshi generativ aldınnan tayarlanǵan transformator (GPT) sistemasın ("GPT-1") engizdi.

Transformatorǵa tiykarlanǵan arxitekturalarǵa shekem eń jaqsı jumıs isleytuǵın neyron NLP (tábiyiy tildi qayta islew) modelleri ádette qol menen belgilengen maǵlıwmatlardıń úlken kóleminen baqlanatuǵın oqıtıwdı paydalandı. Baqlanatuǵın oqıtıwǵa ǵárezlilik olardı jaqsı túsindirilmegen maǵlıwmatlar jıynaǵında paydalanıwdı shekledi, sonıń menen qatar júdá úlken til modellerin úyretiw júdá qımbat hám waqıttı talap etediRadford, Alec; Narasimhan, Karthik; Salimans, Tim; Sutskever, Ilya (11 June 2018). "Improving Language Understanding by Generative Pre-Training" (PDF). OpenAI. p. 12. Archived (PDF) from the original on 26 January 2021. Retrieved 23 January 2021..

OpenAI keń kólemli sistemanı jaratıw ushın qollanılǵan hám birinshi ret transformator modeli menen ámelge asırılǵan yarım baqlawlı usıl — eki basqıshtı qamtıdı: tildi modellestiriw maqsetin paydalanıp dáslepki parametrlerdi ornatıw ushın baqlanbaytuǵın generativ «aldınnan tayarlıq» basqıshı hám baqlanatuǵın usı parametrlerdi maqsetli wazıypaǵa beyimlew ushın diskriminativ «anıq sazlaw» basqıshıRadford, Alec; Narasimhan, Karthik; Salimans, Tim; Sutskever, Ilya (11 June 2018). "Improving Language Understanding by Generative Pre-Training" (PDF). OpenAI. p. 12. Archived (PDF) from the original on 26 January 2021. Retrieved 23 January 2021..

 Keyingi rawajlanıwlar 
Eń sońǵı GPT tiykar modellerine kelsek, OpenAI GPT-3-tiń birinshi versiyaların 2020-jıl iyulda járiyaladı. 1B, 6.7B, 175B parametrleri bar úsh model bar edi, olar sáykes túrde Bebbidj, Kyuri hám Davinchi (B,C hám D bas háripler menen) dep atalǵan.

2021-jıl iyulde OpenAI programmalastırıw qosımshaları ushın wazıypalarǵa arnalǵan GPT modeli bolıp tabılatuǵın Codex-ti shıǵardı. Bul GitHub kodın paydalanıp, GPT-3 (aldınǵı GPT-3 modellerinen ayırmashılıǵı) 12B parametr versiyasın anıq sazlaw arqalı islep shıqtı.

2022-jıl mart ayında OpenAI kórsetpe boyınsha (kórsetpege muwapıq sazlanǵan),  davinci-instruct-beta (175B) hám text-davinci-001 dep atalatuǵın GPT-3-tiń eki versiyasın járiyaladı, sonnan keyin beta-test code-davinci-002 ni basladı. text-davinci-002 code-davinci-002 kórsetpesinen sazlandı. text-davinci-003 hám ChatGPT ekewi de 2022-jıl noyabrde shıǵarıldı, ekewi de adam keri baylanısınan (RLHF) bilim alıw arqalı text-davinci-002 tiykarında islengen. text-davinci-003 kórsetpelerdi orınlawǵa úyretilgen (burınǵıları sıyaqlı), al ChatGPT adam paydalanıwshı menen sóylesiw háreketine úyretilgen.

OpenAI-diń eń sońǵı GPT tiykar modeli − GPT-4 2023-jıl 14 martta shıǵarıldı. Oǵan ChatGPT premium versiyası arqalı paydalanıwshılar tikkeley kire aladı hám OpenAI-diń API arqalı basqa ónimler menen xızmetlerge qosıw ushın baǵdarlamashılarǵa qoljetimli. GPT tiykar modelleriniń basqa óndiriwshilerine EleutherAI (2021-jıl martta baslanǵan modeller seriyası menen)Alford, Anthony (July 13, 2021). "EleutherAI Open-Sources Six Billion Parameter GPT-3 Clone GPT-J". InfoQ. hám Cerebras (2023jıl martta shıqqan jeti modeli menen) kiredi.

 Tiykarǵı modeller 
Tiykarǵı model — keń kólemli maǵlıwmatlar boyınsha oqıtılǵan AI modeli, sonlıqtan onı tómengi aǵımdaǵı wazıypalardıń keń sheńberine beyimlewge boladı.

Usı waqıtqa shekem GPT-diń ataqlı tiykar modelleri OpenAI GPT-n seriyasınan boldı. Onıń eń sońǵısı GPT-4, ol ushın OpenAI ólshemin yamasa shınıǵıw maǵlıwmatların járiyalawdan bas tarttı («básekige qábiletli landshaft penen kólemli modellerdiń qáwipsizligi sebebinen»).
+OpenAI-diń GPT-n seriyasıModelArxitekturaParametrler sanıTrening (shınıǵıw) maǵlıwmatlarıShıǵarılǵan sánesiTrening bahasıGPT-112 dárejeli, 12 baslı Transformator deshifratorı (kodersiz), onnan keyin sızıqlı-softmax.117 mlnBookCorpus: 4,5 GB tekst, hár túrli janrdaǵı 7000 járiyalanbaǵan kitaplardan.2018-jıl 11-iyun"Improving language understanding with unsupervised learning". openai.com. June 11, 2018. Archived from the original on 2023-03-18. Retrieved 2023-03-18.8 P600 GPU-da 30 kún yamasa 1 petaFLOP/s-kún.GPT-2GPT-1, biraq ózgertilgen normalaw menen1,5 mlrdWebText: 40 GB tekst, Reddit-te tastıyıqlanǵan 45 million veb-bettiń 8 million hújjeti.2019-jıl 14 fevral (dáslepki/sheklengen versiya) hám 2019-jıl 5-noyabr (tolıq versiya)"onlaǵan petaflop / s-kún" yamasa 1,5e21 FLOP.,GPT-3GPT-2, biraq úlkenirek masshtablawǵa imkaniyat beretuǵın modifikaciyası bar.175 mlrdCommonCrawl (570 GB), WebText, inglisshe Wikipedia hám eki kitap korpusınan (Books1 hám Books2) ibarat 499 milliard token.28-may, 2020-jıl3640 petaflop/s-kún (D.1-keste), yamasa 3,1e23 FLOP.GPT-3.5Járiyalanbaǵan175 mlrdJáriyalanbaǵan2022-jıl 15-martJáriyalanbaǵanGPT-4Sonday-aq tekstti boljaw hám RLHF ekewi de oqıtıldı; tekstti de, súwretlerdi de kirgiziw retinde qabıllaydı. Tolıǵıraq maǵlıwmatlar áshkara emesOpenAI (2023). "GPT-4 Technical Report" (PDF). Archived (PDF) from the original on 2023-03-14. Retrieved 2023-03-16..Járiyalanbaǵan. Shama emen 1,7 trln.Járiyalanbaǵan2023-jıl 14-martJáriyalanbaǵan. Shama menen 2.1 × 1025 FLOP.
Basqa usınday modellerge GPT-3 penen salıstırılǵan hám jaqında API arqalı baǵdarlamashılarǵa qoljetimli bolǵan Google kompaniyasınıń PaLM modeli, hám eń jaqın jumıs isleytuǵın ashıq kodlı alternativ retinde xabarlanǵan Together GPT-JT kiredi. GPT-3 (hám burınǵı ashıq kodlı GPT-lerden alınǵan). Meta AI (burınǵı Facebook) sonıń menen qatar LLaMA dep atalatuǵın generativ transformatorǵa tiykarlanǵan úlken til modeline iye.

Tiykarǵı GPT-ler kirgiziw hám/yamasa shıǵarıw ushın tekstten basqa usıllardı da paydalana aladı. GPT-4 tekstti hám súwretti kirgiziwdi qayta islewge uqıplı multimodal LLM bolıp tabıladı (biraq onıń shıǵıwı tekst penen sheklenedi). Multimodal shıǵıwǵa baylanıslı ayırım generativ transformatorlarǵa tiykarlanǵan modeller diffuziya hám parallel dekodlaw sıyaqlı tekstten súwretke texnologiyalar ushın paydalanıladı. Modellerdiń bunday túrleri súwretler menen jumıs isley alatuǵın tómengi aǵım sistemalardı islep shıǵıw ushın vizual tiykar modelleri (VFM) retinde xızmet ete aladı.

 Derekler 

Kategoriya:Programmalıq injiniring
__BÖLİDİMÖNDEMEW__