GPT-3

**Generativ Aldınnan Tayarlanǵan Transformator 3 (GPT-3)** *([[Inglis tili|ingl]]. Generative Pre-trained Transformer 3)* — 2020-jılı OpenAI tárepinen shıǵarılǵan úlken til modeli.

Óziniń aldınǵı versiyası GPT-2 sıyaqlı bul tereń neyron tarmaǵınıń tek dekoderge arnalǵan transformator modeli, ol «itibar beriw» dep atalatuǵın usıl menen qaytalanıw hám konvulsiyaǵa tiykarlanǵan arxitekturalardı almastıradı. Bul itibar beriw mexanizmi modelge eń aktual dep boljanǵan kiris tekstiniń segmentlerine tańlamalı túrde itibar beriwge imkaniyat beredi. GPT-3 175 milliard parametrge iye, olardıń hárqaysısı 16 bitlik dállik penen, 350 GB yadtı talap etedi, sebebi hárbir parametr 2 bayttı aladı. Onıń kontekstlik ayna ólshemi 2048 tokeni bar hám kóplegen tapsırmalarda kúshlik «nollik atıw» oqıw qábiletlerin kórsetti.

2020-jıl 22 sentyabrde Microsoft tek GPT-3 licenziyasın alǵanın járiyaladı. Basqalar ele de hámmege ashıq API-den nátiyje ala aladı, biraq tek Microsoft korporaciyası tiykarǵı til modeline kiriw huqıqına iye.

## Fon
The Economist maǵlıwmatlarınsha, jetilistirilgen algoritmler, quwatlıraq kompyuterler hám cifrlastırılǵan material sanınıń jaqında kóbeyiwi mashinalıq oqıtıwdaǵı revolyuciyanı kúsheytti. 2010-jılları jańa texnikalar «tapsırmalardı tez jaqsılawǵa», sonıń ishinde til menen manipulyaciyalawǵa alıp keldi.

Programmalıq támiynat modelleri «miydiń neyron arxitekturasına sáykes ... bos túrde qurılǵan» mıńlaǵan yamasa millionlaǵan mısallardı paydalanıw arqalı úyreniwge oqıtıladı. Tábiyiy tildi qayta islewde (NLP) qollanılatuǵın arxitekturalardıń biri 2017-jılı engizilgen tereń oqıtıw modeline tiykarlanǵan neyron tarmaq − transformator arxitekturası. Tekstli kirgiziwdi qayta islewge, qazıp alıwǵa, shólkemlestiriwge, baylanıstırıwǵa hám qarama-qarsı qoyıwǵa, sonday-aq sorawlarǵa durıs juwap beriwge uqıplı bir qatar NLP sistemaları bar.

2018-jıl 11-iyun kúni OpenAI izertlewshileri menen injenerleri birinshi generativ aldınnan tayarlanǵan transformator (GPT) — maǵlıwmatlar jıynaqlarında úlken hám hár túrli tekstli korpus penen aldınnan oqıtılǵan, keyin anıq wazıypaǵa baǵdarlanıw ushın diskriminativ túrde dál sazlanǵan, generativ úlken til modeli túrin usınıs etetuǵın maqala járiyaladı. GPT modelleri transformatorǵa tiykarlanǵan tereń oqıtıw neyron tarmaq arxitekturaları. Burın, eń jaqsı jumıs isleytuǵın neyron NLP modelleri kóbinese qol menen belgilengen maǵlıwmatlardıń úlken kóleminen baqlanatuǵın oqıtıwdı qollanǵan, bul júdá úlken til modellerin oqıtıw qımbat hám waqıttı talap etedi. Birinshi GPT modeli "GPT-1" dep atalǵan hám onnan keyin 2019-jıl fevralda "GPT-2" shıǵarıldı. Aldınǵısınan tikkeley masshtabta rawajlanǵan, GPT-2-niń parametrler sanı da, maǵlıwmatlar jıynaǵınıń ólshemi de on esege ósti. Onıń 1,5 milliard parametrleri bar edi hám ol 8 million veb-betten ibarat maǵlıwmatlar jıynaǵında oqıtılǵan.

2020-jıl fevralda Microsoft korporaciyası óziniń Turing Natural Language Generation (T-NLG) versiyasın usındı, olar «17 milliard parametr menen járiyalanǵan eń úlken til modeli» dep málimledi Ol tekstlerdi ulıwmalastırıw menen sorawlarǵa juwap beriwdi qosqanda, hár túrli tapsırmalardı orınlawda hár qanday til modeline qaraǵanda jaqsı orınladı.

## Trening hám imkaniyatlar
**GPT-3 tárepinen jazılǵan pedagogika haqqında studentlik esse úlgisi:**

«Oqıtıw stiliniń» konstrukciyası mashqalalıq bolıp tabıladı, óytkeni ol oqıtıw stilleriniń qáliplesiw proceslerin itibarǵa almaydı. Ayırım studentler belgili bir úyreniw stilin qáliplestire aladı, óytkeni olardıń belgili bir tájiriybeleri bar. Basqaları ózleriniń úyreniw mútájliklerine jaqsı sáykes kelmegen úyreniw ortalıǵına beyimlesiwge háreket etiw arqalı belgili bir úyreniw stilin qáliplestire aladı. Aqırǵı jaǵdayda, biz úyreniw stiliniń, ortalıq faktorlardıń hám jeke faktorlardıń arasındaǵı óz-ara tásirlerdi hám olardıń qalay úyreniwimizge hám biz basqarıp atırǵan úyreniw túrlerine qalay tásir etetuǵının túsiniwimiz kerek.

2020-jıl 28 mayda OpenAI-degi 31 injener hám izertlewshiler toparı GPT-3-tiń jetiskenliklerin hám rawajlanıwı «zamanagóy til modeliniń» úshinshi áwladın táriyipleytuǵın arXiv preprintin járiyaladı. Topar GPT-3-tiń sıyımlılıǵın aldınǵı versiyası, GPT-2-ge qaraǵanda eki esege joqarı arttırdı, bul GPT-3-ti hazirgi waqıttaǵı eń iri siyrek emes til modeline aylandırdı  GPT-3 strukturalıq jaqtan aldınǵısına uqsas bolǵanlıqtan, onıń úlken dálligi onıń joqarı sıyımlılıǵı menen hám parametrlerdiń kóp sanı menen baylanıslı. GPT-3 sıyımlılıǵı Microsoft korporaciyasınıń Turing NLG modelinen on ese úlken, bul sol gezde belgili keyingi eń úlken NLP modeli.

Lambdalabs 2020-jıldaǵı jaǵday boyınsha GPT-3-ti jeke GPU-da oqıtıw ushın shama menen 4,6 million AQSH dolları hám 355 jıl jumsalatuǵın shıǵındı bahaladı, parallel túrde kóbirek GPU qollanǵanda haqıyqıy oqıtıw waqtı azıraq.

GPT-3 ushın ólshengen aldınnan oqıtıw maǵlıwmatlar jıynaǵınıń alpıs procenti 410 milliard bayt-jup kodlanǵan tokenlerdi qamtıytuǵın, Common Crawl filtrlengen versiyasınan ibarat. Onsha kórinbeytuǵın deupkikaciya Apache Spark's MinHashLSH qollandı. Basqa derekler: WebText2-den 19 alınǵan milliard token, bul ólshengen toplamnıń 22%, Books1-den 12 milliard token −88%, Books2-den 55 milliard token — 8% hám Wikipedia-dan 3 milliard token. GPT-3 júzlegen milliard sózler boyınsha oqıtıldı hám basqalar qatarında CSS, JSX hám Python-da kodlawǵa da qábiletli.

GPT-3 oqıtıw maǵlıwmatları hár tárepleme bolǵanlıqtan, ol hár túrli til tapsırmaları ushın qosımsha oqıtıwdı talap etpeydi. Shınıǵıw maǵlıwmatlarında tosınnan toksik (zıyanlı) til bar hám GPT-3 oqıw maǵlıwmatlarına eliklew nátiyjesinde geyde toksik tildi jaratadı. Vashington universitetiniń izertlewi GPT-3 GPT-2 hám CTRL uqsas tábiyiy tildi qayta islew modelleri menen salıstırılatuǵın toksik dárejede toksik til shıǵaratuǵının anıqladı. OpenAI GPT-3 payda etetuǵın toksik tildiń mólsherin sheklew ushın bir neshe strategiyalardı ámelge asırdı. Nátiyjesinde GPT-3 burınǵı GPT-1 modeli menen salıstırǵanda az toksik til shıǵardı, degen menen ol tolıǵı menen Wikipedia maǵlıwmatlarında oqıtılatuǵın CTRL Wiki menen salıstırǵanda toksik tildiń kóp áwladları menen toksikligi joqarı boldı.

2020-jıl 11 iyunda OpenAI paydalanıwshılar OpenAI-ge usı jańa texnologiyanıń «kúshleri menen sheklewlerin» izertlewge járdemlesiw ushın paydalanıwshıǵa qolaylı GPT-3 API — «mashinalıq oqıtıw qurallarınıń jıynaǵı»na kiriwdi soray alatuǵının járiyaladı. Shaqırıw bul API-de ádettegi bir qollanıw jaǵdayınıń ornına «hár qanday inglis tilindegi tapsırmanı» derlik orınlay alatuǵın ulıwma maqsetli «tekstti kirgiziw, tekst shıǵarıw» interfeysi bar ekenin táriyipledi OpenAI GPT-3 API jeke erte shıǵarılımına kirgen bir paydalanıwshınıń aytıwınsha, GPT-3 bir neshe ápiwayı keńesler menen «tańqalarlıq úylesimli tekstti» jazıwda «júdá jaqsı» boldı.. Dáslepki eksperimentte AQSHtıń 80 subyektine qısqa ~200 sózlik maqalanı adamlar yamasa GPT-3 jazǵan ba, sonı anıqlaw soraldı. Qatnasıwshılar waqıttıń 52% durıs bahaladı, bul tosınnan boljawdan sál ǵana jaqsıraq.

2021-jıl 18-noyabrde OpenAI API-ge kiriw sheklewsiz bolatuǵınday jetkilikli qáwipsizlik ilajları engizilgenin xabarladı. OpenAI islep shıǵarıwshılarǵa OpenAI kontent siyasatına ámel etiwge járdemlesetuǵın kontentti moderaciyalaw quralı menen támiyinledi. 2022-jıl 22 yanvarda OpenAI óziniń eń jańa GPT-3 til modelleri (birge InstructGPT dep ataladı) endi API interfeysinde qollanılatuǵın ádepki til modeli ekenin járiyaladı. OpenAI maǵlıwmatları boyınsha, InstructGPT kórsetpelerdi jaqsıraq orınlap, az dúzilgen faktlerdi generaciyalaw hám toksikligi az kontentti shıǵarıw arqalı paydalanıwshı niyetine jaqsıraq sáykeslendirilgen kontentti shıǵardı.

GPT-3 «adam bahalawshıları adam jazǵan maqalalardan ajıratıwǵa qıynalatuǵın jańalıqlar maqalaların jarata alatuǵınlıqtan» GPT-3 «til modelleriniń paydalı hám zıyanlı qosımshaların ilgeriletiw imkaniyatına» iye. 2020-jıl 28 maydaǵı maqalasında izertlewshiler «jalǵan informaciya, spam, fishing, nızamlı hám húkimetlik proceslerdi teris paydalanıw, jalataylıq akademiyalıq esse jazıw hám sociallıq injenerlik sıltawlardı» qamtıytuǵın GPT-3 itimal «zıyanlı tásirlerin» tolıǵı menen táriyipledi. Avtorlar qáwip-qáterdi azaytıw boyınsha izertlewlerge shaqırıw ushın usı qáwiplerge itibar beredi.

GPT-3 nollik atıw hám az atıw (sonıń ishinde bir retlik) oqıwdı orınlawǵa qábiletli.

2022-jıl iyunda Almira Osmanovich Tunstrem GPT-3 ózi tuwralı maqalanıń tiykarǵı avtorı ekenin, olar onı járiyalawǵa usınǵanın hám onıń sholıwınıń juwmaqlanıwın kútiw waqtında aldınnan járiyalanǵanın jazdı.

## GPT-3 modelleri
GPT-3 shańaraǵında kóplegen modeller bar, olardıń ayırımları basqalarǵa qaraǵanda hár túrli maqsetlerge xızmet etedi. OpenAI tárepinen járiyalanǵan dáslepki izertlew maqalasında olardıń tiykarǵı GPT-3 modeliniń 8 túrli ólshemderi bar ekenligi aytılǵan:

Modellerdiń yarımına API arqalı qoljetimli boladı, atap aytqanda GPT-3-medium, GPT-3-xl, GPT-3-6.7B hám GPT-3-175b, olardı sáykesinshe ada, babbage, curie hám davinci dep atadı. API úlgileriniń ólshemin OpenAI dáslebinde ashpaǵanı menen, EleutherAI model ólshemleri menen API atları arasındaǵı salıstırıwdı 2021-jıl mayda járiyaladı. Bul model ólshemlerin keyin OpenAI bunı tastıyıqladı, biraq keyingi modellerdiń ólshemleri ashılǵan joq.

**[[Generativ aldınnan tayarlanǵan transformator|Generativ Aldınnan Tayarlanǵan Transformator]] 3.5 (GPT-3.5)** — 2022-jılı OpenAI tárepinen jaratılǵan GPT-3 modelleriniń kishi klası.

2022-jıl 15 martta OpenAI "text-davinci-002" hám "code-davinci-002" atları menen redaktorlaw hám ornatıw imkaniyatları bar API-de GPT-3 hám Codex-tiń jańa versiyaların qoljetimli etti. Bul modeller aldınǵı versiyalardan kóbirek qábiletli dep táriyipledi hám 2021-jıl iyunǵa shekemgi maǵlıwmatlar boyınsha oqıtıldı. 2022-jıl 28 noyabrde OpenAI text-davinci-003-ti usındı. 2022-jıl 30 noyabrde OpenAI bul modellerdi «GPT-3.5» seriyasına tiyisli dep ayta basladı hám GPT-3.5 seriyasındaǵı model boyınsha dál sazlanǵan ChatGPT-di shıǵardı., OpenAI GPT-3-ke GPT-3.5-ti qospaydı.

### Modeller
Úsh model bar:

* Chat
** gpt-3.5-turbo
* Text completion
** text-davinci-003
** text-davinci-002

### GPT-3.5 aldınnan kóriw menen
2023-jıl 10 aprelde OpenAI GPT-3.5 seriyası modeliniń GPT-3.5 Browsing (ALPHA) dep atalǵan jańa variyantın usındı. Bul jańalanǵan model óziniń aldınǵı "text-davinci-002" hám "code-davinci-002" modelleriniń imkaniyatlarına tiykarlanǵan dep táriyipledi. GPT-3.5 Browsing (ALPHA) modeli onlayn informaciyaǵa kiriw hám sholıw imkaniyatın qosıp aldı. Bul paydalanıwshı sorawlarına kóbirek dál hám jańalanǵan juwaplar beriwge alıp keldi.

GPT-3.5 Browsing (ALPHA) modeli 2021-jıl sentyabrge shekemgi maǵlıwmatlar boyınsha oqıtılǵan, bul onıń 2021-jıl iyunǵa shekemgi maǵlıwmatlar boyınsha oqıtılǵan aldınǵı GPT-3.5 modellerine qaraǵanda kóbirek informaciyaǵa beredi. Model islep shıǵarıwshılar menen paydalanıwshılarǵa onlayn informaciyanı ónimli alıw hám sintezley alatuǵın jetilistirilgen tábiyiy tildi qayta islew quralın usınıwǵa háreket etti.

Sholıw imkaniyatların ámelge asırıw ushın, OpenAI GPT-3.5 Browsing (ALPHA) modeli jumıs waqtında tańlanǵan onlayn resurslarǵa kiriwge imkaniyat beretuǵın jańa API engizdi. Bul imkaniyat paydalanıwshılarǵa sorawlar beriwge yamasa model oǵan qoljetimli eń sońǵı onlayn dereklerge tiykarlanǵan jańalanǵan, dál hám sáykes juwaplardı beredi dep kútiw arqalı informaciya sorawǵa imkaniyat beredi.

2023-jıl 27 aprelde OpenAI GPT Plus paydalanıwshıları ushın GPT-3.5 Browsing (ALPHA) modelin hámmege qoljetimli etti. Bul kóbirek adamlardıń jańa imkaniyatlarǵa erisiwine imkaniyat berdi.

## Derekler

__BÖLİDİMÖNDEMEW__