Transformator (tereń oqıtıw arxitekturası)

**Transformator** *([[Inglis tili|ingl]]. transformer)* − Google tárepinen jaratılǵan hám 2017-jılı «Itibar beriń - sizge kerek» maqalasında usınıs etilgen kóp-baslı itibar beriw mexanizmine tiykarlanǵan tereń oqıtıw arxitekturası. Tekst tokenler dep atalatuǵın sanlı kórinislerge aylandırıladı hám hárbir token sózdi kirgiziw kestesinen joqarıǵa qarap vektorǵa aylandırıladı Hár qabatta hárbir token kontekstli ayna sheńberinde basqa (maskalanbaǵan) tokenler menen parallel kóp baslı itibar beriw mexanizmi arqalı kontekstlendiriledi, bul tiykarǵı tokenlerge signaldı kúsheytiwge hám zárúr emes tokenlerdi azaytıwǵa imkaniyat beredi. 2017-jılı járiyalanǵan transformatorlıq maqala Bahdanau et tárepinen usınıs etilgen softmax tiykarındaǵı itibar beriw mexanizmine tiykarlanǵan. 2014-jılı mashinalıq awdarma ushın hám 1992-jılı usınıs etilgen transformatorǵa uqsas Fast Weight Controller bar..

Transformatorlardıń artıqmashılıǵı qaytalanatuǵın birliklerdiń bolmawı, sonlıqtan uzaq qısqa múddetli yadı (LSTM) sıyaqlı aldınǵı qaytalanatuǵın neyron arxitekturalarǵa qaraǵanda shınıǵıw waqıtın az talap etedi. Keyingi ózgerisler Wikipedia korpusı hám Common Crawl sıyaqlı úlken (til) maǵlıwmatlar jıynaqlarında úlken til modellerin (LLM) oqıtıw ushın keńnen qollanıldı.

Bul arxitektura endi tábiyiy tildi qayta islewde hám videolardı tanıwda ǵana emes, sonıń menen qatar audio, multi-modal qayta islew hám robototexnikada qollanıladı. Ol sonday-aq generativ aldınnan tayarlanǵan transformatorlar (GTP) hám BERT (Transformatorlardan eki tárepleme kodlawshı wákillikler) sıyaqlı aldınnan tayarlanǵan sistemalardıń rawajlanıwına túrtki boldı.

## Xronologiya

* 1990-jılı Elman tarmaǵı qaytalanatuǵın neyron tarmaqtı paydalanıp, oqıw jıynaǵındaǵı hárbir sózdi vektor retinde kodladı, onı sózdi kirgiziw dep atadı, al pútkil lekciyanı vektorlı maǵlıwmatlar bazası retinde kodladı, bul oǵan ápiwayı kóp qabatlı perceptronnıń kúshinen tıs izbe-iz boljaw sıyaqlı wazıypalardı orınlawǵa imkaniyat berdi. Statistikalıq qosımshalardıń kemshiligi olardıń bir háriptegi sózlerdiń kóp mánislerin ajırata almawında edi.
* 1992-jılı Fast Weight Controller - Yurgen Shmidxuber tárepinen baspadan shıǵarıldı. Ol tiykarǵı vektorlardıń sırtqı ónimleri hámde FROM hám TO dep atalatuǵın mánis vektorları arqalı basqa neyron tarmaqtıń itibar salmaqların programmalastırıw arqalı sorawlarǵa juwap beriwdi úyrendi. Tez salmaq kontrolleri keyin normalanbaǵan sızıqlı transformatorlarǵa ekvivalent ekenligi kórsetildi. «Dıqqattıń ishki projektorların úyreniw» terminologiyası 1993-jılı engizildi.
* 1993-jılı IBM alignment modelleri statistikalıq mashinalıq awdarma ushın paydalanıldı.
* 1997-jılı uzaq qısqa múddetli yad sıyaqlı qaytalanatuǵın neyron tarmaqlardı paydalanatuǵın úlken til modeliniń prekursorı usınıs etildi.
* 2001-jılı Internetten alınǵan, sol gezde «júdá úlken» dep atalǵan bir milliard sózden ibarat úlken tekstli korpus, sózdi ajıratıw ushın paydalanıldı.
* 2012-jılı AlexNet súwretti tanıw ushın úlken neyron tarmaqlardıń ónimliligin kórsetti, eski statistikalıq usıllardıń ornına úlken jasalma neyron tarmaqlardı qollanıwdı xoshametledi.
* 2014-jılı Sutskever  tárepinen eki Uzaq qısqa múddetli yad *(ingl. Long short-term Memory (LSTMs))* tarmaǵı paydalanıp, mashinalıq awdarmaǵa arnalǵan 380M parametrli seq2seq modeli usınıs etilgen. Arxitektura eki bólimnen ibarat. Koder LSTM bolıp, ol tokenler izbe-izligin qabıllaydı hám onı vektorǵa aylandıradı. Dekoder - bul vektordı tokenler izbe-izligine aylandıratuǵın basqa LSTM.
* 2014-jılı ventilyaciya 130M parametrli seq2seq modelinde paydalı boldı, ol ápiwayılastırılǵan jabıq qaytalanatuǵın birliklerdi (GRU) paydalandı. Bahdanau hám basqaları GRU-lardıń jabıq LSTM-ge qaraǵanda jaqsıraq yamasa jamanıraq emes ekenin kórsetti.
* 2014-jılı Bahdanau h.t.b. eki LSTM tarmaǵı arasındaǵı itibar beriw mexanizminiń «qosımsha» túrin qollanıw arqalı jetik seq2seq modelin jaqsıladı. Degen menen, bul 2017-jılı transformatorlıq maqalada keyinirek usınıs etilgen parallelizaciyalanatuǵın («noqatlı ónim» sheńberinde) itibar beriw emes edi.
* 2015-jılı Global hám Jergilikli (aynalı) dıqqat modeli arxitekturasınıń salıstırmalı ónimliligi Luong h.t.b. tárepinen bahalandı, aralas dıqqat arxitekturası Bahdanau arxitekturası usınatuǵın awdarmalardı jaqsıladı, al jergilikli itibar beriw arxitekturasın paydalanıw awdarma waqıtın qısqarttı.
* 2016-jılı Google Translate áste-aqırın eski statistikalıq mashinalıq awdarma usılın LSTM tárepinen biriktiretuǵın seq2seq modelin hám itibar beriwdiń «qosımsha» túrin qamtıytuǵın jańa neyron tarmaqlarǵa tiykarlanǵan usıl menen almastırdı. Olar on jılǵa sozılǵan statistikalıq usılǵa qaraǵanda toǵız aydıń ishinde joqarı nátiyjege eristi.
* 2017-jılı tezirek (parallelenetuǵın yamasa bóleklenetuǵın) itibar beriw mexanizmi bar original (100M ólshemli) kodlawshı-dekoder transformatorınıń modeli «Itibar beriń - sizge kerek» maqalasında usınıs etildi. Modeldi birlestiriwge qıyınshılıqlar bolǵanlıǵı sebepli, oqıtıw tezligin oqıtıwdıń birinshi bólimi ushın 0-den maksimal mániske shekem (yaǵnıy, oqıtıw basqıshlarınıń ulıwma sanınıń 2%) sızıqlı túrde úlkeytiw usınıldı. Transformator modeliniń maqseti - seq2seq modelin alıw hám onıń qaytalanatuǵın neyron tarmaqların óshiriw, biraq onıń qosımsha itibar beriw mexanizmin saqlap qalıw bolıp tabıladı.
* 2018-jılı ELMo maqalasında gáptegi hárbir sózge jaylastırıw vektorı tayınlanǵanǵa shekem pútkil gáp qayta islendi. Eki baǵdarlı LSTM hárbir sóz ushın usınday tereń konteksli jaylastırıwlardı esaplaw ushın paydalanıldı, bul sózler toplamınan hám word2vec izertlew tarmaǵın jaqsılaydı.
* 2018-jılı BERT modelinde ELMo-nı jaqsılap (1B den aslam), tek kodlawshı transformator qollanıldı.
* 2020-jılı kóriw transformatorı hám sóylewdi qayta islewge arnalǵan konvolyuciya arqalı kúsheytilgen transformator burın kóriw hám sóylew ushın paydalanılǵan qaytalanatuǵın neyron tarmaqlardan ozıp ketti.
* 2020-jılı original transformatordı biriktiriw qıyınshılıqları Xiong h.t.b-lar tárepinen kóp tárepli itibarǵa shekem qabatlardı normalastırıw arqalı sheshildi. Bul pre-LN transformatorı dep ataladı.
* 2023-jılı bir baǵdarlı ("avtoregressiv") transformatorlar (ólshemi 100B aslam) GPT-3 hám basqa OpenAI GPT modellerinde qollanıldı.

### Aldınǵılar
Transformatorlardan burın maǵlıwmatlar jıynaǵın izbe-iz qayta isleytuǵın LSTM hám jabıq qaytalanatuǵın birlikler (GRU) sıyaqlı jabıq qaytalanatuǵın neyron tarmaqlarǵa itibar beriw mexanizminiń aldınǵıları qosıldı. Aldınǵı token esaplawlarına ǵárezlilik olardıń itibar beriw mexanizmin parallellewge imkaniyat bermedi. 1992-jılı tez salmaq kontrolleri qaytalanatuǵın neyron tarmaqlarǵa alternativ retinde usınıldı, ol «dıqqattıń ishki projektorların» úyrene aladı. Teoriyalıq jaqtan bir tokennen alınǵan informaciya izbe-izlik boyınsha erikli túrde tarqalıwı múmkin, biraq is júzinde joǵalıw-gradient máselesi aldınǵı tokenler tuwralı anıq, shıǵarılatuǵın uzaq gáptiń sońında model jaǵdayın informaciyasız qaldıradı.

Eski modellerdiń ónimliligi itibar beriw mexanizmin qosıw arqalı jaqsılandı, bul modelge izbe-izlik boyınsha hár qanday aldınǵı noqatqa erisiwge imkaniyat beredi. Itibar beriw dárejesi barlıq aldınǵı jaǵdaylardı sáykesliktiń izertlengen ólshemine sáykes ólsheydi, alıstaǵı belgiler tuwralı tiyisli informaciyanı beredi. Bul alıstaǵı kontekst gáptegi sózdiń mánisi ushın zárúr bolıwı múmkin til awdarmasında ásirese paydalı boldı. Jaǵday vektorı sońǵı inglis sózi qayta islengennen keyin ǵana qoljetimli boldı, mısalı onı francuz tilinen LSTM modeli menen awdarǵanda. Teoriyalıq jaqtan bunday vektor original gáp tuwralı informaciyanı tolıǵı menen saqlaǵanı menen, is júzinde informaciya jaman saqlanadı. Eger itibar beriw mexanizmi qosılsa, deshifratorǵa sońǵı ǵana emes, al hárbir kiris sózdiń jaǵday vektorına ruqsat beriledi hám hárbir kiris jaǵdayınıń vektorına qanshelli baylanısıw kerekligin anıqlaytuǵın dıqqat salmaqların bile aladı. Seq2seq modellerin itibar beriw mexanizmi menen keńeytiw dáslepki ret 2014-jılı Bahdanau, Cho hám Bendjio tárepinen mashinalıq awdarma kontekstinde ámelge asırıldı.

### Bóleklenetuǵın dıqqat
2016-jılı joqarı parallelizaciya bóleklenetuǵın dıqqat alǵa jiberiw tarmaǵı menen sátli biriktirildi. Bul dıqqat mexanizmleriniń kúshli ekenin hám itibar berip, qaytalanatuǵın neyron tarmaqlardıń sapalı jetiskenliklerine erisiw ushın maǵlıwmatlardı izbe-iz qaytalap, qayta islew kerek emes ekenin kórsetti. 2017-jılı Vasvani h.t.b-lar sonıń menen bir qatarda qaytalanatuǵın neyron tarmaqlardı dıqqat penen almastırıwdı usındı hám bul ideyanı bahalawǵa háreket etti. Transformatorlar itibar beriw mexanizmin qollanıp, barlıq tokenlerdi bir waqıtta qayta islep, olardıń arasındaǵı «jumsaq» salmaqlardı izbe-iz qabatlarda esapladı. Itibar beriw mexanizmi tek tómengi qabatlardaǵı basqa tokenler tuwralı informaciyanı paydalanatuǵınlıqtan, onı barlıq tokenler ushın parallel esaplawǵa boladı, bul shınıǵıw tezligin arttırıwǵa alıp keledi.

## Trening

### Treningdi turaqlandırıw usılları
Ápiwayı transformator arxitekturası biriktiriwge qıyınshılıq payda etti. Original maqalada avtorlar oqıw tezligin jıljıtıwdı paydalanıwdı usınıs etti. Yaǵnıy, oqıw tezligi qaytadan bóleklene baslaǵanǵa shekem shınıǵıwdıń birinshi bólimi ushın (ádette shınıǵıw adımlarınıń ulıwma sanı 2% bolıwı usınıladı) 0-den maksimal mániske shekem sızıqlı túrde úlkeyiwi kerek.

2020-jılǵı maqalada kóp baǵdarlı itibar beriw hám alǵa qarap baǵdarlaw qabatlarınıń aldında (keyinniń ornına) qabattı normalizaciyalaw oqıw tezligin jıljıtıwdı talap etpesten, shınıǵıwdı turaqlandıratuǵının kórsetti.

### Aldınnan dál sazlaw
Transformatorlar ádette baqlanbaytuǵın aldınnan tayarlıqtı qamtıytuǵın ózbetinshe qadaǵalanatuǵın oqıtıwdan ótedi, sonnan keyin qadaǵanatuǵın dál sazlawdan. Belgilengen trening maǵlıwmatlarınıń sheklengenligi sebepli, aldınnan tayarlıq ádette dál sazlawǵa qaraǵanda úlkenirek maǵlıwmatlar jıynaǵında orınlanadı. Aldınnan tayarlıq hám dál sazlaw wazıypaları ádette tómendegilerdi óz ishine aladı:

* til modeli
* keyingi gápti boljaw
* sorawǵa juwap beriw
* oqıwdı túsiniw
* sezimdi tallaw
* qaytalaw

T5 transformatorınıń maqalası kóplegen aldınnan tayarlıq wazıypaların hújjetlestiredi. Ayırım mısallar:

* buzılǵan tekstti qálpine keltiriw: `Raxmet<X> men seniń otırıspaǵıńa <Y> hápte. -> <X> mirát etkeniń ushın <Y> ótken <Z>` bul jerde `<Z>` «shıǵarıwdıń sońı» degendi ańlatadı.
* awdarma: `inglis tilinen nemis tiline awdarıw: That is good. -> Das ist gut..`
* gáptiń grammatikalıq qolaylılıǵın bahalaw (CoLA gápi): `The course is jumping well.` -> `not acceptable` .

## Qosımshalar
Transformator tábiyiy tildi qayta islewde (NLP) úlken jetiskenlikke eristi, mısalı mashinalıq awdarma hám waqıt seriyaların boljaw wazıypaları. GPT-2, GPT-3, GPT-4, Claude, BERT, XLNet, RoBERTa hám ChatGPT sıyaqlı kóplegen úlken til modelleri transformatorlardıń NLP-ge baylanıslı kóplegen wazıypalardı orınlaw qábiletin kórsetedi hám olardı tabıw imkaniyatına iye. Olar tómendegilerdi qamtıwı múmkin:

* mashinalıq awdarma
* hújjetti ulıwmalastırıw
* hújjetti qáliplestiriw
* atalǵan obyektti tanıw (NER)
* biologiyalıq izbe-izlikti analizlew
* tábiyiy tilde kórsetilgen talaplar tiykarında kompyuter kodın jazıw
* videonı túsiniw.

NLP qosımshalarınan basqa, ol kompyuter kóriwi yamasa beloklardı búklew qosımshaları (mısalı, AlphaFold) sıyaqlı basqa tarawlarda da tabıslı boldı.

Ataqlı mısal retinde Ithaca úsh shıǵıw basına iye bolǵan tek kodlawshı transformator bolıp tabıladı. Áyyemgi grek jazıwın simvollar izbe-izligi retinde kiritedi, biraq oqılmaytuǵın belgiler "-" menen almastırıladı. Onıń úsh shıǵıw bası sáykes túrde grekshe belgiler, jazıwdıń jaylasıwı hám jazıw sánesi boyınsha itimallıq bólistiriwlerin shıǵaradı.

## Iske asırıw
Transformator modeli TensorFlow hám PyTorch sıyaqlı standart tereń oqıtıw freymvorklarında ámelge asırıladı.

*Transformers* − Hugging Face kompaniyası tárepinen islep shıǵarılǵan kitapxana, ol transformatorǵa tiykarlanǵan arxitekturalar menen aldınnan tayarlanǵan modellerdi usınadı..

## Arxitektura

Barlıq transformatorlardıń tiykarǵı komponentleri birdey:

* Tekstti tokenlerge aylandıratuǵın tokenizatorlar.
* Tokenler menen token poziciyaların vektorlı kórinislerge aylandıratuǵın jalǵız ornatıw qabatı.
* Transformator qabatları vektor kórinislerinde qaytalanatuǵın túrlendiriwlerdi ámelge asıradı, kóbirek hám kóbirek lingvistikalıq informaciyanı shıǵaradı. Olar ózgeriwshi itibar beriw hám alǵa baǵdarlanǵan qabatlardan ibarat.
* (minnetli emes) Sońǵı vektorlı kórinislerdi tokenler boyınsha itimallıq bólistiriwine qayta túrlendiretuǵın kiriwdi óshiriw qabatı.

Transformator qabatları eki túrdiń biri bolıwı múmkin, koder hám deshifrator. Original maqalada olardıń ekewi de qollanılǵan, al keyingi modellerde olardıń tek bir túri ǵana qamtılǵan. BERT tek kodlawshı modeliniń mısalı bolıp tabıladı; GPT tek dekoderlerge arnalǵan modeller bolıp tabıladı.

### Kirgiziw
Kirgizilgen tekst tokenizator menen, kóbinese bayt jubın kodlawshı tokenizer tárepinen analizlenedi hám hárbir token sózdi jaylastırıw kestesinen joqarıǵa qarap vektorǵa aylandırıladı. Sonnan keyin tokenniń poziciyalıq informaciyanı jaylastırıw sózine qosıladı.

### Koder-dekoder arxitekturası
Burınǵı seq2seq modelleri sıyaqlı, transformatordıń original modeli koder-dekoder arxitekturasın paydalandı. Koder kiris tokenlerin iteraciyalıq túrde bir qabattan keyin qayta isleytuǵın kodlaw qabatlarınan ibarat, al dekoder kodlawshınıń shıǵısın, sonday-aq dekoder shıǵısınıń tokenlerin iterativ túrde qayta isleytuǵın dekodlaw qabatlarınan ibarat.

Hárbir kodlawshı qabatınıń funkciyası kontekstli token kórinislerin jaratıw bolıp tabıladı, bunda hárbir kórsetiw ózine-ózi itibar beriw mexanizmi arqalı kiris tokenlerinen informaciyanı «aralasatuǵın» tokenge sáykes keledi. Hárbir dekoder qabatında eki itibar beriw ishki qabatı bar: (1) kodlawshınıń shıǵısın qosıwǵa arnalǵan kross-dıqqat (kontekstlestirilgen kiris token kórinisleri) hám (2) dekoderge kiris tokenleri arasında informaciyanı «aralastırıwǵa» ózine itibar beriw (yaǵnıy, shıǵarıw waqıtında usı waqıtqa shekem jaratılǵan tokenler).

Koder hám dekoder qabatlarınıń ekewinde de shıǵıslardı qosımsha qayta islewge arnalǵan neyron tarmaǵı bar hám qaldıq jalǵanıwlar menen qabattı qálpine keltiriw basqıshların óz ishine aladı.

## Derekler

__BÖLİDİMÖNDEMEW__