Transformer (ikasketa automatikoko eredua)

Transformer 2017an sortutako ikasketa automatiko sakoneko eredu bat da, nagusiki hizkuntzaren prozesamenduan (HP) erabiltzen dena. Neurona-sare errepikakorrak (RNN) bezala, Transformerrak datu-sekuentzia ordenatuak kudeatzeko diseinatuta daude. Sekuentziak hizkuntza naturaleko esaldiak direnean, hainbat zereginetarako balio dute, hala nola, itzulpen automatikorako eta testuen laburpengintza automatikorako. Hala ere, RNNak ez bezala, Transformerrek sekuentzia osoa ez dute modu ordenatuan prozesatu behar. Beraz, kasuan kasuko datuak hizkuntza naturala badira, Transformerrek derrigorrez ez dute esaldiaren hasiera osorik prozesatu behar esaldiaren amaiera prozesatzen hasi aurretik. Ezaugarri hori dela eta, Transformerrek RNN ereduak baino paralelizatzeko-ahalmen handiagoa ematen du entrenamenduan zehar.

Sortu ziren unetik bertatik Transformerra HPren punta-puntako arkitekturen oinarrizko osagai bilakatu da, kasu askotan, epe laburrerako memoria luzea (LSTM) bezalako neurona-sare errepikatuzko ereduak ordezkatuz. Transformer arkitekturak entrenatze-konputazioetan paralelizazio gehiago erabiltzea errazten duenez, askoz ere datu gehiagorekin egin daiteke entrenamendua. Horrek aurrez entrenatutako sistemak garatzea ahalbidetu du, hala nola, BERT (Bidirectional Encoder Representations from Transformers) eta GPT-2. Horiek kaleratu aurretik hizkuntza orokorreko datu kopuru izugarri handiagoekin entrenatzen dira, eta, ondoren, hizkuntza-zeregin zehatzetara moldatu daitezke.

Entrenamendua 
Transformerrak normalean erdi gainbegiratutako ikasketa izaten dira: gainbegiratu gabeko aurre entrenamendua egiten dute hasieran, eta gainbegiratutako moldatze fina gero. Aurreko entrenamendua, normalean, moldatze fina baino askoz ere datu multzo handiagorekin egiten da, entrenamendurako datu etiketatu asko eskuratzea zaila delako. Aurrez entrenatzeko eta sintonizazio fina lortzeko zereginen artean hauek zaldu ohi dira:

 hurrengo esaldiaren iragarpena
 galdera-erantzun sistemak 
 Irakurrriaren ulermena
 sentimenduen analisia 
 parafraseatzea

Aplikazioak 
Transformerren aplikazio gehienak hizkuntzaren prozesamenduko eremukoak dira (HP), adibidez, itzulpen automatikoaren zereginak eta denbora serieen iragarpena. GPT-2, BERT, XLNet eta RoBERTa bezalako itxurazko erdu ugarik, Transformerren HPrekin lotutako zeregin ugari ondo burutzeko gaitasuna erakusten dute eta mundu errealeko aplikazioak aurkitzeko ahalmena dute.  Horien artean hauek egon daitezke:

 itzulpen automatikoa
 dokumentuen laburpena
 Testu-sorkuntza automatikoa
 Entitateen izenen ezagutzea (NER, Named Entity Recognition)
 ahotsaren ezagupena
 sekuentzia biologikoen analisia

Erreferentziak

Kanpo estekak 

Neurona-sare artifizialak