BERT (hizkuntz eredua)

BERT teknika, Google-k Hizkuntzaren prozesamendurako garatu duen aurre-entrenatutako teknika bat da. Honela ere esatenzaio: Bidirectional Encoder Representations from Transformers, edo transformerretarako kodeketa bidirekzionalen errepresentazioa. BERT 2018an sortu eta argitaratu zuen Jacob Devlin-ek Googleko bere lankideekin. Googlek BERT aprobetxatzen du erabiltzaileen bilaketak hobeto ulertzeko. 

Hasieran garatu zuten ingelesezko BERT eredua bi testu corpus huts baino ez zituen erabiltzen aurre-prestakuntzan: BookCorpus eta ingelesezko Wikipedia.

Azkenaldian euskararekin aplikatuta ere emaitza onak lortu dira.

Emaitzak 
BERT argitaratu zenean, punta-puntako emaitzak lortu zituen hizkuntza prozesatzeko hainbat zereginetan:

 GLUE (Hizkuntza Orokorra Ulertzeko Ebaluazioa, GLUE) ataza-multzoa (9 zereginekin osatuta)
 SQuAD (Stanford Question Answering Dataset) v1.1 eta v2.0.
 SWAG (Situations With Adversarial Generations. kontrako sorkuntzadun egoerak)

BERT ereduak euskararako eta baliabide gutxiko hizkuntzetarako 
Hitz-bektoreek (word embedding-ek) eta aurrez entrenatutako hizkuntza-ereduek testu-errepresentazio aberatsetan hobekuntzak egiteko aukera ematen dute, eta hori gero hizkuntzaren prozesamenduko atazetan emaitza hobeak lortzeko ere aukera eman dute. Baina, zoritxarrez, oso garestiak dira entrenatzeko, eta enpresa txiki eta ikerketa-talde askok hirugarrenek aurrez entrenatutako eta eskura jarritako ereduak erabiltzen dituzte, berena eraiki beharrean. Bestalde, hizkuntza askotarako ereduak enpresa txikiagoetan (edo kalitate txikiagokoetan) entrenatu dira. Baina ingelesa ez diren hizkuntzetarako aurrez entrenatutako eredu elebakarrak ez daude beti eskuragarri. Kasurik onenean, hizkuntza horietako ereduak bertsio eleaniztunetan sartzen dira, non hizkuntza bakoitzak gainerako hizkuntzekin partekatzen baititu azpikateen eta parametroen kantitateak, bereziki hizkuntza txikiagoetan, hala nola euskararen kasuan.

2020ko neguan euskarazko corpus elebakar handiagoekin entrenatutako eredu batzuk (FastText word embedding-ak, FLAIR eta BERT hizkuntz ereduak) sortu ziren eta askoz emaitza hobeak dituzte hizkuntzaren prozesamenduko zereginetan publikoki eskuragarri dauden aipatu beste bertsio horiek baino. Emaitza hobeak lortzen dituzte gai-sailkapenean, sentimendu-sailkapenean, baita hitzen kategoriak eta entitateak etiketatzerakoan. Erabilitako eredu guztiak eskuragarri daude publikoki.

Analisia 
BERTek hizkuntza ulertzeko atazetan lortzen dituen emaitza bikainak nola eta zergatik lortzen dituen oraindik ez da ondo ulertzen. Oraingo ikerketetan BERTen irteeraren atzean dagoen hainbat elementuren arteko erlazioa aztertzen ari da: kontuz aukeratutako sarrera-sekuentziak, sailkatzaileen bidezko bektoreen barne-errepresentazioa eta arretaren (attention) pisuek errepresentatzen dituzten erlazioak.

Historia 
BERTek aurrez entrenatutako testuinguru-errepresentaziotan ditu jatorria: erdi gainbegiratutako sekuentzia-ikasketa, aurre-entrenamendu sortzailea, ELMo, eta ULMFit. Aurreko ereduak ez bezala, BERT sakonki bidirekzionala den hizkuntz errepresentazio gainbegiratugabea da, aurrez entrenatuta dago baina testu-corpus hutsa soilik erabiliz. Testuingururik gabeko ereduek, word2vec edo GloVe esaterako, hiztegiko hitz bakoitzerako errepresentazio-kapsulatu bat (word embedding) sortzen dute; horiekin konparatuta BERT oso bidirekzionala da.

2019ko urriaren 25ean, Google Search-ek iragarri zuen hasia zela AEBn BERT ereduak aplikatzen ingelesezko bilaketa-kontsultetan. 2019ko abenduaren 9an jakinarazi zuen Google Search-ek 70 hizkuntzatan BERT erabiltzen zuela.

Errekonozimendua 
BERTek paper luze onenaren saria irabazi zuen Association for Linguistics Linguistics (NAACL) Ipar Amerikako kapituluaren 2019ko urteko biltzarrean.

Erreferentziak

Ikus, gainera 

 Word2vec
 Autoencoder
 Document-term matrix
 Feature extraction
 Feature learning
 Neural network language models
 Vector space model
 Thought vector
 fastText
 GloVe
 TensorFlow

Kanpo estekak 
 GitHub biltegi ofiziala

Adimen artifiziala
Ahotsa ezagutzea
Hizkuntzalaritza konputazionala
Hizkuntzaren prozesamendua
Informatikako ikerketa eremuak