Itzulpen automatiko neuronal

Itzulpen automatiko neuronala () itzulpen automatikoa lantzeko planteamendu bat da. Neurona-sare handiak erabiltzen ditu hitz-sekuentzia batek duen agertzeko probabilitatea aurreikusteko, eta normalean esaldi osoak ere modelatzen ditu eredu integratu bakar batean. 

Itzulpen automatiko neuronal sakona aurrekoaren hedadura bat da. Biek erabiltzen dute neurona-sare handi bat baina itzulpen automatiko neuronal sakonak hainbat geruza prozesatzen ditu batera bakarka egin ordez.

Alor honetan izan den garapena ikaragarri azkarra izan da. Ikaskuntza sakona (deep learning) teknika Itzulpengintza automatikoan erabili zuen lehenengo argitalpen zientifikoa 2014ean agertu zen, egileak Bahdanau, Cho eta Bengio izan ziren. 2015ean lehenengo aldiz agertu zen neurona-sistema bat itzulpen automatikozko txapelketa batean (OpenMT’15). Eta hurrengo urtean txapeldunen %90a sistema neuronalak izan ziren. 2015eko aurrerapena arretan oinarritutako sistemak ("attenttion based NMT") erabiltzea izan zen. 2017an hobekuntza gehigarriak lortu ziren neurona-sareetan Transformer arkitektura erabiltzearen ondorioz. Urte bat geroago euskara ere arrakastaz erabiltzen zuen sistema bat zegoen, eta beste urte batean, 2019an, euskararako zeuden sistemak bost ziren.

 Ezaugarriak 
Itzulpen automatiko estatistikoko ereduek behar duten memoria baino askoz txikiagoa izaten da neurona-itzultzaileen kasuan behar dena. Gainera, betiko itzulpen-sistemetan ez bezala, atal guztiak denak batera entrenatuta lortzen dira itzulpen-ereduak, itzulpenaren emaitzetan hobekutzak maximizatzeko.Kalchbrenner, Nal; Blunsom, Philip (2013). "Recurrent Continuous Translation Models". Proceedings of the Association for Computational Linguistics.

 Historia 
Ikasketa sakoneko lehenengo aplikazioak hizketa-ezagutza automatikoko sistemetan agertu ziren 1990eko hamarkadan. Itzulpen automatikoan teknika hau erabili zuen lehenengo argitalpen zientifikoa 2014ean agertu zen, eta hurrengo urteetan aurrerapauso handiak egin ziren (bokabulario handiko NMTa, irudien azalpenei aplikatzea, hitza baino unitate txikiagotan oinarritutako NMTa, NMT eleaniza, iturri anitzeko NMTa, karakterekako NMTa, baliabiderik gabeko NMTa, Google, karakterekako-NMT erabatekoa, Zero-Shot NMTa 2017an). 2015ean lehenengo aldiz agertu zen NMT sistema bat itzulpen automatikozko txapelketa batean (OpenMT’15). Urte berean WMT’15 txapelketan ere sartu zen NMT sistema bat eta hurrengo urtean txapeldunen %90a NMT sistemak izan ziren.Bojar, Ondrej; Chatterjee, Rajen; Federmann, Christian; Graham, Yvette; Haddow, Barry; Huck, Matthias; Yepes, Antonio Jimeno; Koehn, Philipp; Logacheva, Varvara; Monz, Christof; Negri, Matteo; Névéol, Aurélie; Neves, Mariana; Popel, Martin; Post, Matt; Rubino, Raphael; Scarton, Carolina; Specia, Lucia; Turchi, Marco; Verspoor, Karin; Zampieri, Marcos (2016). "Findings of the 2016 Conference on Machine Translation" (PDF). ACL 2016 First Conference on Machine Translation (WMT16). The Association for Computational Linguistics: 131–198.

 Funtzionamendua 
Itzulpen automatiko neuronalaren abiapuntua azpiesalditan oinarritutako sistema estatistikoak izan ziren, non azpi-osagaiak bakoitza bere aldetik sortzen den, era independentean. Alde horretatik NMTa ez da izugarrizko aurrerapausoa, itzulpen automatiko estatistikoetako antolaketa normalean horrela ere egiten baitzen. Neuronen bidezko hurbilpenaren aurrerapauso nagusia hitzak eta barne egoerak bektore-bidez errepresentatzea izan da ("embedding-ak", "etengabeko espazioko errepresentazioak"). Eredu horien egitura, azpi-esalditan oinarritutako eredu estatistikoen egitura baino sinpleagoa da. Hizkuntza-eredua, itzulpen-eredua eta berrordenatze-eredua ez dira azaltzen hiru eredu independente moduan, sekuentzia-eredu bakar bat baitago, aldi bakoitzean hitz bat iragartzen duena. Hala ere, hitzen iragarpen hori egiten denean iturburu-esaldi osoa kontuan hartzen da, baita jadanik ekoiztuta dagoen helburu-sekuentziaren zatia ere.

NMT-ereduek ikasketa sakoneko eta errepresentazio-ikasketako kontzeptuak erabiltzen dituzte.

Hasieran, hitz-sekuentzien eredua Neurona-sare errekurrenteak () baliatuta lortzen zen. Neurona-sareak neurona-sare errekurrente bidirekzional bat (kodetzailea) erabiltzen du iturburu-esaldi bat kodetzeko eta bigarren neurona-sare errekurrente bati pasatzeko, azken horrek gero helburu-hizkuntzako hitzak iragar ditzan.

Printzipioz, Neurona-Sare Konboluzionalak () hobeak dira sekuentzia luze jarraietarako, baina hasiera batean ez ziren erabiltzen ahuleziak zituztela-eta; hala ere, 2017an ahulezia horiek konpentsatu egin ziren arretan oinarritutako hurbilketak erabiliz.

2017an hobekuntza gehigarriak lortu ziren neurona sareetan Transformer arkitektura erabiltzaren ondorioz.

 Erabileraren bilakaera 
2016an MT sistema hoberenak neurona-sareak erabiltzen ari ziren. Google, Microsoft eta Yandex-en itzulpen zerbitzuek NMT erabiltzen dute orain. Google-k Google Neural Machine Translation izeneko sistema erabiltzen du orain, lehen erabiltzen zuen metodo estatistikoetan oinarritutakoaren ordez. Microsoft-ek antzeko teknologia erabiltzen du mintzamen-itzulpenetarako (horien artean Microsoft Translator Live eta Skype Translator aplikazioetan). Hardvard NLP taldeak OpenNMT izena duen kode irekizko neurona-sare sistema bat argitaratu du. Yandex itzultzaileak eredu hibrido bat dauka: haren itzulpenak modelo estatistiko bat eta neurona-sare bat ematen ditu; ondoren, CatBoost algoritmoak (ikasketa sakonean oinarritutakoa) lortutako emaitza onena aukeratuko du. Itzulpen automatikozko hornitzaileek neurona-sareen bidezko sistemak ere eskaintzen hasi dira, besteak beste hauek: Omniscien Technologies (lehen Asia Online), Tilde, KantanMT, SDL, Globalese, TransPerfect eta Ixa Taldea. DeepL-ek itzulpen-sistema generiko bat eskaintzen du ikasketa sakoneko adimen artifizialezko sistemekin. Aldiz, Omniscien Technologies-ek Itzulpen automatiko neuronal sakona duten sistema pertsonalizatuak eskaintzen ditu (Deep NMT) eta Systrans-ek itzulpen automatiko neuronala ere eskaintzen du, neurona-sare sakonekin. Ixa Taldeak NMT demo bat eskaintzen du euskara eta espainiera hizkuntzen artean. VicomTech eta Elhuyar fundazioarekin ikertzen ari da teknologia berri honetan.

 Euskararako itzultzaile neuronalak 
Paradigma neuronalaren ekarriarekin 2017z geroztik izugarrizko hobekuntza nabaritu zen hizkuntza nagusienen arteko itzultzaile automatikoetan. Geroxeago, eta arin, euskal munduko ikerkuntza komunitatea gai izan zen euskaratik eta euskararako itzultzaile neuronalak mundu mailako artearen egoeraren pare jartzeko.

2015ean hasi zen euskararako itzulpen neuronala aztertzen TADEEP proiektuan. Ordurako Deepl itzultzaileak kalitatezko emaitzak ematen zituen 10 hizkuntzatan baina euskara ez zegoen horien artean. Bi urte geroago lehenengo emaitza bikainak lortuta, 2017an lehen demoa publikoki eskura zegoen. 2017an bertan, hainbat agente (Ixa Taldea, Elhuyar, Vicomtech, Ametzagaña, Mondragon Lingua...) batera, MODELA izeneko proiektua abiatu zen. Beste urtebeteko epean, 2018an MODELA itzultzailea plazaratu zen, Interneten publiko orokorrerako euskarazko itzulpen neuronala eskaintzen zuen lehen zerbitzua.

Abiada bizian mugitzen zen arlo honetan, geroago gutxienez beste lau itzultzaile neuronal gehiago plazaratu ziren. Horien arteko diferentzia nagusia itzultzaile bakoitzak erabiltzen duen corpusa da (corpus = milioika esaldi bi hizkuntzatan), baita itzultzeko zerbitzuan onartzen duten hitz-kopuru maximoa ere (konputagailu ahaltsu eta garestiak erabili behar dira horretan). Hauek ziren 2020ko hasieran eskaintzen ziren euskararako itzultzaile neuronalak:

 Eusko Jaurlaritzaren Itzultzaile neuronala: itzulpen neuronalaren teknologia erabilita, corpus-oinarria Eusko Jaurlaritzako itzulpen-memoriak erabili ziren IVAP-HAEEk 20 urtetan bildutakoa 10 milioi "esaldi" baino gehiago..

 batua.eus: Vicomtech-ek MODELA sisteman hobekuntzak egin zituzten (RNN teknologiatik Transformer teknologiara pasa ziren) eta corpusa handitu zuten.
 elia.eus: Elhuyarrek ere antzeko hobekuntzak egin zituen bere aldetik. Eta itzulpenak egiteko hizkuntza berriak gehitu zituen (ingelesa, frantsesa, espainiera, galegoa, eta katalana)
lingua.eus: ofrecido por MondragonLingua.
 Translate Google: Googleren Translate zerbitzuak hobekuntzak lortu zituen eredu neuronala erabilita.

 Erreferentziak 

 Ikus, gainera 

 Itzulpengintza automatiko
 Itzulpengintza automatikoaren historia.
 Adibideetan oinarritutako itzulpengintza automatikoa.
 Erregeletan oinarritutako itzulpen automatikoa.
 Estatistiketan oinarritutako itzulpen automatiko

 Kanpo estekak 

Kategoria:Hizkuntzalaritza konputazionala
Kategoria:Itzulpengintza automatikoa
Kategoria:Hizkuntzaren prozesamendua