Extremely low-resource machine translation for closely related languages (2021)

Abstract: An effective method to improve extremely low-resource neural machine translation is multilingual training, which can be improved by leveraging monolingual data to create synthetic bilingual corpora using the back-translation method. This work focuses on closely related languages from the Uralic language family: from Estonian and Finnish geographical regions. We find that multilingual learning and synthetic corpora increase the translation quality in every language pair for which we have data. We show that transfer learning and fine-tuning are very effective for doing low-resource machine translation and achieve the best results. We collected new parallel data for Võro, North and South Saami and present first results of neural machine translation for these languages.

## introduction neural machine translation @xcite shows great results in terms of output fluency and overall translation quality, however it relies on large parallel corpora for training the models. low-resource nmt techniques like backtranslation @xcite , multilingual knowledge transfer @xcite and unsupervised nmt @xcite rely on using parallel corpora for other languages and/or large quantities of monolingual data for the language(s) of interest. here we put these techniques to the test in an extremely low-resource setting, working on nmt systems for võro-estonian. while estonian has plentiful parallel, monolingual and annotated corpora @xcite , võro with its 87 000 speakers and no normalized orthography only has slightly over 162 000 monolingual sentences with much less parallel data. here we resort to the help of languages closely related to võro and estonian: the resource-rich finnish and two more extremely low-resource north and south saami. we combine multilingual transfer learning, back-translation and then evaluate several combinations of these techniques on nmt for the five chosen uralic languages. our contributions in this paper are as follows: next we review related work in section 2, describe our experimental setup in section 3, then proceed with results in section 4 and conclude the paper in section 5. ## related work this section describes prior work in machine translation (mt) with neural networks for lowresource related languages. our work on neural machine translation relies on @xcite , who introduce transformer, an encoderdecoder type of solution for mt based on selfattention. ## conclusions and future work multilingual neural machine translation with shared encoders and decoders work very well for very low resource language translation. using back-translation for low resource mt is vital for best results, further improved by transfer learning and fine-tuning. in the future, we hope to work with more uralic languages and add an unrelated high-resource language, for example german. secondly, we want to do better multilingual fine-tuning since the best et-vro score of 27.6 was reached by multilingual fine-tuning, compared to 26.2 for multilingual training. finally, we hope to find more parallel and monolingual data. source samas tegutsevad kotkad kultuurmaastikul, mis tähendab, et ka inimesel on tähtis roll selles, et neil hästi läheks. baseline samal aol om mi kotustõ perändüskultuurmaastikkõ, miä tähendäs, et inemisel tähtsä om tähtsä, et näil olõ-i tähtsä. ml saman omma' kotka' kultuurmaastikul, miä tähendäs, et ka inemisel om tähtsä roll tan, et näil häste lääsi. +bt1+ft1(*) samal aol omma kotka kultuurmaastikul, miä tähendäs, et ka inemisel om tähtsä roll tuun, et näil häste lääsi. +bt1+bt2(*) saman toimõndasõq kotkaq kultuurmaastikul, miä tähendäs, et ka inemisel om tähtsä roll tuun, et näil häste lääsiq. reference saman toimõndasõq kotkaq kultuurmaastikul, miä tähendäs, et ka inemisel om tähtsä roll tuu man, et näil häste lännüq. source leevakul elab ametlikult pea 300 inimest. baseline leevälapjo eläs tähtsä pää inemist. ml leväkul eläs virallisesti pää 300 inemist. +bt1+ft1(*) leevakul eläs virallisesti pää 300 inemist. +bt1+bt2(*) leevakul eläs virallisesti pia 300 inemist. reference leevakul eläs kirjo perrä pia 300 inemist. b source a edesi ei näeq tükk aigo tii pääl üttegi võrokiilset silti. baseline aga edasi ei näinud tükk aega, tee ühtegi saaklooma ära. ml aga edasi ei näe tükk aega tee peal ühtegi võrukeelset ikka. +bt1+ft1 aga edasi ei näe tükk aega tee peal ühtegi võrukeelset silti. +bt1&2+ft1&2(*) aga edasi ei näe tükk aega teel ühtegi võrukeelset silti. reference aga edasi ei näe tee peal tükk aega ühtegi võrukeelset silti. source ütelt puult tulõ hoita vannu mõtsu, et nä saanu ummi pessi kohegi ehitä. baseline ühis poolt tuleb hoida vanade metsade, et nad saanud märkimisväärset kuhugi ehitanud. ml ühel pool tuleb hoida vana metsa, et nad saaksid oma pesu ehitada. +bt1+ft1 ühel pool tuleb hoida vana metsa, et nad saaksid oma pessi kuhugi ehitada. +bt1&2+ft1&2(*) ühelt poolt tuleb hoida vanu metsasid, et nad saaksid oma pessi kuhugi ehitada. reference ühelt poolt tuleb hoida vanu metsi, et nad saaks oma pesasid kuhugi ehitada. source nii om võimalus telefon võita ka uma lehe teljäl. baseline nii on võimalus telefongu ka uma pidoga mitmeti seotud. ml nii on võimalus telefon võita ka uma lehe telgis. +bt1+ft1 nii on võimalus telefon võita ka uma lehe telgil. +bt1&2+ft1&2(*) nii on võimalus telefon võita ka uma lehe telgil . reference nii on võimalus telefon võita ka uma lehe tellijal. c source uutta nimeä keksiessä oli tärkeää, että olisi selkeä yhteys paikalliseen yhteisöön ja että nimi auttaisi kertomaan yrityksen tarinan. baseline m uhccin muitalin lei dehálaš, ahte livččii čielga oktavuohta báikkálaš servodahkii ja ahte namma veahkehivččii muitalit lihkastagaide. ml odda namma lei dehálaš, ahte livččii čielga oktavuohta báikkálaš servošii ja ahte namma veahkehivččii muitalit fitnodaga máidnasiid. +bt1 odda nama huksemis lei dehálaš, ahte livččii čielga oktavuohta báikkálaš servodahkii ja ahte namma veahkehivččii muitalit fitnodaga máidnasa. reference odda nama hutkkadettiin lea dehálaš, ahte livčče čielga oktavuohta báikkálaš servvodahkii ja ahte namma veahkehivčče muitalit fitnodaga muitalusa. source kansa kokoontuu entiseen koulutaloon, jossa on myös kirjasto. baseline riikkabeaivevahku čoahkkana ságadoalliriikkas, mas leat maid girjerájus. ml álbmoga čoahkkana ovddeš skuvllas, mas lea maid girjerádju. +bt1 álbmot čoahkkana ovddeš skuvladássái, mas lea maid girjerádju. reference álbmot čoahkkana boares skuvlavistái, mas lea maiddái girjerádju. source sosiaalisessa mediassa pitivät ihmiset eniten tehtävästä "puhu tai postaa yksi vitsi tai tarina võron kielellä". baseline sosiála medias atne olbmot eanemus barggus " ominayak oktavuodaváldimiid dehe máidnumaõjjstõõllâm ǩerjj lea oaivvilduvvon. ml sosiála medias doalai olbmuid eanemus bargguin "puhu dahje poasta okta nja dahje máidnasa gillii. +bt1 sosiála medias dolle olbmot eanemusat bargguin "puhu dahje poasta okta njaš dahje máidnasa vuonagillii". reference sosiála medias liikojedje olbmot maiddái bargobihtás "muital dahje postte ovtta cukcasa dahje máidnasa võro gillii."