Surprise Language Challenge: Developing a Neural Machine Translation System between Pashto and English in Two Months
Jazyková výzva s překvapením: Vývoj systému neurálního strojového překladu mezi paštštinou a angličtinou za dva měsíce
Year: 2021
Authors: Alexandra Birch, Barry Haddow, Antonio Valerio Miceli Barone, Jindřich Helcl, Jonas Waldendorf, Felipe Sánchez-Martínez, Mikel L. Forcada, Víctor M. Sánchez-Cartagena, Juan Antonio Pérez-Ortiz, Miquel Esplà-Gomis, Wilker Aziz, Lina Murady, Sevi Sariisik, Peggy van der Kreeft, Kay MacQuarrie

Abstract (English):
In the media industry, the focus of global reporting can shift overnight. There is a compelling
need to be able to develop new machine translation systems in a short period of time, in order to more efficiently cover quickly developing stories. As part of the low-resource machine
translation project GoURMET, we selected a surprise language for which a system had to be
built and evaluated in two months (February and March 2021). The language selected was
Pashto, an Indo-Iranian language spoken in Afghanistan, Pakistan and India. In this period we
completed the full pipeline of development of a neural machine translation system: data crawling, cleaning, aligning, creating test sets, developing and testing models, and delivering them
to the user partners. In this paper we describe the rapid data creation process, and experiments
with transfer learning and pretraining for Pashto-English. We find that starting from an existing
large model pre-trained on 50 languages leads to far better BLEU scores than pretraining on
one high-resource language pair with a smaller model. We also present human evaluation of
our systems, which indicates that the resulting systems perform better than a freely available
commercial system when translating from English into Pashto direction, and similarly when
translating from Pashto into English.

Abstract (Czech):
V mediálním průmyslu se zaměření globálního zpravodajství může přes noc změnit. Existuje přesvědčivá
potřeba být schopni vyvinout nové systémy strojového překladu v krátkém časovém období, aby bylo možné efektivněji pokrýt rychle se vyvíjející příběhy. Jako součást stroje s nízkými zdroji
překladatelského projektu GOURMET jsme náhodně vybrali jazyk, pro který musel být systém
postaveno a vyhodnoceno za dva měsíce (únor a březen 2021). Vybraný jazyk byl
Paštština, indoíránský jazyk používaný v Afghánistánu, Pákistánu a Indii. V tomto období jsme
dokončili celý proces vývoje systému neuronového strojového překladu: procházení dat, čištění, zarovnání, vytváření testovacích sad, vývoj a testování modelů a jejich poskytování
uživatelským partnerům. V tomto článku popisujeme rychlý proces vytváření dat a experimenty
s transferovým učením a přípravou na paštskou angličtinu. Zjišťujeme, že začínáme od existujícího
velký model předem proškolený na 50 jazycích vede k mnohem lepším výsledkům BLEU než předtrénování na
jeden vysoce zdrojový jazykový pár s menším modelem. Uvádíme také lidské hodnocení
naše systémy, což naznačuje, že výsledné systémy fungují lépe než volně dostupné
komerční systém při překladu z angličtiny do paštštiny a podobně při
překlad z paštštiny do angličtiny.