The Reality of Multi-Lingual Machine Translation
Realita mnohojazyčného strojového překladu
Year: 2021
Authors: Tom Kocmi, Dominik Macháček, Ondřej Bojar

Abstract (English):
Our book "The Reality of Multi-Lingual Machine Translation" discusses the benefits and perils of using more than two languages in machine translation systems. While focused on the particular task of sequence-to-sequence processing and multi-task learning, the book targets somewhat beyond the area of natural language processing. Machine translation is for us a prime example of deep learning applications where human skills and learning capabilities are taken as a benchmark that many try to match and surpass. We document that some of the gains observed in multi-lingual translation may result from simpler effects than the assumed cross-lingual transfer of knowledge.

In the first, rather general part, the book will lead you through the motivation for multi-linguality, the versatility of deep neural networks especially in sequence-to-sequence tasks to complications of this learning. We conclude the general part with warnings against too optimistic and unjustified explanations of the gains that neural networks demonstrate.

In the second part, we fully delve into multi-lingual models, with a particularly careful examination of transfer learning as one of the more straightforward approaches utilizing additional languages. The recent multi-lingual techniques, including massive models, are surveyed and practical aspects of deploying systems for many languages are discussed. The conclusion highlights the open problem of machine understanding and reminds of two ethical aspects of building large-scale models: the inclusivity of research and its ecological trace.

Abstract (Czech):
Naše kniha „The Reality of Multi-Lingual Machine Translation“ pojednává o výhodách a nebezpečích používání více než dvou jazyků v systémech strojového překladu. I když se kniha zaměřuje na konkrétní úkol zpracování sekvencí a víceúkolového učení (multi-task learning), cílí i poněkud mimo oblast zpracování přirozeného jazyka. Strojový překlad je pro nás ukázkovým příkladem aplikací hlubokého učení, kde jsou lidské dovednosti a schopnosti učení brány jako laťka, kterou se mnozí snaží dosáhnout a překonat. Dokumentujeme, že některé z výdobytků pozorovaných v mnohojazyčném překladu mohou vyplývat z jednodušších důvodů, než je předpokládaný přenos znalostí napříč jazyky.

V první, spíše obecné části vás kniha provede motivací pro mnohojazyčnost, univerzálností hlubokých neuronových sítí zejména v úlohách typu sequence-to-sequence až ke komplikacím tohoto učení. Obecnou část uzavíráme varováním před příliš optimistickým a neopodstatněným vysvětlením zlepšení, které neuronové sítě demonstrují.

Ve druhé části se plně ponoříme do mnohojazyčných modelů, se zvlášť pečlivým zkoumáním učení přenosem (transfer learning) jako jednoho z přímočařejších přístupů využívajících další jazyky. Zkoumány jsou současné vícejazyčné techniky, včetně masivních modelů, a diskutovány jsou praktické aspekty nasazení mnohojazyčných systémů. Závěr knihy zdůrazňuje otevřený problém strojového porozumění a připomíná dva etické aspekty budování rozsáhlých modelů: inkluzivnost výzkumu a jeho ekologický dopad.