Genre Transfer in NMT: Creating Synthetic Spoken Parallel Sentences using Written Parallel Data
Přenos žánrů v NMT: vytváření syntetických mluvených paralelních vět pomocí psaných paralelních dat
Year: 2023
Authors: Nalin Kumar, Ondřej Bojar

Abstract (English):
Text style transfer (TST) aims to control attributes in a given text without changing the
content. The matter gets complicated when
the boundary separating two styles gets blurred.
We can notice similar difficulties in the case of
parallel datasets in spoken and written genres.
Genuine spoken features like filler words and
repetitions in the existing spoken genre parallel
datasets are often cleaned during transcription
and translation, making the texts closer to written datasets. This poses several problems for
spoken genre-specific tasks like simultaneous
speech translation. This paper seeks to address
the challenge of improving spoken language
translations. We start by creating a genre classifier for individual sentences and then try two
approaches for data augmentation using written
examples: (1) a novel method that involves assembling and disassembling spoken and written
neural machine translation (NMT) models, and
(2) a rule-based method to inject spoken features. Though the observed results for (1) are
not promising, we get some interesting insights
into the solution. The model proposed in (1)
fine-tuned on the synthesized data from (2) produces naturally looking spoken translations for
written→spoken genre transfer in En-Hi translation systems. We use this system to produce
a second-stage En-Hi synthetic corpus, which
however lacks appropriate alignments of explicit spoken features across the languages. For
the final evaluation, we fine-tune Hi-En spoken
translation systems on the synthesized parallel
corpora. We observe that the parallel corpus
synthesized using our rule-based method produces the best results.

Abstract (Czech):
Cílem přenosu stylu textu (TST) je ovládat atributy v daném textu, aniž by se měnil jeho obsah. Komplikovanější tato problematika je v případě, že se hranice oddělující dva styly stírá.
Podobných potíží si můžeme všimnout v případě
paralelních souborů dat v mluvených a psaných žánrech. Skutečné mluvené rysy, jako jsou výplňová slova a např. opakování v existujících paralelních datech mluvených žánrů, jsou často při přepisu vyčištěny. To představuje několik problémů pro
úlohy specifické pro mluvené žánry, jako je simultánní překlad mluvené řeči. Tento článek se snaží řešit problém překladu mluveného jazyka. Začneme vytvořením žánrového klasifikátoru pro jednotlivé věty a poté vyzkoušíme dva
přístupy pro rozšíření dat pomocí psaných
příkladů: (1) novou metodu, která zahrnuje sestavování a rozkládání mluvených a psaných příkladů pomocí modelů neuronového strojového překladu (NMT) a (2) metodu založenou na pravidlech pro vkládání mluvených rysů. Model navržený v bodě (1) vyladěný na syntetizovaných datech z (2) vytváří přirozeně vypadající mluvené překlady pro psaný→mluvený žánrový převod v překladových systémech En-Hi. Pomocí tohoto systému vytváříme druhý stupeň syntetického korpusu En-Hi, který však postrádá vhodné zarovnání explicitních mluvených rysů napříč jazyky. Pozorujeme, že paralelní korpus
syntetizovaný naší metodou založenou na pravidlech poskytuje nejlepší výsledky.