ufal/bilingual-abstracts-corpus huggingface dataset:
Promoting the Knowledge of Source Syntax in Transformer NMT Is Not Needed
Podpora znalostí zdrojové syntaxe v Transformer NMT není třeba
Year: 2019
Authors: Thuong-Hai Pham, Dominik Macháček, Ondřej Bojar

Abstract (English):
The utility of linguistic annotation in neural machine translation seemed to had been established in past papers. The experiments were however limited to recurrent sequence-to-sequence architectures and relatively small data settings.

We focus on the state-of-the-art Transformer model and use comparably larger corpora. Specifically, we try to promote the knowledge of source-side syntax using multi-task learning either through simple data manipulation techniques or through a dedicated model component. In particular, we train one
of Transformer attention heads to produce source-side dependency tree.

Overall, our results cast some doubt on the utility of multi-task setups with linguistic information. The data manipulation techniques, recommended in previous works, prove ineffective in large data settings.

The treatment of self-attention as dependencies seems much more promising: it helps in translation and reveals that Transformer model can very easily grasp the syntactic structure.
An important but curious result is, however, that identical gains are obtained by using trivial ``linear trees'' instead of true dependencies. The reason for the gain thus may not be coming from the added linguistic knowledge but from some simpler regularizing effect we induced on self-attention matrices.

Abstract (Czech):
Užitečnost jazykových anotací v překladu do neurálních strojů byla zřejmě prokázána v minulých pracích. Pokusy se však omezovaly na opakující se sekvenční architektury a relativně malé nastavení dat.

Zaměřujeme se na nejmodernější model Transformeru a používáme srovnatelně větší korporáty. Konkrétně se snažíme podporovat znalosti syntaxe na zdrojové straně pomocí víceúkolového učení buď pomocí jednoduchých technik manipulace s daty, nebo pomocí speciální modelové komponenty. Konkrétně jednoho cvičíme
Transformer se soustředí na vytvoření stromu závislosti na straně zdroje.

Celkově naše výsledky zpochybňují užitečnost víceúkolových sestav s jazykovými informacemi. Techniky manipulace s daty, doporučované v předchozích dílech, se v nastavení velkých dat ukazují jako neúčinné.

Zacházení se sebepozorností jako se závislostmi se zdá mnohem slibnější: pomáhá při překladu a odhaluje, že model Transformer dokáže velmi snadno uchopit syntaktickou strukturu.
Důležitým, ale kuriózním výsledkem však je, že identického zisku se dosáhne použitím triviálních ,,lineárních stromů`` namísto skutečných závislostí. Přínos tedy nemusí vyplývat z přidaných jazykových znalostí, ale z nějakého jednoduššího regularizačního efektu, který jsme navodili u matricí, které se věnují samy sobě.
Anaphoric Connectives and Long-Distance Discourse Relations in Czech
Anaforické konektory a diskurzní vztahy nesousedních textových segmentů v češtině
Year: 2019
Authors: Lucie Poláková, Jiří Mírovský

Abstract (English):
The paper is a linguistic as well as technical survey for the development of a shallow discourse parser for Czech. It focuses on long-distance discourse relations signalled by (mostly) anaphoric discourse connectives. Proceeding from the division of connectives on “structural” and “anaphoric” according to their (in)ability to accept distant (non-adjacent) text segments as their left-sided arguments, and taking into account results of related analyses on English data in the framework of the Penn Discourse Treebank, we analyze a large amount of language data in Czech. We benefit from the multilayer manual annotation of various language aspects from morphology to discourse, coreference and bridging relations in the Prague Dependency Treebank 3.0. We describe the linguistic parameters of long-distance discourse relations in Czechin connection with their anchoring connective, and suggest possible ways of their detection. Our empirical research also outlines some theoretical consequences for the underlying assumptions in discourse analysis and parsing, e.g. the risk of relying too much on different (language-specific?) part-of-speech categorizations of connectives or the different perspectives in shallow and global discourse analyses (the minimality principle vs. higher text structure).

Abstract (Czech):
Článek přináší lingvistický i technický podklad pro vývoj diskurzního parseru pro češtinu. Zaměřuje se na diskurzní vztahy  mezi nesousedními segmenty textu signalizované (většinou) anaforickými konektory.
CUNI Systems for the Unsupervised News Translation Task in WMT 2019
Systémy Univerzity Karlovy pro soutěž ve strojovém překladu novinových textů bez použití paralelních dat
Year: 2019
Authors: Ivana Kvapilíková, Dominik Macháček, Ondřej Bojar

Abstract (English):
In this paper we describe the CUNI translation system used for the unsupervised news shared task of the ACL 2019 Fourth Conference on Machine Translation (WMT19). We follow the strategy of Artetxe ae at. (2018b), creating a seed phrase-based system where the phrase table is initialized from cross-lingual embedding mappings trained on monolingual data, followed by a neural machine translation system trained on synthetic parallel data. The synthetic corpus was produced from a monolingual corpus by a tuned PBMT model refined through iterative back-translation. We further focus on the handling of named entities, i.e. the part of vocabulary where the cross-lingual embedding mapping suffers most. Our system reaches a BLEU score of 15.3 on the German-Czech WMT19 shared task.

Abstract (Czech):
V tomto článku popisujeme překladový systém CUNI pro úlohu neřízeného strojového překladu novinových textů na ACL 2019 Fourth Conference on Machine Translation (WMT19).
CUNI System for the WMT19 Robustness Task
Systém Univerzity Karlovy pro úlohu robustního překladu na WMT19
Year: 2019
Authors: Jindřich Helcl, Jindřich Libovický, Martin Popel

Abstract (English):
We present our submission to the WMT19 Robustness Task. Our baseline system is the CUNI Transformer system trained for the WMT18 shared task on News Translation. Quantitative results show that the CUNI Transformer system is already far more robust to noisy input than the LSTM-based baseline provided by the task organizers. We further improved the performance of our model by fine-tuning on the in-domain noisy data.

Abstract (Czech):
V článku přestavuje náš přísvek do soutěže v robustním strojovém překaladu na konferenci WMT19. Náš základní systém je CUNI Transformer systém trénovaný překlad novinových textů pro WMT18. Kvantitativní výsledky ukazují, že systém CUNI Transformer je již mnohem robustnější základní model založený na LSTM, který poskytli organizátoři soutěže. Kvalitu překladu našeho modelu jsme dále vylepšili vyladěním na zašuměných datech, která byla poskytnuta k soutěži.
Multimodality in Machine Translation
Multimodalita ve strojovém překladu
Year: 2019
Authors: Jindřich Libovický

Abstract (English):
Traditionally, most natural language processing tasks are solved within the language, relying on distributional properties of words. Representation learning abilities of deep learning recently allowed using additional information source by grounding the representations in the visual modality. One of the tasks that attempt to exploit the visual information is multimodal machine translation: translation of image captions when having access to the original image. The thesis summarizes joint processing of language and real-world images using deep learning. It gives an overview of the state of the art in multimodal machine translation and describes our original contribution to solving this task. We introduce methods of combining multiple inputs of possibly different modalities in recurrent and self-attentive sequence-to-sequence models and show results on multimodal machine
translation and other tasks related to machine translation. Finally, we analyze how the multimodality influences the semantic properties of the sentence representation learned by the networks and how that relates to translation quality

Abstract (Czech):
Tradičně se většina úloh zpracování přirozeného jazyka řeší výhradně uvnitř jazyka, kdy modely spoléhají na distribuční vlastnosti slov. Hluboké učení se svojí schopností učit se vhodné reprezentace vstupních dat umožňuje využití více informací tím, že trénovací signál nepochází pouze z jazyka, ale o i z obrazové modality. Jednou z úloh, které se pokoušejí využít vizuální informace, je multimodální strojový překlad: překlad popisků obrázků, kdy je stále k dispozici původní obrázek, který lze využít jako vstup pro překladač. Tato práce shrnuje metody společného zpracovávání jazykových dat a fotografií s využitím hlubokého učení. Uvádíme přehled metod, které se využívají k řešení multimodálního strojového překladu a popisujeme náš původní příspěvek k řešení této úlohy. Představujeme metody kombinování více vstupů z potenciálně různých modalit v modelech sekvenčního učení založených na rekurentních neuronových sítích a neuronových sítí s mechanismem sebepozornosti. Uvádíme výsledky, kterých jsme dosáhli při řešení multimodálního strojového překladu a dalších úloh souvisejících se strojovým překladem. Na závěr analyzujeme, jak multimodalita ovlivňuje sémantické vlastnosti větných reprezentací, které v sítích vznikají, a jak sémantické vlastnosti reprezentací souvisí s kvalitou překladu.
Multimodality in Machine Translation
Multimodalita ve strojovém překladu
Year: 2019
Authors: Jindřich Libovický

Abstract (English):
Traditionally, most NLP tasks are solved within the language, relying on distributional properties of words. Representation learning abilities of deep learning recently allowed using additional information source by grounding the representations in the visual modality. One of the tasks that attempt to exploit the visual information is multimodal machine translation, translation of image captions when having access to the original image.

The talk will summarize methods of combining multiple inputs of possibly different modality in recurrent and Transformer sequence-to-sequence models and show results on multimodal and multi-source machine translation. Finally, we will discuss how the multimodality influences the semantic properties of the representation learned by the networks and how does that relate to the translation quality.

Abstract (Czech):
Většina úloh zpracování přirozeného jazyka se tradičně řeší v rámci jazyka a spoléhá se na distribuční vlastnosti slov. Schopnost modelů hlubokého učení učit se vhodnou reprezentaci vstupních dat nedávno umožnila využít také obrazovou informaci. Jedna z úloh, které se pokoušejí využít vizuální informaci, je multimodální strojový překlad, tj. překlad popisků obrázků, který má k původnímu obrázku.

Přednáška shrnuje metody kombinování více vstupů s možnou různou modalitou v model využívajích rekurentní neuronové sítě a modelu Tranformer a ukáže výsledky multimodálního a vícezdrojového strojového překladu. Nakonec probereme, jak multimodalita ovlivňuje sémantické vlastnosti reprezentace, které se sítě naučily, a jak to souvisí s kvalitou překladu.
Neural Networks as Explicit Word-Based Rules
Neuronové sítě jako explicitní pravida se slovy
Year: 2019
Authors: Jindřich Libovický

Abstract (English):
Filters of convolutional networks used in computer vision are often visualized as image patches that maximize the response of the filter. We use the same approach to interpret weight matrices in simple architectures for natural language processing tasks. We interpret a convolutional network for sentiment classification as word-based rules. Using the rule, we recover the performance of the original model.

Abstract (Czech):
Filtry konvolučních neuronových sítí používaných v počítačovém vidění se často vizualizjí jako malé čtevrcové obrázky, které maximalizují odezvu filtru. V tomto abstraktu používáme stejný postup při interpretaci váhových matic v jednoduchých architekturách pro úkoly zpracování přirozeného jazyka. Intepretujeme konvoluční neuronovou síť pro klasifikaci sentimentu jako slovní pravidla. Pomocí těchto pravidel jsme schopni rokonstruovat fungování původního modelu.
Neural networks and automatic translation
Neuronové sítě a automatický překlad
Year: 2019
Authors: Jindřich Libovický

Abstract (English):
The article explains the basics of artificial neural networks and describes model for neural machine translation. Further, it discusses problem of the current models such as handling gender stereotypes.

Abstract (Czech):
Článek populárně vysvětluje základy fungování umělých neuronových sítí a popisuje, jak fungují modely pro neuronový strojový překlad. Dále ukazuje problémy strojového překladu jako třeba genderové stereotypy, které modely vykazují.
How Language-Neutral is Multilingual BERT?
Jak jazykově neutrální je vícejazyčný BERT?
Year: 2019
Authors: Jindřich Libovický, Rudolf Rosa, Alexander Fraser

Abstract (English):
Multilingual BERT (mBERT) provides sentence representations for 104 languages, which are useful for many multi-lingual tasks. Previous work probed the cross-linguality of mBERT using zero-shot transfer learning on morphological and syntactic tasks. We instead focus on the semantic properties of mBERT. We show that mBERT representations can be split into a language-specific component and a language-neutral component, and that the language-neutral component is sufficiently general in terms of modeling semantics to allow high-accuracy word-alignment and sentence retrieval but is not yet good enough for the more difficult task of MT quality estimation. Our work presents interesting challenges which must be solved to build better language-neutral representations, particularly for tasks requiring linguistic transfer of semantics.

Abstract (Czech):
Vícejazyčný BERT (mBERT) poskytuje větné reprezentace pro 104 jazyků, které jsou užitečné pro mnoho vícejazyčných úloh. Předchozí práce zkoumala mnohojazyčnost mBERTu s využitím nulového transferového učení na morfologických a syntaktických úkolech. Místo toho se soustředíme na sémantické vlastnosti mBERTu. Ukazujeme, že reprezentace mBERT mohou být rozděleny na jazykově specifickou složku a jazykově neutrální složku a že jazykově neutrální složka je dostatečně obecná, pokud jde o modelování sémantiky, aby umožnila vysoce přesné zarovnání slov a vyhledávání vět, ale zatím není dostatečně dobrá pro obtížnější úkol odhadu kvality MT. Naše práce přináší zajímavé výzvy, které musí být vyřešeny, aby bylo možné sestavit lepší jazykově neutrální reprezentace, zejména u úkolů vyžadujících jazykový přenos sémantiky.
Probing Representations Learned by Multimodal Recurrent and Transformer Models
Zkoumání reprezentací naučených v multimodálních rekurentních a sebepozornostních modelech
Year: 2019
Authors: Jindřich Libovický, Pranava Madhyastha

Abstract (English):
Recent literature shows that large-scale language modeling provides excellent reusable sentence representations with both recurrent and self-attentive architectures. However, there has been less clarity on the commonalities and differences in the representational properties induced by the two architectures. It also has been shown that visual information serves as one of the means for grounding sentence representations. In this paper, we present a meta-study assessing the representational quality of models where the training signal is obtained from different modalities, in particular, language modeling, image features prediction, and both textual and multimodal machine translation. We evaluate textual and visual features of sentence representations obtained using predominant approaches on image retrieval and semantic textual similarity. Our experiments reveal that on moderate-sized datasets, a sentence counterpart in a target language or visual modality provides much stronger training signal for sentence representation than language modeling. Importantly, we observe that while the Transformer models achieve superior machine translation quality, representations from the recurrent neural network based models perform significantly better over tasks focused on semantic relevance.

Abstract (Czech):
Z nedávné literatury vyplývá, že jazykové modelování na velkých datech poskytuje vynikající opakovaně použitelné větné reprezentace. Bylo rovněž prokázáno, že vizuální informace sloužit jako jeden ze způsobů ukotvení větných reprezentací. V tomto článku představujeme metastudii hodnotící kvalitu reprezentace modelů, kde trénovací signál pochází z různých modalit: jazykového modelování, předvídání reprezentace obrázku a textového a multimodálního strojového překladu. Hodnotíme textové a vizuální vlastnosti větných reprezentací na úlohách vyhledávání obrázků a sématické podobnosti textů. Naše experimenty odhalují, že na středně velkých datasetech poskytuje větný protějšek v cílovém jazyce nebo vizuální modalitě mnohem silnější trénovací signál pro reprezentaci vět než jazykové modelování. Důležité je, že zatímco modely Transformer dosahují vyšší kvality strojového překladu, reprezentace z modelů založených na rekurentních neuronové sítí dosahují výrazně lepších výsledků při hodnocení sématické relevance.
Unsupervised Word Sense Disambiguation Using Word Embeddings
Neřízená lexikální desambiguace s využitím vektorové reprezentace slov
Year: 2019
Authors: Behzad Moradi, Ebrahim Ansari, Zdeněk Žabokrtský

Abstract (English):
Word sense disambiguation is the task of assigning the correct sense of a polysemous word in the context in which it appears. In recent years, word embeddings have been applied successfully to many NLP tasks. Thanks to their ability to capture distributional semantics, more recent attention have been focused on utilizing word embeddings to disambiguate words.
In this paper, a novel unsupervised method is proposed to disambiguate words from the first language by deploying a trained word embeddings model of the second language using only a bilingual dictionary. While the translated words are useful clues for the disambiguation process, the main idea of this work is to use the information provided by English-translated surrounding words to disambiguate Persian words using trained English word2vec; well-known word embeddings model. Each translation of the polysemous word is compared against word embeddings of translated surrounding words to calculate word similarity scores and the most similar word to vectors of translated surrounding words is selected as the correct translation. This method only requires a raw corpus and a bilingual dictionary to disambiguate the word under question. The experimental results on a manually-created test dataset demonstrate the accuracy of the proposed method.

Abstract (Czech):
Lexikální desambiguace je úlohu, při které má být zvolen ten význam slova, který je v daném kontextu relevantní. V posledních letech můžeme pozorovat úspěšnou aplikaci vektorových reprezentací slov napříč různými úlohami v oblasti zpracování přirozeného jazyka. Vzhledem ke schopnosti těchto vektorových reprezentací odrážet distribuční sémantiku byla v nedávné době věnovaná pozornost i možnosti využití pro lexikální desambiguaci. V tomto článku navrhujeme novou neřízenou metodu pro lexikální desambiguace v jednom jazyce s využitím vektorových reprezentací natrénovaných pro jiný jazyk a překladového slovníku. V našich experimentech byly pro lexikální desambiguaci perských slov využity vektorové reprezentace anglických překladů slov z blízkého kontextu. Každý možný překlad polysémního slova je porovnán s vektorovými reprezentacemi okolních slov, z toho je vygenerováno podobnostní skóre, přičemž překladový ekvivalent s nejvyšším skóre reprezentuje zvolený význam. Tato metoda vyžaduje pouze neznačkovaný korpus a překladový slovník. Úspěšnost našeho přístupu je ilustrovaná na malém vzorku ručně desambiguovaných dat.
AGRR-2019: Automatic Gapping Resolution for Russian
AGRR-2019: Automatické rozlišení mezer pro ruštinu
Year: 2019
Authors: Ivan Smurov, Maria Ponomareva, Tatiana Shavrina, Kira Droganova

Abstract (English):
The 2019 Shared Task on Automatic Gapping Resolution for Russian (AGRR2019) aims to tackle non-trivial linguistic phenomenon, gapping, that occurs in coordinated structures and elides a repeated predicate, typically
from the second clause.
In this paper, we define the task and evaluation metrics, provide detailed
information on data preparation, annotation schemes and methodology,
analyze the results and describe different approaches of the participating
solutions.

Abstract (Czech):
ílem sdíleného úkolu o automatickém rozlišení mezer v ruštině (AGRR2019) v roce 2019 je boj proti netriviálnímu lingvistickému jevu, který se vyskytuje v koordinovaných strukturách, a eliminuje opakovaný predikát, obvykle
z druhé věty.
V tomto článku definujeme metriku úkolů a hodnocení, poskytujeme podrobné informace
informace o přípravě údajů, schématech anotace a metodice,
analyzovat výsledky a popsat různé přístupy účastníka
řešení.
Biases and perils of MT evaluation
Úskalí vyhodnocování strojového překladu
Year: 2019
Authors: Martin Popel

Abstract (English):
Virtually all MT evaluation metrics and techniques, both automatic and manual, have their own perils.
Some of the perils can be considered biases if there are MT systems which can (unfairly) benefit from a given evaluation aspects. In my presentation, I focus on the following aspects of evaluations: sentence-level vs. document-level vs.
document-aware, source-based vs. reference-based, direct assessment vs. comparison-based, fluency-biased vs. adequacy-biased. I also discuss the aspect of translationese and native target/source-language translators and evaluators.

Abstract (Czech):
Prakticky všechny metriky a techniky hodnocení strojového překladu, automatické i manuální, mají svá vlastní nebezpečí. Některá nebezpečí lze považovat za podjatá, pokud existují systémy MT, které mohou (nespravedlivě) těžit z daných aspektů hodnocení. Ve své prezentaci se zaměřuji na následující aspekty: hodnocení na úrovni vět vs. dokumentu (document-level vs. document-aware evaluation), source-based vs. reference-based, přímé hodnocení vs. hodnocení založené na srovnávání, plynulost vs. přesnost. Zabývám se také aspektem překladštiny (translationese) a rodným jazykem překladatelů a hodnotitelů.
English-Czech Systems in WMT19: Document-Level Transformer
Anglicko-český systém pro WMT19: Transformer na úrovni dokumentů
Year: 2019
Authors: Martin Popel, Dominik Macháček, Michal Auersperger, Ondřej Bojar, Pavel Pecina

Abstract (English):
We describe our NMT systems submitted to the WMT19 shared task in English→Czech news translation. Our systems are based on the Transformer model implemented in either Tensor2Tensor (T2T) or Marian framework. We aimed at improving the adequacy and coherence of translated documents by enlarging the context of the source and target. Instead of translating each sentence independently, we split the document into possibly overlapping multi-sentence segments. In case of the T2T implementation, this “document-level”-trained system achieves a +0.6 BLEU improvement (p < 0.05) relative to the same system applied on isolated sentences. To assess the potential effect document-level models might have on lexical coherence, we performed a semi-automatic analysis,  which revealed only a few sentences improved in this aspect. Thus, we cannot draw any conclusions from this week evidence.

Abstract (Czech):
Článek popisuje CUNI NMT systémy pro překlad z angličtiny do češtiny zaslané na WMT 2019 News Translation Shared Task. Systémy jsou založené na architektuře Transformer a její implementaci ve frameworcích Tensor2Tensor (T2T) a Marian. Snahou bylo zlepšit adekvátnost a koherenci přeložených dokumentů rozšířením kontextu na zdrojové a cílové straně. Namísto překladu izolovaných vět překládají popisované systémy potenciálně překrývající se vícevětné segmenty. V případě T2T implementace dosahuje takto trénovaný systém oproti systému trénovaném na izolovaných větách vylepšení +0.6 BLEU (p < 0.05). Poloautomatická analýza lexikální koherence odhalila jen málo příkladů, kde systém s větším kontext opravil chybu systému překládajíchího izolované věty.