ufal/bilingual-abstracts-corpus huggingface dataset:
Domain Adaptation of Document-Level NMT in IWSLT19
Doménová adaptace dokumentového neuronového strojového překladu v IWSLT19
Year: 2019
Authors: Martin Popel, Christian Federmann

Abstract (English):
We describe our four NMT systems submitted to the IWSLT19 shared task in English→Czech text-to-text translation of TED talks. The goal of this study is to understand the interactions between document-level NMT and domain adaptation. All our systems are based on the Transformer model implemented in the Tensor2Tensor framework. Two of the systems serve as baselines, which are not adapted to the TED talks domain: SENTBASE is trained on single sentences, DOCBASE on multi-sentence (document-level) sequences. The other two submitted systems are adapted to TED talks: SENTFINE is fine-tuned on single sentences, DOCFINE is fine-tuned on multi-sentence sequences. We present both automatic-metrics evaluation and manual analysis of the translation quality, focusing on the differences between the four systems.

Abstract (Czech):
Popisujeme naše čtyři systémy neuronového strojového překladu (NMT), které jsme odeslali do shared tasku IWSLT19 pro anglicko-český překlad  TED Talks. Cílem této studie je porozumět interakcím mezi NMT na úrovni dokumentů a doménovou adaptací. Všechny naše systémy jsou založeny na modelu Transformer implementovaném ve frameworku Tensor2Tensor. Dva ze systémů slouží jako baseline a nejsou přizpůsobeny doméně TED Talks: SENTBASE je trénován na jednotlivých větách, DOCBASE na vícevětných (document-level) sekvencích. Další dva předložené systémy jsou přizpůsobeny doméně TED Talks: SENTFINE je adaptován na jednotlivých větách, DOCFINE na vícevětných sekvencích. Představujeme jak automatické metrické hodnocení, tak manuální analýzu kvality překladu se zaměřením na rozdíly mezi těmito čtyřmi systémy.
Unsupervised Pretraining for Neural Machine Translation Using Elastic Weight Consolidation
Předtrénování bez dohledu pro neuronový strojový překlad s využitím elastické konsolidace vah
Year: 2019
Authors: Dušan Variš, Ondřej Bojar

Abstract (English):
This work presents our ongoing research of unsupervised pretraining in neural machine translation (NMT). In our method, we initialize the weights of the encoder and decoder with two language models that are trained with monolingual data and then fine-tune the model on parallel data using Elastic Weight Consolidation (EWC) to avoid forgetting of the original language modeling tasks. We compare the regularization by EWC with the previous work that focuses on regularization by language modeling objectives.

The positive result is that using EWC with the decoder achieves BLEU scores similar to the previous work. However, the model converges 2-3 times faster and does not require the original unlabeled training data during the finetuning stage.

In contrast, the regularization using EWC is less effective if the original and new tasks are not closely related. We show that initializing the bidirectional NMT encoder with a left-toright language model and forcing the model to remember the original left-to-right language modeling task limits the learning capacity of the encoder for the whole bidirectional context.

Abstract (Czech):
Tato práce představuje náš probíhající výzkum předtrénování bez dohledu v oblasti neuronového strojového překladu (NMT). Naše metoda inicializuje váhy enkodéru a dekodéru pomocí dvou jazykových modelů, které jsou trénovány na jednojazyčných datech. Celý model pak dolaďujeme na paralelních datech s pomocí elastické konsolidace vah (EWC), abychom zabránili zapomenutí původní úlohy jazykového modelování. Srovnáváme regularizaci EWC s předchozí prací, která se zaměřuje na regularizaci s pomocí optimalizačních cílů jazykového modelování.

Pozitivním výsledkem je, že použitím EWC s dekodérem dosáhneme podobných hodnot BLEU jako předchozí práce. Model však konverguje 2-3krát rychleji a nevyžaduje původní jednojazyčná data během dolaďování.

Oproti tomu je EWC regularizace méně účinná, pokud spolu původní a navazující úloha úzce nesouvisí. Ukazujeme, že inicializace obousměrného NMT enkodéru pomocí jednosměrného jazykového modelu a nucení modelu zapamatovat si původní úlohu modelování jazyka zleva doprava omezuje schopnosti enkodéru naučit se oboustranný kontext.
A Baseline for General Music Object Detection with Deep Learning
Porovnání obecné detekce objektů hudební notace pomocí hlubokého učení
Year: 2018
Authors: Alexander Pacha, Jan Hajič, jr., Jorge Calvo-Zaragoza

Abstract (English):
Deep learning is bringing breakthroughs to many computer vision subfields including Optical Music Recognition (OMR), which has seen a series of improvements to musical symbol detection achieved by using generic deep learning models. However, so far, each such proposal has been based on a specific dataset and different evaluation criteria, which made it difficult to quantify the new deep learning-based state-of-the-art and assess the relative merits of these detection models on music scores. In this paper, a baseline for general detection of musical symbols with deep learning is presented. We consider three datasets of heterogeneous typology but with the same annotation format, three neural models of different nature, and establish their performance in terms of a common evaluation standard. The experimental results confirm that the direct music object detection with deep learning is indeed promising, but at the same time illustrates some of the domain-specific shortcomings of the general detectors. A qualitative comparison then suggests avenues for OMR improvement, based both on properties of the detection model and how the datasets are defined. To the best of our knowledge, this is the first time that competing music object detection systems from the machine learning paradigm are directly compared to each other. We hope that this work will serve as a reference to measure the progress of future developments of OMR in music object detection.

Abstract (Czech):
Hluboké učení přináší průlomy v mnoha podoborech strojového vidění, včetně rozpoznávání notopisu (Optical Music Recognition, OMR), kde bylo zaznamenáno množství pokroků v detekci notopisných symbolů pomocí obecných modelů hlubokého učení. Zatím však byly všechny tyto pokroky měřené pouze na některém z dostupných datasetů a využívaly různá evaluační kritéria, takže lze jen obtížně kvantifikovat nový stav poznání dosažený těmito metodami a porovnat jejich výhody a nevýhody v doméně hudební notace. V tomto článku prezentujeme  základní výsledky detekce symbolů hudební notace pomocí tří různých obecných detekčních modelů hlubokého učení, a to napříč třemi typologicky různými datasety, změřené standardizovaným postupem. Experimentální výsledky potvrzují, že přímá detekce notačních objektů pomocí hlubokého učení má velmi slibné výsledky, nicméně zároveň ilustruje omezení generických detektorů na této doméně. Kvalitativní porovnání poté naznačuje, jak detekci zlepšit: jak na základě vlastností detekčních modelů, tak na základě vlastností datasetů. Dle našich poznatků je toto poprvé, kdy je vícero špičkových metod detekce notačních objektů přímo porovnáváno. Doufáme, že tato práce bude sloužit jako reference pro měření dalších pokroků v OMR.
Syntactic annotation of a second-language learner corpus
Syntaktická anotace žákovského korpusu
Year: 2018
Authors: Jirka Hana, Barbora Hladká

Abstract (English):
Our goal has been to annotate the CzeSL corpus according to the non-native grammar in the mind of the author, not according to the standard grammar. However, this brings many challenges. First, we do not have enough data to get reliable insights into the grammar of each author. Second, many phenomena are far more complicated than they are in native languages.

Abstract (Czech):
Naším cílem je anotace korpusu CzeSL podle gramatiky jazyka, se kterou pracuje nerodilý mluvčí, a ne podle standartní gramatiky. Tento přístup přináší několik problémů. Za prvé nemáme dostatek dat na to, abychom analyzovali gramatiky jednotlivých autorů. Za druhé v jazyce nerodilých mluvčí je podstatně více složitějších jevů  než v jazyce rodilých mluvčí.
Universal Dependencies and Non-Native Czech
Anotace češtiny nerodilých mluvčích pomocí formalismu UD
Year: 2018
Authors: Jirka Hana, Barbora Hladká

Abstract (English):
CzeSL is a learner corpus of texts produced by non-native speakers of Czech. Such corpora area great source of information about specific features of learners’ language, helping language teachers and researchers in the area of second language acquisition. In our project, we have focused on syntactic annotation of the non-native text within the framework of Universal Dependencies. As far as we know, this is a first project annotating a richly inflectional non-native language. Our ideal goal has been to annotate according to the non-native grammar in the mind of the author, not according to the standard grammar. However, this brings many challenges. First, we do not have enough data to get reliable insights into the grammar of each author. Second, many phenomena are far more complicated than they are in native languages.  We believe that the most important result of this project is not the actual annotation, but the guidelines and principles that can be used as a basis for other non-native languages.

Abstract (Czech):
CzeSL je žákovský korpus textů nerodilých mluvčích češtiny, který je cenným zdrojem unikátních znalostí o jazyce nerodilých mluvčích. Pomáhá pedagogům a výzkumníkům v oblasti osvojování druhého jazyka. V našem projektu se zaměřujeme na syntaktickou anotaci textů z CzeSL v rámci formalismu Universal Dependencies. Pokud je nám známo, jedná se o první pokus takové anotace pro jazyk s bohatou flexí. Naší ambicí je anotovat dle gramatiky, kterou používá nerodilý mluvčí, namísto standardní gramatiky. Relativné malé množství dat přináší celou řadu otázek.
Olympiad in Czech language: 44th year
Olympiáda v českém jazyce: 44. ročník
Year: 2018
Authors: Kateřina Rysová

Abstract (English):
The article describes the course of the 44th year of the Olympiad in the Czech Language, presenting its general settings as well as the tasks, their solutions, the approaches of the participants and the names of the winners.

Abstract (Czech):
Článek popisuje průběh 44. ročníku Olympiády v českém jazyce. Představuje celkový průběh soutěže, soutěžní úkoly a jejich řešení, komentuje řešení účastníků soutěže a přináší jména vítězů celostátního kola.
Discourse Connectives and Reference
Diskurzní konektory a reference
Year: 2018
Authors: Kateřina Rysová, Magdaléna Rysová

Abstract (English):
We examine discourse connectives from the perspective of reference (i.e. a presence of an anaphoric/cataphoric element). We introduce a division of connectives into: i) connectives without an inherent (internal) reference (e.g. "and", "but", "or", "if", "however", "then"), and ii) connectives with an inherent (internal) reference that is either optional (e.g. "as a result" vs. "as a result of this"), or obligatory – cf. already grammaticalized connectives (i.e. primary connectives like "thereafter", "therefore" or "thereby") vs. not yet grammaticalized connectives (i.e. secondary connectives like "because of this", "for this reason").

Abstract (Czech):
Diskurzní konektory představujeme z pohledu reference (tj. přítomnosti anaforického nebo kataforického prvku). Diskurzní konektory dělíme na: 1) konektory bez interní reference (např. "a", "ale", "nebo", "jestli", "však", "pak") a 2) konektory s interní referencí, která může být fakultativní (např. "výsledkem je" vs. "výsledkem toho je") nebo obligatorní – srov. již gramatikalizované konektory (tj. primární konektory typu "potom", "proto", "tímto") i dosud ne zcela gramatikalizované konektory (tj. sekundární konektory typu "kvůli tomu", "z tohoto důvodu").
The Correlation between Discourse-Anaphoric Devices and an Overall Communicative Competence in Learners‘ Essays
Vztah mezi anaforickými diskurzními konektory a celkovou komunikační kompetencí ve studentských esejích
Year: 2018
Authors: Kateřina Rysová, Magdaléna Rysová

Abstract (English):
We introduce a contrastive study of text coherence in Czech and German. Specifically, we focus on the discourse-anaphoric devices (called anaphoric connectives) contributing to text coherence and we analyze their role in the overall communicative competence of both native and non-native speakers of Czech and German.

Abstract (Czech):
Článek se zabývá analýzou koherence textu v češtině a v němčině. Zaměřuje se na tzv. anaforické diskurzní konektory, které se významně podílejí na stavbě textu. Příspěvek analyzuje roli těchto konektorů v celkové komunikační kompetenci rodilých i nerodilých mluvčích češtiny a němčiny.
Primary and secondary discourse connectives: definitions and lexicons
Primární a sekundární konektory: definice a slovníky
Year: 2018
Authors: Laurence Danlos, Kateřina Rysová, Magdaléna Rysová, Manfred Stede

Abstract (English):
Starting from the perspective that discourse structure arises from the presence of coherence relations, we provide a map of linguistic discourse structuring devices (DRDs), and then focus on those found  in  written  text: connectives. To subdivide  this  class  further, we  follow  the  recent idea of structuring the set of connectives by differentiating between primary and secondary connectives, on the one hand, and free connecting phrases, on the other. Considering examples from Czech, English, French and German, we develop definitions of these groups, with attention to certain cross-linguistic differences. For primary and secondary connectives, we propose that their behavior can be described to a large extent by declarative lexicons, and we demonstrate a concrete proposal which has been applied to five languages, with others currently being added in ongoing work. The lexical representations can be useful both for humans (theoretical investigations, transfer to other languages) and for machines (automatic discourse parsing and generation).

Abstract (Czech):
Koherentní text (diskurz) se skládá ze vzájemně propojených vztahů, které mohou být vyjádřeny explicitními jazykovými prostředky. V našem článku se zabýváme jedním typem těchto prostředků, diskurzními konektory. Přebíráme přitom dělení konektivních prostředků na primární konektory, sekundární konektory a volné konektivní fráze. Na základě dokladů z češtiny, angličtiny, francouzštiny a němčiny rozvíjíme definice těchto skupin, především s ohledem na mezijazykové rozdíly. U primárních a sekundárních konektorů navrhujeme způsob jejich zachycení ve slovnících. Představujeme konkrétní návrh vícejazyčného slovníku konektorů, do kterého je v současné době zapojeno pět různých jazyků. Další jazyky budou postupně přidávány.
Translating Short Segments with NMT: A Case Study in English-to-Hindi
Překlad krátkých segmentů pomocí NMT: Případová studie pro překlad z angličtiny do hindštiny
Year: 2018
Authors: Shantipriya Parida, Ondřej Bojar

Abstract (English):
This paper presents a case study in translating short image captions of the Visual Genome dataset from English into Hindi using out-of-domain data sets of varying size. We experiment with three NMT models: the shallow and deep sequence-to-sequence and the Transformer model as implemented in Marian toolkit. Phrase-based Moses serves as the baseline. The results indicate that the Transformer model outperforms others in the large data setting in a number of automatic metrics and manual evaluation, and it also produces the fewest truncated sentences. Transformer training is however very sensitive to the hyperparameters, so it requires more experimenting. The deep sequence-to-sequence model produced more flawless outputs in the small data setting and it was generally more stable, at the cost of more training iterations.

Abstract (Czech):
This paper presents a case study in translating short image captions of the Visual Genome dataset from English into Hindi using out-of-domain data sets of varying size. We experiment with three NMT models: the shallow and deep sequence-to-sequence and the Transformer model as implemented in Marian toolkit. Phrase-based Moses serves as the baseline. The results indicate that the Transformer model outperforms others in the large data setting in a number of automatic metrics and manual evaluation, and it also produces the fewest truncated sentences. Transformer training is however very sensitive to the hyperparameters, so it requires more experimenting.
Morphological and Language-Agnostic Word Segmentation for NMT
Morfologická a jazykově nezávislá segmentace slov pro NMT
Year: 2018
Authors: Dominik Macháček, Jonáš Vidra, Ondřej Bojar

Abstract (English):
The state of the art of handling rich morphology in neural machine translation (NMT) is to break word forms into subword units, so that the overall vocabulary size of these units fits the practical limits given by the NMT model and GPU memory capacity. In this paper, we compare two common but linguistically uninformed methods of subword construction (BPE and STE, the method implemented in Tensor2Tensor toolkit) and two linguistically-motivated methods: Morfessor and one novel method, based on a derivational dictionary. Our experiments with German-to-Czech translation, both morphologically rich, document that so far, the non-motivated methods perform better. Furthermore, we identify a critical difference between BPE and STE and show a simple pre-processing step for BPE that considerably increases translation quality as evaluated by automatic measures.

Abstract (Czech):
V současných neuronových systémech pro strojový překlad textů přirozeného jazyka (NMT) se morfologicky příbuzná slova zpracovávají jejich rozdělením na podslovní jednotky takovým způsobem, aby se slovník jednotek vešel do limitů daných zvoleným NMT modelem a do paměti grafické karty. V tomto článku srovnáváme dva nejobvyklejší, nelingvistické, způsoby vytváření podslovních jednotek (BPE a STE, metody implementované v nástroji Tensor2Tensor) se dvěma lingvisticky motivovanými způsoby: Nástrojem Morfessor a námi vyvinutou metodou založenou na derivačních vztazích. Naše experimenty s překladem z němčiny do češtiny, morfologicky bohatých jazyků, ukazují, že prozatím mají lepší výsledky nelingvistické metody. K tomu identifikujeme důležitý rozdíl mezi BPE a STE a ukazujeme, že jednoduché předzpracování textu před BPE výrazně zvyšuje kvalitu překladu vyhodnocovanou automatickými metrikami.
NMT System Comparison
Porovnání systémů pro neuronový strojový překlad
Year: 2018
Authors: Dominik Macháček, Ondřej Bojar, Martin Popel, Tom Kocmi

Abstract (English):
This work is a comparison of a quality and speed of  NMT systems Tensor2Tensor, Marian, Nematus, Neural Monkey and OpenNMT on two comparable translation tasks.

Abstract (Czech):
Tato práce porovnává kvalitu a rychlost systémů pro neuronový strojový překlad (Tensor2Tensor, Marian, Nematus, Neural Monkey, OpenNMT) na dvou srovnatelných překladových úlohách.
Extracting Syntactic Trees from NMT Encoder Self-Attentions
Extrakce syntaktických struktur z self-attentions NMT enkodéru
Year: 2018
Authors: David Mareček, Rudolf Rosa

Abstract (English):
Extracting Syntactic Trees from NMT Encoder Self-Attentions.
Extracting Syntactic Trees from NMT Encoder Self-Attentions.

Abstract (Czech):
Extrakce syntaktických struktur z self-attentions NMT enkodéru.
Extrakce syntaktických struktur z self-attentions NMT enkodéru.
Extracting Syntactic Trees from Transformer Encoder Self-Attentions
Extrakce syntaktických struktur z self-attentions enkodéru Transformeru
Year: 2018
Authors: David Mareček, Rudolf Rosa

Abstract (English):
Extracting Syntactic Trees from Transformer Encoder Self-Attentions. Extracting Syntactic Trees from Transformer Encoder Self-Attentions.

Abstract (Czech):
Extrakce syntaktických struktur z self-attentions enkodéru Transformeru. Extrakce syntaktických struktur z self-attentions enkodéru Transformeru
Grounded Sequence-to-Sequence Transduction
Multimodální převádění sekvencí na sekvence
Year: 2018
Authors: Loïc Barrault, Ozan Caglayan, Amanda Duarte, Desmond Elliott, Spandana Gella, Nils Holzenberger, Chiraag Lala, Sun Jae Lee, Jindřich Libovický, Pranava Madhyastha, Florian Metze, Karl Mulligan, Alissa Ostapenko, Shruti Palaskar, Ramon Sanabria, Lucia Specia, Josiah Wang

Abstract (English):
This presentation summarizes output of the Grounded Sequence-to-Sequence Transduction team at the Fifth Fred Jelinek Memorial Summer Workshop. We combine written, spoken, and seen objects and actions in how-to videos: if we see a person slicing round, red objects and putting them on a brown surface, it is more likely that she or he is explaining how to make a sandwich than how to change a car tire. And we might learn that the red objects are called “tomatoes”. Our team  develop methods that exploit multimodality to process and analyze videos to accomplish three main tasks: speech captioning, video-to-text summarization and translation into a different language. These tasks are diverse but not unrelated. Therefore, we model them using a multi-task sequence-to-sequence learning framework where these (and other, auxiliary) tasks can benefit from shared representations.

Abstract (Czech):
Tato prezentace shrnuje závěry týmu Grounded Sequence-to-Sequence Transduction na pátém Fred Jelinek Memorial Summer Workshop. V prezentovaných modelech kombinujeme psaný text, mluvené slovo a objekty a akce v pozorované . Když vidíme, že člověk krájí červené předměty a umístí je na hnědý povrch, je pravděpodobné, že spíše vysvětluje, jak vyrobit sendvič, než jak změnit pneumatiku. A- mohli bychom se dozvědět, že červené předměty se nazývají "rajčata". Náš tým pracoval na vývoji metod, které využívají multimodální informace pro zpracování a analýzu videoklipů, ve třech hlavních lohách: rozpoznávání řeči, sumarizace videa a textu a překlad do jiného jazyka.
Using Adversarial Examples in Natural Language Processing
Použití adversálních příkladů ve zpracování přirozeného jazyka
Year: 2018
Authors: Petr Bělohlávek, Ondřej Plátek, Zdeněk Žabokrtský, Milan Straka

Abstract (English):
Machine learning models have been providing promising results in many fields including natural language processing. These models are, nevertheless, prone to adversarial examples. These are artificially constructed examples which evince two main features: they resemble the real training data but they deceive already trained model. This paper investigates the effect of using adversarial examples during the training of recurrent neural networks whose text input is in the form of a sequence of word/character embeddings. The effects are studied on a compilation of eight NLP datasets whose interface was unified for quick experimenting. Based on the experiments and the dataset characteristics, we conclude that using the adversarial examples for NLP tasks that are modeled by recurrent neural networks provides a regularization effect and enables the training of models with greater number of parameters without overfitting. In addition, we discuss which combinations of datasets and model settings might benefit from the adversarial training the most.

Abstract (Czech):
Modely strojového učení přinášejí slibné výsledky v mnoha oborech včetně zpracování přirozeného jazyka. Tyto modely jsou nicméně náchylné k adversálním příkladům. Jedná se o uměle vytvořené příklady s dvěma důležitými vlastnostmi: podobají se skutečným tréninkovým příkladům, ale matou již natrénovaný model. Tento článek zkoumá účinek používání adversálních příkladů při tréninku rekurentních neuronových sítí, jejichž vstup je ve formě slovních či znakových embeddingů. Účinky jsou studovány na kompilaci osmi datasetů. Na základě experimentů a charakteristik datasetů dospíváme k závěru, že použití adversálních příkladů pro úkoly zpracování přirozeného jazyka, které jsou modelovány pomocí rekurentních neuronových sítí, přináší efekt regularizace a umožňuje trénovat modely s větším počtem parametrů bez overfittingu. Na závěr popisujeme, které kombinace datasetů a nastavení modelů by mohly mít z adversálního tréninku největší prospěch.