Evaluator of Discourse (EVALD 4.0) is a software that serves for automatic evaluation of surface coherence (cohesion) in Czech texts written by native speakers of Czech. Software evaluates the level of the given text from the perspective of its surface coherence (i.e. it takes into consideration, e.g., the frequency and diversity of connectives, richness of vocabulary, coreference relations, topic-focus articulation etc.). The new version (4.0) adds a set of features related to readability of the text and also newly uses large unlabeled data.

Počítačový nástroj Evaluátor diskurzu (EVALD 4.0) slouží k automatickému hodnocení povrchové koherence (koheze) textů v češtině psaných rodilými mluvčími češtiny. Software tedy hodnotí (známkuje) úroveň předloženého textu z hlediska jeho povrchové výstavby (zohledňuje např. frekvenci a rozmanitost spojovacích prostředků, bohatost slovní zásoby, koreferenční vztahy, aktuální členění apod.). Nová verze (4.0) přidává množinu rysů zaměřených především na obtížnost čtení textu a nově také využívá velká neanotovaná data.


CUNI System for the Building Educational Applications 2019 Shared Task: Grammatical Error Correction

CUNI systém pro Building Educational Applications 2019 Shared Task v automatické opravě gramatiky

In this paper, we describe our systems submitted to the Building Educational Applications (BEA) 2019 Shared Task (Bryant et al., 2019). We participated in all three tracks. Our models are NMT systems based on the Transformer model, which we improve by incorporating several enhancements: applying dropout to whole source and target words, weighting target subwords, averaging model checkpoints, and using the trained model iteratively for correcting the intermediate translations. The system in the Restricted Track is trained on the provided corpora with oversampled "cleaner" sentences and reaches 59.39 F0.5 score on the test set. The system in the Low-Resource Track is trained from Wikipedia revision histories and reaches 44.13 F0.5 score. Finally, we finetune the system from the Low-Resource Track on restricted data and achieve 64.55 F0.5 score, placing third in the Unrestricted Track.

V tomto článku popisujeme naše systémy předložené v rámci soutěže Building Educational Applications (BEA) 2019 Shared Task (Bryant a kol., 2019). Zúčastnili jsme se všech tří variant. Naše modely jsou systémy NMT založené na architektuře Transformer, který vylepšujeme začleněním několika vylepšení: dropout celých zdrojových a cílových slov, vážení cílových podslov, průměrování modelu a použití trénovaného modelu iterativním způsobem. Systém v Restricted Track je trénován na poskytnutých korpusech s nadměrně zesílenými "čistšími" větami a na testovací sadě dosahuje skóre 59,39 F0,5. Systém v režimu nízkých zdrojů je trénován z historie revizí Wikipedie a dosahuje skóre 44,13 F0,5. V neomezeném režimu jsme dotrénováním systému z režimu nízkých zdrojů dosáhli 64.55 F0.5 skóre a obsadili tak třetí místo.


Grammatical Error Correction in Low-Resource Scenarios

Automatická oprava gramatiky při malém množství trénovacích dat

Grammatical error correction in English is a long studied problem with many existing systems and datasets. However, there has been only a limited research on error correction of other languages. In this paper, we present a new dataset AKCES-GEC on grammatical error correction for Czech. We then make experiments on Czech, German and Russian and show that when utilizing synthetic parallel corpus, Transformer neural machine translation model can reach new state-of-the-art results on these datasets. AKCES-GEC is published under CC BY-NC-SA 4.0 license at https://hdl.handle.net/11234/1-3057 and the source code of the GEC model is available at https://github.com/ufal/low-resource-gec-wnut2019.

Automatická oprava gramatiky v angličtině je dlouho studovaný problém s mnoha existujícími systémy a datovými zdroji. Výzkum oprav chyb v jiných jazycích je však pouze omezený. V této práci představujeme nový dataset AKCES-GEC pro gramatickou korekci chyb pro češtinu. Dále provádíme experimenty na češtině, němčině a ruštině a ukazujeme, že při využití syntetického paralelního korpusu může model neuronového strojového překladu Transformer dosáhnout na těchto datasetech nejlepších známých výsledků. AKCES-GEC vychází pod licencí CC BY-NC-SA 4.0 na adrese https://hdl.handle.net/11234/1-3057 a zdrojový kód modelu GEC je k dispozici na adrese https://github.com/ufal/low-resource-gec-wnut2019.


Overview of the 6th Workshop on Asian Translation

Přehled 6. workshopu o překladu do asijských jazyků

This paper presents the results of the
shared tasks from the 6th workshop on
Asian translation (WAT2019) including
Ja↔En, Ja↔Zh scientific paper translation subtasks, Ja↔En, Ja↔Ko, Ja↔En
patent translation subtasks, Hi↔En,
My↔En, Km↔En, Ta↔En mixed domain
subtasks, Ru↔Ja news commentary
translation task, and En→Hi multi-modal
translation task. For the WAT2019, 25
teams participated in the shared tasks.
We also received 10 research paper submissions out of which 71 were accepted.
About 400 translation results were submitted to the automatic evaluation server,
and selected submissions were manually
evaluated.

Tento článek představuje výsledky sdílených úkolů z 6. workshopu o asijském překladu (WAT2019), včetně dílčích úkolů Ja↔En, Ja↔Zh pro překlad vědeckých článků, Ja↔En, Ja↔Ko, Ja↔En pro překlad patentů, Hi↔En, My↔En, Km↔En, Ta↔En pro překlad smíšených doménových dílčích úkolů, Ru↔Ja komentář pro překlad zpráv a En pro multimodální překlad. V rámci programu WAT2019 se sdílených úkolů účastnilo 25 týmů.
Obdrželi jsme také 10 písemných podání k výzkumu, z nichž 71 bylo přijato. Automatickému hodnotícímu serveru bylo předloženo asi 400 výsledků překladu a vybraná podání byla ručně vyhodnocena.

Toshiaki Nakazawa
Nobushige Doi
Shohei Higashiyama
Chenchen Ding
Raj Dabre
Hideya Mino
Isao Goto
Win Pa Pa
Anoop Kunchukuttan
Shantipriya Parida
Ondřej Bojar
Sadao Kurohashi


Fuzzy Boundaries in the Different Functions and Translations of the Discourse Marker and

Nejasné hranice v různých funkcích a překladech diskurzního markeru AND

The present research focuses on the multiple functions performed by the discourse marker "and" in annotated spoken-like texts of TED Talks in English and Lithuanian. The annotation of TED Talks in Lithuanian has started only recently, which results in the limitation regarding the quantity of annotated texts. The research findings show that and and its Lithuanian counterparts perform multiple fuzzy functions, including the function of addition, discourse management and structuring discourse.
It was also established that the most frequent variants of translation of the discourse marker and are those provided by bilingual English–Lithuanian dictionaries and that translators choose paraphrases to convey the pragmatics of the spoken-like texts.

Tento výzkum se zaměřuje na různé funkce diskurzního konektivu "a" v anotovaných zapsaných mluvených textech TED Talks v angličtině a litevštině. Anotace litevských textů bylo zahájena teprve nedávno, proto tvoří litevské texty ve srovnání prozatím menší vzorek. Výsledky výzkumu ukazují, že výraz "and" a jeho ekvivalenty v litevštině vyjadřují řadu vágních významů, včetně prostého přidávání, řízení a strukturace diskurzu

Giedre Valunaite Oleskeviciene
Sigita Rackevičienė
Jolita Šliogerienė
Nijolė Burkšaitienė
Viktorija Mažeikienė
Liudmila Mockienė
Péter Furkó
Ágnes Abuczki
Šárka Zikánová


Efficiency Metrics for Data-Driven Models: A Text Summarization Case Study

Metriky účinnosti pro datově řízené modely: případová studie sumarizace textu

Using data-driven models for solving text summarization or similar tasks has become very common in the last years. Yet most of the studies report basic accuracy scores only, and nothing is known about the ability of the proposed models to improve when trained on more data. In this paper, we define and propose three data efficiency metrics: data score efficiency, data time deficiency and overall data efficiency. We also propose a simple scheme that uses those metrics and apply it for a more comprehensive evaluation of popular methods on text summarization and title generation tasks. For the latter task, we process and release a huge collection of 35 million abstract-title pairs from scientific articles. Our results reveal that among the tested models, the Transformer is the most efficient on both tasks.

Využití modelů řízených daty pro sumarizaci textu nebo podobné úlohy se v posledních letech stává velmi běžným. Zatímco většina studií hlásí pouze základní přesnost, není nic známo o schopnosti zmíněných modelů se zlepšit, jsou-li trénovány na větších datech. V tomto příspěvku definujeme a navrhujeme tři metriky efektivity dat: efektivita úspěšnosti dat, časové nedostatečnosti dat a celkové účinnosti dat. Navrhujeme také jednoduché schema využívající těchto metod a využívající je pro ucelenější hodnocení populárních metod sumarizace textů a generování nadpisů. Pro druhou z úloh zpracováváme a uvol%nujeme rozsáhlou kolekci 35 miliónů párů abstrakt-název vědeckých článků. Naše výsledky odhalují, že mezi tetovanými metodami je Transformer nejúčinnější pro obě úlohy.


Keyphrase Generation: A Multi-Aspect Survey

Generování klíčových slov: Přehled víceaspektových metod

Extractive keyphrase generation research has been around since the nineties, but the more advanced abstractive approach based on the encoder-decoder framework and sequence-to-sequence learning has been explored only recently. In fact, more than a dozen of abstractive methods have been proposed in the last three years, producing meaningful keyphrases and achieving state-of-the-art scores. In this survey, we examine various aspects of the extractive keyphrase generation methods and focus mostly on the more recent abstractive methods that are based on neural networks. We pay particular attention to the mechanisms that have driven the perfection of the later. A huge collection of scientific article metadata and the corresponding keyphrases is created and released for the research community. We also present various keyphrase generation and text summarization research patterns and trends of the last two decades.

Výzkum získávání klíčových slov probíhá od devadesátých let, ale pokročilé přístupy jako kodér-dekodér a učení z posloupností byly objeveny až v poslední době. Více než tucet abstrakčních metod poskytujících smysluplná klíčová slova a dosahujících aktuálních výsledků bylo navrženo v posledních třech letech. Testujeme zde různé aspekty metod generování klíčových slov.
Soustředíme se zejména na metody z poslední doby založené na neuronových sítích. Zvláštní důraz klademe na mechanismy řízení přesnosti těch posledně jmenovaných. Byla vytvořena velmi rozsáhlá kolekce metadat o vědeckých článcích a uvolněna vědecké komunitě. Také jsme prezentovali různé vzory výzkumu generování klíčových slov a sumarizace textu a trendy posledních dvou dekád.


Keyphrase Generation: A Text Summarization Struggle

Generování klíčových slov: Náročná sumarizace textu

Authors' keyphrases assigned to scientific articles are essential for recognizing content and topic aspects. Most of the proposed supervised and unsupervised methods for keyphrase generation are unable to produce terms that are valuable but do not appear in the text. In this paper, we explore the possibility of considering the keyphrase string as an abstractive summary of the title and the abstract. First, we collect, process and release a large dataset of scientific paper metadata that contains 2.2 million records. Then we experiment with popular text summarization neural architectures. Despite using advanced deep learning models, large quantities of training data and many days of computation, our systematic evaluation on four test datasets reveals that the explored text summarization methods could not produce better keyphrases than the much simpler unsupervised methods or the existing supervised ones.

Klíčová slova, která svým vědeckým článkům přiřadili jejich autoři jsou nepostradatelná pro rozpoznání obsahu a témat dané článku. Většina
řízených i neřízených metod generování klíčových slov není schopna přiřazovat termíny, které to dobře vystihují, ale nevyskytují se v textu. V tomto příspěvku zkoumáme možnost klíčových slov coby shrnutím názvu práce a abstraktu. Nejdříve sesbíráme, zpracujme a vydáme velkou sadu metadat vědeckých článků čítajících 2,2 milionu záznamů. Pak vyzkoušíme populární neurální architektury pro sumarizaci textů. Na rozdíl od pokročilých metod hlubokého učení, velkých objemů dat a mnoha
dní výpočtů naše systematické vyhodnocování na čtyřech testovacích sadách dat ukázalo, že zkoumané metody sumarizace textu nemohou vytvořit
lepší klíčová slova než jednoduché neřízené či řízené metody.


Sentiment Analysis of Czech Texts: An Algorithmic Survey

Analýza sentimentu českých textů: Přehled algoritmů

In the area of online communication, commerce and transactions, analyzing sentiment polarity of texts written in various natural languages has become crucial. While there have been a lot of contributions in resources and studies for the English language, "smaller" languages like Czech have not received much attention. In this survey, we explore the effectiveness of many existing machine learning algorithms for sentiment analysis of Czech Facebook posts and product reviews. We report the sets of optimal parameter values for each algorithm and the scores in both datasets. We finally observe that support vector machines are the best classifier and efforts to increase performance even more with bagging, boosting or voting ensemble schemes fail to do so.

V oblasti online komunikace, komerce a překladů, se analýza polarity sentimentu textů napsaných v různých přirozených jazycích stává zásadní. Zatímco pro angličtinu je k dispozici mnoho příspěvků a zdrojů, "menší" jazyky, jako je čeština, se zatím netěší větší pozornosti. V tomto
přehledu zkoumáme efektivitu mnoha algoritmů strojového učení pro analýzu sentimentu příspěvků na českém Facebooku a recenzí různých produktů. Sepíšeme sady optimálních hodnot parametrů pro každý algoritmus a ohodnocení v obou datasetech. Nakonec zaznamenáme, že metoda podpůrných vektorů je nejlepším klasifikátorem a snahy dále zlepšit výkon pomocí baggingu, boostingu, či hlasovacích schemat selhaly.


Supervised Morphological Segmentation Using Rich Annotated Lexicon

Řízená morfologická segmentace s využitím bohatě anotovaného slovníku

Morphological segmentation of words is the process of dividing a word into smaller units called morphemes; it is tricky especially when a morphologically rich or polysynthetic language is under question. In this work, we designed and evaluated several Recurrent Neural Network (RNN) based models as well as various other machine learning based approaches for the morphological segmentation task. We trained our models using annotated segmentation lexicons. To evaluate the effect of the training data size on our models, we decided to create a large hand-annotated morphologically segmented corpus of Persian words, which is, to the best of our knowledge, the first and the only segmentation lexicon for the Persian language. In the experimental phase, using the hand-annotated Persian lexicon and two smaller similar lexicons for Czech and Finnish languages, we evaluated the effect of the training data size, different hyper-parameters settings as well as different RNN-based models.

Morfologická segmentace slov je proces rozdělování slova na menší jednotky nazývané morfémy, což je úloha, která je obtížná zejména v případě morfologicky bohatých nebo polysyntetických jazyků. V této práci navrhujeme pro řešení této úlohy několik rekurzivních neuronových sítí a dalších přístupů založených na strojovém učení. Jako trénovací data používáme ručně segmentované slovníky. K vyhodnocení vlivu velikosti slovníku na kvalitu segmentace používáme rozsáhlý, ručně anotovaný segmentační slovník perštiny. Dále používáme menší segmentační slovníky pro češtinu a finštinu. Na těchto jazycích zkoumáme rovněž vliv nastavení hyperparametrů a zvolených rekurentních architektur.

Ebrahim Ansari
Zdeněk Žabokrtský
Mohammad Mahmoudi
Hamid Haghdoost
Jonáš Vidra


Multimodal Abstractive Summarization for How2 Videos

Multimodální abstraktivní sumarizace instruktážních videí

In this paper, we study abstractive summarization for open-domain videos. Unlike the traditional text news summarization, the goal is less to "compress" text information but rather to provide a fluent textual summary of information that has been collected and fused from different source modalities, in our case video and audio transcripts (or text). We show how a multi-source sequence-to-sequence model with hierarchical attention can integrate information from different modalities into a coherent output, compare various models trained with different modalities and present pilot experiments on the How2 corpus of instructional videos. We also propose a new evaluation metric (Content F1) for abstractive summarization task that measures semantic adequacy rather than fluency of the summaries, which is covered by metrics like ROUGE and BLEU.

V tomto článku studujeme abstraktiví sumarizaci videí bez doménového omezení. Na rozdíl od tradiční sumarizace zpravodajských textů není cílem "komprimovat" textové informace, ale spíše poskytnout plynulé textové shrnutí informací, které byly shromážděny z různých zdrojových modalit, v našem případě videozáznamů a audio přepisů (nebo textu). Ukazujeme, jak vícezdrojový model sekvenčního učení s hierarchickým mechanismem pozorností dokáže integrovat informace z různých modalit do uceleného výstupu, porovnáváme různé modely trénované s různými modalitami a prezentuje pilotní experimenty na How2 korpusu instruktážních videí. Navrhujeme také novou hodnotící metriku (Conent F1) pro abstraktivní sumarizaci, která měří spíše sémantickou adekvátnost než plynulost, kterou naopak zachcují tradiční metriky jako jako ROUGE a BLEU.

Shruti Palaskar
Jindřich Libovický
Spandana Gella
Florian Metze


Comparison of Automatic and Human Evaluation of L2 Texts in Czech

Srovnání hodnocení textů L2 v češtině provedeného strojem a člověkem

We introduce an experimental probe comparing how texts written by non-native speakers of Czech are evaluated by a software application EVALD and by teachers of Czech as a foreign language.

Článek představuje experimentální výzkum srovnávající, jak jsou texty psané nerodilými mluvčími češtiny hodnoceny softwarovou aplikací EVALD a učiteli češtiny jako cizího jazyka.

Svatava Škodová
Kateřina Rysová
Magdaléna Rysová


User Evaluation of a Multi-dimensional Statistical Dialogue System

Uživatelská evaluace multidimenzionálního statistického dialogového systému

We present the first complete spoken dialogue system driven by a multiimensional statistical dialogue manager. This framework has been shown to substantially reduce data needs by leveraging domain-independent dimensions, such as social obligations or feedback, which (as we show) can be transferred between domains. In this paper, we conduct a user study and show that the performance of a multi-dimensional system, which can be adapted from a source domain, is equivalent to that of a one-dimensional baseline, which can only be trained from scratch.

Představujeme první kompletní hlasový dialogový systém řízený multidimenzionálním statistickým dialogovým manažerem. Tento framework prokazatelně významně snižuje potřebu dat využitím doménově nezávislých dimenzí, jako jsou společenské konvence nebo zpětná vazba, které (jak ukazujeme) lze přenášet mezi doménami. V tomto článku provádíme uživatelskou sudii a ukazujeme, že výkon multidimenzionálního systému, který lze adaptovat ze zdrojové domény, je ekvivalentní výkonu jednodimenzionální baseline, kterou je třeba natrénovat od nuly.

Simon Keizer
Ondřej Dušek
Xingkun Liu
Verena Rieser


Cohesion in Czech: Semantics of implicit and explicit discourse relations

Koheze v češtině: význam implicitních a explicitních diskurzních vztahů

The lecture presents the results of the annotation of implicit relations in Czech based on the PDiT-EDA 1.0 corpus. It focuses on the distribution of implicit and explicit relations, their semantics, the presence of sentence negation and the relation of implicitness to the text genre.

Přednáška představuje výsledky anotace implicitních vztahů v češtině na základě korpusu PDiT-EDA 1.0. Zaměřuje se na distribuci implicitních a explicitních vztahů, jejich sémantiku, přítomnost větné negace a vztah implicitnosti k textovému žánru.


He did not come, it rained. Implicit discourse relations in Czech

Nepřišel, pršelo. Implicitní diskurzní vztahy v češtině.

The paper gives a basic overview of implicit discourse relations in the PDiT-EDA 1.0 corpus. It deals with the relation of implicitness to the following language factors: semantics of discourse relation, presence of sentence negation, text genre.

Příspěvek podává základní přehled o implicitních diskurzních vztazích v korpusu PDiT-EDA 1.0. Zabývá se vztahem implicitnosti k následujícím jazykovým faktorům: sémantika diskurzního vztahu, přítomnost větné negace, textový žánr.


Explicit and Implicit Discourse Relations in the Prague Discourse Treebank

Explicitní a implicitní diskurzní vztahy v Pražském diskurzním korpusu

We analyze some of the factors influencing the explicitness/implicitness of discourse relations, such as the text genre, semantic type of the discourse relation and the presence of negation in discourse arguments.

Analyzujeme některé faktory ovlivňující explicitnost/implicitnost diskurzních vztahů, např. žánr textu, sémantický typ diskurzního vztahu a přítomnost negace v diskurzních argumentech.

Šárka Zikánová
Jiří Mírovský
Pavlína Synková


Jana Hoffmannová, Jiří Homoláč, Kamila Mrázková (eds.): Syntax of Spoken Czech, Praha: Academia, 2019

Jana Hoffmannová, Jiří Homoláč, Kamila Mrázková (eds.): Syntax mluvené češtiny, Praha: Academia, 2019

Review of Syntax of Spoken Czech, a book edited by Jana Hoffmannová, Jiří Homoláč and Kamila Mrázková.

Recenze knihy Syntax mluvené češtiny, jejímiž editory jsou Jana Hoffmannová, Jiří Homoláč a Kamila Mrázková.


Coherence Errors in Learners’ Essays and a Possibility of Their Improvement through EVALD (Automated Evaluator of Discourse)

Chyby v koherenci v žákovských textech a možnosti jejich zlepšení pomocí aplikace EVALD (automatického evaluátoru diskurzu)

Coherence may be manifested through various language means, e.g. by discourse connectives, anaphoric devices, lexical repetition etc. We present research of the most common errors in coherence occurring in learners’ essays.

Koherence textů může být zajištěna řadou jazykových prostředků, např. diskurzními konektory, anaforickým odkazováním, lexikálním opakováním apod. Představujeme výzkum nejčastějších chyb v koherenci žákovských textů.

Magdaléna Rysová
Kateřina Rysová
Jiří Mírovský
Michal Novák


ÚFAL MRPipe at MRP 2019: UDPipe Goes Semantic in the Meaning Representation Parsing Shared Task

ÚFAL MRPipe na MRP 2019: UDPipe se stává sémantickým v soutěži Meaning Representation Parsing

We present a system description of our contribution to the CoNLL 2019 shared task, Cross-
Framework Meaning Representation Parsing (MRP 2019). The proposed architecture is our first attempt towards a semantic parsing extension of the UDPipe 2.0, a lemmatization, POS tagging and dependency parsing pipeline.

For the MRP 2019, which features five formally and linguistically different approaches to meaning representation (DM, PSD, EDS, UCCA and AMR), we propose a uniform, language and framework agnostic graph-to-graph neural network architecture. Without any knowledge about the graph structure, and specifically without any linguistically or framework motivated features, our system implicitly models the meaning representation graphs.

After fixing a human error (we used earlier incorrect version of provided test set analyses),
our submission would score third in the competition evaluation. The source code of our
system is available at https://github.
com/ufal/mrpipe-conll2019.

Předkládáme popis našeho příspěvku do soutěže CoNLL 2019, Cross-Framework Meaning Representation Parsing (MRP 2019). Navržená architektura je naším prvním pokusem o sémantický parsing v rámci UDPipe 2.0, nástroje pro lemmatizaci, POS tagging a závislostní parsing.

Pro MRP 2019, který zahrnuje pět formálně a lingvisticky rozdílných přístupů k reprezentaci významu (DM, PSD, EDS, UCCA a AMR), navrhujeme uniformní, jazykově a formálně agnostickou architekturu založenou na transformaci grafů pomocí umělých neuronových sítí. Bez jakékoli znalosti grafové struktury, a specificky bez jakýchkoli lingvisticky nebo formálně motivovaných klasifikačních rysů náš systém implicitně modeluje reprezentaci významu v grafu.

Po opravě člověkem způsobené chyby (použili jsme nesprávnou verzi poskytnutých analýz testovacích dat) se náš příspěvek umístil na třetím místě v soutěžním hodnocení. Zdrojový ḱód našeho systému je dostupný na adrese https://github.
com/ufal/mrpipe-conll2019.


Czech Text Processing with Contextual Embeddings: POS Tagging, Lemmatization, Parsing and NER

Zpracování textu v češtině pomocí kontextových embeddingů: POS tagging, lemmatizace, závislostní parsing a rozpoznávání pojmenovaných entit

Contextualized embeddings, which capture appropriate word meaning depending on context, have recently been proposed. We evaluate two methods for precomputing such embeddings, BERT and Flair, on four Czech text processing tasks: part-of-speech (POS) tagging, lemmatization, dependency parsing and named entity recognition (NER). The first three tasks, POS tagging, lemmatization and dependency parsing, are evaluated on two corpora: the Prague Dependency Treebank 3.5 and the Universal Dependencies 2.3. The named entity
recognition (NER) is evaluated on the Czech Named Entity Corpus 1.1 and 2.0. We report state-of-the-art results for the above mentioned tasks and corpora.

Nedávno byly navrženy kontextové embeddingy, které vhodně zachycují význam slova v závislosti na kontextu. V tomto příspěvku vyhodnocujeme dvě metody pro výpočet takových embeddingů, BERT a Flair, na čtyřech úlohách zpracování přirozeného jazyka v češtině: značkování slovních druhů (POS tagging), lemmetizace, závislostní parsing a rozpoznávání pojmenovaných entit. První tři úlohy jsou vyhodnoceny na dvou korpusech: Pražský závislostní korpus 3.5 a Universal Dependencies 2.3. Rozpoznávání pojmenovaných entit je vyhodnoceno na Českém korpusu pojmenovaných entit (Czech Named Entity Corpus) 1.1 a 2.0. Publikujeme state-of-the-art výsledky ve všech výše zmíněných úlohách na všech korpusech.


Evaluating Contextualized Embeddings on 54 Languages in POS Tagging, Lemmatization and Dependency Parsing

Vyhodnocení kontextualizovaných embeddingů na 54 jazycích v POS tagingu, lemmatizaci a závislostním parsingu

We present an extensive evaluation of three recently proposed methods for contextualized embeddings on 89 corpora in 54 languages of the Universal Dependencies 2.3 in three tasks: POS tagging, lemmatization, and dependency parsing. Employing the BERT, Flair and ELMo as pretrained embedding inputs in a strong baseline of UDPipe 2.0, one of the best-performing systems of the CoNLL 2018 Shared Task and an overall winner of the EPE 2018, we present a one-to-one comparison of the three contextualized word embedding methods, as well as a comparison with word2vec-like pretrained embeddings and with end-to-end character-level word embeddings. We report state-of-the-art results in all three tasks as compared to results on UD 2.2 in the CoNLL 2018 Shared Task.

Představujeme rozsáhlé hodnocení tří nedávno navržených metod pro kontextualizované embeddiny na 89 korpusech v 54 jazycích projektu Universal Dependencies 2.3 ve třech úkolech: POS tagging, lemmatizace a závislostní analýza. Využitím BERT, Flair a ELMo jako předtrénovaných embeddingů do systému UDPipe 2.0, jednoho z vítězů CoNLL 2018 Shared Task a celkového vítěze EPE 2018, představujeme porovnání těchto tří kontextualizovaných metod, word2vec předtrénovaných embedingů a trénovatelných embedingů založených na znacích slov. Popsané metody dosahují nejlepších známých výsledků na UD 2.2 v porovnání s výsledky na CoNLL 2018 Shared Task.


UDPipe at SIGMORPHON 2019: Contextualized Embeddings, Regularization with Morphological Categories, Corpora Merging

UDPipe na SIGMORPHON 2019: Kontextualizované embeddingy, regularizace morfologickými kategoriemi, slučování korpusů

We present our contribution to the SIGMORPHON 2019 Shared Task: Crosslinguality and Context in Morphology, Task 2: contextual morphological analysis and lemmatization.

We submitted a modification of the UDPipe 2.0, one of best-performing systems of the CoNLL 2018 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies and an overall winner of the The 2018 Shared Task on Extrinsic Parser Evaluation. As our first improvement, we use the pretrained contextualized embeddings (BERT) as additional inputs to the network; secondly, we use individual morphological features as regularization; and finally, we merge the selected corpora of the same language.

In the lemmatization task, our system exceeds all the submitted systems by a wide margin with lemmatization accuracy 95.78 (second best was 95.00, third 94.46). In the morphological analysis, our system placed tightly second: our morphological analysis accuracy was 93.19, the winning system’s 93.23.

Představujeme náš příspěvek k shared tasku SIGMORPHON 2019: Crosslingualita a kontext v morfologii, úkol 2: kontextová morfologická analýza a lemmatizace.

Odevzdali jsme modifikaci UDPipe 2.0, jednoho z výherního systému CoNLL 2018 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies a celkového vítěze The 2018 Shared Task on Extrinsic Parser Evaluation. Jako první vylepšení používáme předtrénované kontextualizované embeddingy (BERT) jako další vstupy do sítě, za druhé používáme jednotlivé morfologické vlastnosti jako regularizaci a nakonec slučujeme vybrané korpusy stejného jazyka.

V lemmatizačním úkolu náš systém výrazně převyšuje všechny ostatní systémy s přesností lemmatizace 95,78 (druhý nejlepší byl 95,00, třetí 94,46). V morfologické analýze se náš systém umístil těsně druhý: přesnost naší morfologické analýzy byla 93,19, vítězný systém měl 93,23.


Universal Derivations (UDer) is a collection of harmonized lexical networks capturing word-formation, especially derivational relations, in a cross-linguistically consistent annotation scheme for many languages. The annotation scheme is based on a rooted tree data structure, in which nodes correspond to lexemes, while edges represent derivational relations or compounding.
The current version of the UDer collection contains eleven harmonized resources covering eleven different languages.

Universal Derivations (UDer) je sada lexikalních sítí zachycujících slovotvorné, zvl. derivační vztahy jednotlivých jazyků, tyto sítě byly harmonizovány do jednotného formátu. Stávající verze UDer v0.5 obsahuje 11 harmonizovaných zdrojů pokrývajících 11 různých jazyků.

Lukáš Kyjánek
Zdeněk Žabokrtský
Jonáš Vidra
Magda Ševčíková


Universal Derivations Kickoff: A Collection of Harmonized Derivational Resources for Eleven Languages

Universal Derivations: Soubor harmonizovaných derivačních zdrojů pro jedenáct jazyků

The aim of this paper is to open a discussion on harmonization of existing data resources related
to derivational morphology. We present a newly assembled collection of eleven harmonized
resources named “Universal Derivations” (clearly being inspired by the success story of the
Universal Dependencies initiative in treebanking), as well as the harmonization process that
brings the individual resources under a unified annotation scheme.

Cílem tohoto článku je otevřít diskusi o harmonizaci existujících datových zdrojů zabývajících se derivační morfologií. Představujeme nově vytvořený soubor jedenácti harmonizovaných zdrojů pojmenovaný „Universal Derivations“ (zjevně inspirovaný úspěchem iniciativy Universal Dependencies mezi syntakticky anotovanými korpusy) a harmonizační proces, kterým jsme tyto zdroje sjednotili do stejného anotačního schématu.

Lukáš Kyjánek
Zdeněk Žabokrtský
Magda Ševčíková
Jonáš Vidra


CUNI–Malta system at CoNLL–SIGMORPHON 2019 Shared Task on Morphological Analysis and Lemmatization in context: Operation-based word formation

Systém UK-Malta v soutěži CoNLL-SIGMORPHON 2019 v morfologické analýze a lematizaci v kontextu: Ohýbání slov postavené na operacích

This paper presents the submission by the Charles University-University of Malta team to
the CoNLL--SIGMORPHON 2019 Shared Task on Morphological Analysis and Lemmatization in context. We present a lemmatization model based on previous work on neural transducers \cite{makarov2018neural,aharoni-goldberg-2017-morphological}. The key difference is that our model transform the whole word form in every stem, instead of consuming it character by character. We propose a merging strategy inspired by Byte-Pair-Encoding that reduces the space of valid operations by merging frequent adjacent operations. The resulting operations not only encode the action/s to be performed but the relative position in the word token and
how characters need to be transformed.

Our morphological tagger is a vanilla biLSTM tagger that operates over operation representations, encoding operations and words in a hierarchical manner.

Even though relative performance according to metrics is below the baseline, experiments show that our models capture important associations between interpretable operation labels and fine-grained morpho-syntax labels.

Článek představuje příspěvek týmu Univerzity Karlovy a Maltské univerzity do soutěže CoNLL-SIGMORPHON 2019 v morfologické analýze a lematizaci v kontextu. Předkládáme lematizační model postavený na dříve publikované metodě neuronových převodníků (Makarov 2018; Aharoni a Goldberg 2017). Klíčovým rozdílem je, že náš model transformuje celý slovní tvar každého kmene, místo aby ho konzumoval znak po znaku.

Ronald Cardenas
Claudia Borg
Daniel Zeman


Challenges of integrating multiple divergent audiovisual oral history collections: the case of the Malach Center for visual history in Prague

Výzvy spojené se začleněním více různých sbírek audiovizuální historie: případ Centra vizuální historie Malach v Praze

Digital collections of audiovisual oral history interviews (OHIs) can be conceived as a specific category of large text corpora that require implementation of distant reading methods. Following the digital revolution in oral history research (e.g. Thomson, 2007; Boyd & Larson, 2014), many institutions now provide access to divergent digital collections at once, which provides the users and researchers with an opportunity to combine and compare, for example, several OHIs conducted with the same person in varied situational and socio-historical framework as part of various "process-generated" (Freund, 2009) oral history projects. This constitutes a pertinent issue for such access institutions: How can we make it as easy as possible for users to work with several separate digital archives of OHIs? Which computational methods can facilitate distant reading and efficient use of large collection of audiovisual OHI materials? And what are the persistent problems -- technical, methodological, ethical, etc. -- that have to be solved by the institutions of multiple access?
In outlining answers to these questions, in our presentation, we will discuss our experience and technological solution from the Malach Center for Visual History (CVHM) at the Charles University in Prague (see Mlynář, 2015). Over the last decade, CVHM has been providing access for students, researchers and general public to several established collections of OHIs. Since 2009, CVHM is an access point to the USC Shoah Foundation's Visual History Archive (VHA), which is an ever-growing collection of interviews with witnesses and survivors of genocides, especially the Holocaust. At the present moment, the VHA contains nearly 56,000 audiovisual recordings of OHIs in more than 40 languages (see Gustman et al., 2002). Since 2018, the Fortunoff Video Archive for Holocaust Testimonies of the Yale University Library with more than 4,400 audiovisual recordings of OHIs is also available at CVHM. In addition, users in CVHM can work with smaller collections lacking an integrated user interface such as the Refugee Voices archive (150 English interviews), and a small portion of interviews from the Jewish Holocaust Center in Melbourne (15 interviews with people of Czechoslovak origin).
The present situation of hosting several disparate collections at once poses several challenges on the level of improving effectivity of search and textual corpora analysis methods. On one hand, users-researchers are in need of a complete metadata overview, in order to generate relevant datasets, discover duplicate cases and analyze OHI collections’ profiles. On the other hand, the question of performing content-based queries across the whole corpus is imminent. For these purposes, CVHM developed an in-house interface integrating several collection at once providing solutions to both of these issues. Besides providing general access to metadata, automated speech recognition based transcripts (generated by AMALACH algorithm, post-edited) serve simultaneously as textual data for the multilingual cross-corpus search in English, Czech and Slovak and searchable automatically generated keywords dataset (KER - Keyword Extractor provided by LINDAT/CLARIN). Owing to this approach, users are able to easily acquire relevant results on several levels without the necessity of separately accessing the individual collections or OHIs.

Digitální sbírky audiovizuálních orálněhistorických rozhovorů (OHI) mohou být pojaty jako zvláštní kategorie velkých textových korpusů, které vyžadují implementaci metod vzdáleného čtení. Po digitální revoluci ve výzkumu orální historie (např. Thomson, 2007; Boyd & Larson, 2014) dnes mnoho institucí poskytuje přístup k mnoha digitálním kolekcím najednou, což uživatelům a výzkumníkům poskytuje možnost zkombinovat a porovnat například několik OHI provedených se stejnou osobou v různorodém situačním a sociohistorickém rámci jako součást různých projektů. To klade před takové přístupové instituce řadu otázek: Jak můžeme uživatelům co nejvíce usnadnit práci s několika samostatnými digitálními archivy OHI? Které výpočetní metody mohou usnadnit vzdálené čtení a efektivní využití rozsáhlého sběru audiovizuálních materiálů OHI? A jaké jsou přetrvávající problémy - technické, metodologické, etické atd. -, které musí instituce vyřešit?
Při nastínění odpovědí na tyto otázky budeme v naší prezentaci diskutovat o našich zkušenostech a technologických řešeních z Centra vizuální historie Malach (CVHM) na Univerzitě Karlově.
Současná situace, kdy je zpřístupněno několik nesourodých sbírek najednou, představuje několik výzev na úrovni zlepšení účinnosti metod vyhledávání a textové analýzy korpusů. Na jedné straně uživatelé-výzkumníci potřebují úplný přehled metadat, aby mohli vytvářet příslušné soubory dat, objevovat duplicitní případy a analyzovat profily sbírek OHI. Zároveň vyvstává otázka prohledávání obsahu napříč celým korpusem. Pro tyto účely vyvinulo CVHM interní rozhraní, které integruje několik kolekcí najednou a poskytuje řešení obou těchto otázek. Díky tomuto řešení mohou uživatelé snadno získávat relevantní výsledky na několika úrovních bez nutnosti samostatného přístupu k jednotlivým sbírkám nebo k OHI.

Jiří Kocián
Jakub Mlynář
Pavel Obdržálek


Promoting the Knowledge of Source Syntax in Transformer NMT Is Not Needed

Podpora znalostí zdrojové syntaxe v Transformer NMT není třeba

The utility of linguistic annotation in neural machine translation seemed to had been established in past papers. The experiments were however limited to recurrent sequence-to-sequence architectures and relatively small data settings.

We focus on the state-of-the-art Transformer model and use comparably larger corpora. Specifically, we try to promote the knowledge of source-side syntax using multi-task learning either through simple data manipulation techniques or through a dedicated model component. In particular, we train one
of Transformer attention heads to produce source-side dependency tree.

Overall, our results cast some doubt on the utility of multi-task setups with linguistic information. The data manipulation techniques, recommended in previous works, prove ineffective in large data settings.

The treatment of self-attention as dependencies seems much more promising: it helps in translation and reveals that Transformer model can very easily grasp the syntactic structure.
An important but curious result is, however, that identical gains are obtained by using trivial ``linear trees'' instead of true dependencies. The reason for the gain thus may not be coming from the added linguistic knowledge but from some simpler regularizing effect we induced on self-attention matrices.

Užitečnost jazykových anotací v překladu do neurálních strojů byla zřejmě prokázána v minulých pracích. Pokusy se však omezovaly na opakující se sekvenční architektury a relativně malé nastavení dat.

Zaměřujeme se na nejmodernější model Transformeru a používáme srovnatelně větší korporáty. Konkrétně se snažíme podporovat znalosti syntaxe na zdrojové straně pomocí víceúkolového učení buď pomocí jednoduchých technik manipulace s daty, nebo pomocí speciální modelové komponenty. Konkrétně jednoho cvičíme
Transformer se soustředí na vytvoření stromu závislosti na straně zdroje.

Celkově naše výsledky zpochybňují užitečnost víceúkolových sestav s jazykovými informacemi. Techniky manipulace s daty, doporučované v předchozích dílech, se v nastavení velkých dat ukazují jako neúčinné.

Zacházení se sebepozorností jako se závislostmi se zdá mnohem slibnější: pomáhá při překladu a odhaluje, že model Transformer dokáže velmi snadno uchopit syntaktickou strukturu.
Důležitým, ale kuriózním výsledkem však je, že identického zisku se dosáhne použitím triviálních ,,lineárních stromů`` namísto skutečných závislostí. Přínos tedy nemusí vyplývat z přidaných jazykových znalostí, ale z nějakého jednoduššího regularizačního efektu, který jsme navodili u matricí, které se věnují samy sobě.

Thuong-Hai Pham
Dominik Macháček
Ondřej Bojar


Anaphoric Connectives and Long-Distance Discourse Relations in Czech

Anaforické konektory a diskurzní vztahy nesousedních textových segmentů v češtině

The paper is a linguistic as well as technical survey for the development of a shallow discourse parser for Czech. It focuses on long-distance discourse relations signalled by (mostly) anaphoric discourse connectives. Proceeding from the division of connectives on “structural” and “anaphoric” according to their (in)ability to accept distant (non-adjacent) text segments as their left-sided arguments, and taking into account results of related analyses on English data in the framework of the Penn Discourse Treebank, we analyze a large amount of language data in Czech. We benefit from the multilayer manual annotation of various language aspects from morphology to discourse, coreference and bridging relations in the Prague Dependency Treebank 3.0. We describe the linguistic parameters of long-distance discourse relations in Czechin connection with their anchoring connective, and suggest possible ways of their detection. Our empirical research also outlines some theoretical consequences for the underlying assumptions in discourse analysis and parsing, e.g. the risk of relying too much on different (language-specific?) part-of-speech categorizations of connectives or the different perspectives in shallow and global discourse analyses (the minimality principle vs. higher text structure).

Článek přináší lingvistický i technický podklad pro vývoj diskurzního parseru pro češtinu. Zaměřuje se na diskurzní vztahy  mezi nesousedními segmenty textu signalizované (většinou) anaforickými konektory.


CUNI Systems for the Unsupervised News Translation Task in WMT 2019

Systémy Univerzity Karlovy pro soutěž ve strojovém překladu novinových textů bez použití paralelních dat

In this paper we describe the CUNI translation system used for the unsupervised news shared task of the ACL 2019 Fourth Conference on Machine Translation (WMT19). We follow the strategy of Artetxe ae at. (2018b), creating a seed phrase-based system where the phrase table is initialized from cross-lingual embedding mappings trained on monolingual data, followed by a neural machine translation system trained on synthetic parallel data. The synthetic corpus was produced from a monolingual corpus by a tuned PBMT model refined through iterative back-translation. We further focus on the handling of named entities, i.e. the part of vocabulary where the cross-lingual embedding mapping suffers most. Our system reaches a BLEU score of 15.3 on the German-Czech WMT19 shared task.

V tomto článku popisujeme překladový systém CUNI pro úlohu neřízeného strojového překladu novinových textů na ACL 2019 Fourth Conference on Machine Translation (WMT19).

Ivana Kvapilíková
Dominik Macháček
Ondřej Bojar


CUNI System for the WMT19 Robustness Task

Systém Univerzity Karlovy pro úlohu robustního překladu na WMT19

We present our submission to the WMT19 Robustness Task. Our baseline system is the CUNI Transformer system trained for the WMT18 shared task on News Translation. Quantitative results show that the CUNI Transformer system is already far more robust to noisy input than the LSTM-based baseline provided by the task organizers. We further improved the performance of our model by fine-tuning on the in-domain noisy data.

V článku přestavuje náš přísvek do soutěže v robustním strojovém překaladu na konferenci WMT19. Náš základní systém je CUNI Transformer systém trénovaný překlad novinových textů pro WMT18. Kvantitativní výsledky ukazují, že systém CUNI Transformer je již mnohem robustnější základní model založený na LSTM, který poskytli organizátoři soutěže. Kvalitu překladu našeho modelu jsme dále vylepšili vyladěním na zašuměných datech, která byla poskytnuta k soutěži.

Jindřich Helcl
Jindřich Libovický
Martin Popel


Traditionally, most natural language processing tasks are solved within the language, relying on distributional properties of words. Representation learning abilities of deep learning recently allowed using additional information source by grounding the representations in the visual modality. One of the tasks that attempt to exploit the visual information is multimodal machine translation: translation of image captions when having access to the original image. The thesis summarizes joint processing of language and real-world images using deep learning. It gives an overview of the state of the art in multimodal machine translation and describes our original contribution to solving this task. We introduce methods of combining multiple inputs of possibly different modalities in recurrent and self-attentive sequence-to-sequence models and show results on multimodal machine
translation and other tasks related to machine translation. Finally, we analyze how the multimodality influences the semantic properties of the sentence representation learned by the networks and how that relates to translation quality

Tradičně se většina úloh zpracování přirozeného jazyka řeší výhradně uvnitř jazyka, kdy modely spoléhají na distribuční vlastnosti slov. Hluboké učení se svojí schopností učit se vhodné reprezentace vstupních dat umožňuje využití více informací tím, že trénovací signál nepochází pouze z jazyka, ale o i z obrazové modality. Jednou z úloh, které se pokoušejí využít vizuální informace, je multimodální strojový překlad: překlad popisků obrázků, kdy je stále k dispozici původní obrázek, který lze využít jako vstup pro překladač. Tato práce shrnuje metody společného zpracovávání jazykových dat a fotografií s využitím hlubokého učení. Uvádíme přehled metod, které se využívají k řešení multimodálního strojového překladu a popisujeme náš původní příspěvek k řešení této úlohy. Představujeme metody kombinování více vstupů z potenciálně různých modalit v modelech sekvenčního učení založených na rekurentních neuronových sítích a neuronových sítí s mechanismem sebepozornosti. Uvádíme výsledky, kterých jsme dosáhli při řešení multimodálního strojového překladu a dalších úloh souvisejících se strojovým překladem. Na závěr analyzujeme, jak multimodalita ovlivňuje sémantické vlastnosti větných reprezentací, které v sítích vznikají, a jak sémantické vlastnosti reprezentací souvisí s kvalitou překladu.


Traditionally, most NLP tasks are solved within the language, relying on distributional properties of words. Representation learning abilities of deep learning recently allowed using additional information source by grounding the representations in the visual modality. One of the tasks that attempt to exploit the visual information is multimodal machine translation, translation of image captions when having access to the original image.

The talk will summarize methods of combining multiple inputs of possibly different modality in recurrent and Transformer sequence-to-sequence models and show results on multimodal and multi-source machine translation. Finally, we will discuss how the multimodality influences the semantic properties of the representation learned by the networks and how does that relate to the translation quality.

Většina úloh zpracování přirozeného jazyka se tradičně řeší v rámci jazyka a spoléhá se na distribuční vlastnosti slov. Schopnost modelů hlubokého učení učit se vhodnou reprezentaci vstupních dat nedávno umožnila využít také obrazovou informaci. Jedna z úloh, které se pokoušejí využít vizuální informaci, je multimodální strojový překlad, tj. překlad popisků obrázků, který má k původnímu obrázku.

Přednáška shrnuje metody kombinování více vstupů s možnou různou modalitou v model využívajích rekurentní neuronové sítě a modelu Tranformer a ukáže výsledky multimodálního a vícezdrojového strojového překladu. Nakonec probereme, jak multimodalita ovlivňuje sémantické vlastnosti reprezentace, které se sítě naučily, a jak to souvisí s kvalitou překladu.


Neural Networks as Explicit Word-Based Rules

Neuronové sítě jako explicitní pravida se slovy

Filters of convolutional networks used in computer vision are often visualized as image patches that maximize the response of the filter. We use the same approach to interpret weight matrices in simple architectures for natural language processing tasks. We interpret a convolutional network for sentiment classification as word-based rules. Using the rule, we recover the performance of the original model.

Filtry konvolučních neuronových sítí používaných v počítačovém vidění se často vizualizjí jako malé čtevrcové obrázky, které maximalizují odezvu filtru. V tomto abstraktu používáme stejný postup při interpretaci váhových matic v jednoduchých architekturách pro úkoly zpracování přirozeného jazyka. Intepretujeme konvoluční neuronovou síť pro klasifikaci sentimentu jako slovní pravidla. Pomocí těchto pravidel jsme schopni rokonstruovat fungování původního modelu.


Neural networks and automatic translation

The article explains the basics of artificial neural networks and describes model for neural machine translation. Further, it discusses problem of the current models such as handling gender stereotypes.

Článek populárně vysvětluje základy fungování umělých neuronových sítí a popisuje, jak fungují modely pro neuronový strojový překlad. Dále ukazuje problémy strojového překladu jako třeba genderové stereotypy, které modely vykazují.


How Language-Neutral is Multilingual BERT?

Jak jazykově neutrální je vícejazyčný BERT?

Multilingual BERT (mBERT) provides sentence representations for 104 languages, which are useful for many multi-lingual tasks. Previous work probed the cross-linguality of mBERT using zero-shot transfer learning on morphological and syntactic tasks. We instead focus on the semantic properties of mBERT. We show that mBERT representations can be split into a language-specific component and a language-neutral component, and that the language-neutral component is sufficiently general in terms of modeling semantics to allow high-accuracy word-alignment and sentence retrieval but is not yet good enough for the more difficult task of MT quality estimation. Our work presents interesting challenges which must be solved to build better language-neutral representations, particularly for tasks requiring linguistic transfer of semantics.

Vícejazyčný BERT (mBERT) poskytuje větné reprezentace pro 104 jazyků, které jsou užitečné pro mnoho vícejazyčných úloh. Předchozí práce zkoumala mnohojazyčnost mBERTu s využitím nulového transferového učení na morfologických a syntaktických úkolech. Místo toho se soustředíme na sémantické vlastnosti mBERTu. Ukazujeme, že reprezentace mBERT mohou být rozděleny na jazykově specifickou složku a jazykově neutrální složku a že jazykově neutrální složka je dostatečně obecná, pokud jde o modelování sémantiky, aby umožnila vysoce přesné zarovnání slov a vyhledávání vět, ale zatím není dostatečně dobrá pro obtížnější úkol odhadu kvality MT. Naše práce přináší zajímavé výzvy, které musí být vyřešeny, aby bylo možné sestavit lepší jazykově neutrální reprezentace, zejména u úkolů vyžadujících jazykový přenos sémantiky.

Jindřich Libovický
Rudolf Rosa
Alexander Fraser


Probing Representations Learned by Multimodal Recurrent and Transformer Models

Zkoumání reprezentací naučených v multimodálních rekurentních a sebepozornostních modelech

Recent literature shows that large-scale language modeling provides excellent reusable sentence representations with both recurrent and self-attentive architectures. However, there has been less clarity on the commonalities and differences in the representational properties induced by the two architectures. It also has been shown that visual information serves as one of the means for grounding sentence representations. In this paper, we present a meta-study assessing the representational quality of models where the training signal is obtained from different modalities, in particular, language modeling, image features prediction, and both textual and multimodal machine translation. We evaluate textual and visual features of sentence representations obtained using predominant approaches on image retrieval and semantic textual similarity. Our experiments reveal that on moderate-sized datasets, a sentence counterpart in a target language or visual modality provides much stronger training signal for sentence representation than language modeling. Importantly, we observe that while the Transformer models achieve superior machine translation quality, representations from the recurrent neural network based models perform significantly better over tasks focused on semantic relevance.

Z nedávné literatury vyplývá, že jazykové modelování na velkých datech poskytuje vynikající opakovaně použitelné větné reprezentace. Bylo rovněž prokázáno, že vizuální informace sloužit jako jeden ze způsobů ukotvení větných reprezentací. V tomto článku představujeme metastudii hodnotící kvalitu reprezentace modelů, kde trénovací signál pochází z různých modalit: jazykového modelování, předvídání reprezentace obrázku a textového a multimodálního strojového překladu. Hodnotíme textové a vizuální vlastnosti větných reprezentací na úlohách vyhledávání obrázků a sématické podobnosti textů. Naše experimenty odhalují, že na středně velkých datasetech poskytuje větný protějšek v cílovém jazyce nebo vizuální modalitě mnohem silnější trénovací signál pro reprezentaci vět než jazykové modelování. Důležité je, že zatímco modely Transformer dosahují vyšší kvality strojového překladu, reprezentace z modelů založených na rekurentních neuronové sítí dosahují výrazně lepších výsledků při hodnocení sématické relevance.


Unsupervised Word Sense Disambiguation Using Word Embeddings

Neřízená lexikální desambiguace s využitím vektorové reprezentace slov

Word sense disambiguation is the task of assigning the correct sense of a polysemous word in the context in which it appears. In recent years, word embeddings have been applied successfully to many NLP tasks. Thanks to their ability to capture distributional semantics, more recent attention have been focused on utilizing word embeddings to disambiguate words.
In this paper, a novel unsupervised method is proposed to disambiguate words from the first language by deploying a trained word embeddings model of the second language using only a bilingual dictionary. While the translated words are useful clues for the disambiguation process, the main idea of this work is to use the information provided by English-translated surrounding words to disambiguate Persian words using trained English word2vec; well-known word embeddings model. Each translation of the polysemous word is compared against word embeddings of translated surrounding words to calculate word similarity scores and the most similar word to vectors of translated surrounding words is selected as the correct translation. This method only requires a raw corpus and a bilingual dictionary to disambiguate the word under question. The experimental results on a manually-created test dataset demonstrate the accuracy of the proposed method.

Lexikální desambiguace je úlohu, při které má být zvolen ten význam slova, který je v daném kontextu relevantní. V posledních letech můžeme pozorovat úspěšnou aplikaci vektorových reprezentací slov napříč různými úlohami v oblasti zpracování přirozeného jazyka. Vzhledem ke schopnosti těchto vektorových reprezentací odrážet distribuční sémantiku byla v nedávné době věnovaná pozornost i možnosti využití pro lexikální desambiguaci. V tomto článku navrhujeme novou neřízenou metodu pro lexikální desambiguace v jednom jazyce s využitím vektorových reprezentací natrénovaných pro jiný jazyk a překladového slovníku. V našich experimentech byly pro lexikální desambiguaci perských slov využity vektorové reprezentace anglických překladů slov z blízkého kontextu. Každý možný překlad polysémního slova je porovnán s vektorovými reprezentacemi okolních slov, z toho je vygenerováno podobnostní skóre, přičemž překladový ekvivalent s nejvyšším skóre reprezentuje zvolený význam. Tato metoda vyžaduje pouze neznačkovaný korpus a překladový slovník. Úspěšnost našeho přístupu je ilustrovaná na malém vzorku ručně desambiguovaných dat.

Behzad Moradi
Ebrahim Ansari
Zdeněk Žabokrtský


AGRR-2019: Automatic Gapping Resolution for Russian

AGRR-2019: Automatické rozlišení mezer pro ruštinu

The 2019 Shared Task on Automatic Gapping Resolution for Russian (AGRR2019) aims to tackle non-trivial linguistic phenomenon, gapping, that occurs in coordinated structures and elides a repeated predicate, typically
from the second clause.
In this paper, we define the task and evaluation metrics, provide detailed
information on data preparation, annotation schemes and methodology,
analyze the results and describe different approaches of the participating
solutions.

ílem sdíleného úkolu o automatickém rozlišení mezer v ruštině (AGRR2019) v roce 2019 je boj proti netriviálnímu lingvistickému jevu, který se vyskytuje v koordinovaných strukturách, a eliminuje opakovaný predikát, obvykle
z druhé věty.
V tomto článku definujeme metriku úkolů a hodnocení, poskytujeme podrobné informace
informace o přípravě údajů, schématech anotace a metodice,
analyzovat výsledky a popsat různé přístupy účastníka
řešení.

Ivan Smurov
Maria Ponomareva
Tatiana Shavrina
Kira Droganova


Úskalí vyhodnocování strojového překladu

Virtually all MT evaluation metrics and techniques, both automatic and manual, have their own perils.
Some of the perils can be considered biases if there are MT systems which can (unfairly) benefit from a given evaluation aspects. In my presentation, I focus on the following aspects of evaluations: sentence-level vs. document-level vs.
document-aware, source-based vs. reference-based, direct assessment vs. comparison-based, fluency-biased vs. adequacy-biased. I also discuss the aspect of translationese and native target/source-language translators and evaluators.

Prakticky všechny metriky a techniky hodnocení strojového překladu, automatické i manuální, mají svá vlastní nebezpečí. Některá nebezpečí lze považovat za podjatá, pokud existují systémy MT, které mohou (nespravedlivě) těžit z daných aspektů hodnocení. Ve své prezentaci se zaměřuji na následující aspekty: hodnocení na úrovni vět vs. dokumentu (document-level vs. document-aware evaluation), source-based vs. reference-based, přímé hodnocení vs. hodnocení založené na srovnávání, plynulost vs. přesnost. Zabývám se také aspektem překladštiny (translationese) a rodným jazykem překladatelů a hodnotitelů.


English-Czech Systems in WMT19: Document-Level Transformer

Anglicko-český systém pro WMT19: Transformer na úrovni dokumentů

We describe our NMT systems submitted to the WMT19 shared task in English→Czech news translation. Our systems are based on the Transformer model implemented in either Tensor2Tensor (T2T) or Marian framework. We aimed at improving the adequacy and coherence of translated documents by enlarging the context of the source and target. Instead of translating each sentence independently, we split the document into possibly overlapping multi-sentence segments. In case of the T2T implementation, this “document-level”-trained system achieves a +0.6 BLEU improvement (p < 0.05) relative to the same system applied on isolated sentences. To assess the potential effect document-level models might have on lexical coherence, we performed a semi-automatic analysis,  which revealed only a few sentences improved in this aspect. Thus, we cannot draw any conclusions from this week evidence.

Článek popisuje CUNI NMT systémy pro překlad z angličtiny do češtiny zaslané na WMT 2019 News Translation Shared Task. Systémy jsou založené na architektuře Transformer a její implementaci ve frameworcích Tensor2Tensor (T2T) a Marian. Snahou bylo zlepšit adekvátnost a koherenci přeložených dokumentů rozšířením kontextu na zdrojové a cílové straně. Namísto překladu izolovaných vět překládají popisované systémy potenciálně překrývající se vícevětné segmenty. V případě T2T implementace dosahuje takto trénovaný systém oproti systému trénovaném na izolovaných větách vylepšení +0.6 BLEU (p < 0.05). Poloautomatická analýza lexikální koherence odhalila jen málo příkladů, kde systém s větším kontext opravil chybu systému překládajíchího izolované věty.

Martin Popel
Dominik Macháček
Michal Auersperger
Ondřej Bojar
Pavel Pecina


Domain Adaptation of Document-Level NMT in IWSLT19

Doménová adaptace dokumentového neuronového strojového překladu v IWSLT19

We describe our four NMT systems submitted to the IWSLT19 shared task in English→Czech text-to-text translation of TED talks. The goal of this study is to understand the interactions between document-level NMT and domain adaptation. All our systems are based on the Transformer model implemented in the Tensor2Tensor framework. Two of the systems serve as baselines, which are not adapted to the TED talks domain: SENTBASE is trained on single sentences, DOCBASE on multi-sentence (document-level) sequences. The other two submitted systems are adapted to TED talks: SENTFINE is fine-tuned on single sentences, DOCFINE is fine-tuned on multi-sentence sequences. We present both automatic-metrics evaluation and manual analysis of the translation quality, focusing on the differences between the four systems.

Popisujeme naše čtyři systémy neuronového strojového překladu (NMT), které jsme odeslali do shared tasku IWSLT19 pro anglicko-český překlad  TED Talks. Cílem této studie je porozumět interakcím mezi NMT na úrovni dokumentů a doménovou adaptací. Všechny naše systémy jsou založeny na modelu Transformer implementovaném ve frameworku Tensor2Tensor. Dva ze systémů slouží jako baseline a nejsou přizpůsobeny doméně TED Talks: SENTBASE je trénován na jednotlivých větách, DOCBASE na vícevětných (document-level) sekvencích. Další dva předložené systémy jsou přizpůsobeny doméně TED Talks: SENTFINE je adaptován na jednotlivých větách, DOCFINE na vícevětných sekvencích. Představujeme jak automatické metrické hodnocení, tak manuální analýzu kvality překladu se zaměřením na rozdíly mezi těmito čtyřmi systémy.


Unsupervised Pretraining for Neural Machine Translation Using Elastic Weight Consolidation

Předtrénování bez dohledu pro neuronový strojový překlad s využitím elastické konsolidace vah

This work presents our ongoing research of unsupervised pretraining in neural machine translation (NMT). In our method, we initialize the weights of the encoder and decoder with two language models that are trained with monolingual data and then fine-tune the model on parallel data using Elastic Weight Consolidation (EWC) to avoid forgetting of the original language modeling tasks. We compare the regularization by EWC with the previous work that focuses on regularization by language modeling objectives.

The positive result is that using EWC with the decoder achieves BLEU scores similar to the previous work. However, the model converges 2-3 times faster and does not require the original unlabeled training data during the finetuning stage.

In contrast, the regularization using EWC is less effective if the original and new tasks are not closely related. We show that initializing the bidirectional NMT encoder with a left-toright language model and forcing the model to remember the original left-to-right language modeling task limits the learning capacity of the encoder for the whole bidirectional context.

Tato práce představuje náš probíhající výzkum předtrénování bez dohledu v oblasti neuronového strojového překladu (NMT). Naše metoda inicializuje váhy enkodéru a dekodéru pomocí dvou jazykových modelů, které jsou trénovány na jednojazyčných datech. Celý model pak dolaďujeme na paralelních datech s pomocí elastické konsolidace vah (EWC), abychom zabránili zapomenutí původní úlohy jazykového modelování. Srovnáváme regularizaci EWC s předchozí prací, která se zaměřuje na regularizaci s pomocí optimalizačních cílů jazykového modelování.

Pozitivním výsledkem je, že použitím EWC s dekodérem dosáhneme podobných hodnot BLEU jako předchozí práce. Model však konverguje 2-3krát rychleji a nevyžaduje původní jednojazyčná data během dolaďování.

Oproti tomu je EWC regularizace méně účinná, pokud spolu původní a navazující úloha úzce nesouvisí. Ukazujeme, že inicializace obousměrného NMT enkodéru pomocí jednosměrného jazykového modelu a nucení modelu zapamatovat si původní úlohu modelování jazyka zleva doprava omezuje schopnosti enkodéru naučit se oboustranný kontext.


A Baseline for General Music Object Detection with Deep Learning

Porovnání obecné detekce objektů hudební notace pomocí hlubokého učení

Deep learning is bringing breakthroughs to many computer vision subfields including Optical Music Recognition (OMR), which has seen a series of improvements to musical symbol detection achieved by using generic deep learning models. However, so far, each such proposal has been based on a specific dataset and different evaluation criteria, which made it difficult to quantify the new deep learning-based state-of-the-art and assess the relative merits of these detection models on music scores. In this paper, a baseline for general detection of musical symbols with deep learning is presented. We consider three datasets of heterogeneous typology but with the same annotation format, three neural models of different nature, and establish their performance in terms of a common evaluation standard. The experimental results confirm that the direct music object detection with deep learning is indeed promising, but at the same time illustrates some of the domain-specific shortcomings of the general detectors. A qualitative comparison then suggests avenues for OMR improvement, based both on properties of the detection model and how the datasets are defined. To the best of our knowledge, this is the first time that competing music object detection systems from the machine learning paradigm are directly compared to each other. We hope that this work will serve as a reference to measure the progress of future developments of OMR in music object detection.

Hluboké učení přináší průlomy v mnoha podoborech strojového vidění, včetně rozpoznávání notopisu (Optical Music Recognition, OMR), kde bylo zaznamenáno množství pokroků v detekci notopisných symbolů pomocí obecných modelů hlubokého učení. Zatím však byly všechny tyto pokroky měřené pouze na některém z dostupných datasetů a využívaly různá evaluační kritéria, takže lze jen obtížně kvantifikovat nový stav poznání dosažený těmito metodami a porovnat jejich výhody a nevýhody v doméně hudební notace. V tomto článku prezentujeme  základní výsledky detekce symbolů hudební notace pomocí tří různých obecných detekčních modelů hlubokého učení, a to napříč třemi typologicky různými datasety, změřené standardizovaným postupem. Experimentální výsledky potvrzují, že přímá detekce notačních objektů pomocí hlubokého učení má velmi slibné výsledky, nicméně zároveň ilustruje omezení generických detektorů na této doméně. Kvalitativní porovnání poté naznačuje, jak detekci zlepšit: jak na základě vlastností detekčních modelů, tak na základě vlastností datasetů. Dle našich poznatků je toto poprvé, kdy je vícero špičkových metod detekce notačních objektů přímo porovnáváno. Doufáme, že tato práce bude sloužit jako reference pro měření dalších pokroků v OMR.

Alexander Pacha
Jan Hajič, jr.
Jorge Calvo-Zaragoza


Syntactic annotation of a second-language learner corpus

Our goal has been to annotate the CzeSL corpus according to the non-native grammar in the mind of the author, not according to the standard grammar. However, this brings many challenges. First, we do not have enough data to get reliable insights into the grammar of each author. Second, many phenomena are far more complicated than they are in native languages.

Naším cílem je anotace korpusu CzeSL podle gramatiky jazyka, se kterou pracuje nerodilý mluvčí, a ne podle standartní gramatiky. Tento přístup přináší několik problémů. Za prvé nemáme dostatek dat na to, abychom analyzovali gramatiky jednotlivých autorů. Za druhé v jazyce nerodilých mluvčí je podstatně více složitějších jevů  než v jazyce rodilých mluvčí.


Universal Dependencies and Non-Native Czech

Anotace češtiny nerodilých mluvčích pomocí formalismu UD

CzeSL is a learner corpus of texts produced by non-native speakers of Czech. Such corpora area great source of information about specific features of learners’ language, helping language teachers and researchers in the area of second language acquisition. In our project, we have focused on syntactic annotation of the non-native text within the framework of Universal Dependencies. As far as we know, this is a first project annotating a richly inflectional non-native language. Our ideal goal has been to annotate according to the non-native grammar in the mind of the author, not according to the standard grammar. However, this brings many challenges. First, we do not have enough data to get reliable insights into the grammar of each author. Second, many phenomena are far more complicated than they are in native languages.  We believe that the most important result of this project is not the actual annotation, but the guidelines and principles that can be used as a basis for other non-native languages.

CzeSL je žákovský korpus textů nerodilých mluvčích češtiny, který je cenným zdrojem unikátních znalostí o jazyce nerodilých mluvčích. Pomáhá pedagogům a výzkumníkům v oblasti osvojování druhého jazyka. V našem projektu se zaměřujeme na syntaktickou anotaci textů z CzeSL v rámci formalismu Universal Dependencies. Pokud je nám známo, jedná se o první pokus takové anotace pro jazyk s bohatou flexí. Naší ambicí je anotovat dle gramatiky, kterou používá nerodilý mluvčí, namísto standardní gramatiky. Relativné malé množství dat přináší celou řadu otázek.


The article describes the course of the 44th year of the Olympiad in the Czech Language, presenting its general settings as well as the tasks, their solutions, the approaches of the participants and the names of the winners.

Článek popisuje průběh 44. ročníku Olympiády v českém jazyce. Představuje celkový průběh soutěže, soutěžní úkoly a jejich řešení, komentuje řešení účastníků soutěže a přináší jména vítězů celostátního kola.


We examine discourse connectives from the perspective of reference (i.e. a presence of an anaphoric/cataphoric element). We introduce a division of connectives into: i) connectives without an inherent (internal) reference (e.g. "and", "but", "or", "if", "however", "then"), and ii) connectives with an inherent (internal) reference that is either optional (e.g. "as a result" vs. "as a result of this"), or obligatory – cf. already grammaticalized connectives (i.e. primary connectives like "thereafter", "therefore" or "thereby") vs. not yet grammaticalized connectives (i.e. secondary connectives like "because of this", "for this reason").

Diskurzní konektory představujeme z pohledu reference (tj. přítomnosti anaforického nebo kataforického prvku). Diskurzní konektory dělíme na: 1) konektory bez interní reference (např. "a", "ale", "nebo", "jestli", "však", "pak") a 2) konektory s interní referencí, která může být fakultativní (např. "výsledkem je" vs. "výsledkem toho je") nebo obligatorní – srov. již gramatikalizované konektory (tj. primární konektory typu "potom", "proto", "tímto") i dosud ne zcela gramatikalizované konektory (tj. sekundární konektory typu "kvůli tomu", "z tohoto důvodu").


The Correlation between Discourse-Anaphoric Devices and an Overall Communicative Competence in Learners‘ Essays

Vztah mezi anaforickými diskurzními konektory a celkovou komunikační kompetencí ve studentských esejích

We introduce a contrastive study of text coherence in Czech and German. Specifically, we focus on the discourse-anaphoric devices (called anaphoric connectives) contributing to text coherence and we analyze their role in the overall communicative competence of both native and non-native speakers of Czech and German.

Článek se zabývá analýzou koherence textu v češtině a v němčině. Zaměřuje se na tzv. anaforické diskurzní konektory, které se významně podílejí na stavbě textu. Příspěvek analyzuje roli těchto konektorů v celkové komunikační kompetenci rodilých i nerodilých mluvčích češtiny a němčiny.


Primary and secondary discourse connectives: definitions and lexicons

Primární a sekundární konektory: definice a slovníky

Starting from the perspective that discourse structure arises from the presence of coherence relations, we provide a map of linguistic discourse structuring devices (DRDs), and then focus on those found  in  written  text: connectives. To subdivide  this  class  further, we  follow  the  recent idea of structuring the set of connectives by differentiating between primary and secondary connectives, on the one hand, and free connecting phrases, on the other. Considering examples from Czech, English, French and German, we develop definitions of these groups, with attention to certain cross-linguistic differences. For primary and secondary connectives, we propose that their behavior can be described to a large extent by declarative lexicons, and we demonstrate a concrete proposal which has been applied to five languages, with others currently being added in ongoing work. The lexical representations can be useful both for humans (theoretical investigations, transfer to other languages) and for machines (automatic discourse parsing and generation).

Koherentní text (diskurz) se skládá ze vzájemně propojených vztahů, které mohou být vyjádřeny explicitními jazykovými prostředky. V našem článku se zabýváme jedním typem těchto prostředků, diskurzními konektory. Přebíráme přitom dělení konektivních prostředků na primární konektory, sekundární konektory a volné konektivní fráze. Na základě dokladů z češtiny, angličtiny, francouzštiny a němčiny rozvíjíme definice těchto skupin, především s ohledem na mezijazykové rozdíly. U primárních a sekundárních konektorů navrhujeme způsob jejich zachycení ve slovnících. Představujeme konkrétní návrh vícejazyčného slovníku konektorů, do kterého je v současné době zapojeno pět různých jazyků. Další jazyky budou postupně přidávány.

Laurence Danlos
Kateřina Rysová
Magdaléna Rysová
Manfred Stede


Translating Short Segments with NMT: A Case Study in English-to-Hindi

Překlad krátkých segmentů pomocí NMT: Případová studie pro překlad z angličtiny do hindštiny

This paper presents a case study in translating short image captions of the Visual Genome dataset from English into Hindi using out-of-domain data sets of varying size. We experiment with three NMT models: the shallow and deep sequence-to-sequence and the Transformer model as implemented in Marian toolkit. Phrase-based Moses serves as the baseline. The results indicate that the Transformer model outperforms others in the large data setting in a number of automatic metrics and manual evaluation, and it also produces the fewest truncated sentences. Transformer training is however very sensitive to the hyperparameters, so it requires more experimenting. The deep sequence-to-sequence model produced more flawless outputs in the small data setting and it was generally more stable, at the cost of more training iterations.


Morphological and Language-Agnostic Word Segmentation for NMT

Morfologická a jazykově nezávislá segmentace slov pro NMT

The state of the art of handling rich morphology in neural machine translation (NMT) is to break word forms into subword units, so that the overall vocabulary size of these units fits the practical limits given by the NMT model and GPU memory capacity. In this paper, we compare two common but linguistically uninformed methods of subword construction (BPE and STE, the method implemented in Tensor2Tensor toolkit) and two linguistically-motivated methods: Morfessor and one novel method, based on a derivational dictionary. Our experiments with German-to-Czech translation, both morphologically rich, document that so far, the non-motivated methods perform better. Furthermore, we identify a critical difference between BPE and STE and show a simple pre-processing step for BPE that considerably increases translation quality as evaluated by automatic measures.

V současných neuronových systémech pro strojový překlad textů přirozeného jazyka (NMT) se morfologicky příbuzná slova zpracovávají jejich rozdělením na podslovní jednotky takovým způsobem, aby se slovník jednotek vešel do limitů daných zvoleným NMT modelem a do paměti grafické karty. V tomto článku srovnáváme dva nejobvyklejší, nelingvistické, způsoby vytváření podslovních jednotek (BPE a STE, metody implementované v nástroji Tensor2Tensor) se dvěma lingvisticky motivovanými způsoby: Nástrojem Morfessor a námi vyvinutou metodou založenou na derivačních vztazích. Naše experimenty s překladem z němčiny do češtiny, morfologicky bohatých jazyků, ukazují, že prozatím mají lepší výsledky nelingvistické metody. K tomu identifikujeme důležitý rozdíl mezi BPE a STE a ukazujeme, že jednoduché předzpracování textu před BPE výrazně zvyšuje kvalitu překladu vyhodnocovanou automatickými metrikami.

Dominik Macháček
Jonáš Vidra
Ondřej Bojar


Porovnání systémů pro neuronový strojový překlad

This work is a comparison of a quality and speed of  NMT systems Tensor2Tensor, Marian, Nematus, Neural Monkey and OpenNMT on two comparable translation tasks.

Tato práce porovnává kvalitu a rychlost systémů pro neuronový strojový překlad (Tensor2Tensor, Marian, Nematus, Neural Monkey, OpenNMT) na dvou srovnatelných překladových úlohách.

Dominik Macháček
Ondřej Bojar
Martin Popel
Tom Kocmi


Extracting Syntactic Trees from NMT Encoder Self-Attentions.
Extracting Syntactic Trees from NMT Encoder Self-Attentions.

Extrakce syntaktických struktur z self-attentions NMT enkodéru.
Extrakce syntaktických struktur z self-attentions NMT enkodéru.


Extracting Syntactic Trees from Transformer Encoder Self-Attentions. Extracting Syntactic Trees from Transformer Encoder Self-Attentions.

Extrakce syntaktických struktur z self-attentions enkodéru Transformeru. Extrakce syntaktických struktur z self-attentions enkodéru Transformeru


Multimodální převádění sekvencí na sekvence

This presentation summarizes output of the Grounded Sequence-to-Sequence Transduction team at the Fifth Fred Jelinek Memorial Summer Workshop. We combine written, spoken, and seen objects and actions in how-to videos: if we see a person slicing round, red objects and putting them on a brown surface, it is more likely that she or he is explaining how to make a sandwich than how to change a car tire. And we might learn that the red objects are called “tomatoes”. Our team  develop methods that exploit multimodality to process and analyze videos to accomplish three main tasks: speech captioning, video-to-text summarization and translation into a different language. These tasks are diverse but not unrelated. Therefore, we model them using a multi-task sequence-to-sequence learning framework where these (and other, auxiliary) tasks can benefit from shared representations.

Tato prezentace shrnuje závěry týmu Grounded Sequence-to-Sequence Transduction na pátém Fred Jelinek Memorial Summer Workshop. V prezentovaných modelech kombinujeme psaný text, mluvené slovo a objekty a akce v pozorované . Když vidíme, že člověk krájí červené předměty a umístí je na hnědý povrch, je pravděpodobné, že spíše vysvětluje, jak vyrobit sendvič, než jak změnit pneumatiku. A- mohli bychom se dozvědět, že červené předměty se nazývají "rajčata". Náš tým pracoval na vývoji metod, které využívají multimodální informace pro zpracování a analýzu videoklipů, ve třech hlavních lohách: rozpoznávání řeči, sumarizace videa a textu a překlad do jiného jazyka.

Loïc Barrault
Ozan Caglayan
Amanda Duarte
Desmond Elliott
Spandana Gella
Nils Holzenberger
Chiraag Lala
Sun Jae Lee
Jindřich Libovický
Pranava Madhyastha
Florian Metze
Karl Mulligan
Alissa Ostapenko
Shruti Palaskar
Ramon Sanabria
Lucia Specia
Josiah Wang


Using Adversarial Examples in Natural Language Processing

Použití adversálních příkladů ve zpracování přirozeného jazyka

Machine learning models have been providing promising results in many fields including natural language processing. These models are, nevertheless, prone to adversarial examples. These are artificially constructed examples which evince two main features: they resemble the real training data but they deceive already trained model. This paper investigates the effect of using adversarial examples during the training of recurrent neural networks whose text input is in the form of a sequence of word/character embeddings. The effects are studied on a compilation of eight NLP datasets whose interface was unified for quick experimenting. Based on the experiments and the dataset characteristics, we conclude that using the adversarial examples for NLP tasks that are modeled by recurrent neural networks provides a regularization effect and enables the training of models with greater number of parameters without overfitting. In addition, we discuss which combinations of datasets and model settings might benefit from the adversarial training the most.

Modely strojového učení přinášejí slibné výsledky v mnoha oborech včetně zpracování přirozeného jazyka. Tyto modely jsou nicméně náchylné k adversálním příkladům. Jedná se o uměle vytvořené příklady s dvěma důležitými vlastnostmi: podobají se skutečným tréninkovým příkladům, ale matou již natrénovaný model. Tento článek zkoumá účinek používání adversálních příkladů při tréninku rekurentních neuronových sítí, jejichž vstup je ve formě slovních či znakových embeddingů. Účinky jsou studovány na kompilaci osmi datasetů. Na základě experimentů a charakteristik datasetů dospíváme k závěru, že použití adversálních příkladů pro úkoly zpracování přirozeného jazyka, které jsou modelovány pomocí rekurentních neuronových sítí, přináší efekt regularizace a umožňuje trénovat modely s větším počtem parametrů bez overfittingu. Na závěr popisujeme, které kombinace datasetů a nastavení modelů by mohly mít z adversálního tréninku největší prospěch.

Petr Bělohlávek
Ondřej Plátek
Zdeněk Žabokrtský
Milan Straka


Results of the WMT18 Metrics Shared Task: Both characters and embeddings achieve good performance

Výsledky úlohy hodnocení kvality strojového překladu WMT17 Metrics Shared Task

This paper presents the results of the
WMT18
Metrics Shared Task.  We
asked participants of this task to score
the outputs of the MT systems in-
volved in the
WMT18
News Transla-
tion Task with automatic metrics. We
collected scores of 10 metrics and 8 re-
search groups. In addition to that, we
computed scores of 8 standard met-
rics (BLEU, SentBLEU, chrF, NIST,
WER, PER, TER and CDER) as base-
lines. The collected scores were eval-
uated in terms of system-level corre-
lation (how well each metric’s scores
correlate with
WMT18
official man-
ual ranking of systems) and in terms
of segment-level correlation (how often
a metric agrees with humans in judging
the quality of a particular sentence rel-
ative to alternate outputs). This year,
we employ a single kind of manual eval-
uation: direct assessment (DA).

Článek přináší výsledky soutěže ve vyhodnocování strojového překladu WMT18 Metrics Shared Task. Vyhodnocujeme 10 metrik získaných od 8 týmů a navíc 8 standardních metrik.


Lexicographic Potential of the Syntactic Properties of Verbs:  The Case of Reciprocity in Czech

Lexikografický potenciál syntaktických vlastností sloves: Případy reciprocity v češtině

In this paper, we deal with reciprocity, its representation in a lexicon and its possible contribution to the description of verbs.

Příspěvěk se zabývá otázkou, jak může syntaktická vlastnost sloves, jako je reciprocita, být promítnuta do slovníka a přispět k dalšímu popisu a klasifikaci sloves.


Between Reflexivity and Reciprocity: Towards an Analysis of Reflexive and Reciprocal Constructions of Selected Czech Verbs

Mezi reflexivitou a reciprocitou: Poznámky k reflexivním a recipročním konstrukcím vybraných českých sloves

In this article, we focus on two groups of Czech verbs, lexical and syntactic reciprocals. We provide an analysis of their syntactic properties with respect to reciprocity and reflexivity, their possible ambiguity and combination. We demonstrate that it is the reflexive pronoun and its surface expression that play a key role in the studied phenomena.

Na pozadí dvou skupin sloves, lexikálních a syntaktických reciprok v češtině, diskutujeme otázky homonymie a kombinovatelnosti reflexivity a reciprocity. Ukazujeme, že zdrojem homonymie i možnosti kombinace reflexivity a reciprocity je reflexivní zájmeno a že klíčovou úlohu sehrává jeho povrchověsyntaktická pozice.


Enriching VALLEX with Light Verbs: From Theory to Data and Back Again

Obohacení VALLEXu o kategoriální slovesa: Od teorie k datům a zpět

In this paper, we summarize a theoretical analysis of syntactic behavior of Czech light verb constructions and their verification in the data annotation of 1,500 Czech light verbs constructions, which have been integrated in VALLEX, version 3.5.

V tomto příspěvku shrnujeme teoretickou analýzu syntaktického chování českých komplexních predikátů s kategoriálním slovesem, která byla ověřena v anotaci 1500 komplexních predikátů. Tato anotace je součátí slovníku VALLEX, verze 3.5.

Václava Kettnerová
Markéta Lopatková
Eduard Bejček
Petra Barančíková


Towards Complement System in Contemporary Czech

Poznámky k systému tzv. komplementů v češtině

The talk dealt with the so-called complement system in Czech as it manifests in the data from the substitutability of dependent content clauses with infinitives.

Přednáška se zabývala tzv. komplementovým systémem v češtině, a to zejm. vztahem mezi závislými obsahovými klauzemi a infinitivy sloves.


The Forest Lion and the Bull: Morphosyntactic Annotation of the Panchatantra

Král lesů a buvol: Morfosyntaktická anotace Paňčatantry

We present the first freely available dependency treebank of Sanskrit. It is based on text from Panchatantra, an ancient Indian collection of fables. The annotation scheme we chose is that of Universal Dependencies, a current de-facto standard for cross-linguistically comparable morphological and syntactic annotation. In the present paper,
we discuss word segmentation issues, morphological inventory and certain interesting
syntactic constructions in the light of the Universal Dependencies guidelines. We also present an initial parsing experiment.

Popisujeme první volně dostupný závislostní korpus sanskrtu. Je založen na textech z Paňčatantry, starověké indické sbírky bajek. Zvolili jsme formalismus Universal Dependencies, který v současnosti představuje faktickou normu mezijazykově srovnatelné morfologické a syntaktické anotace. V článku probíráme obtíže se segmentací textu na slova, představujeme inventář morfologických kategorií, jakož i některé syntaktické konstrukce, které jsou zajímavé ve světle pravidel Universal Dependencies. Dále popisujeme experiment s automatickou syntaktickou analýzou (parsingem).


The PARSEME multilingual corpus of verbal multiword expressions

Mnohojazyčný korpus slovesných víceslovných výrazů PARSEME

Multiword expressions (MWEs) are known as a “pain in the neck” due to their idiosyncratic behaviour. While some categories of MWEs have been largely studied, verbal MWEs (VMWEs) such as to take a walk, to break one’s heart or to turn off have been relatively rarely modelled. We describe an initiative meant to bring about substantial progress in understanding, modelling and processing VMWEs. In this joint effort carried out within a European research network we elaborated a universal terminology and annotation methodology for VMWEs. Its main outcomes, available under open licenses, are unified annotation guidelines, and a corpus of over 5.4 million words and 62 thousand annotated VMWEs in 18 languages.

Článek popisuje mezinárodní projekt, který připravil univerzální terminologii a anotační postup pro slovesné víceslovné výrazy. Výstupem je korpus zveřejněný pod otevřenou licencí (18 jazyků, 5,4 milionů slov, 62 tisíc víceslovných výrazů) a univerzální anotační instrukce.

Agata Savary
Marie Candito
Verginica Barbu Mititelu
Eduard Bejček
Fabienne Cap
Slavomír Čéplö
Silvio Ricardo Cordeiro
Gülşen Cebiroğlu Eryiğit
Voula Giouli
Maarten van Gompel
Yaakov Ha-Cohen Kerner
Jolanta Kovalevskaitė
Simon Krek
Chaya Liebeskind
Johanna Monti
Carla Parra Escartín
Lonneke van der Plas
Behrang QasemiZadeh
Carlos Ramisch
Federico Sangati
Ivelina Stoyanova
Veronika Vincze


CUNI NMT System for WAT 2018 Translation Tasks

This paper describes the CUNI submission to WAT 2018 for the English-Hindi translation task using a transfer
learning techniques which has proven effective under low resource conditions. We have used the Transformer model and utilized an English-Czech parallel corpus as additional data source. Our simple transfer learning approach first trains a “parent” model for a high-resource
language pair (English-Czech) and then continues the training on the low-resource (English-Hindi) pair by replacing
the training corpus. This setup improves the performance compared with the baseline and in combination with back-translation of Hindi monolingual data, it allowed us to win the English-Hindi task. The automatic scoring by BLEU did not correlate well with human judgments.

Tento článek popisuje CUNI system na WAT 2018 pro překlad mezi angličtinou a Hindštinou. Náš systém využívá transfer learningu z anglicko-českého modelu. Využíváme technologii neuronového transformeru.
Náš systém začíná trénováním na jazykovém páru s mnoho paralelními daty, česko-anglickém, na který naváže jazykový pár s nedostatkem dat. Náš systém se umístil první podle lidského hodnocení.

Tom Kocmi
Shantipriya Parida
Ondřej Bojar


Trivial Transfer Learning for Low-Resource Neural Machine Translation

Jednoduché přetrénování překladových modelů pro jazyky s nedostatkem dat

Transfer learning has been proven as an effective
technique for neural machine translation
under low-resource conditions. Existing
methods require a common target language,
language relatedness, or specific training
tricks and regimes. We present a simple
transfer learning method, where we first train
a “parent” model for a high-resource language
pair and then continue the training on a lowresource
pair only by replacing the training
corpus. This “child” model performs significantly
better than the baseline trained for lowresource
pair only. We are the first to show
this for targeting different languages, and we
observe the improvements even for unrelated
languages with different alphabets.

Bylo dokázáno, že přetrénování natrénovaných modelů vede k zlepšení strojového překladu. Existující metody potřebují, aby zkoumané jazykové páry byly lingvisticky podobné. My představujeme přístup, který nepotřebuje lingvistickou podobnost jazyků ani specifické trénovací kroky.


UK systém pro překlad novinových článků WMT 2018

We participated in the WMT 2018 shared
news translation task in three language
pairs: English-Estonian, English-Finnish, and
English-Czech. Our main focus was the lowresource
language pair of Estonian and English
for which we utilized Finnish parallel
data in a simple method. We first train a
“parent model” for the high-resource language
pair followed by adaptation on the related lowresource
language pair. This approach brings
a substantial performance boost over the baseline
system trained only on Estonian-English
parallel data. Our systems are based on the
Transformer architecture. For the English
to Czech translation, we have evaluated our
last year models of hybrid phrase-based approach
and neural machine translation mainly
for comparison purposes.

Zúčastnili jsme se překladové soutěže WMT 2018 v překladu novinových článků. Zúčastnili jsme se v jazykových párech Angličtina-Estonština, Angličtina-Finština a Angličtina-Čeština. Náš hlavní cíl byly jazyky s nedostatkem trénovacích dat, tedy překlad mezi angličtinou a estonštinou.


CUNI Basque-to-English Submission in IWSLT18

We present our submission to the IWSLT18 Low Resource task focused on the translation from
Basque-to-English. Our submission is based on the current state-of-the-art self-attentive
neural network architecture, Transformer. We further improve this strong baseline by
exploiting available monolingual data using the back-translation technique. We also
present further improvements gained by a transfer learning, a technique that trains a model using a high-resource language pair (Czech-English) and then fine-tunes the model using the target low-resource language pair (Basque-English).

Představujeme náš překladový systém pro překlad z Baskičtiny do Angličtiny. K jeho natrénování jsme využili metodu přetrénování jiného překladového modelu, v našem případě anglicko-českého.


Adding Words to Manuscripts: From PagesXML to TEITOK

Přidávání slov k rukopisům: Od PagesXML po TEITOK

This article describes a two-step method for transcribing historic manuscripts. In this method, the first step uses a page-based representation making it easy to transcribe the document page-by-page and line-by-line, while the second step converts this to the TEI/XML text-based format, in order to make sure the document becomes fully searchable.

Tento článek popisuje dvoustupňovou metodu přepisu historických rukopisů. V této metodě používá první krok reprezentaci na stránce, což usnadňuje přepis dokumentu po stránce a řádku po řádku, zatímco druhý krok to převádí do textového formátu TEI / XML, aby zajistit, aby byl dokument plně prohledávatelný.


Quantitative Analysis of Syntactic  Dependency in Czech

Kvantntativní analýza syntaktické závislosti v češtině

The article presents a quantitative analysis of some syntactic dependency properties in Czech. A dependency frame is introduced as a linguistic unit and its characteristics are investigated. In particular, a ranked frequencies of dependency frames are observed and modelled and a relationship between particular syntactic functions and the number of dependency frames is examined. For the analysis, the Czech Universal Dependency Treebank is used.

Kapitola prezentuje kvantitativní analýzu vybraných závislostních vztahů v češtině. Zavádíme pojem valenčního rámec jako lingvistické jednotky a zkoumáme jeho základní charakteristiky, zejména frekvenční charakteristiky a dále vztah mezi typem syntaktické funkce a množstvím různých valenčních rámců, jež tato funkce nese. Analýzu jsou priváděny na korpusu Czech Universal Dependency Treebank.

Radek Čech
Jiří Milička
Ján Mačutek
Michaela Koščová
Markéta Lopatková