SumeCzech: Large Czech News-Based Summarization Dataset

SumeCzech: Velký český summarizace dataset na základě zpráv

Document summarization is a well-studied NLP task. With the emergence of artificial neural network models, the summarization performance is increasing, as are the requirements on training data. However, only a few datasets are available for Czech, none of them particularly large. Additionally, summarization has been evaluated predominantly on English, with the commonly used ROUGE metric being English-specific. In this paper, we try to address both issues. We present SumeCzech, a Czech news-based summarization dataset. It contains more than a million documents, each consisting of a headline, a several sentences long abstract and a full text. The dataset can be downloaded using the provided scripts available at http://hdl.handle.net/11234/1-2615. We evaluate several summarization baselines on the dataset, including a strong abstractive approach based on Transformer neural network architecture. The evaluation is performed using a language-agnostic variant of ROUGE.

Shrnutí dokumentu je dobře studovaným NLP úkolem. Se vznikem modelů umělé neuronové sítě se zvyšuje souhrnná výkonnost, stejně jako požadavky na výcvikové údaje. Pro Čechy je však k dispozici pouze několik datových souborů, z nichž žádný není zvlášť velký. Kromě toho bylo shrnutí vyhodnoceno převážně na angličtině, přičemž běžně používaná metrika ROUGE je specifická pro angličtinu. V tomto příspěvku se snažíme řešit obě otázky. Představujeme SumeCzech, český datový soubor pro sumarizaci zpráv. Obsahuje více než milion dokumentů, z nichž každá obsahuje nadpis, několik věty dlouhý abstrakt a úplný text. Sadu dat lze stáhnout pomocí dodaných skriptů, které jsou k dispozici na adrese http://hdl.handle.net/11234/1-2615. Vyhodnocujeme několik souhrnných základních dat na množině dat, včetně silného abstrakčního přístupu založeného na architektuře neuronových sítí Transformeru. Hodnocení se provádí jazykově-agnostickou variantou ROUGE.

Milan Straka
Nikita Mediankin
Tom Kocmi
Zdeněk Žabokrtský
Vojtěch Hudeček
Jan Hajič


The Andrew K. Mellon Foundation has funded a project to create a “trust network” between the Language Applications (LAPPS) Grid, a major framework for composing pipelines of natural language processing (NLP) tools, and the WebLicht workflow engine hosted by the CLARIN-D Center in Tuebingen. The project also includes integration of NLP services available from the LINDAT/CLARIN Center in Prague. The goal is to allow users on one side of the bridge to gain appropriately authenticated access to the other and enable seamless communication among tools and resources in both frameworks. The resulting “meta-framework” provides users across the globe with access to an unprecedented array of language processing facilities that cover multiple languages, tasks, and applications, all of which are fully interoperable.

Článek popisuje projekt, který sjednocuje jazykové infrastruktury v USA (LAPPSGrid) a Evropě (Clarin) po stránce workflow a z hlediska přístupu uživatelů z jiné oblasti.

Erhard Hinrichs
Nancy Ide
James Pustejovsky
Jan Hajič
Marie Hinrichs
Mohammad Fazleh Elahi
Keith Suderman
Marc Verhagen
Kyeongmin Rim
Pavel Straňák
Jozef Mišutka


Morphological Resources of Derivational Word-Formation Relations

Morfologické zdroje derivačních slovotvorných vztahů

The report focuses on existing morphological resources containing derivational wordformation relations. For each resource, the report describes history, licence, format, data structure and some other basic statistics to compare. Therefore, it means the first step to review and harmonize these resources in a similar way as it has already been done with resources of syntactic trees.

Zpráva se zaměřuje na existující morfologické zdroje obsahující derivační slovotvorné vztahy. Pro každý zdroj je ve zprávě popsána jeho historie, licence, formát, struktura dat a některé základní statistiky pro porovnání zdrojů. Zpráva představuje první krok v přezkoumání a harmonizaci těchto zdrojů podobným způsobem, jako tomu bylo již učiněno se zdroji syntaktických stromů.


A Morphological Analyzer for Shipibo-Konibo

Morfologický analyzátor jazyka shipibo-konibo

We present a morphological analyzer for Shipibo-Konibo, a low-resourced native language spoken in the Amazonian region of Peru. We resort to the robustness of finite-state systems in order to model the complex morpho-syntax of the language. Evaluation over raw corpora shows promising coverage of grammatical phenomena, limited only by the scarce lexicon. We make this tool freely available so as to aid the production of annotated corpora and impulse further research in native languages of Peru.

Představujeme morfologický analyzátor shipiba-koniba, domorodého jazyka z oblasti peruánské Amazonie. Díky robustnosti konečněstavových systémů můžeme vytvořit model komplexní morfosyntaxe tohoto jazyka. Vyhodnocení na textových korpusech ukazuje slibné pokrytí gramatických jevů, omezením je pouze zatím malý slovník. Nástroj je volně k dispozici pro kohokoliv, čímž chceme podpořit další výzkum peruánských domorodých jazyků.


Morphological Analyzer for Shipibo-Konibo

This tool is the first morphological analyzer ever for this language.
The analyzer is a FST that produces all possible segmentations and tagging sequences in a word-by-word fashion.

Tento nástroj je prvním morfologickým analyzátorem jazyka šipibo-konibo. Je to


Deep Multi-Lingual Cross Sentence Alignment

Hluboké vícejazyčné zarovnání křížových vět

Sentence-aligned parallel bilingual corpora are the main and sometimes the only required resource for training Statistical and Neural Machine Translation systems (SMT, NMT). We propose an end-to-end deep neural architecture for language independent sentence alignment. In addition to one-to-one alignment, our aligner can perform cross- and many-to-many alignment as well. We also present a case study which shows how simple linguistic analysis can improve the performance of a pure neural network significantly. We used three language pairs from Europarl corpus (Koehn, 2005) and an English-Persian corpus (Pilevar et al., 2011) to generate an alignment dataset. Using this dataset, we tested our system individually and in an SMT system. In both settings, we obtained significantly better results compared to an open source baseline.

Paralelní dvojjazyčné korpusy v souladu s větou jsou hlavním a někdy jediným požadovaným zdrojem pro výuku systémů pro překlad statistických a neurálních strojů (SMT, NMT). Navrhujeme koncovou hlubokou neuronovou architekturu pro jazykové nezávislé zarovnání vět. Kromě zarovnání typu "one-to-one" může náš zarovnávač také provádět cross-a many-to-many alignment. Předkládáme také případovou studii, která ukazuje, jak může výrazná jazyková analýza výrazně zlepšit výkon čisté neuronové sítě. V souboru Europarl korpus (Koehn, 2005) a anglicko-perského korpusu (Pilevar et al., 2011) jsme použili tři páry jazyků pro vytvoření souhrnu dat. Pomocí této datové sady jsme testovali náš systém jednotlivě a v systému SMT. V obou nastaveních jsme dosáhli výrazně lepších výsledků ve srovnání s výchozími zdroji open source.


Deep Neural Networks at the Service of Multilingual Parallel Sentence Extraction

Hluboké neuronové sítě při servisu mnohojazyčného extrahování paralelních vět

Wikipedia provides an invaluable source of parallel multilingual data, which are in high demand
for various sorts of linguistic inquiry, including both theoretical and practical studies. We intro-
duce a novel end-to-end neural model for large-scale parallel data harvesting from Wikipedia.
Our model is language-independent, robust, and highly scalable. We use our system for collect-
ing parallel German-English, French-English and Persian-English sentences. Human evaluations
at the end show the strong performance of this model in collecting high-quality parallel data. We
also propose a statistical framework which extends the results of our human evaluation to other
language pairs. Our model also obtained a state-of-the-art result on the German-English dataset
of BUCC 2017 shared task on parallel sentence extraction from comparable corpora.

Wikipedia poskytuje neocenitelný zdroj paralelních vícejazyčných dat, které jsou ve vysoké poptávce pro různé druhy jazykových šetření, včetně teoretických i praktických studií. Zavedeme vede nový end-to-end neuronový model pro rozsáhlé paralelní sběr dat z Wikipedie. Náš model je nezávislý na jazyku, robustní a vysoce škálovatelný. Používáme náš systém pro shromažďování, francouzsko-anglické a perzština-anglické věty. Hodnocení člověka na konci ukazují silný výkon tohoto modelu při shromažďování vysoce kvalitních paralelních dat. My navrhnout také statistický rámec, který rozšiřuje výsledky našeho lidského hodnocení na jiné jazykové páry. Náš model také získal nejmodernější výsledek německo-anglické datové sady ze společného úkolu BUCC 2017 na paralelní extrakci vět z srovnatelných korpusů.


Linguistically-based Deep Unstructured Question Answering

Jazykově založené hluboké nestrukturované dotazování

In this paper, we propose a new linguistically-based approach to answering non-factoid open-domain questions from unstructured data. First, we elaborate on an architecture for textual encoding based on which we introduce a deep end-to-end neural model. This architecture benefits from a bilateral attention mechanism which helps the model to focus on a question and the answer sentence at the same time for phrasal answer extraction. Second, we feed the output of a constituency parser into the model directly and integrate linguistic constituents into the network to help it concentrate on chunks of an answer rather than on its single words for generating more natural output. By optimizing this architecture, we managed to obtain near-to-human-performance results and competitive to a state-of-the-art system on SQuAD and MS-MARCO datasets respectively.

V tomto příspěvku navrhujeme nový jazykově založený přístup k odpovědi na otázky non-factoid otevřené domény z nestrukturovaných dat. Nejprve vypracujeme architekturu pro textové kódování, na jejímž základě zavedeme hluboký neuronový model. Tato architektura využívá mechanismus dvoustranné pozornosti, který pomáhá modelu soustředit se na otázku a větu odpovědi současně na extrakci frázové odpovědi. Za druhé, do modelu předáváme výstup analyzátoru volebních obvodů a integrujeme do sítě síť jazykových složek, abychom se mohli soustředit na kusy odpovědi spíše než na jeho jednotlivé slova pro vytvoření přírodnějšího výstupu. Díky optimalizaci této architektury se nám podařilo získat výsledky z hlediska výkonnosti, které jsou téměř shodné s lidskými parametry, a konkurenceschopné na nejmodernějších systémech datových souborů SQuAD a MS-MARCO.


Building Lexicons of Discourse Connectives

The talk is devoted to the development of dictionaries and lexicons of discourse-relational devices across languages, from the very first ones from 1990ies to the recent ones, including the CzeDLex, the Lexicon of Czech Discourse Connectives.

Přednáška přináší přehled vývoje slovníků textově-spojovacích prostředků napříč jazyky, od prvních z 90. let až po ty nejnovější, včetně projektu CzeDLex, slovníku českých textových konektorů.


Semi-Automatic Construction of Word-Formation Networks (for Polish and Spanish)

Poloautomatická výstavba slovotvorných sítí (pro polštinu a španělštinu)

The paper presents a semi-automatic method for the construction of derivational networks. The proposed approach applies a sequential pattern mining technique in order to construct useful morphological features in an unsupervised manner.  The features take the form of regular expressions and later are used to feed a machine-learned ranking model.  The network is constructed by applying resulting model to sort the lists of possible base words and selecting the most probable ones.  This approach, besides relatively small training set and a lexicon, does not require any additional language resources such as a list of alternations groups, POS tags etc.  The proposed approach is applied to the lexeme sets of two languages, namely Polish and Spanish, which results in the establishment of two novel word-formation networks.  Finally, the network constructed for Polish is merged with the derivational connections extracted from the Polish WordNet and those resulting from the derivational rules developed by a linguist, resulting in the biggest word-formation network for that language. The presented approach is general enough to be adopted for other languages.

Příspěvek představuje poloautomatickou metodu budování derivačních sítí. Metoda byla aplikována na polská a španělská jazyková data.

Mateusz Lango
Magda Ševčíková
Zdeněk Žabokrtský


Neural Monkey: The Current State and Beyond

Neural Monkey is an open-source toolkit for sequence-to-sequence learning. The focus of this paper is to present the current state of the toolkit to the intended audience, which includes students and researchers, both active in the deep learning community and newcomers. For each of these target groups, we describe the most relevant features of the toolkit, including the simple configuration scheme, methods of model inspection that promote useful intuitions, or a modular design for easy prototyping. We summarize relevant contributions to the research community which were made using this toolkit and discuss the characteristics of our toolkit with respect to other existing systems. We conclude with a set of proposals for future development.

Neural Monkey je open-source toolkit pro sequence-to-sequence učení. Článek je zaměřen na prezentaci současného stavu toolkitu cílovým skupinám, mezi které patří studenti a výzkumníci, ať už aktivní v komunitě hlubokého učení či nováčci. Pro každou skupinu popisujeme nejvíce relevantní vlastnosti toolkitu spolu s jednoduchým schématem konfigurace, metodami analýzy modelů, které podporují užitečnou intuici, nebo modulární design umožňující snadné prototypování. Shrnujeme relevantní příspěvky vědecké komunity, které vznikly s využitím tohoto toolkitu a rozebíráme charakteristiky našeho toolkitu s ohledem na ostatní existující systémy. Článek uzavírá nástin budoucího vývoje toolkitu.

Jindřich Helcl
Jindřich Libovický
Tom Kocmi
Tomáš Musil
Ondřej Cífka
Dušan Variš
Ondřej Bojar


This is the Czech version of the Multi30k dataset that is used for WMT competitions in Multimodal Machine Translation. The dataset is based on the Flickr30k dataset with more 30,000 images accompanied by English captions. For the WTM16 and WMT17 German and French translation were added to these captions. For the WTM18 competition, we added also the translation into the Czech language.

Toto je česká verze datasetu Multi30k, který se používá při soutěžích v Multimodálním strojovém překladu. Dataset je založený ja datové sadě Flickr30k, která obsahuje přes 30 tisíc fotografií opatřených anglickými popisky. Pro soutěž na WMT16 a WMT17 byly tyto věty přeloženy do Němčiny a Francozštiny. Pro soutež v roce 2018 jsme obahatili tento dataset také o překlady do českého jazyka.

Jindřich Helcl
Jindřich Libovický
Pavel Pecina


CUNI System for the WMT18 Multimodal Translation Task

Systém Univerzity Karlovy pro úlohu multimodálního strojového překladu na WMT18

We present our submission to the WMT18 Multimodal Translation Task. The main feature of our submission is applying a self-attentive network instead of a recurrent neural network. We evaluate two methods of incorporating the visual features in the model: first, we include the image representation as another input to the network; second, we train the model to predict the visual features and use it as an auxiliary objective. For our submission, we acquired both textual and multimodal additional data. Both of the proposed methods yield significant improvements over recurrent networks and self-attentive textual baselines.

V článku představuje příspěvek do soutěže v multimodálním strjovém překladu na WMT18. V našem systému požíváme self-attentive neuronové sítě místo rekurentních. Evaluujeme dvě metody, jak lze zahrnout vizuální rysy do modelu: v prvním používáme vizuální informaci jako další vstup do dekodéruů v druhé metodě trénujeme enkodér tak, aby predikoval vizuální reprezentaci. Pro náš příspěvek jsem vytěžili dodatečná data. Obě navrhované metody přináší výrazné zlepšení oproti obdobným modelům využívajícím neuronové sítě.

Jindřich Helcl
Jindřich Libovický
Dušan Variš


Artificial intelligence and machine translation

Nowadays, newspapers often write what the artificial intelligence achieved, what other tasks it will master, and when it will conquer the wold. On the example of automatic translation from one language to another, which has recently made great progress due to neural networks, we will explain how neural networks work. We will show how to collect examples of translations on the Internet and how to use them with a neural network can learn how to solve a complex task like translation.

V novinách poslední dobou můžeme číst, co zase kde udělala umělá inteligence, co dokázala, co umí, co bude umět, kolik lidí připraví o práci, kdy ovládne lidstvo a tak podobně. Za většinou těchto zpráv jsou úspěchy, kterých informatika dosáhla v posledních letech pomocí umělých neuronových sítí. Nejedná se však, jak by mohl název napovídat, o simulaci lidského mozku, ale o celkem jednoduché matematické modely, které se kdysi biologickými neurony vzdáleně inspirovaly. Na příkladu automatického překladu z jednoho jazyka do druhého, který právě díky neuronovým sítím dosáhl v poslední době velkého pokroku, si vysvětlíme, jak neuronové sítě fungují. Ukážeme si, jak lze na internetu sbírat příklady překladů a jak se s jejich pomocí neuronová síť dokáže naučit řešit tak komplexní úlohu jako je právě překlad.


Machine Translation Evaluation beyond the Sentence Level

Evaluace strojové překladu přes hranice vět

Automatic machine translation evaluation was crucial for the rapid development of machine translation systems over the last two decades. So far, most attention has been paid to the evaluation metrics that work with text on the sentence level and so did the translation systems. Across-sentence translation quality depends on discourse phenomena that may not manifest at all when staying within sentence boundaries  (e.g. coreference, discourse connectives, verb tense sequence etc.). To tackle this, we propose several document-level MT evaluation metrics: generalizations of sentence-level metrics, language-(pair)-independent versions of lexical cohesion scores and coreference and morphology preservation in the target texts. We measure their agreement with human judgment on a newly created dataset of pairwise paragraph comparisons for four language pairs.

Automatické hodnocení kvality strojního překladu bylo zásadní pro rychlý vývoj systémů strojního překladu v posledních dvou desetiletích. Zatím se věnuje největší pozornost metrikám, které pracují s textem na úrovni vět, protože stejně tak fungují i překladové systémy. Kvalita překladu ale závisí i na diskurzních jevech, které se nemusí vůbec projevit, pokud se nacházejí uvnitř věty (např. koreference, diskurzní konektory, časová souslednost apod.). Navrhneme tedy několik metrik hodnocení strojového překladu na úrovni dokumentů: zobecnění exsitujících metrik a jazykově nezávislé metody měření lexikální soudržnosti a zachování koreference a morfologie zachování v cílovém jazyce. U těchto také měříme shodu s lidským úsudkem na nově vytvořené datové sadě, které obsahuje lidské hodnocení překladu pro čtyři jazykové páry.

Jindřich Libovický
Thomas Brovelli (Meyer)
Bruno Cartoni


Czech image captioning, machine translation, and sentiment analysis (Neural Monkey models)

České popisování obrázků, strojový překlad a rozbor sentimentu (modely pro Neural Monkey)

This submission contains trained end-to-end models for the Neural Monkey toolkit for Czech and English, solving three NLP tasks: machine translation, image captioning, and sentiment analysis.
The models are trained on standard datasets and achieve state-of-the-art or near state-of-the-art performance in the tasks.

Vydali jsme natrénované modely pro nástroj Neural Monkey, které řeší 3 úlohy: strojový překlad, popisování obrázků, a analýzu sentimentu.

Jindřich Libovický
Rudolf Rosa
Jindřich Helcl
Martin Popel


Solving Three Czech NLP Tasks End-to-End with Neural Models

Celkové řešení tří úloh NLP pro češtinu s pomocí neuronových modelů

In this work, we focus on three different NLP tasks: image captioning, machine translation, and sentiment analysis. We reimplement successful approaches of other authors and adapt them to the Czech language. We provide end-to-end architectures that achieve state-of-the-art or nearly state-of-the-art results on all of the tasks within a single sequence learning toolkit. The trained models are available both for download as well as in an online demo.

V této práci se zaměřujeme na tři různé úlohy NLP: popis obrázků, strojový překlad, a rozbor sentimentu. Reimplementujeme úspěšné postupy jiných autorů a přizpůsobujeme je českému jazyku. Nabízíme end-to-end architektury, které dosahují nejlepších či téměř nejlepších výsledků známých pro tyto úlohy, přičemž všechny jsou implementovány ve stejném nástroji pro sekvenční učení. Natrénované modely jsou k dispozici jak ke stažení, tak v podobě online dema.


Multimodal Abstractive Summarization for Open-Domain Videos

Multimodální abstraktivní sumarizace videí bez doménového omezení

Multimodal and abstractive summarization of open-domain videos requires summarizing the contents of an entire video in a few short sentences, while fusing information from multiple modalities, in our case video and audio (or text). Different from traditional news summarization, the goal is less to “compress” text information only, but to provide a fluent textual summary of information that has been collected and fused from different source modalities. In this paper, we introduce the task of abstractive summarization for open-domain videos, we show how a sequence-to-sequence model with hierarchical attention can integrate information from different modalities into a coherent output, and present pilot experiments on the How2 corpus of instructional videos. We also present a new evaluation metric for this task called Content F1 that measures semantic adequacy rather than fluency of the summaries, which is covered by ROUGE and BLEU like metrics.

Multimodální a abstraktní sumarizace videí bez doménového omezení vyžaduje shrnutí obsahu celého videa v několika krátkých větách a zároveň sloučení informací z více modalit, v našem případě videa a zvuku (nebo textu). Na rozdíl od obvyklé sumarizace žurnalistických textů není cílem pouze „komprimovat“ textové informace, ale poskytnout plynulé textové shrnutí informací, které byly shromážděny z různých vstupních modalit. V tomto příspěvku představujeme úlohu abstraktní sumarizace pro videa bez doménového omezení, ukazujeme, jak může model sekvenčního učení s hierarchickým mechanismem pozorností integrovat informace z různých modalit do uceleného výstupu. Dále prezentujeme pilotní experimenty na How2 korpusu instruktážních videí. Představujeme také novou evaluační metriku pro sumarizaci nazvanou Content F1, která měří spíše sémantickou přiměřenost než plynulost abstraktů, narozdíl od metrik jako jsou ROUGE a BLEU.

Jindřich Libovický
Shruti Palaskar
Spandana Gella
Florian Metze


End-to-End Non-Autoregressive Neural Machine Translation with Connectionist Temporal Classification

Neautoregresivní neuronový strojový překlad pomocí konekcionistitické temporální klasifikace trénovaný bez mezikroků

Autoregressive decoding is the only part of sequence-to-sequence models that prevents them from massive parallelization at inference time. Non-autoregressive models enable the decoder to generate all output symbols independently in parallel. We present a novel non-autoregressive architecture based on connectionist temporal classification and evaluate it on the task of neural machine translation. Unlike other non-autoregressive methods which operate in several steps, our model can be trained end-to-end. We conduct experiments on the WMT English-Romanian and English-German datasets. Our models achieve a significant speedup over the autoregressive models, keeping the  translation quality comparable to other non-autoregressive models.

Autoregresivní dekódování je jedinou součástí převádějících sekvence na sekvence, která bráňí masivní paralelizaci při inferenci. Neautoregresivní modely umožňují dekodéru generovat všechny výstupní symboly nezávisle a tedy paralelně. V článku představujeme novou neautoregresivní architekturu založenou na konekcionistické temporální klasifikaci (CTC). Na rozdíl od jiných neautoregresivních metod, které je nutné trénovat v několika krocích, představovaný systém se trénuje monoliticky. Experimentuje se strojovým překladem mezi angličinou a rumunštionou a angličtinou němčinou na standardních testovacích datech z WMT. Naše modely dosahují výrazného zrychlení oproti autoregresivním modelům, přičemž kvalita překladu je srovnatelná s jinými neautoregresivními modely.


Input Combination Strategies for Multi-Source Transformer Decoder

Strategie kombinování více vstupů v dekodéru modelu Transformer

In multi-source sequence-to-sequence tasks, the attention mechanism can be modeled in several ways. This topic has been thoroughly studied on recurrent architectures. In this paper, we extend the previous work to the encoder-decoder attention in the Transformer architecture. We propose four different input combination strategies for the encoder-decoder
attention: serial, parallel, flat, and hierarchical. We evaluate our methods on tasks of multimodal translation and translation with
multiple source languages. The experiments show that the models are able to use multiple sources and improve over single source baselines.

Při sekvenčním učením s více zrdoje informace, může být mechanismus pozornosti (attention) modelován různými způsoby. Toto téma bylo důkladně studováno na rekurentních neurnovoých sítích. V tomto článku se zabýváme tímto problém v architektuře Transormer. Navrhujeme čtyři různé strategie kombinace vstupů: sériové, paralelní, ploché a hierarchické. Navrhované metody vyhodnocujeme na úloze multimodálního překladu a překladu z více zdrojových jazyků současně. Z  výsledků experimentů vyplývá, že modely jsou schopny využívat více zdrojů a fungovat lépe než modely s pouze jedním zdrojem informace.

Jindřich Libovický
Jindřich Helcl
David Mareček


CUNI Transformer Neural MT System for WMT18

CUNI Transformer - neuronový strojový překladač pro WMT18

We describe our NMT system submitted to
the WMT2018 shared task in news translation.
Our system is based on the Transformer model
(Vaswani et al., 2017). We use an improved
technique of backtranslation, where we iterate
the process of translating monolingual data in
one direction and training an NMT model for
the opposite direction using synthetic parallel
data. We apply a simple but effective filtering
of the synthetic data. We pre-process the input
sentences using coreference resolution in order
to disambiguate the gender of pro-dropped
personal pronouns. Finally, we apply two simple
post-processing substitutions on the translated output.
Our system is significantly (p < 0.05) better than all other English-Czech and Czech-English systems in WMT2018.

Popisujeme náš neuronový překladač zaslaný do soutěže v překladu zpráv WMT2018. Náš systém je založen na modelu Transformer (Vaswani et al., 2017). Používáme vylepšenou techniku zpětného překladu, kdy opakujeme proces překládání jednojazyčných dat jedním směrem a trénujeme model pro opačný směr pomocí syntetických paralelních dat. Aplikujeme jednoduché, ale účinné filtrování syntetických dat.
Na vstupní věty aplikujeme rozpoznávač koreference za účelem doplnění vypuštěných osobních zájmen. Na přeložený výstup aplikujeme dvě jednoduché substituce.
Náš systém je výrazně (p < 0,05) lepší než všechny ostatní anglicko-české a česko-anglické systémy ve WMT2018.


Machine Translation Using Syntactic Analysis

Strojový překlad s využitím syntaktické analýzy

This thesis describes our improvement of machine translation (MT),
with a special focus on the English-Czech language pair, but using techniques
applicable also to other languages. First, we present multiple improvements
of the deep-syntactic system TectoMT. For instance, we implemented a novel
context-sensitive translation model, comparing several machine learning approaches.
We also adapted TectoMT to other domains and languages. Second,
we present Transformer – a state-of-the-art end-to-end neural MT system. We
analyzed in detail the effect of several training hyper-parameters. With our
optimized training, the system outperformed the best result on the WMT2017
test set by +1.0 BLEU. We further extended this system by utilization of monolingual
training data and by a new type of backtranslation (+2.8 BLEU compared
to the baseline system). In addition, we leveraged domain adaptation and the
effect of “translationese” (i.e which language in parallel data is the original
and which is the translation) to optimize MT systems for original-language and
translated-language data (gaining further +0.2 BLEU). Our improved neural MT
system significantly (p<0.05) outperformed all other systems in English-Czech
and Czech-English WMT2018 shared tasks, in terms of both automatic and
manual evaluation. It was even significantly better than the human reference
translation according to the manual evaluation.

Tato práce popisuje zlepšení anglicko-českého a česko-anglického strojového překladu
pomocí metod, které lze použít i na další jazyky.
V první části je popsáno několik zlepšení hloubkově-syntaktického překladače TectoMT,
například rozšíření pro další jazyky a domény
nebo implementace nového typu překladových modelů využívajících kontext a různé metody strojového učení.
V druhé části je popsán neuronový překladač Transformer a jeho vylepšení.
Po detailní analýze vlivu různých hyperparametrů,
bylo optimalizováno trénování systému tak, že dosáhl o 1.0 BLEU lepšího překladu
než nejlepší systém v soutěži WMT2017.
Využitím jednojazyčných dat cílového jazyka pomocí nového typu zpětného překladu
bylo dosaženo dalšího zlepšení kvality překladu o 2.8 BLEU.
Využitím doménové adaptace zohledňující překladštinu (translationese)
-- tedy zohledněním toho, zda paralelní data jsou původně psána česky, nebo anglicky --
byl výsledný systém vylepšen o dalších 0.2 BLEU.
Tento výsledný neuronový překladač byl signifikantně lepší (p<0.05)
než všechny ostatní anglicko-české a česko-anglické překladače v soutěži WMT2018.
Podle výsledků ručního hodnocení byla kvalita tohoto strojového překladu dokonce vyšší
než kvalita lidského referenčního překladu.


Machine translation and artificial inteligence

A popular lecture for high-school students about the research done at ÚFAL: natural language processing, machine translation, artificial intelligence.

Popularizační přednáška pro studenty gymnázia o tom, čím se zabývá ÚFAL: zpracování přirozeného jazyka, strojový překlad, umělá inteligence.


This article describes our experiments in neural machine translation using the recent Tensor2Tensor
framework and the Transformer sequence-to-sequence model (Vaswani et al., 2017).
We examine some of the critical parameters that affect the final translation quality, memory
usage, training stability and training time, concluding each experiment with a set of recommendations
for fellow researchers. In addition to confirming the general mantra “more data
and larger models”, we address scaling to multiple GPUs and provide practical tips for improved
training regarding batch size, learning rate, warmup steps, maximum sentence length
and checkpoint averaging. We hope that our observations will allow others to get better results
given their particular hardware and data constraints.

Tento článek popisuje naše experimenty s neuronovým strojovým překladem pomocí frameworku Tensor2Tensoru a modelu Transformer (Vaswani a kol., 2017).
Zkoumáme některé kritické parametry, které ovlivňují kvalitu překladu, paměťovou náročnost, stabilitu trénování a délku trénování. Každý experiment uzavíráme souborem doporučení. Krom jiného zkoumáme škálování na více GPU a poskytujeme praktické tipy pro vylepšené trénování týkající se velikosti dávky, rychlosti učení, počtu zahřívacích kroků, maximální délky věty a průměrování modelů. Doufáme, že naše pozorování umožní ostatním výzkumníkům dosáhnout lepších výsledků vzhledem k jejich specifickým hardwarovým a datovým omezením.


Improving a Neural-based Tagger for Multiword Expression Identification

Vylepšení neuronového taggeru pro identifikaci víceslovných výrazů

In this paper, we present a set of improvements introduced to MUMULS, a tagger for the automatic detection of verbal multiword expressions. Our tagger participated in the PARSEME shared task and it was the only one based on neural networks. We show that character-level embeddings can improve the performance, mainly by reducing the out-of-vocabulary rate. Furthermore, replacing the softmax layer in the decoder by a conditional random field classifier brings additional improvements. Finally, we compare different context-aware feature representations of input tokens using various encoder architectures. The experiments on Czech show that the combination of character-level embeddings using a convolutional network, self-attentive encoding layer over the word representations and an output conditional random field classifier yields the best empirical results.

V článku prezentujeme sadu vylepšení taggeru pro automatickou detekci slovesných víceslovných výrazů, MUMULS. Náš tagger se zúčastnil PARSEME shared tasku a jako jediný byl založen na neuronových sítích. Ukazujeme, že embeddingy slov na základě jejich znaků vedou k zlepšením, především díky redukci množství out-of-vocabulary slov. Dále nahrazením softmaxové vrstvy v dekodéru klasifikátorem založeným na conditional random fields dosahujeme dalšího zlepšení. Na závěr porovnáváme různé druhy reprezentací příznaků zohledňující okolní kontext slova za pomocí různých architektur enkodérů. Experimenty s češtinou ukazují, že kombinace embeddingů založených na konvoluci jednotlivých znaků, self-attentive architektura enkodéru a conditional random filed klasifikátor dosahují nejlepších empirických výsledků.


Assessment of Essays in Terms of Text Coherence

Hodnocení písemných prací z hlediska koherence textu

The presentation described cohesive means appearing in texts written by learners of Czech.

Příspěvěk se zabýval popisem kohezních prostředků vyskytujících se v textech psaných nerodilými mluvčími češtiny.


Possibilities of Text Coherence Analysis in the Prague Dependency Treebank

Možnosti analýzy koherence textu v Pražském závislostním korpusu

The aim of the paper is to examine the interplay of text coreference and sentence
information structure and its role in text coherence.

Cílem příspěvku je výzkum provázanosti textové koreference a aktuálního členění větného a jejich podíl na koherenci textu.


43rd Year of the Olympiad in Czech Language Has Finished

Proběhl 43. ročník Olympiády v českém jazyce

This article summarizes the course of the 43rd year of the Olympiad in the Czech language, presenting in brief its general settings as well as the tasks, their solutions, the approaches of the participants (jointly with their evaluation) and the names of winners.

Článek shrnuje průběh 43. ročníku Olympiády v českém jazyce a stručně představuje zadané jazykové úkoly, jejich řešení, přístupy účastníků k úkolům (společně s hodnocením) a jména vítězů.


Introducing EVALD  – Software Applications for Automatic Evaluation of Discourse in Czech

Představujeme EVALD – softwarové aplikace pro automatické hodnocení textu v češtině

In  the  paper, we  introduce  two  software applications  for  automatic  evaluation  of coherence in Czech texts called EVALD – Evaluator  of  Discourse.  The  first  one – EVALD 1.0 – evaluates texts  written by native  speakers  of  Czech on a  five - step scale  commonly  used  at  Czech  schools (grade 1 is the best, grade 5 is the worst). The second application is EVALD
1.0 for Foreigners  assessing  texts  by  non-native speakers  of  Czech  using  six - step  scale (A1–C2) according to CEFR. Both applications are available online at https://lindat.mff.cuni.cz/services/evald-foreign/.

V příspěvku představujeme dvě softwarové aplikace na automatické hodnocení koherence textu v češtině s názvem EVALD – Evaluátor diskurzu. První aplikace "EVALD 1.0" hodnotí texty psané rodilými mluvčími češtiny (hodnotící škálou užívanou v českých školách: 1–5). Druhá aplikace "EVALD 1.0 pro cizince" hodnotí texty nerodilých mluvčích češtiny (na škále A1–C2 podle "Společného evropského referenčního rámce"). Obě aplikace jsou dostupné online na https://lindat.mff.cuni.cz/services/evald-foreign/.

Kateřina Rysová
Magdaléna Rysová
Jiří Mírovský
Michal Novák


The dictionary of affixes presents not only prefixes and sufixes but also many word-parts of compound words.

Slovník afixů zpracovává předpony (prefixy) a přípony (sufixy), představuje však i četné části složených slov, jimž se někdy přiznává blízkost afixům. Je to tedy kompendium popisující všechny důležité odvozovací prvky slov užívaných v současných českých textech – včetně slov přejatých. Netradiční pohled na tvoření slov od afixů dává trochu odlišný obraz než běžný směr od derivátů: do ohniska pozornosti se leckdy dostanou doklady z různých příčin opomíjené. Výhodou je i korpus jako zdroj dat: materiál je dostatečně reprezentativní a poskytuje vesměs spolehlivý základ pro odborné závěry. Pomocí slovníku je možné studovat systém afixů v závislosti na jejich frekvenci či produktivitě. Lze z něho vyjít při řešení otázek synonymie afixů, návaznosti na povahu základu a mnoha dalších jevů.

Josef Šimandl
Jana Klímová
Klára Osolsobě
François Esvan
František Štícha
Renata Novotná


The study introduces latest research findings from the area of machine processing of Czech emotional language data. First, it provides an analysis of language means which together form an emotional meaning of written utterances in Czech. Second, it employs the findings concerning emotional language in computational applications.

The author provides a systematic overview of lexical, morphosyntactic, semantic and pragmatic aspects of emotional meaning in Czech utterances. Also, she proposes two formal representations of emotional structures within the framework of the Prague Dependency Treebank and Construction Grammar.

Regarding the computational applications, the study focuses on sentiment analysis, i.e. automatic extraction of emotions from text. It describes a creation of manually annotated emotional data resources in Czech and performs main sentiment analysis tasks, such as e.g. polarity classification and opinion target identification on Czech data, employing the up-to-date methods of natural language processing.

Kniha přináší nejnovější poznatky z oblasti strojového zpracování českých emocionálně laděných textů. Za prvé přináší analýzu jazykových prostředků, které společně formují emocionální význam psaných výpovědí v češtině. Za druhé využívá zjištění týkající se emocionálního jazyka v komputačních aplikacích.

Autorka podává systematický přehled lexikálních, morfosyntaktických, sémantických a pragmatických aspektů emocionálního významu v českých výpovědích a navrhuje formální reprezentaci emocionálních struktur v rámci Pražského závislostního korpusu a konstrukční gramatiky.

V oblasti komputačních aplikací se zaměřuje na témata sentiment analysis, tedy automatické extrakce emocí z textu. Popisuje tvorbu ručně anotovaných emocionálních zdrojů dat a řeší základní úlohy postojové analýzy, jako je např. klasifikace polarity a identifikace cíle hodnocení, a to za využití nejnovějších metod z oblasti automatického zpracování přirozeného jazyka.


Experimenty UK pro metrikovou úlohu WMT17

In this report paper we propose three different methods for automatic evaluation of the machine translation (MT) quality. Two of the metrics are trainable on direct-assessment scores and two of them use dependency structures. The trainable metric AutoDA, which uses deep-syntactic features, achieved better correlation with humans compared e.g. to the chrF3 metric.

V tomto článku navrhujeme tři různé metody auotmatického vyhodnocování kvality strojového překladu. Dvě z těchto metrik jsou trénovatelné na skóre přímého vyhodnocení a dvě z nich používají závislostní struktury. Trénovatelná metrika AutoDA, která používá hloubkově syntaktické rysy, dosáhla lepší korelace s lidmi ve srovnání např. s metrikou chrF3.

David Mareček
Ondřej Bojar
Ondřej Hübsch
Rudolf Rosa
Dušan Variš


Khresmoi Query Translation Test Data 2.0

Testovací data projektu Khresmoi pro překlad vyhledávacích dotazů 2.0

This package contains data sets for development and testing of machine translation of medical search short queries between Czech, English, French, German, Hungarian, Polish, Spanish and Swedish. The queries come from general public and medical experts.

Tento balíček obsahuje datové sady pro vývoj a testování modelů strojového překladu pro krátké vyhledávací dotazy v oblasti medicíny, a to pro čestinu, angličtinu, francouzštinu, němčinu, španělštinu, maďarštinu, polištinu a švédštinu. Dotazy obsažené v datech pochází jak od zdravotnických profesionálů, tak od laické veřejnosti.

Ondřej Dušek
Jan Hajič
Jaroslava Hlaváčová
Jindřich Libovický
Pavel Pecina
Aleš Tamchyna
Zdeňka Urešová


Khresmoi Summary Translation Test Data 2.0

This package contains data sets for development (Section dev) and testing (Section test) of machine translation of sentences from summaries of medical articles between Czech, English, French, German, Hungarian, Polish, Spanish
and Swedish. Version 2.0 extends the previous version by adding Hungarian, Polish, Spanish, and Swedish translations.

Tento balíček obsahuje sady paralelních vět pro vývoj a testování strojového překladu souhrnů vědeckých článků z oboru medicíny mezi češtinou, angličtinou, francouzštinou, němčinou, maďarštinou, polištinou, španělštinou a švédštinou.


The syntactic structure of Czech complex predicates

Syntaktická struktura komplexních predikátů v češtině

This paper describes the syntactic structure formation of Czech complex predicates with light verbs with respect to both deep and surface syntax.

Tento příspěvek popisuje utváření syntaktické struktury komplexních predikátů v češtině s ohledem jak na hloubkovou, tak povrchovou syntax.


Deverbal Nouns in Czech Light Verb Constructions

Deverbativní substantiva v českých komplexních predikátech s funkčním slovesem

In this paper, we provide a well-founded description of Czech deverbal nouns in both nominal and verbal structures (light verb constructions), based on a complex interaction between the lexicon and the grammar. We show that light verb constructions result from a regular syntactic operation. We introduce two interlinked valency lexicons, NomVallex and VALLEX , demonstrating how to minimize the size of lexicon entries while allowing for the generation of well-formed nominal and verbal structures of deverbal nouns.

V článku popisujeme česká deverbativní substantiva v substantivních i slovesných konstrukcích (tj. v komplexních predikátech s funkčním slovesem) a složité propojení slovníku a gramatiky při jejich tvoření. Naznačujeme, že komplexní predikáty s funkčním slovesem jsou výsledkem pravidelné sytaktické operace. Představujeme dva propojené valenční slovníky, NomVallex a VALLEX, s cílem ukázat jak minimalizovat počet slovníkových hesel při současném zachování možnosti generovat správně utvořené substantivní i slovesné konstrukce s deverbativními substantivy.

Václava Kettnerová
Veronika Kolářová
Anna Vernerová


Complex Predicates with Light Verbs in VALLEX: From Formal Model to Lexicographic Description

Komplexní predikáty s kategoriálním slovesem: Od formálního modelu k lexikografickému popisu

This paper summarizes theoretical findings on the lexicographic description of Czech complex predicates with light verbs.

Tento příspěvek shrnuje poznatky zjištěné při vytváření lexikografického modelu pro popis komplexních predikátů s kategoriálním slovesem v češtině.


Towards coreference of complex predicates with light verbs

Ke koreferenci u komplexních predikátů s kategoriálním slovesem

In this paper, we deal with coreference in Czech complex predicates with light verbs. In an extensive data annotation project, we identify,
delimit and thoroughly describe individual types of coreferential relations between valency
complementations of Czech complex predicates.

V tomto příspěvku se zabýváme koreferencí u českých komplexních predikátů s kategoriálním slovesem. Popisujeme jednotlivé typy koreference mezi valenčními doplněními slovesa a jména, zjištěné v rozsáhlé anotaci korpusových dat, a ukazujeme, jakou roli sehrává ve formování jejich syntaktické struktury.


Neural Network Based Named Entity Recognition

Rozpoznávání pojmenovaných entit pomocí neuronových sítí

Czech named entity recognition (the task of automatic identification and classification of proper names in text, such as names of people, locations and organizations) has become a well-established field since the publication of the Czech Named Entity Corpus (CNEC). This doctoral thesis presents the author's research of named entity recognition, mainly in the Czech language. It presents work and research carried out during CNEC publication and its evaluation. It further envelops the author's research results, which improved Czech state-of-the-art results in named entity recognition in recent years, with special focus on artificial neural network based solutions. Starting with a simple feed-forward neural network with softmax output layer, with a standard set of classification features for the task, the thesis presents methodology and results, which were later used in open-source software solution for named entity recognition, NameTag. The thesis finalizes with a recurrent neural network based recognizer with word embeddings and character-level word embeddings, based on recent advances in neural network research, which requires no classification features engineering and achieves excellent state-of-the-art results in Czech named entity recognition.

Obor rozpoznávání pojmenovaných entit v češtině (tj. úkol automaticky identifikovat a klasifikovat významné části textu, jako například jména lidí, míst a organizací) se významně rozvinul po vydání českého korpusu pojmenovaných entit, Czech Named Entity Corpus (CNEC). Tato doktorská práce předkládá autorské výsledky v oblasti rozpoznávání pojmenovaných entit, zejména v češtině. Publikuje práci a výzkum provedený v průběhu přípravy CNEC a později během jeho evaluace. Dále shrnuje autorské výsledky, které představují nejlepší známé výsledky v rozpoznávání českých pojmenovaných entit. Na základě jednoduché neuronové sítě s výstupní funkcí softmax a standardní sadou klasifikačních rysů je popsána metodologie a výsledky, ze kterých později vznikl otevřený software pro rozpoznávání pojmenovaných entit, NameTag. Doktorská práce je zakončena popisem rozpoznávače založeném na rekurentních neuronových sítích s embeddingy slov a embeddingy založenými na znacích, které představují výsledky současného výzkumu v oblasti neuronových sítí. Rozpoznávač nevyžaduje tvorbu klasifikačních rysů a dosahuje v současné době nejlepších známých výsledků v oblasti rozpoznávání pojmenovaných entit v češtině.


We present a corpus of Czech sentences with manually annotated named entities, in which a rich two-level hierarchy of named entity types was used. The corpus was the first available large Czech named entity resource and since 2007, it has stimulated the research in this field for Czech. We describe the two-level fine-grained hierarchy allowing embedded entities and the motivations leading to its design. We further discuss the data selection and the annotation process. We then show how the data can be used for training a named entity recognizer and we perform a number of experiments to critically evaluate the impact of the decisions made in the process of annotation on the named entity recognizer performance. We thoroughly discuss the effect of sentence selection, corpus size, part-of-speech tagging and lemmatization, representativeness and bias of the named entity distribution, classification granularity and other corpus properties in terms of supervised machine learning.

Představujeme korpus českých vět s ručně anotovanými pojmenovanými entitami, ve kterém byla použita bohatá dvouúrovňová hierarchie typů pojmenovaných entit. Korpus představuje první dostupný českým zdroj pro rozpoznávání pojmenovaných entit a od roku 2007 stimuloval výzkum v tomto oboru. Popisujeme dvouúrovňovou jemnou hierarchii s vnořenými entitami a motivace, které nás vedly k jejímu návrhu. Dále ukazujeme, jak byla tato data prakticky využita při návrhu a trénování rozpoznávače pojmenovaných entit a provádíme velké množství experimentů, abychom kriticky ohodnotili rozhodnutí, která jsme v průběhu návrhu korpusu provedli. Důkladně prodiskutujeme dopad zvoleného výběru vět, velikosti korpusu, způsobu morfologického zpracování, ale i výběr typů pojmenovaných entit a dalších vlastností korpusu na výkon rozpoznávače pojmenovaných entit z hlediska strojového učení s učitelem.

Jana Straková
Milan Straka
Magda Ševčíková
Zdeněk Žabokrtský


Annotated corpora and tools of the PARSEME Shared Task on Automatic Identification of Verbal Multiword Expressions (edition 1.0)

Anotované korpusy a nástroje PARSEME Shared Tasku řešícího automatické vyhledávání slovesných víceslovných výrazů (vydání 1.0)

The PARSEME shared task aims at identifying verbal MWEs in running texts. Verbal MWEs include idioms (let the cat out of the bag), light verb constructions (make a decision), verb-particle constructions (give up), and inherently reflexive verbs (se suicider 'to suicide' in French). VMWEs were annotated according to the universal guidelines in 18 languages. The corpora are provided in the parsemetsv format, inspired by the CONLL-U format.

For most languages, paired files in the CONLL-U format - not necessarily using UD tagsets - containing parts of speech, lemmas, morphological features and/or syntactic dependencies are also provided. Depending on the language, the information comes from treebanks (e.g., Universal Dependencies) or from automatic parsers trained on treebanks (e.g., UDPipe).

This item contains training and test data, tools and the universal guidelines file.

V PARSEME Shared Task bylo úkolem určit slovesné VV v textu. Slovesné VV obsahují idiomy (let the cat out of the bag), analytické predikáty (make a decision), verb-particle constructions (give up) a inherentně reflexivní slovesa (se suicider 'spáchat sebevraždu' ve francouzštině). SVV byly anotovány podle univerzálních pravidel v 18 jazycích. Corpusy jsou k dispozici ve formátu parsemetsv inspirovaném formátem CONLL-U.

...

Obsahuje trénovací data, testovací data, nástroje a univerzální anotační pravidla.

Agata Savary
Carlos Ramisch
Silvio Ricardo Cordeiro
Federico Sangati
Veronika Vincze
Behrang QasemiZadeh
Marie Candito
Fabienne Cap
Voula Giouli
Ivelina Stoyanova
Antoine Doucet
Kübra Adalı
Verginica Barbu Mititelu
Eduard Bejček
Ismail El Maarouf
Gülşen Cebiroğlu Eryiğit
Luke Galea
Yaakov Ha-Cohen Kerner
Chaya Liebeskind
Johanna Monti
Carla Parra Escartín
Jolanta Kovalevskaitė
Simon Krek
Lonneke van der Plas
Cristina Aceta
Itziar Aduriz
Jean-Yves Antoine
Greta Attard
Kirsty Azzopardi
Loic Boizou
Janice Bonnici
Mert Boz
Ieva Bumbulienė
Jael Busuttil
Valeria Caruso
Manuela Cherchi
Matthieu Constant
Monika Czerepowicka
Anna De Santis
Tsvetana Dimitrova
Tutkum Dinç
Hevi Elyovich
Ray Fabri
Alison Farrugia
Jamie Findlay
Aggeliki Fotopoulou
Vassiliki Foufi
Sara Anne Galea
Polona Gantar
Albert Gatt
Anabelle Gatt
Carlos Herrero
Uxoa Iñurrieta
Glorianna Jagfeld
Milena Hnátková
Mihaela Ionescu
Natalia Klyueva
Svetla Koeva
Viktória Kovács
Taja Kuzman
Svetlozara Leseva
Sevi Louisou
Teresa Lynn
Ruth Malka
Héctor Martínez Alonso
John McCrae
Helena de Medeiros Caseli
Ayşenur Miral
Amanda Muscat
Joakim Nivre
Michael Oakes
Mihaela Onofrei
Yannick Parmentier
Caroline Pasquer
Maria Pia di Buono
Belem Priego Sanchez
Annalisa Raffone
Renata Ramisch
Erika Rimkutė
Monica-Mihaela Rizea
Katalin Simkó
Michael Spagnol
Valentina Stefanova
Sara Stymne
Umut Sulubacak
Nicole Tabone
Marc Tanti
Maria Todorova
Zdeňka Urešová
Aline Villavicencio
Leonardo Zilio


An Exploration of Word Embedding Initialization in Deep-Learning Tasks

Průzkum inicializace slovních embeddingů v úlohách hlubokého učení

Word embeddings are the interface between
the world of discrete units of text
processing and the continuous, differentiable
world of neural networks. In this
work, we examine various random and
pretrained initialization methods for embeddings
used in deep networks and their
effect on the performance on four NLP
tasks with both recurrent and convolutional
architectures. We confirm that pretrained
embeddings are a little better than
random initialization, especially considering
the speed of learning. On the other
hand, we do not see any significant difference
between various methods of random
initialization, as long as the variance
is kept reasonably low. High-variance initialization
prevents the network to use the
space of embeddings and forces it to use
other free parameters to accomplish the
task. We support this hypothesis by observing
the performance in learning lexical
relations and by the fact that the network
can learn to perform reasonably in its task
even with fixed random embeddings.

Slovní vektory jsou rozhraním mezi světem diskrétníh jednotek slov a spojitým světem neuronových sítí. V této práci prozkoumáme různé druhy jejich inicializace na čtyrech úlohách z oblasti zpracování přirozeného jazyka a dvou různých neuronových architekturách. Potvrdíme, že předtrénované embeddingy rychleji konvergují k řešení a že pro náhodnou inicializaci nezávisí tolik na odchylce.


Curriculum Learning and Minibatch Bucketing in Neural Machine Translation

Curriculum Learning a Minibatch Bucketing v Neuronovém Počítačovém Překladu

We examine the effects of particular orderings of sentence pairs on the on-line training of neural machine translation (NMT). We focus on two types of such orderings: (1) ensuring that each minibatch contains sentences similar in some aspect and (2) gradual inclusion of some sentence types as the training progresses
(so called “curriculum learning”). In our English-to-Czech experiments, the internal homogeneity of minibatches has no effect on the training but some of our “curricula” achieve a small improvement over the baseline.

Prozkoumali jsme vliv řazení vět pro online trénování neuronových sítí pro počítačová překlad. Práce má dvě části: řazení stejných příkladů v rámci minibatche a postupné zvyšování složitosti trénovacích dat (tzv. Curriculum learning). Výsledkem práce je, že homogenita minibatchí nemá na trénování velký vliv zato curriculum lepších větších výsledků.


LanideNN: Multilingual Language Identification on Character Window

LanideNN: mnohojazyčný rozpoznávač jazyků

In language identification, a common first step in natural language processing, we want to automatically determine the language of some input text. Monolingual language identification assumes that the given document is written in one language. In multilingual language identification, the document is usually in two or three languages and we just want their names. We aim one step further and propose a method for textual language identification where languages can change arbitrarily and the goal is to identify the spans of each of the languages. Our method is based on Bidirectional Recurrent Neural Networks and it performs well in monolingual and multilingual language identification tasks on six datasets covering 131 languages. The method keeps the accuracy also for short documents and across domains, so it is ideal for off-the-shelf use without preparation of training data.

V identifikaci jazyka, společný prvním krokem při zpracování přirozeného jazyka, chceme automaticky určit jazyk nějakého vstupního textu. Jednojazyčná identifikace jazyka předpokládá, že daný dokument je napsán v jednom jazyce. Ve vícejazyčné identifikaci jazyka, že dokument je obvykle ve dvou nebo ve třech jazycích a my jen chceme jejich jména. Naš cíl je ještě o krok dále a chceme navrhnout metodu pro identifikaci jazyků, kde se mohou jazyky libovolně měnit v textu a cílem je identifikovat rozpětí každého z jazyků. Naše metoda je založena na obousměrné rekurentních neuronových sítí, která funguje dobře v jednojazyčné a vícejazyčných identifikaci jazyka. Náš nástroj pokrývá 131 jazyků. Tato metoda zachovává přesnost i pro krátké dokumenty a napříč doménami, takže je ideální pro použití bez přípravy tréninkových dat.


CUNI NMT System for WAT 2017 Translation Tasks

CUNI NMT System pro WAT 2017 Translation Tasks

The paper presents this year's CUNI submissions to the WAT 2017 Translation Task focusing on the Japanese-English translation, namely Scientific papers subtask, Patents subtask and Newswire subtask. We compare two neural network architectures, the standard sequence-to-sequence with attention (Seq2Seq) (Bahdanau et al., 2014) and an architecture using convolutional sentence encoder (FBConv2Seq) described by Gehring et al. (2017), both implemented in the NMT framework Neural Monkey that we currently participate in developing.
We also compare various types of preprocessing of the source Japanese sentences and their impact on the overall results. Furthermore, we include the results of our experiments with out-of-domain data obtained by combining the corpora provided for each subtask.

Tento článek prezentuje letošní submission CUNI na WAT 2017 Translation Task zaměřující se na japonsko-anglický překlad, jmenovitě překlad vědeckých článků, překlad patentů a novinových článků. Porovnali jsme dvě neuronové architektury, samostatnou standardní sequence-to-sequence s attentionem a architekturu používající konvoluční encoder. Také jsme experimentovali s mnoho druhy předzpracování dat. Navíc přidáváme výsledky našich out-of-domain experimentů získaných kombinací dat.


Kolekcia pre viacjazyčné vyhľadávanie v českých nahrávkach korpusu Malach

The talk presents recently published Czech Malach Cross-lingual Speech Retrieval Test Collection.
The collection contains Czech recordings of the Visual History Archive which consists of the interviews with the Holocaust survivors. The archive consists of audio recordings, four types of automatic transcripts, manual annotations of selected topics and interviews' metadata. The archive totally contains 353 recordings and 592 hours of interviews.

V prezentácii popisujem nedávno publikovanú kolekciu pre viacjazyčné vyhľadávanie v českých nahrávkach korpusu Malach. Kolekcia obsahuje české nahrávky Archívu vizuálnej histórie, ktoré pozostávajú z rozhovorov s preživšími holokaustu. Archív pozostáva z audio nahrávok, štyroch typov automatických prepisov, manuálnych anotácií vybraných tém a ďalších metadát. Archív spolu obsahuje 353 nahrávok a 592 hodín rozhovorov.


In the talk, I describe basics of text mining.
First, I describe various applications of text mining. Then, I focus on basic methods frequently used in text mining applications. Last, we will use online tools to pre-process text and create a word cloud.

V prednáške popisujem základy dolovania informácií z textu. Najprv sa zameriavam na rôzne aplikácie dolovania informácií. Následne popíšem základné a najčastejšie používané metódy dolovania informácií z textu. Nakoniec použijeme niekoľko online nástrojov na spracovanie textu a vytvoríme reprezentáciu textu pomocou word cloudu.


Visual Descriptors in Methods for Video Hyperlinking

Využitie vizuálnych deskriptorov v metódach pre hyperlinking videa

In this paper, we survey different state-of-the-art visual processing methods and utilize them in hyperlinking. Visual information, calculated using Features Signatures, SIMILE descriptors and convolutional neural networks (CNN), is utilized as similarity between video frames and used to find similar faces, objects and setting. Visual concepts in frames are also automatically recognized and textual output of the recognition is combined with search based on subtitles and transcripts. All presented experiments were performed in the Search and Hyperlinking 2014 MediaEval task and Video Hyperlinking 2015 TRECVid task.

Článok uvádza prehľad rozličných metód pre spracovanie obrazových dát a porovnáva efektívnosť ich využitia v úlohe vyhľadávania hyperlinkov v archíve videí. Vizuálna informácia, ktorá sa získa pomocou metód Feature Signatures, SIMILE deskriptorov a konvolučných neurónových sietí sa využíva pri výpočte podobnosti snímkov vo videu a umožňuje tak vyhľadávanie podobných tvárí, objektov a pozadia. Vizuálne deskriptory sa tiež používajú pri rozpoznávaní objektov v snímkoch a tento a textový popis je možné ďalej kombinovať s textovým vyhľadávaním na základe automatických prepisov a titulkov. Prezentované experimenty boli robené vrámci benchmarkov MediaEval a TRECVid.

Petra Galuščáková
Michal Batko
Jan Čech
Jiří Matas
David Novák
Pavel Pecina


Česká kolekcia Malach pre testovanie multijazyčného vyhľadávania v hovorenej reči

The package contains Czech recordings of the Visual History Archive which consists of the interviews with the Holocaust survivors. The archive consists of audio recordings, four types of automatic transcripts, manual annotations of selected topics and interviews' metadata. The archive totally contains 353 recordings and 592 hours of interviews.

Archív obsahuje české nahrávky z Archívu vizuálnej histórie Malach, ktoré pozostávajú z rozhovorov so svedkami holokaustu. Archív pozostáva z audio nahrávok, štyroch typov automatických prepisov, manuálnych anotácií vybraných tém a ďalších metadát. Archív spolu obsahuje 353 nahrávok a 592 hodiín rozhovorov.

Petra Galuščáková
Pavel Pecina
Petra Hoffmannová
Jan Hajič
Pavel Ircing
Jan Švec


Elliptic Constructions: Spotting Patterns in UD Treebanks

Eliptické konstrukce: vzory pozorované v korpusech UD

The goal of this paper is to survey annotation of ellipsis in Universal Dependencies (UD) 2.0 treebanks. In the long term, knowing the types and frequencies of elliptical constructions is important for parsing experiments focused on ellipsis, which was also our original motivation. However, the current state of annotation is still far from perfect, and thus the main outcome of the present study is a description of errors and inconsistencies; we hope that it will help improve the future releases.

Cílem příspěvku je podat přehled anotace elipsy v korpusech Universal Dependencies (UD) 2.0. Z dlouhodobého hlediska je znalost typů a četností eliptických konstrukcí užitečná pro experimenty se syntaktickou analýzou zaměřené na elipsu; to byla také naše původní motivace. Nicméně se ukazuje, že současný stav anotace ještě zdaleka není dokonalý, a tudíž hlavním výstupem naší studie je přehled a popis anotačních chyb či nekonzistencí; doufáme, že tím přispějeme ke zlepšení budoucích verzí korpusů UD.


A new automatic morphological analysis of Czech

Nová automatická morfologická analýza češtiny

A detailed morphological description of word forms in any language represents one of the necessary conditions of a successful automatic processing of linguistic data.
The aim of this paper is to present the project of a new description of Czech morphology, especially planned changes in the tagset. The key changes are as follows: 1) unambiguous description of variants; 2) concept of a multiple lemma;3) revision of part-of-speech definitions.

Podrobný morfologický popis slovních tvarů v jakémkoli jazyce představuje jednu z podmínek úspěšného automatického zpracování jazykových dat. Cílem této práce je představit projekt nového popisu české morfologie, zejména plánovaných změn v morfologickém značkování. Klíčové změny jsou následující: 1) jednoznačný popis variant; 2) koncept vícenásobného lemmatu; 3) revize definic slovních druhů.

Klára Osolsobě
Jaroslava Hlaváčová
Vladimír Petkevič
Martin Svášek
Josef Šimandl


Analysing Oral Histories: Social Roles and Narrative Self-Regulation in Holocaust Survivors’ Testimonies

Analýza orální historie: Sociální role a narativní seberegulace ve svědectvích přeživších holocaust

The oral history (OH) interview is a generally accepted method of obtaining verbal accounts of past events from eyewitnesses. Contemporary OH draws from several scientific disciplines and considers various philosophical and methodological issues. The original approach to OH as the “transparent” locus of information is no longer accepted, and researchers acknowledge that the interview unfolds in a specific time and place, and between particular people. Inevitably, OH interview is a speech exchange nested in situational and interactional context, with participants attempting (among other things) to collaboratively produce a comprehensible account of the past. One of the goals of the interview is to elicit storytelling, often for an imagined audience. Recordings of this specific type of interaction can be subjected to different kinds of analysis.

Text představuje možné analytické přístupy k orálněhistorickému interview s ohledem na jeho situovaný a interakční rozměr.


Sociology of oral history: USC Shoah Foundation's Visual History Archive in Malach Center for Visual History

Sociologie (a) orální historie: Archiv vizuální historie USC Shoah Foundation dostupný v Centru vizuální historie Malach při Univerzitě Karlově

This article describes the USC Shoah Foundation's Visual History Archive, and illustrates its utility for doing sociology through two case studies based on student's seminar works.

Bezprecedentní možnosti archivace a sdílení informací vedou v naší současné společnosti k tomu, že se obraz minulosti zachycené ve vzpomínkách a vyprávění přímých pamětníků stává důležitým zdrojem našeho (laického i odborného) vědění o této minulosti. S ohledem na rostoucí počet archivovaných orálněhistorických interview (dále OHI), často dostupných na internetu či na specializovaných pracovištích, lze orální historii využít jako specifický zdroj dat, analyzovatelných (mimo jiné) i ze sociologického hlediska. Bližší představení jednoho z takových zdrojů, konkrétně Archivu vizuální historie USC Shoah Foundation, přístupného v Praze prostřednictvím Centra vizuální historie Malach, je hlavním cílem tohoto textu.

Jakub Mlynář
Jiří Kocián
Karolína Bukovská
Lenka Chudomelová


Extracting a Lexicon of Discourse Connectives in Czech from an Annotated Corpus

Extrakce slovníku diskurzních konektorů v češtině z anotovaného korpusu

We discuss a process of exploiting a large corpus
manually annotated with discourse relations – the Prague Discourse Treebank 2.0 – to create a lexicon of Czech discourse connectives (CzeDLex). We present theoretical aspects of the project and a technical solution based on the (XML-based) Prague Markup Language that allows for an efficient incorporation of the lexicon into the family of Prague treebanks.

Zabýváme se využitím velkého korpusu (Pražského diskurzního korpusu 2.0) s ručně anotovanými diskurzními vztahy pro vytvoření slovníku českých diskurzních konektorů (CzeDLex). Popisujeme teoretické aspekty projektu a technické řešení založené na Prague Markup Language, které umožňuje efektivní začlenění slovníku do rodiny pražských korpusů.

Pavlína Synková
Magdaléna Rysová
Lucie Poláková
Jiří Mírovský


Online Software Components for Accessing Derivational Networks

Webové nástroje pro práci s derivačními sítěmi

This paper presents two  studies on software tools developed for lexical derivationa databases such as  DeriNet; the tools under study serve for querying and visualizing derivational trees contained in the database.

Článek popisuje dvě studie zaměřené na softwarové nástroje vyvinuté pro derivační sítě jako např. DeriNet; jde o nástroje určené pro vyhledávání a vizualizaci derivačních stromů.


DeriNet is a lexical network which models derivational relations in the lexicon of Czech. Nodes of the network correspond to Czech lexemes, while edges represent derivational relations between a derived word and its base word. The present version, DeriNet 1.5, contains 1,011,965 lexemes (sampled from the MorfFlex dictionary) connected by 785,543 derivational links. Besides several rather conservative updates (such as newly identified prefix and suffix verb-to-verb derivations as well as noun-to-adjective derivations manifested by most frequent adjectival suffixes), DeriNet 1.5 is the first version that contains annotations related to compounding (compound words are distinguished by a special mark in their part-of-speech labels).

DeriNet je lexikální síť modelující derivační vztahy v češtině. Uzly odpovídají lexémům, hrany odpovídají slovotvorným derivacím. Současná verze, DeriNet 1.5, byla oproti předcházejícím verzím obohacena například o velké množství předponových i příponových derivací sloveso-sloveso a o vybrané typy příponových derivací substantivum-adjektivum. DeriNet 1.5 je první verzí, která obsahuje anotaci související s dalším slovotvorným typem - kompozicí.

Jonáš Vidra
Zdeněk Žabokrtský
Magda Ševčíková
Adéla Kalužová
Nikita Mediankin
Milan Straka


Converting Latin Treebank Data into an SQL Database for Query Purposes

Konverze latinského treebanku do databáze SQL pro účely dotazování

This paper describes how to turn a Latin dependency treebank into queryable information so that it can be browsed online using a tree query engine and its web interface. The annotation layers of the treebank are first introduced, then the query system architecture is detailed, and finally the way the treebank is converted into a relational database architecture is described.

Článek popisuje postup transformace latinského závislostního treebanku do dotazovatelné podoby, aby mohl být prohlížen online pomocí dotazovacího nástroje nad závislostními stromy. Nejdříve jsou představeny anotační vrstvy, poté architektura dotazovacího nástroje a nakonec postup konverze do relační databáze.

Christophe Onambélé
Matyáš Kopp
Marco Passarotti
Jiří Mírovský


The distribution of prefixes in the Czech accentual syllabic trochee

Distribuce předpon v českém sylabotónickém trocheji

The article deals with the use of prefixes in the Czech accentual syllabic trochee.
We test a hypothesis raised by Miroslav Červenka, Květa Sgallová, and Petr Kaiser which states
that some authors in the 19 th century used prefixes to moderate rhythmical irregularities. In our
analysis – based on automatic prefix recognition in a large body of poetic texts from the Corpus
of Czech Verse – we observe a clear tendency in the work of some authors to employ prefixes in
such contexts with a frequency significantly higher than would be expected merely by chance.
Furthermore, we observe this technique to be very common in the first half of the 19 th century,
but to gradually disappear in later works.

Článek se zabývá užíváním předpon v českém sylabickém trocheji.Testujeme hypotézu, kterou nastolili Miroslav Červenka, Květa Sgallová a Petr Kaiser, která uvádí, že někteří autoři v 19. století používali předpony ke zmírnění rytmických nepravidelností. V naší analýze - založené na automatickém rozpoznávání předpony ve velkém souboru poetických textů z Korpusu českého verše - pozorujeme jasnou tendenci v práci některých autorů používat předpony v takových kontextech s četností výrazně vyšší, než by se dalo očekávat pouze náhodou. Dále pozorujeme, že tato technika je velmi běžná v první polovině 19. století, ale v pozdějších pracích postupně vymizela.

Petr Plecháč
Jaroslava Hlaváčová
Kristýna Merthová
Robert Kolár


Coreference and discourse markers are strong cohesive devices providing textual coherence. In my presentation, I discuss the interconnections between them. I present and briefly classify corpora annotated with coreference and discourse relations, with special focus on corpora that have both types of annotation, as well as linguistic research on the topic. Furthermore, I will describe some structural and diachronic coreference-to-discourse transitions and support them with examples from English, German and Czech.

V teto prednasce provadim srovnani korpusu anotovanych na koreferencni a diskurzni vztahy v ruznych jazycich. Popisuju diachronni a synchronni prechody mezi diskurzem a koreferenci, na prikladech z anglictiny, nemciny a cestiny.


Discourse and Coherence: A Complex Approach to Textual Phenomena in the Prague Dependency Treebank

Text a koherence: Komplexní přístup k textovým jevům v PDT

The aim of the lecture is to present the research in the field of text coherence in the Prague Dependency Treebank.

Cílem přednášky je souhrnně představit výzkum výstavby textu, který probíhá v Ústavu formální a aplikované lingvistiky MFF UK.

В докладе представлен комплексный подход к текстовым явлениям, в том виде как он применяется в Пражской школе формальной и прикладной лингвистики Карлова университета.


Transformations in Discourse: Interplay between DRDs, Coreference and Bridging

Transformace v diskurzu: Souhra DRD, koreference a asociacni anafory

The purpose of the present study is to analyse the interplay between connectives or
discourse-relational devices (DRDs) and other discourse-related phenomena, i.e. coreference and
bridging in German, English and Czech. DRDs express logico-semantic relations between
propositions, such as contrast, time, addition and others). Coreference serves the task of linking
identical referents and events (i.e. complex anaphors), whereas bridging expresses near identical
relations between referents, linking them with semantic meanings. All these devices contribute to
the construction of meaningful discourse. These phenomena exist in all the three languages under
analysis. However, their realisations depend on the different preferences these languages have (both systemic and context-based). The knowledge of these preferences is important for translation, as
translators have to be aware of the full range of linguistic options that exist in both source and
target language. We aim at describing these preferences for German, English and Czech. For these,
different transfer patterns will be extracted from a parallel corpus.

Srovnavame nemcinu, cestinu a anglictinu vzhledem k tomu, jak se v cestine a anglictine odrazi lokalni adverbia (typ "damit"). Vyzkum provadime na paralelnich TED-talks.

Anna Nedoluzhko
Ekaterina Lapshinova-Koltunski
Kerstin Anna Kunz


Comparable coreference expressions in parallel Czech, English,  Polish and Russian data

Srovnani koreferencnich vyrazu v paralelnich Cesko-Anglisko-Polsko-Ruskych textech

The subject of our analysis are cohesive devices important for discourse analysis in three Slavonic languages vs. English based on translated texts, particularly coreferential expressions such as finite and infinite constructs e.g. relative clauses, participial, possessive and correlative constructions with a demonstrative pronoun. A special point of our analysis is comparison of pro-drop qualities of three Slavonic languages in comparison with English.

Srovnavame koreferencni vyrazy v paralelnich textech. Jde nam o vedlejsi vety vs. neosobni klauzy, korelativni vyrazy a pro-drop kvality v cestine, polstine, rustine a anglictine.


A start is always a start of something: Unexpressed anaphoric relations as a cohesive device in Czech

Zacatek je vzdy zacatek neceho: Nevyjadrene anaforicke vztahy jako prostresek koheze v cestine

In our contribution we analyse second arguments in sentences with verbonominal predicate in the initial sentence position. Our material
provides evidence that the cohesion in these
cases is not given by semantics of these words only, but it is also determined by syntactic features, such as relational (valency) properties of nouns and adjectives and their initial position in the sentence. Operating together, these two factors represent strong means of text cohesion. In our contribution, we document and analyse this cohesive device in Czech on the data from the Prague Dependency Treebank, a large-scale newspaper corpus, annotated with morphological,
shallow and underlying syntactic information, as well as with coreference, discourse and bridging
relations.

Analýza jmenných přísudků v predikátech jmenných se sponou v pozici na začátku věty. V naší analýze hledáme pravidelné vzorky v konstrukcích s nezákladním slovosledem, které slouží jako prostředek koherence textu.

Anna Nedoluzhko
Šárka Zikánová
Eva Hajičová


A popularizing talk about computational linguistics, its subtasks and problems which are being solved.

Popularizační přednáška o výpočetní lingvistice, jejích podoblastech a řešených problémech.


On the Potential of Fully Convolutional Neural Networks for Musical Symbol Detection

Potenciál plně konvolučních sítí pro detekci znaků hudební notace

Musical symbol detection on the page is an out- standing Optical Music Recognition (OMR) subproblem. We propose using a fully convolutional segmentation network to produce high-quality pixel-wise symbol probability masks. Experiments on notehead detection show a very promising detection f-score of 0.98 with elementary detection methods.

Detekce jednotlivých symbolů na stránce hudební notace je jedním ze zbývajících nevyřešených podproblémů rozpoznávání not. Navrhujeme použít plně konvoluční segmentační neuronovou síť, která produkuje vysoce kvalitní pravděpodobnostní masky přes pixely. Pokusy na detekci notových hlaviček nad těmito maskami dosahují f-score 0.98 i při použití pouze elementárních detektorů.

Matthias Dorfer
Jan Hajič, jr.
Gerhard Widmer


ParaDi 2.0: Slovník jednoslovných parafrází komplexních predikátů

ParaDi 2.0. is a dictionary of single verb paraphrases of Czech verbal multiword expressions - light verb constructions and idiomatic verb constructions.

Slovník jednoslovných parafrází slovesných idiomatických konstrukcí a víceslovných predikátů s lehkými slovesy.


ParaDi: Dictionary of Paraphrases of Czech Complex Predicates with Light Verbs

ParaDi: Slovník parafrází českých komplexních predikátů s lehkými slovesy

We present a new freely available dictionary of paraphrases of Czech complex predicates with light verbs, ParaDi. Candidates for single predicative paraphrases of selected complex predicates have been extracted automatically from large mono-lingual data using word2vec. They have been manually verified and further refined. We demonstrate one of many possible applications of ParaDi in an experiment with improving machine translation quality.

V této práci prezentujeme nový, volně dostupný slovník parafrází českých komplexních predikátů s lehkými slovesy ParaDi. Kandidáti na jednoslovné predikativní parafráze byli vybráni automaticky z velkých jednojazyčných dat pomocí word2vecu. Dále byli manuálně ověřeni. V experimentu s vylepšováním kvality strojového překladu ukazujeme jednu z mnoha praktických aplikací ParaDi.


ParaDi: Slovník parafrází českých komplexních predikátů s kategoriálním slovesem

The ParaDi dictionary provides single verb paraphrases of Czech light verb constructions obtained automatically and manually verified, refined and specified with syntactic and semantic properties.

Slovník ParaDi poskytuje jednoslovné parafráze komplexních predikátů v češtině, které byly získány automaticky a dále manuálně ověřeny a obohaceny o sémantické a syntaktické rysy.


Task3 Patient-Centred Information Retrieval: Team CUNI

Úloha 3: vyhledávání informací se zaměřením na uživatele: Tým Univerzity Karlovy

In this paper we present our participation as the team of the Charles University at Task3 Patient-Centred Information Retrieval in CLEF eHealth Evaluation lab 2017

Zpráva o účasti týmu Univerzity Karlovy v soutěži vyhledávání zdravotních informací CLEF eHealth Evaluation Lab 2017.


(Not Just) An Empirical Comparison of NMT Toolkits

(Nejen) Empirické srovnání nástrojů pro NMT

A talk at an in-house workshop of DGT "Smart Select" on neural MT toolkits and on the difficulties of NMT training.

Příspěvek na interním workshopu DGT "Smart Select" o nástrojích pro neuronový strojový překlad i o potížích při trénování modelů.


Chytání padajícího nože v neuronovém strojovém překladu

The talk has highlighted some aspects of the frantic development in the area of neural machine translation and suggested some ways of keeping the research directions stable in the quickly changing environments.

Příspěvek představil některé aspekty překotného vývoje na poli neuronového strojového překladu a naznačil, jak v prudce se měnícím prostředí udržet stabilní směr výzkumu.


A popularizing summary of the most recent developments of machine translation -- the basics of neural MT.

Popularizující souhrn nejnovějšího vývoje ve strojovém překladu -- základy neuronového MT.


A talk describing neural MT in general and our first experiments with neural MT for IBM.

Příspěvek popisující neuronový přístup ke strojovému překladu obecně a první experimenty s neuronovým překladem pro IBM.


A summary of the development of neural MT at Charles University.

Shrnutí stavu vývoje neuronových překladačů na UK MFF v rámci projektu QT21.


A quick introduction to prospective students of Computer Science and Computational Linguistics with recent advances in machine translation.

Seznámení zájemců o obor informatiky a počítačové lingvistiky s nejnovějším vývojem na poli strojového překladu.


A popularizing talk, a brief summary of the history of MT: phrase-based, deep-syntactic and their combination.

Popularizační přednáška shrnující stručnou historii strojového překladu: frázový, hloubkový a jejich kombinaci.


Machine Wikipedist? Machine Translation Is Just the Beginning

Strojový wikipedista? Strojovým překladem to začíná

The last two years of machine translation have seen a tremendous change of the technology. MT is still not reliable but it is close to match human translators' quality.

V posledních dvou letech strojový překlad prošel převratnou změnou technologie. Spolehlivý není stále, ale kvalitou se lidem vyrovná. Popíšeme si stav strojového překladu dnes (za půl roku to bude už zas jinak) a naznačíme, co dalšího může tzv. hluboké učení do zpracování textu přinést a jak to může ovlivnit budoucí roli wikipedistů.


Introduction to neural machine translation not only for for corpus linguists

Úvod do neuronového strojového překladu nejen pro korpusové lingvisty

The talk presents deep learning, i.e. machine learning carried out by neural networks. Deep learning has started a revolution in many areas of automatic processing of signals, and fully changed the methods used in machine translation in 2016.

V přednášce představím tzv. hluboké učení, tj. strojové učení realizované pomocí neuronových sítí. Hluboké učení spustilo revoluci v mnoha oblastech automatického zpracování signálu a zhruba od roku 2016 zcela změnilo techniky užívané ve strojovém překladu. Podrobně si projdeme, jak se dnes strojový překlad pomocí neuronových sítí modeluje, jak dobře překládá a jakých chyb se dopouští.


CUNI Submission in WMT17: Chimera Goes Neural

Příspěvek UK do WMT17: Chimera se stává neuronovou

This paper describes the neural and
phrase-based machine translation systems
submitted by CUNI to English-Czech
News Translation Task of WMT17. We
experiment with synthetic data for training
and try several system combination techniques,
both neural and phrase-based. Our
primary submission CU-CHIMERA ends
up being phrase-based backbone which incorporates
neural and deep-syntactic candidate
translations.

Tento článek popisuje neuronové systémy a systémy založené na frázovém překladu, kterými UK přispělo do anglicko-českého News Translation Task v WMT17. Experimentujeme se syntetickými daty pro trénování a zkoušíme několik technik na kombinaci systémů, jak neuronových, tak frázových. Náš hlavní příspěvek CU-CHIMERA využívá frázových překlad s využitím neuronových a hluboce-syntaktických navrhovaných překladů

Ondřej Bojar
Tom Kocmi
David Mareček
Roman Sudarikov
Dušan Variš


Findings of the 2017 Conference on Machine Translation (WMT17)

Výsledky konference o strojovém překladu (WMT17)

This paper presents the results of the
WMT17 shared tasks, which included
three machine translation (MT) tasks
(news, biomedical, and multimodal), two
evaluation tasks (metrics and run-time estimation
of MT quality), an automatic
post-editing task, a neural MT training
task, and a bandit learning task.

Článek shrnuje výsledky soutěžních úloh konference WMT17: tři překladové úlohy (novinové texty, biomedicínské texty a multimodální překlad), dvě úlohy v automatickém hodnocení (metriky a odhad kvality MT), automatickou korekturu, úlohu v trénování neuronových MT systémů a učení metodou jednorukého bandity.

Ondřej Bojar
Rajen Chatterjee
Christian Federmann
Yvette Graham
Barry Haddow
Shujian Huang
Matthias Huck
Philipp Koehn
Qun Liu
Varvara Logacheva
Christof Monz
Matteo Negri
Matt Post
Raphael Rubino
Lucia Specia
Marco Turchi


Results of the WMT17 Metrics Shared Task

Výsledky úlohy hodnocení kvality strojového překladu WMT17 Metrics Shared Task

This paper presents the results of the
WMT17 Metrics Shared Task. We asked
participants of this task to score the outputs
of the MT systems involved in the
WMT17 news translation task and Neural
MT training task. We collected scores
of 14 metrics from 8 research groups. In
addition to that, we computed scores of
7 standard metrics (BLEU, SentBLEU,
NIST, WER, PER, TER and CDER) as
baselines. The collected scores were evaluated
in terms of system-level correlation
(how well each metric’s scores correlate
with WMT17 official manual ranking of
systems) and in terms of segment level
correlation (how often a metric agrees with
humans in judging the quality of a particular
sentence).
This year, we build upon two types of
manual judgements: direct assessment
(DA) and HUME manual semantic judgements.

Článek představuje výsledky soutěže v automatickém hodnocení kvality překladu WMT17 Metrics Shared Task.


Results of the WMT17 Neural MT Training Task

Výsledky úlohy WMT17 pro trénink systémů pro strojový překlad

This paper presents the results of the WMT17 Neural MT Training Task.

The objective of this task is to explore the methods of training a fixed neural architecture, aiming primarily at the best translation quality and, as a secondary goal, shorter training time.

Task participants were provided with a complete neural machine translation system, fixed training data and the configuration of the network.

The translation was performed in the English-to-Czech direction and the task was divided into two subtasks of different configurations - one scaled to fit on a 4GB and another on an 8GB GPU card.

We received 3 submissions for the 4GB variant and 1 submission for the 8GB variant; we provided also our run for each of the sizes and two baselines.

We translated the test set with the trained models and evaluated the outputs using several automatic metrics.

We also report results of the human evaluation of the submitted systems.

Tento článek představuje výsledky úlohy WMT17 pro trénink neuronového strojového překladu.

Cílem této úlohy je prozkoumat metody výcviku předem zvolené neuronové architektury, zaměřené především na nejlepší kvalitu překladu a jako sekundární cíl kratší čas trénování.

Účastníci měli k dispozici kompletní systém pro neuronový strojový překlad, výchozí parametry trénování a konfiguraci sítě.

Překlad byl proveden v anglicko-českém směru a úkol byl rozdělen na dvě podskupiny s různými konfiguracemi - jedna byla upravena tak, aby se vešla na 4GB a druhá na 8GB GPU kartu.

Obdrželi jsme 3 řešení pro variantu 4 GB a 1 řešení pro variantu 8 GB; také jsme poskytli výsledky nášeho běh pro každou velikost jako baseline.

Přeložili jsme zkušební sadu netrénovanými modely a výsledky vyhodnotili pomocí několika automatických metrik.

Uvádíme také výsledky lidského hodnocení předložených systémů.

Ondřej Bojar
Jindřich Helcl
Tom Kocmi
Jindřich Libovický
Tomáš Musil


Experimenty s neuronovým překladem na MFF

We presented the current state of development and experiments with neural MT at Charles University within the project QT21.

Příspěvek přestavil aktuální stav vývoje a experimentů s neuronovými překladači na UK MFF v rámci projektu QT21.

Ondřej Bojar
Jindřich Helcl
Jindřich Libovický
Tom Kocmi
David Mareček


UFAL Medical Corpus is a collection of parallel corpora assembled for the purposes of the EU projects KConnect, Khresmoi and HimL aiming at more reliable machine translation of medical texts.

UFAL Medical Corpus je sbírka paralelních korpusů,
které byly shromážděny pro účely EU projektů KConnect, Khresmoi a HimL s cílem dosáhnout spolehlivějšího strojového překladu medicínských textů.


MorphInd is a robust fínite state morphology tool for Indonesian, which handles
both morphological analysis and lemmatization for a given surface word form so that it is
suitable for further language processing.

MorphInd je robustní morfologický nástroj, který dané povrchové slovní formě přiřazuje její morfologickou značku a příslušné lemma, a umožňuje tak další automatické zpracování.


The chapter describes the history and the linguistic theory behind the Prague Dependency Treebank. It also mentions technical solutions for the creation and use of the treebank.

Kapitola popisuje historii, základní východiska a anotační schéma Pražského závislostního korpusu z formálně-lingvistického i technického hlediska.

Jan Hajič
Eva Hajičová
Marie Mikulová
Jiří Mírovský


Phraseology in two Slavic valency dictionaries: limitations and perspectives

Frazeologie ve dvou slovanských valenčních slovnících: omezení a perspektivy

Phraseological components of valency dictionaries for two West Slavic languages are presented, namely, of the PDT-Vallex dictionary for Czech and of the Walenty dictionary for Polish. Both dictionaries are corpus-based, albeit in different ways. Both are machine readable and employable by syntactic parsers and generators. The paper compares the expressive power of the phraseological subformalisms of these dictionaries, discusses their limitations and makes recommendations for their possible extensions, which can be possibly applied also to other valency dictionaries with rich phraseological components.

Pro dva valenční slovníky slovanckých jazyků, PDT-Vallex pro češtinu a Walenty pro polštinu článek porovnává jejich frazeologickou část. Oba slovníky jsou založené na korpusu, i když se liší jak způsob propojení, tak technické řešení, ovšem oba jsou dostupné elektronicky ve standardnim formátu. V článku se porovnávají frazeologická hesla, jejich formální popis a možnosti a omezení. V závěru se doporučují rozšíření těchto komponent pro obecnější pokrytí i pro další jazyky.

Adam Przepiórkowski
Jan Hajič
Elżbieta Hajnicz
Zdeňka Urešová


Grammaticalization and Lexicalization in the Slavic Languages

In this contribution the review of all contributions presented on the conference of The Committee of Grmmatical Structure of Slavonic Languages hold at Sapporo university in Japan and printed by the famous Otto Sagner Publishing House (Muenchen - Berlin - Washington)is included.

Příspěvek obsahuje recenze všech referátů přednesených na konfrenci Komise pro gramatickou stavbu slovanských jazyků konané v listopadu 2011 v Sapporu a vydaných v prestižním nakladatelství Otto Sagner (Muenchen -Berlin - Washington).


On Marginal Infinitive Constructions (Particulary in Czech)

K marginálním infinitivním konstrukcím (zejména v češtině)

In the first section of the article a non-standard behaviour of several Czech control verbs is
analyzed and illustrated by examples from the Czech National Corpus. In the second part three
types of Czech syntactic constructions based on the verbs mít [to have] and být [to be] connected
with infinitive are presented and their position in the grammatical description of language.

Ve stati je analyzován status některých netypických českých infinitivních konstrukcích (konstrukce s "dvojím" akuzativem), dále se slovesy mít a být (modální existenční konstrukce, tzv. absentiv a kauzální rezultát). Uvedené konstrukce se nepokládají za plně gramatikalizované morfologické kategorie.


From Valency of Verbs to Valency of Nouns and Adjectives

Od valence slovesa k valenci substantiv a adjektiv

In this article the application of the criteria used for the determination of valency of verbs is presented for the noun valency as well as for the adjective valency. The validity of the basic criteria is confirmed, the specificity of the valency of other parts of speech is exemplified.

Ve stati se ověřuje platnost kritérií používaných pro stanovení valence při popisu valence substantiv a adjektiv. Poukazuje se na kritéria použitelná obecně a na specificitu valence u dalších slovních druhů.


A Glimpse Under the Surface: Language Understanding May Need Deep Syntactic Structure

Pohled pod povrch: Porozummění jazyku m§že vyžadovat hloubkovou syntaktickou strukturu

Natural language understanding requires representation of the sentence on the deep syntactic layer.

Porozumění přirozenému jazyku vyžaduje reprezentaci hloubkové struktury věty. Argumentem může být zachycení aktuálního členění a povrchových elips.


Semantic Relevance of Information Structure and its Consequences for Machine Translation

Sémantcká relevance informační struktury a její důsledky pro strojový překlad

Analysis of the information structure of the sentence from the point of view of its semantic relevance and importance for machine translation.

Analýza aktuálního členění věty z hlediska její sémantické relevance a důležitosti pro strojový překlad.


A collection of selected papers divided into five parts: 1. Valency, 2. Topic-Focus Articulation (TFA), Negation and Presupposition, 3. TFA in the annotated treebank of Czech, 4. Discourse structure and analysis, 5. Remarks on some related treatments of these issue in linguistic writings abroad

Soubor vybraných statí rozdělený do pěti oddílů, a to 1. Valence, 2. Aktuální členění, negace a presupozice, 3. Zachycení AČV v anotovaném  počítačovém korpusu češtiny, 4. Struktura a analýza diskurzu, 5. Rozbor některých zaharničních přístupů k uvedeným otázkám


Syntax-Semantics Interface: A Plea for a Deep Dependency Sentence Structure

Rozhraní mezi syntaxí a sémantikou: Argumenty pro hloubkovou závislostní strukturu

A survey of arguments in favour of the study of the deep sentence structure on the basis of dependency grammar, illustrated by the annotation of the Prague Dependency Treebank

Souhrn argumentů pro studium a odpovídající anotaci korpusu z hlediska hloubkové syntaktické struktury založené na závislostní gramatice


In the linguistic literature, the term theme has several interpretations, one of which relates to discourse analysis and two others to sentence structure. In a more general (or global) sense, one may speak about the theme or topic (or topics) of a text (or discourse), that is, to analyze relations going beyond the sentence boundary and try to identify some characteristic subject(s) for the text (discourse) as a whole. This analysis is mostly a matter of the domain of information retrieval and only partially takes into account linguistically based considerations. The main linguistically based usage of the term theme concerns relations within the sentence. Theme is understood to be one of the (syntactico-) semantic relations and is used as the label of one of the arguments of the verb; the whole network of these relations is called thematic relations or roles (or, in the terminology of Chomskyan generative theory, theta roles and theta grids). Alternatively, from the point of view of the communicative function of the language reflected in the information structure of the sentence, the theme (or topic) of a sentence is distinguished from the rest of it (rheme, or focus, as the case may be) and attention is paid to the semantic consequences of the dichotomy (especially in relation to presuppositions and negation) and its realization (morphological, syntactic, prosodic) in the surface shape of the sentence.

Kapitola o informační struktuře ("tématu") v prestižní encyklopedii jaykovědy vydané Oxford University Press v březnu 2017, pouze online.


What can we learn from J.-M.Zemb about negation and information structure: A view from Prague

Co se můžeme naučit od J.-M.Zemba o negaci a informační struktuře: pohled z Prahy

A critical analysis of the studies of J.-M. Zemb on the semantics of negation and on information structure of the sentence from the point of view of Praguian linguistic theory.

Kritický rozbor studií J.-M.Zemba o sémantice záporu a o informační struktuře věty z pohledu pražské školy.


Presentation of the goals, progress, and results of the KConnect project at the Days of H2020 at CU.

Prezentace cílů, průběhu a výsledků projektu KConnect na Dnech H2020 na UK.


Medical-domain Machine Translation in KConnect

Medicínský strojový překlad v projektu KConnect

Achievements in Medical-domain Machine Translation within the KConnect project

Úspěchy v oblasti medicínského strojového překladu v projektu KConnect


Combining Textual and Speech Features in the NLI Task Using State-of-the-Art Machine Learning Techniques

Kombinace textových a mluvených příznaků v úloze NLI pomocí moderních metod strojového učení

We summarize the involvement of our CEMI team in the Native Language Identification shared task, NLI Shared Task~2017, which deals with both textual and speech input data.

We submitted the results achieved by using three different system architectures; each of them combines multiple supervised learning models trained on various feature sets.

As expected, better results are achieved with the systems that use both the textual data and the spoken responses. Combining the input data of two different modalities led to a rather dramatic improvement in classification performance.

Our best performing method is based on a set of feed-forward neural networks whose hidden-layer outputs are combined together using a softmax layer. We achieved a macro-averaged F1 score of 0.9257 on the evaluation (unseen) test set and our team placed first in the main task together with other three teams.

Shrnujeme zapojení našeho týmu CEMI do soutěže s úlohou rozpoznávání rodného jazyka autora, tzv. NLI Shared Task~2017, pro kterou byla k dispozici textová a mluvená data.

Představujeme výsledky, kterých jsme dosáhli použitím tří různých architektur, kde každá z nich kombinuje modely natrénované nad různými příznaky.

Jak jsme očekávali, lepších výsledků dosáhly systémy, které kombinují textové a mluvené příznaky. Dokonce bylo dosaženo dramatického zlepšení.

Naš nejlepší systém je založen na feed-forward neural networks, jejichž výstupy skryté vrstvy jsou kombinovány pomocí softmax. Dosáhli jsme úspěšnosti 0.9257 macro-averaged F1 na evaluační testovací sadě a náš tým spolu s dalšími třemi obsadil první místo v hlavní soutěži.

Pavel Ircing
Jan Švec
Zbyněk Zajíc
Barbora Hladká
Martin Holub