An Advanced Profile Hidden Markov Model for Malware Detection

The rapid growth of malicious software (malware) production in recent decades and the increasing number of threats posed by malware to network environments, such as the Internet and intelligent environments, emphasize the need for more research on the security of computer networks in information security and digital forensics. The method presented in this study identifies “species” of malware families, which are more sophisticated, obfuscated, and structurally diverse. We propose a hybrid technique combining aspects of signature detection with machine learning-based methods to classify malware families. The method is carried out by utilizing Profile Hidden Markov Models (PHMMs) on the behavioral characteristics of malware species. This paper explains the process of modeling and training an advanced PHMM using sequences obtained from the extraction of each malware family’s paramount features, and the canonical sequences created in the process of Multiple Sequence Alignment (MSA) production. Due to the fact that not all parts of a file are malicious, the goal is to distinguish the malicious portions from the benign ones and place more emphasis on them in order to increase the likelihood of malware detection by having the least impact from the benign portions. Based on “consensus sequences”, the experimental results show that our proposed approach outperforms other HMM-based techniques even when limited training data is available. All supplementary materials including the code, datasets, and a complete list of results are available for public access on the Web.

Rychlý růst tvory škodlivého softwaru (malware) v posledním tesetiletí a počet útoků způsobených malwarem na síťová prostředí, jako je Internet, dokládá potřebu výzkumu bezpečnosti počítačových sítí a digitálně zaměřené forenzní vědy. V naší studii překládáme metodu, které identifikuje "druhy" rodin malware, které jsou pokročilé, záměrně matoucí a strukturně pestré. Navrhujeme hybridní techniku, která při klasifikaci malwarových rodin kombinuje detekci signatur s metodami založenými na strojovém učení. Metoda využívá profilové skryté markovské modely (PHMM) k behaviorálnímu popisu malwarových druhů. Tento článek vysvětluje proces modelování a trénování vícečetného zarovnání sekvencí. Vzhledem k tomu, že ne všechny části souboru jsou škodlivé, je cílem rozlišit škodlivé a neškodné části. Zaměřením na škodlivé části roste šance na detekci malwaru. Experimentální výsledky ukazují, že svou úspěšností naše metoda překonává ostatní přístupy založené na skrytých markovských řetězcích. Všechny doprovodné materiály k textu, zejména zdrojové kódy, datové sady a kompletní výsledky, jsou veřejně dostupné na Internetu.


Evaluating the state-of-the-art of End-to-End Natural Language Generation: The E2E NLG challenge

Evaluace současných nejlepších end-to-end systémů pro generování přirozeného jazyka: E2E NLG Challenge

This paper provides a comprehensive analysis of the first shared task on End-to-End Natural Language Generation (NLG) and identifies avenues for future research based on the results. This shared task aimed to assess whether recent end-to-end NLG systems can generate more complex output by learning from datasets containing higher lexical richness, syntactic complexity and diverse discourse phenomena. Introducing novel automatic and human metrics, we compare 62 systems submitted by 17 institutions, covering a wide range of approaches, including machine learning architectures – with the majority implementing sequence-to-sequence models (seq2seq) – as well as systems based on grammatical rules and templates. Seq2seq-based systems have demonstrated a great potential for NLG in the challenge. We find that seq2seq systems generally score high in terms of word-overlap metrics and human evaluations of naturalness – with the winning Slug system (Juraska et al., 2018) being seq2seq-based. However, vanilla seq2seq models often fail to correctly express a given meaning representation if they lack a strong semantic control mechanism applied during decoding. Moreover, seq2seq models can be outperformed by hand-engineered systems in terms of overall quality, as well as complexity, length and diversity of outputs. This research has influenced, inspired and motivated a number of recent studies outwith the original competition, which we also summarise as part of this paper.

Tento článek představuje podrobnou analýzu první soutěže v end-to-end generování přirozeného jazyka (NLG) a na základě jejích výsledků naznačuje směr budoucího výzkumu. Cílem této soutěže úkolu bylo posoudit, zda moderní end-to-end systémy NLG mohou generovat komplexnější výstup, jsou-li natrénovány z dat lexikálně bohatších, syntakticky složitějších a zahrnujících různé diskurzní jevy. S použitím nových automatických a lidských metrik porovnáváme 62 systémů zaslaných do soutěže 17 institucemi, které zahrnují širokou škálu přístupů, včetně architektur strojového učení – kde většina implementací jsou modely typu sequence-to-sequence (seq2seq) – i systémů založených na gramatických pravidlech a šablonách. Systémy založené na architektuře seq2seq ukázaly v této souteži velký potenciál pro NLG. Zjistili jsme, že seq2seq systémy mají obecně vysoké skóre, pokud jde o metriky založené na překryvu slov a lidské hodnocení přirozenosti/plynulosti; vítězný systém Slug (Juraska et al., 2018) je založený na seq2seq. Základní modely typu seq2seq však často nedokážou správně vyjádřit vstupný reprezentaci významu, pokud postrádají silný mechanismus sémantické kontroly použitý během dekódování. Modely seq2seq mohou být navíc překonány ručně vytvořenými systémy z hlediska celkové kvality, jakož i složitosti, délky a rozmanitosti výstupů. Tento výzkum ovlivnil, inspiroval a motivoval řadu nedávných studií mimo původní soutěž, které v článku rovněž shrnujeme.

Ondřej Dušek
Jekaterina Novikova
Verena Rieser


Evaluating Semantic Accuracy of Data-to-Text Generation with Natural Language Inference

Evaluace sémantické přesnosti generování textu z dat pomocí systémů pro automatickou inferenci

A major challenge in evaluating data-to-text (D2T) generation is measuring the semantic accuracy of the generated text, i.e. its faithfulness to the input data. We propose a new metric for evaluating the semantic accuracy of D2T generation based on a neural model pretrained for natural language inference (NLI). We use the NLI model to check textual entailment between the input data and the output text in both directions, allowing us to reveal omissions or hallucinations. Input data are converted to text for NLI using trivial templates. Our experiments on two recent D2T datasets show that our metric can achieve high accuracy in identifying erroneous system outputs.

Velkým problémem v evaluaci systémů pro generování textu z dat (D2T) je jak změřit sémantickou přesnost vygenerovaného textu, tj. jeho věrnost vstupním datům. Navrhujeme novou metriku pro evaluaci sémantické přesnosti D2T generování založené na neuronovém modelu předtrénovaném na úlohu automatické jazykové inference (NLI). Pomocí modelu NLI kontrolujeme, zda generovaný text vyplývá (entailment) z dat a opačně, což nám dovoluje odhalit vynechané části dat nebo halucinované (daty nepodložené) části vygenerovaného textu. Vstupní data pro model NLI převádíme do textu pomocí triviálních šablon. Naše experimenty na dvou běžně užívaných datových sadách pro D2T ukazují, že naše metrika dokáže dosáhnout vysoké přesnosti při identifikaci chybných výstupů generátorů.


Findings of the 2020 Conference on Machine Translation (WMT20)

Závěry konference o strojovém překladu 2020 (WMT20)

This paper presents the results of the news translation task and the similar language translation task, both organised
alongside the  Conference on Machine Translation (WMT) 2020. In the news task, participants
were asked to build machine translation systems for any of 11 language pairs, to be evaluated on test sets consisting mainly of news stories.  The task was also opened up
to additional test suites to probe specific aspects of translation. In the similar language translation task, participants built
machine translation systems for translating between closely related pairs of languages.

Tato práce představuje výsledky překladatelských úloh týkajících se zpravodajských textů a podobného úkolu překladů jazyků, obojí organizováno v rámci Conference on Machine Translation (WMT) 2020. V úkolu týkajícím se zpravodajských textů byli účastníci požádáni o sestavení systémů strojového překladu pro kterýkoli z 11 jazykových párů, které budou hodnoceny na testovacích souborech sestávajících hlavně z reportáží. Úloha byla také otevřena pro další testovací sady, aby se daly  zkoumat specifické aspekty překladu. V další úloze účastníci sestavili systémy strojového překladu pro překládání mezi úzce příbuznými páry jazyků.

Loïc Barrault
Magdalena Biesialska
Ondřej Bojar
Marta R. Costa-Jussà
Christian Federmann
Yvette Graham
Roman Grundkiewicz
Barry Haddow
Matthias Huck
Eric Joanis
Tom Kocmi
Philipp Koehn
Chi-kiu Lo
Nikola Ljubešić
Christof Monz
Makoto Morishita
Masaaki Nagata
Toshiaki Nakazawa
Santanu Pal
Matt Post
Marcos Zampieri


Can we expect a digital Shakespeare? AI as a playwrite

Dočkáme se digitálního Shakespeara? AI jako autor divadelní hry

Artificial intelligence can do things. She writes stock reports, handles entertaining conversation, orders a table for us at a restaurant ... But this time AI has gone further and gotten a little bit closer to humans -- the THEaiTRE research project is teaching its robot to write a play. We talked with Rudolf Rosa, Daniel Hrbek and Tomáš Studeník, who are involved in the unique feat, about how the process is going, what led the authors to it, and what the challenges of the AI writer are.

Umělá inteligence zvládá leccos.
Píše burzovní zprávy, zvládá
zábavnou konverzaci, objedná za
nás stůl v restauraci… Tentokrát ale
AI zašla ještě dál a dostala se zase o kousek blíž člověku – výzkumný
projekt THEaiTRE učí svého robota
napsat divadelní hru. O tom, jak
proces probíhá, co k tomu autory
vedlo a jaká jsou úskalí AI scenáristy
jsme si povídali s Rudolfem Rosou,
Danielem Hrbkem a Tomášem
Studeníkem, kteří se na unikátním
počinu podílí.

Veronika Dostálová
Rudolf Rosa
Daniel Hrbek
Tomáš Studeník


SpeedySpeech: Efficient Neural Speech Synthesis

SpeedySpeech: efektivní neuronová syntéza řeči

While recent neural sequence-to-sequence models have greatly improved the quality of speech synthesis, there has not been a system capable of fast training, fast inference and high-quality audio synthesis at the same time. We propose a student-teacher network capable of high-quality faster-than-real-time spectrogram synthesis, with low requirements on computational resources and fast training time. We show that self-attention layers are not necessary for generation of high quality audio. We utilize simple convolutional blocks with residual connections in both student and teacher networks and use only a single attention layer in the teacher model. Coupled with a MelGAN vocoder, our model's voice quality was rated significantly higher than Tacotron 2. Our model can be efficiently trained on a single GPU and can run in real time even on a CPU. We provide both our source code and audio samples in our GitHub repository.

Přestože nové neuronové modely typu sequence-to-sequence neurální značně zlepšily kvalitu syntézy řeči, dosud neexistuje systém schopný rychlého trénování, rychlé inference a zároveň vysoce kvalitní syntézy. Navrhujeme dvojici sítí typu učitel-student, která je schopna vysoce kvalitní syntézy spektrogramu rychleji než v reálném čase, s nízkými požadavky na výpočetní zdroje a rychlým trénováním. Ukazujeme, že vrstvy typu self-attention nejsou pro generování vysoce kvalitní řeči nutné. Jak v učitelské, tak ve studentské síti využíváme jednoduché konvoluční bloky s reziduálním propojením; používáme pouze jednu vrstvu attention v učitelském modelu. Ve spojení s hlasovým kodérem MelGAN byla hlasová kvalita našeho modelu hodnocena signifikantně lépe než Tacotron 2. Náš model může být efektivně trénován na jednom GPU a může běžet v reálném čase i na CPU. Zdrojový kód i zvukové ukázky poskytujeme na našem úložišti na GitHubu.


Derived Lexical Reciprocal Verbs in Czech

Derivovaná lexikální reciroční slovesa v češtině

In Czech (similarly as in other Slavic languages), the clitic reflexives serve – among others – as a derivational means deriving lexical reciprocal verbs, i.e., those verbs that encode mutuality directly in their lexical meaning. Here I draw a line between those lexical reciprocal verbs with which the reflexives introduce mutuality (nenávidět se ‘to hate each other’ ← nenávidět ‘to hate sb’ and slíbit si ‘to promise sth to each other’ ← slíbit ‘to promise sth to sb’) and those with which the reflexives have another function (oddělit se ‘to separate from each other’ ← oddělit ‘to separate sb/sth from sb/sth’). I show that lexical reciprocal verbs of the former type uniformly form the so-called discontinuous constructions with the nominative subject and comitative indirect object (e.g., Petr si slíbil s Marií věrnost. ‘Peter and Mary promised fidelity to each other.’) and that they fall into several semantic classes, which, however, semantically overlap to a great extent with lexical reciprocal verbs of other types.

V češtině – podobně jako v jiných slovanských jazycích – může mít klitické reflexivum funkci slovotvorného formantu, derivujícího lexikální reciproční slovesa, tedy  slovesa obsahující rys vzájemnosti již ve svém lexikálním významu. V článku rozlišuji mezi lexikálními recipročními slovesy, u nichž rys vzájemnosti vyjadřuje klitické reflexivum (např. nenávidět se ← nenávidět, slíbit si ← slíbit), a lexikálními recipročními slovesy, u nichž má klitické reflexivum jinou funkci (např. oddělit se ← oddělit). Lexikální reciproka prvního typu vytvářejí konstrukce, u nichž se participanty ve vztahu vzájemnosti vyjadřují typicky v subjektové pozici a v pozici nepřímého objektu, vyjádřeného instrumentálem. Ukazuji však, že tato slovesa tvoří sémantické skupiny, které se do značné míry sémanticky překrývají s dalšími typy lexikálních recipročních sloves.


Valency of Czech verbal nouns in nominal constructions and in verbonominal constructions with light verbs

Valence českých verbálních jmen v nominálních konstrukcích a ve verbonominálních predikátech s kategoriálním slovesem

Comparing valency behavior of two selected types of Czech verbal nouns (ending in -ní/-tí), i.e., those denoting actions, e.g., poučení ‘instructing’, and those denoting abstract results of actions, e.g., poučení ‘advice’, we can observe that they differ especially in the surface syntactic expression of their valency complementations. In nominal constructions, the surface expression of valency complementations of verbal nouns denoting actions can be typically derived from valency structure of their base verbs. In contrast, verbal nouns denoting abstract results of actions often express their valency complementations on the surface in a non-systemic way. In verbonominal constructions, the syntactic center of which is a light verb, verbal nouns denoting actions systematically employ their participant Agent (in a broad sense) on the surface as subject provided by the light verb. In contrast, verbal nouns denoting abstract results of actions can often express more semantic participants on the surface as verbal modifications and the choice of light verbs can change the perspective from which situations denoted by these verbal nouns are viewed.

Česká verbální jména (zakončená sufixy -ní/-tí) označující událost (např. poučení jako proces) nebo abstraktní výsledek děje (např. poučení jako předaná informace) se z hlediska valence liší především tím, jak v povrchové struktuře vyjadřují svá valenční doplnění. V nominálních konstrukcích je povrchové vyjádření valenčních doplnění verbálních jmen označujících událost odvoditelné z valenční struktury jejich základových sloves. Oproti tomu verbální substantiva označující abstraktní výsledek děje užívají k povrchovému vyjádření svých valenčních doplnění vedle systémových morfematických forem i formy nesystémové. Ve verbonominálních konstrukcích, v nichž je syntaktickým centrem kategoriální sloveso, verbální jména označující událost systematicky uplatňují na povrchu jako subjekt slovesa participant Agens (v širokém slova smyslu). Oproti tomu verbální jména označující abstraktní výsledek děje mohou často na povrchu jako rozvití slovesa vyjádřit i své další sémantické participanty a výběr různých kategoriálních sloves jim často umožňuje perspektivizovat označovanou situaci pokaždé z hlediska jiného participantu.


Ke způsobům vyjádření vzájemnosti v češtině

In this paper, we introduce an inventory of language means that express the semantic feature of mutuality in Czech verbal constructions. Based on the results of recent typological surveys, we distinguish between lexical and grammatical means. The lexical means include a limited group of inherently reciprocal verbs with the feature of mutuality in their lexical meaning. The grammatical means involved in the syntactic operation of reciprocalization are primarily used by a large group of verbs to which we refer as syntactic reciprocal verbs; these means involve (i) the reflexive personal pronoun se/sebe, si/sobě, sebou, (ii) the expression jeden – druhý ‘each other’, and (iii) adverbials. While the use of the grammatical means is obligatory for expressing mutuality with syntactic reciprocal verbs, it is often only optional for inherently reciprocal verbs. We thoroughly describe various functions that these language means have in encoding mutuality in Czech.

V tomto článku představujeme soupis jazykových prostředků, které vyjadřují sémantický rys vzájemnosti v českých verbálních konstrukcích. Na základě výsledků nedávných typologických průzkumů rozlišujeme prostředky lexikální a prostředky gramatické. Lexikální prostředky pro vyjádření vzájemnosti zahrnují omezenou skupinu inherentně recipročních sloves s rysem vzájemnosti v lexikálním významu. Gramatické prostředky realizující syntaktickou operaci reciprocalizace se primárně uplatňují u velké skupiny sloves, která označujeme jako syntaktická reciproční slovesa; tyto prostředky zahrnují (i) zvratné osobní reflexivum se/sebe, si/sobě, sebou, (ii) výraz jeden - druhý a (iii) příslovce. Zatímco použití gramatických prostředků je pro vyjádření vzájemnosti u syntakticky recipročních sloves nutné, pro inherentně reciproční slovesa je typicky volitelné. V textu podrobně popisujeme různé funkce těchto jazykových prostředků ve vyjadřování vzájemnosti v češtině.


Reciprocity in Czech Light Verb Constructions: The Dependency Perspective

Reciprocita v konstrukcích s kategoriálními slovesy: Závislostní perspektiva

In this paper, we draw attention to reciprocity in Czech light verb constructions – a language phenomenon, which has not been discussed yet. Reciprocity is contributed to light verb constructions by predictive nouns, as they are the nouns that represent the semantic core of these constructions. Here we focus on reciprocal light verb constructions derived by the syntactic operation of reciprocalization. We show that the complex mapping of semantic participants onto valency complementations, characteristic of reciprocalization, is reflected in reciprocal light verb constructions in the same way as in reciprocal nominal constructions. The main difference between reciprocal nominal constructions and reciprocal light verb constructions lies in the morphosyntactic expression of reciprocalized participants. We demonstrate that surface syntactic changes in reciprocal light verb constructions are regular enough to be described on the rule basis: the rule based generation of reciprocal light verb constructions requires a cooperation of two sets of rules – rules for deep and surface syntactic structure formation of light verb constructions and rules for capturing reciprocity.

V tomto příspěvku se věnujeme způsobům vyjadřování vzájemnost v českých konstrukcích s kategoriálními slovesy. Reciprocitu do těchto konstrukcí vnáší prediktivní substantiva, neboť ta představují jejich sémantické jádro. Zaměřujeme se na reciproční konstrukce s kategoriálními slovesy, které vznikají odvozením syntaktickou operací reciprokalizace. Ukazujeme, že komplexní mapování sémantických participantů na valenční doplnění  charakteristické pro reciprocitu se zachovává i v recipročních konstrukcích s kategoriálními slovesy. Hlavní rozdíl mezi recipročními nominálními konstrukcemi a recipročními konstrukcemi s kategoriálním slovesem spočívá v morfosyntaktickém vyjádření reciprokalizovaných participantů. Ukazujeme, že povrchové syntaktické změny v recipročních konstrukcích s kategoriálními slovesy jsou natolik pravidelné, že je lze popsat pomocí pravidel, a to  pravidel pro hlubokou a povrchovou tvorbu syntaktických struktury s kategoriálním slovesem a pravidel pro tvoření recipročních konatrukcí.


Towards a Semi-Automatic Detection of Reflexive and Reciprocal Constructions and Their Representation in a Valency Lexicon

K poloautomatické detekci reflexivních a recipročních konstrukcí a jejich reprezentaci ve valenčním slovníku

Valency lexicons usually describe valency behavior of verbs in non-reflexive and non-reciprocal constructions. However, reflexive and reciprocal constructions are common morphosyntactic forms of verbs. Both of these constructions are characterized by regular changes in morphosyntactic properties of verbs, thus they can be described by grammatical rules. On the other hand, the possibility to create reflexive and/or reciprocal constructions cannot be trivially derived from the morphosyntactic structure of verbs as it is conditioned by their semantic properties as well. A large-coverage valency lexicon allowing for rule based generation of all well formed verb constructions should thus integrate the information on reflexivity and reciprocity. In this paper, we propose a semi-automatic procedure, based on grammatical constraints on reflexivity and reciprocity, detecting those verbs that form reflexive and reciprocal constructions in corpus data. However, exploitation of corpus data for this purpose is complicated due to the diverse functions of reflexive markers crossing the domain of reflexivity and reciprocity. The list of verbs identified by the previous procedure is thus further used in an automatic experiment, applying word embeddings for detecting semantically similar verbs. These candidate verbs have been manually verified and annotation of their reflexive and reciprocal constructions has been integrated into the valency lexicon of Czech verbs VALLEX.

Valenční slovníky obvykle popisují valenční chován sloves v jejich nereflexivním a nerecipročním užití, přestože reflexivní a reciproční konstrukce lze považovat za běžné morfosyntaktické formy sloves. Pro oba tyto typy jsou charakteristické pravidelné změny v morfosyntaktické struktuře sloves, které lze popsat gramatickými pravidly; ovšem možnost tyto konstrukce tvořit musí být vyznačena ve slovníku.

Václava Kettnerová
Markéta Lopatková
Anna Vernerová
Petra Barančíková


MRP 2020: The Second Shared Task on Cross-Framework and Cross-Lingual Meaning Representation Parsing

MRP 2020: Druhá soutěž v analýze významových reprezentací napříč formalismy a jazyky

The 2020 Shared Task at the Conference for Computational Language Learning (CoNLL) was devoted to Meaning Representation Parsing (MRP) across frameworks and languages. Extending a similar setup from the previous year, five distinct approaches to the representation of sentence meaning in the form of directed graphs were represented in the English training and evaluation data for the task, packaged in a uniform graph abstraction and serialization; for four of these representation frameworks, additional training and evaluation data was provided for one additional language per framework. The task received submissions from eight teams, of which two do not participate in the official ranking because they arrived after the closing deadline or made use of additional training data. All technical information regarding the task, including system submissions, official results, and links to supporting resources and software are available from the task web site at: http://mrp.nlpl.eu

Ročník 2020 soutěže (společné úlohy) na Konferenci o počítačovém učení jazyka (CoNLL) byl věnován generování významových reprezentací (Meaning Representation Parsing, MRP) napříč formalismy a jazyky. Podmínky soutěže byly rozšířením podobné soutěže z předcházejícího roku. Pět různých přístupů k reprezentaci větného významu v podobě orientovaných grafů bylo zastoupeno v anglických trénovacích a testovacích datech pro tuto úlohu a uloženo v jednotném formátu pro abstraktní reprezentaci a serializaci grafů. U čtyř z těchto formalismů byla k dispozici další trénovací a testovací data v jednom dalším jazyce. Soutěže se zúčastnilo osm týmů, z nichž dva nejsou zahrnuty v oficiální výsledkové listině, protože jejich řešení bylo doručeno po termínu nebo zahrnovalo přídavná trénovací data. Technické informace o soutěži, včetně zaslaných řešení, oficiálních výsledků, odkazů na podpůrné zdroje a software jsou k dispozici na webu soutěže na: http://mrp.nlpl.eu

Stephan Oepen
Omri Abend
Lasha Abzianidze
Johan Bos
Jan Hajič
Daniel Hershcovich
Bin Li
Tim O'Gorman
Nianwen Xue
Daniel Zeman


NameTag is a tool for named entity recognition (NER). NameTag identifies proper names in text and classifies them into predefined categories, such as names of persons, locations, organizations, etc.

NameTag 2 also recognizes nested named entities (nested NER) and as of 2019, it achieves state of the art in Czech, English, Dutch and Spanish and nearly state of the art in German (Straková et al. 2019).

NameTag is available as an online demo NameTag Online Demo and web service NameTag Web Service hosted by LINDAT/CLARIN.

The linguistic models are free for non-commercial use and distributed under CC BY-NC-SA license, although for some models the original data used to create the model may impose additional licensing conditions.

NameTag je nástroj pro rozpoznávání pojmenovaných entit. NameTag identifikuje vlastní jména v textu a klasifikuje je do definovaných kategorií, jako například jména osob, míst, organizací, apod.

NameTag 2 také rozpoznává vnořené pojmenované entity. V roce 2019 dosahuje úrovně poznání (state of the art) v češtině, angličtině, nizozemštině a španělštině; a velmi blízce také v němčině (Straková a kol., 2019).

NameTag je dostupný jako NameTag Online Demo a jako webová služba NameTag Web Service na LINDAT/CLARIN.

Modely jsou volně použitelné pro nekomerční užití a jsou distrubuovány pod licencí CC BY-NC-SA, ale některé z dat použité pro vytvoření modelů mohou vyžadovat další licenční podmínky.


In an interview for the Czech radio Český rozhlas, we describe how we generate a theatre play in the THEaiTRE project.

V rozhovoru pro český rozhlas popisujeme, jak probíhá generování divadelní hry v projektu THEaiTRE.

Petr Král
Alžběta Havlová
Rudolf Rosa
Ondřej Dušek
Daniel Hrbek
Tomáš Studeník


Efficiently Reusing Old Models Across Languages via Transfer Learning

Efektivní znovuvyužití starých modelů napříč jazyky pomocí transferového učení

Recent progress in neural machine translation is directed towards larger neural networks trained on an increasing amount of hardware resources.
As a result, NMT models are costly to train, both financially, due to the electricity and hardware cost, and environmentally, due to the carbon footprint.
It is especially true in transfer learning for its additional cost of training
the ``parent'' model before transferring knowledge and training the desired ``child'' model.
In this paper, we propose a simple method of re-using an already trained model for different language pairs where there is no need for modifications in model architecture.
Our approach does not need a separate parent model for each investigated language pair, as it is typical in NMT transfer learning. To show the applicability of our method, we recycle a Transformer model trained by different researchers and use it to seed models for different language pairs.
We achieve better translation quality and shorter convergence times than when training from random initialization.

Nedávný pokrok v neuronovém strojovém překladu směřuje k větším sítím trénovaným na stále větším množství hardwarových zdrojů.
V důsledku toho jsou modely NMT nákladné na trénování, a to jak finančně, kvůli nákladům na elektřinu a hardware, tak ekologicky, kvůli uhlíkové stopě.
Zvláště to platí v transferu znalostí při trénování modelu "rodiče" před přenesením znalostí do požadovaného modelu "dítě".
V tomto článku navrhujeme jednoduchou metodu opakovaného použití již natrénovaného modelu pro různé jazykové páry, u nichž není nutné upravovat modelovou architekturu.
Náš přístup nepotřebuje samostatný model pro každou zkoumanou dvojici jazyků, jak je to typické v rámci přenosového učení u neuronového strojového překladu. Abychom ukázali použitelnost naší metody, recyklujeme model Transformeru, který natrénovali jiní vyzkumníci a použijeme ho pro různé jazykové páry.
Naše metoda dosahuje lepší kvality překladu a kratších časů konvergence, než když trénujeme z náhodné inicializace.


Gender Coreference and Bias Evaluation at WMT 2020

Hodnocení genderové koreference a zkreslení na WMT 2020

Gender  bias  in  machine  translation  can  manifest when choosing gender inflections based on  spurious  gender  correlations.    For  example,  always  translating  doctors  as  men  and nurses  as  women.    This  can  be  particularly harmful as models become more popular and deployed  within  commercial  systems. Our work presents the largest evidence for the phenomenon  in  more  than  19  systems  submitted to the WMT over four diverse target languages:  Czech, German, Polish, and Russian.To achieve this, we use WinoMT, a recent automatic test suite which examines gender coreference and bias when translating from English to languages with grammatical gender. We ex-tend  WinoMT  to  handle  two  new  languages tested in WMT: Polish and Czech. We find that all  systems  consistently  use  spurious  correlations  in  the  data  rather  than  meaningful  contextual information.

Genderová zaujatost ve strojovém překladu se může projevit při výběru genderových modulací na základě falešných genderových korelací. Například vždy překládat lékaře jako muže a sestry jako ženy. To může být obzvláště škodlivé, protože modely se stávají populárnějšími a jsou zaváděny v rámci komerčních systémů. Naše práce představuje největší důkaz tohoto jevu ve více než 19 systémech předložených WMT ve čtyřech různých cílových jazycích: češtině, němčině, polštině a ruštině.K dosažení tohoto cíle používáme WinoMT, nedávnou automatickou testovací sadu, která zkoumá genderovou korektnost a zkreslení při překladu z angličtiny do jazyků s gramatickým pohlavím. Bývalí pracovníci WinoMT se starají o dva nové jazyky testované ve WMT: polštinu a češtinu. Zjistili jsme, že všechny systémy důsledně používají nepravdivé korelace v datech spíše než smysluplné kontextové informace.

Tom Kocmi
Tomasz Limisiewicz
Gabriel Stanovsky


Announcing CzEng 2.0 Parallel Corpus with over 2 Gigawords

Zveřejněn paralelní korpus CzEng 2.0 s 2 miliardami slov

We present a new release of the Czech-English parallel corpus CzEng 2.0 consisting of over 2 billion words (2 “gigawords”) in each language. The corpus contains document-level information and is filtered with several techniques to lower the amount of noise. In addition to the data in the previous version of CzEng, it contains new authentic and also high-quality synthetic parallel data. CzEng is freely available for research and educational purposes.

Představujeme nové vydání česko-anglického paralelního korpusu CzEng 2.0 sestávajícího z více než 2 miliard slov (2 „gigawordy“) v každém jazyce. Korpus obsahuje informace na úrovni dokumentu a je filtrován několika technikami pro snížení množství šumu. Kromě dat v předchozí verzi CzEngu obsahuje nová autentická a také vysoce kvalitní syntetická paralelní data. CzEng je volně dostupný pro výzkumné a vzdělávací účely.


CLARIN: Distributed Language Resources and Technology in a European Infrastructure

CLARIN: distribuovaná infrastruktura pro jazykové zdroje a technologie v Evropě

CLARIN is a European Research Infrastructure providing access to digital language resources and tools from across Europe and beyond to researchers in the humanities and social sciences. This paper focuses on CLARIN as a platform for the sharing of language resources. It zooms in on the service offer for the aggregation of language repositories and the value proposition for a number of communities that benefit from the enhanced visibility of their data and services as a result of integration in CLARIN. The enhanced findability of language resources is serving the social sciences and humanities (SSH) community at large and supports research communities that aim to collaborate based on virtual collections for a specific domain. The paper also addresses the wider landscape of service platforms based on language technologies which has the potential of becoming a powerful set of interoperable facilities to a variety of communities of use.

CLARIN je evropská výzkumná infrastruktura, která poskytuje přístup k digitálním jazykovým zdrojům a nástrojům z celé Evropy i mimo ni výzkumným pracovníkům v humanitních a sociálních vědách. Tento dokument se zaměřuje na CLARIN jako platformu pro sdílení jazykových zdrojů. Přibližuje nabídku služeb pro agregaci jazykových úložišť a návrh hodnot pro řadu komunit, které těží z větší viditelnosti svých údajů a služeb v důsledku integrace do CLARIN. Zvýšená jemnost jazykových zdrojů slouží celé komunitě společenských a humanitních věd (SSH) a podporuje výzkumné komunity, které usilují o spolupráci založenou na virtuálních sbírkách pro určitou oblast. Dokument se také zabývá širším prostředím platforem služeb založených na jazykových technologiích, které mají potenciál stát se silným souborem interoperabilních zařízení pro nejrůznější využití.

Maria Eskevich
Franciska de Jong
Alexander König
Darja Fišer
Dieter Van Uytvanck
Tero Aalto
Lars Borin
Olga Gerassimenko
Jan Hajič
Henk van den Heuvel
Neeme Kahusk
Krista Liin
Martin Matthiesen
Stelios Piperidis
Kadri Vider


Eyes on the Parse: Using Gaze Features in Syntactic Parsing

Oči na hranách: užití rysů z eye trackeru pro syntaktický parsing

In this paper, we explore the potential benefits of leveraging eye-tracking information for dependency parsing on the English part of the Dundee corpus. To achieve this, we cast dependency parsing as a sequence labelling task and then augment the neural model for sequence labelling with eye-tracking features. We then experiment with a variety of parser setups ranging from lexicalized parsing to a delexicalized parser. Our experiments show that for a lexicalized parser, although the improvements are positive they are not significant whereas our delexicalized parser significantly outperforms the baseline we established. We also analyze the contribution of various eye-tracking features towards the different parser setups and find that eye-tracking features contain information which is complementary in nature, thus implying that augmenting the parser with various gaze features grouped together provides better performance than any individual gaze feature.

V této studii zkoumáme možné výhody využití informací z eye trackeru pro analýzu závislostní syntaxe na anglické části Dundee corpu. Abychom toho dosáhli, zavedeme parsing jako úlohu značkování sekvencí a pak rozšiřujeme neurální model pro značkování sekvencí o rysy z eye trackeru. Poté experimentujeme s různými nastaveními analyzátorů od lexikalizovaného parsingu po delexikalizovaný parser. Naše experimenty ukazují, že u lexikalizovaného parseru, i když jsou zlepšení pozitivní, nejsou statisticky významná, zatímco náš delexikalizovaný parser statisticky významně překonává baseline, kterou jsme stanovili. Analyzujeme také přínos různých rysů z eye trackeru k různým nastavením analyzátoru a zjišťujeme, že rysy z eye trackeru obsahují informace, které se svou povahou doplňují, což znamená, že rozšíření analyzátoru o různé rysy z eye trackeru seskupené dohromady poskytuje lepší výkon než jakýkoli jednotlivý prvek.


Predicting Typological Features in WALS using Language Embeddings and Conditional Probabilities: ÚFAL Submission to the SIGTYP 2020 Shared Task

Předpovídání typologických rysů ve WALS za použití vektorových reprezentací jazyků a podmíněných pravděpodobností: řešení ÚFALu pro sdílenou úlohu SIGTYP 2020

We present our submission to the SIGTYP 2020 Shared Task on the prediction of typological features. We submit a constrained system, predicting typological features only based on the WALS database. We investigate two approaches. The simpler of the two is a system based on estimating correlation of feature values within languages by computing conditional probabilities and mutual information. The second approach is to train a
neural predictor operating on precomputed language embeddings based on WALS features. Our submitted system combines the two approaches based on their self-estimated confidence scores. We reach the accuracy of 70.7% on the
test data.

Představujeme náš příspěvek do společné úlohy SIGTYP 2020 v předpovídání typologických rysů. Náš systém je patří do omezené části soutěže, neboť používá pouze databázi WALS. Zkoumáme dva přístupy. Jednodušší z nich je založen na odhadu korelace mezi hodnotami rysů u stejného jazyka pomocí podmíněných pravděpodobností a vzájemné informace. Druhý přístup je založen na neuronovém prediktoru, který využívá vektorovou reprezentaci jazyků předpočítanou na rysech z WALS. Ve výsledném systému oba přístupy kombinujeme s využitím jejich vlastního odhadu důvěryhodnosti předpovědi. Na testovacích datech dosahujeme úspěšnosti 70,7 %.


Deep Universal Dependencies is a collection of treebanks derived semi-automatically from Universal Dependencies. It contains additional deep-syntactic and semantic annotations. Version of Deep UD corresponds to the version of UD it is based on. Note however that some UD treebanks have been omitted from Deep UD.

Deep Universal Dependencies (hluboké univerzální závislosti) je sbírka treebanků poloautomaticky odvozených z Universal Dependencies. Obsahuje přídavné hloubkově-syntaktické a sémantické anotace. Verze Deep UD odpovídá verzi UD, na které je založena. Mějte však na paměti, že některé treebanky UD nebyly do Deep UD zahrnuty.


For over 50 years, researchers have been trying to teach computers to read music notation, referred to as Optical Music Recognition (OMR). However, this field is still difficult to access for new researchers, especially those without a significant musical background: Few introductory materials are available, and, furthermore, the field has struggled with defining itself and building a shared terminology. In this work, we address these shortcomings by (1) providing a robust definition of OMR and its relationship to related fields, (2) analyzing how OMR inverts the music encoding process to recover the musical notation and the musical semantics from documents, and (3) proposing a taxonomy of OMR, with most notably a novel taxonomy of applications. Additionally, we discuss how deep learning affects modern OMR research, as opposed to the traditional pipeline. Based on this work, the reader should be able to attain a basic understanding of OMR: its objectives, its inherent structure, its relationship to other fields, the state of the art, and the research opportunities it affords.

Více než 50 let se výzkumníci pokouší naučit počítače číst hudební notaci, kterýžto obor se nazývá rozpoznávání notopisu (Optical Music Recognition, OMR). Do tohoto oboru je však pro začínající výzkumníky stále obtížné proniknout, obzvlášť pokud nemají nezanedbatelné hudební znalosti: je málo materiálů do problematiky uvádějících, a navíc se sám obor průběžně nedokáže shodnout na tom, jak sebe sama definovat a jak vybudovat sdílenou terminologii. V článku se těmto nedostatkům věnujeme: (1) formulujeme robustní definici OMR a vztahů k příbuzným oborům, (2) analyzujeme, jak OMR invertuje proces zapisování hudby, aby získalo z dokumentu popis hudební notace a hudební sémantiky, a (3) předkládáme taxonomii OMR, především novou taxonomii aplikací. Dále diskutujeme, jak hluboké učení ovlivňuje současný výzkum OMR v kontrastu s předchozími přístupy. Na základě tohoto článku by měl čtenář získat základní porozumění OMR: jeho cílům, jeho vnitřní struktuře, vztahům k ostatním oborům, stavu poznání a výzkumných příležitostí, které OMR poskytuje.

Jorge Calvo-Zaragoza
Jan Hajič, jr.
Alexander Pacha


"The phenomenon of repetition": Re-watching a video clip in classroom work with digital oral history

Opakované sledování videoklipu během práce s digitální orální historií ve výuce

My paper presents an investigation of “the phenomenon of repetition” in case of re-watching a video clip. I noticed this practice in a corpus of video data recorded in a classroom setting. Students worked with an e-learning material in small groups with one computer device to their disposal, filling a paper sheet with questions. First watching (W1) of video clips was mostly sufficient, but a sequence of re-watching (W2) was occasionally inserted to deal with troubles and ambiguities. After W1, the interactional status of video clip is changed: it becomes a structured object. The clip is (re)inspected with transparent vision acquired through W1. W2 as part of the classroom activity is oriented by the question on the paper sheet, and transparent vision emerges as a novel (and temporary) interactional competence. Practices of working with video clips point to the properties of video clip as an object in interaction, and they inform us of the work involved in constituting occasioned practical objectivities.

Příspěvek představil zkoumání „fenoménu opakování“ na příkladu opakovaného sledování videoklipu během práce studentů s digitálním učebním materiálem v malých skupinách, kdy měli k dispozici jeden počítač a vyplňovali papírový list otázkami. První sledování (W1) videoklipů bylo většinou dostačující, ale občas byla vložena sekvence opakovaného sledování (W2), která řešila problémy a nejasnosti. Příspěvek se zabývá detailní analýzou těchto interakčních sekvencí opakovaného sledování.


Semi-supervised Induction of Morpheme Boundaries in Czech Using a Word-Formation Network

Částečně řízená detekce hranic mezi morfémy v českých slovech s využitím slovotvorné sítě

This paper deals with automatic morphological segmentation of Czech lemmas contained in the word-formation network DeriNet. Capturing derivational relations between base and derived lemmas, and segmenting lemmas into sequences of morphemes are two closely related formal models of how words come into existence. Thus we propose a novel segmentation method that benefits from the existence of the network; our solution constitutes new state-of-the-art for the Czech language.

Tento článek se zabývá automatickou morfologickou segmentací českých lemmat obsažených v derivační síti DeriNet. Popis derivačních vztahů mezi základními a odvozenými lemmaty, a dělení lemmat na sekvence morfémů, jsou dva blízce propojené formální modely popisující vznik slov. Proto navrhujeme novou segmentační metodu, která využívá existence derivační sítě. Naše řešení překonává dosavadní metody segmentace pro češtinu.

Jan Bodnár
Zdeněk Žabokrtský
Magda Ševčíková


Next Step in Online Querying and Visualization of Word-Formation Networks

Další krok v online vyhledávání a vizualizacích slovtvorných sítí

In this paper, we introduce a new and improved version of DeriSearch, a search engine and visualizer for word-formation networks.

Word-formation networks are datasets that express derivational, compounding and other word-formation relations between words. They are usually expressed as directed graphs, in which nodes correspond to words and edges to the relations between them. Some networks also add other linguistic information, such as morphological segmentation of the words or identification of the processes expressed by the relations.

Networks for morphologically rich languages with productive derivation or compounding have large connected components, which are difficult to visualize. For example, in the network for Czech, DeriNet 2.0, connected components over 500 words large contain 1/8 of the vocabulary, including its most common parts. In the network for Latin, Word Formation Latin, over 10 000 words (1/3 of the vocabulary) are in a single connected component.

With the recent release of the Universal Derivations collection of word-formation networks for several languages, there is a need for a searching and visualization tool that would allow browsing such complex data.

V tomto článku představujeme novou vyhlepšenou verzi vyhledávače a vizualizátoru slovotvorných sítí DeriSearch.

Slovotvorné sítě jsou datové sady zachycující derivační, kompoziční a jiné slovotvorné vztahy mezi slovy. Jsou reprezentovatelné pomocí orientovaných grafů, ve kterých uzly představují slova a orientované hrany mezi nimi vyjadřují slovotvorné vztahy. Některé sítě navíc obsahují další lingvistické anotace, například segmentaci slov na morfémy nebo identifikaci slovotvorných procesů.

Sítě pro morfologicky bohaté jazyky s produktivním odvozováním a skládáním mají velké komponenty souvislosti, které se obtížně vizualizují. Například v DeriNetu 2.0, jedné ze sítí pro češtinu, je 1/8 slovníku obsažena v komponentách souvislosti velkých přes 500 slov. V síti Word Formation Latin pro latinu je přes 10 000 slov (1/3 slovníku) v jediné komponentě.

S nedávným vydáním souboru slovotvorných sítí pro více jazyků Universal Derivations potřeba nástroje pro vyhledávání a vizualizaci takto komplexních dat dále vzrůstá.


The Impact of Copyright and Personal Data Laws on the Creation and Use of Language Models

Dopad autorského práva a ochrany osobních údajů na tvorbu a užití jazykových modelů

The authors address the legal issues relating to the creation and use of language models. The article begins with an explanation of the development of language technologies. The authors analyse the technological process within the framework copyright, related rights and personal data protection law. The authors also cover commercial use of language models. The authors’ main argument is that legal restrictions applicable to language data containing copyrighted material and personal data usually do not apply to language mod-els. Language models are not normally considered derivative works. Due to a wide range of language models, this position is not absolute.

Autoři se zabývají právními otázkami týkajícími se tvorby a používání jazykových modelů. Článek začíná vysvětlením vývoje jazykových technologií. Autoři analyzují technologický postup v rámci autorského práva, práv s ním souvisejících a práva na ochranu osobních údajů. Autoři se věnují také komerčnímu využití jazykových modelů. Hlavním argumentem autorů je, že právní omezení vztahující se na jazykové údaje obsahující materiály a osobní údaje chráněné autorským právem se obvykle nevztahují na jazykové modely. Jazykové modely nejsou obvykle považovány za odvozená díla. Vzhledem k široké škále jazykových modelů není tato pozice absolutní.

Aleksei Kelli
Arvi Tavast
Krister Lindén
Kadri Vider
Ramūnas Birštonas
Penny Labropoulou
Irene Kull
Gaabriel Tavits
Age Värv
Pavel Straňák
Jan Hajič


Scenario: Robot. In the Švanda theatre, an AI is writing a theatre play for the anniversary of R.U.R.

Scénář: Robot. Ve Švandově divadle píše hru k výročí R.U.R. umělá inteligence

There's a new play coming up at the Švanda Theatre. It will premiere in January. But no one quite knows what it will be about yet. Its script doesn't originate in any human's mind. It's generated by artificial intelligence.

Ve Švandově divadle se chystá nová hra. Premiéru bude mít už v lednu. Ale nikdo ještě úplně neví, o čem přesně bude. Její scénář totiž nevzniká v hlavě žádného člověka. Generuje ho umělá inteligence.

Ondřej Novotný
Rudolf Rosa
Tomáš Studeník


Large Scale Colloquial Persian Dataset" (LSCP) is hierarchically organized in asemantic taxonomy that focuses on multi-task informal Persian language understanding as a comprehensive problem. LSCP includes 120M sentences from 27M casual Persian tweets with its dependency relations in syntactic annotation, Part-of-speech tags, sentiment polarity and automatic translation of original Persian sentences in five different languages (EN, CS, DE, IT, HI).

„Large Scale Colloquial Persian Dataset“ (LSCP) je hierarchicky uspořádán do asemantické taxonomie, která se zaměřuje na víceúčelové neformální porozumění perskému jazyku jako komplexní problém. LSCP zahrnuje 120 milionů vět z 27 milionů příležitostných perských tweetů se svými závislostními vztahy ve syntaktické anotaci, tagy řeči, polaritu sentimentu a automatický překlad původních perských vět do pěti různých jazyků (EN, CS, DE, IT, HI).

Hadi Abdi Khojasteh
Ebrahim Ansari
Mahdi Bohlouli


LSCP: Enhanced Large Scale Colloquial Persian Language Understanding

LSCP: Vylepšené hovorové porozumění perskému jazyku ve velkém měřítku

Language recognition has been significantly advanced in recent years by means of modern machine learning methods such as deep
learning and benchmarks with rich annotations. However, research is still limited in low-resource formal languages. This consists of
a significant gap in describing the colloquial language especially for low-resourced ones such as Persian. In order to target this gap
for low resource languages, we propose a “Large Scale Colloquial Persian Dataset” (LSCP). LSCP is hierarchically organized in a
semantic taxonomy that focuses on multi-task informal Persian language understanding as a comprehensive problem. This encompasses
the recognition of multiple semantic aspects in the human-level sentences, which naturally captures from the real-world sentences. We
believe that further investigations and processing, as well as the application of novel algorithms and methods, can strengthen enriching
computerized understanding and processing of low resource languages. The proposed corpus consists of 120M sentences resulted from
27M tweets annotated with parsing tree, part-of-speech tags, sentiment polarity and translation in five different languages.

Rozpoznávání jazyků v posledních letech významně pokročilo pomocí moderních metod strojového učení, jako je deep learning a měřítka s bohatými anotacemi. Výzkum je však ve formálních jazycích s nízkými zdroji stále omezený. Skládá se z
významná mezera v popisu hovorového jazyka, zejména pro ty s nízkými zdroji, jako je perština. Aby bylo možné tuto mezeru zacílit
pro jazyky s nízkými zdroji navrhujeme „Large Scale Colloquial Persian Dataset“ (LSCP). LSCP je hierarchicky uspořádán do a
sémantická taxonomie, která se zaměřuje na víceúčelové neformální porozumění perskému jazyku jako komplexní problém. To zahrnuje uznání několika sémantických aspektů ve větách na lidské úrovni, které přirozeně zachycuje z vět z reálného světa. Věříme, že další vyšetřování a zpracování, stejně jako aplikace nových algoritmů a metod, může posílit obohacení počítačového porozumění a zpracování jazyků s nízkými zdroji. Navrhovaný korpus se skládá ze 120 milionů vět vycházejících z 27 milionů tweetů anotovaných stromem analýzy, tagy řeči, polaritou sentimentu a překladem do pěti různých jazyků.


Morphological Networks for Persian and Turkish: What Can Be Induced from Morpheme Segmentation?

Morfologické sítě pro perštinu a turečtinu

In this work, we propose an algorithm that induces morphological networks for Persian and Turkish. The algorithm uses morpheme-segmented lexicons for the two languages. The resulting networks capture both derivational and inflectional relations. The network induction algorithm can use either manually annotated lists of roots and affixes, or simple heuristics to distinguish roots from affixes. We evaluate both variants empirically. We use our large hand-segmented set of word forms in the experiments with Persian, which is contrasted with employing only a very limited manually segmented lexicon for Turkish that existed previously. The network induction algorithm uses gold segmentation data for initializing the networks, which are subsequently extended with additional corpus attested word forms that were unseen in the segmented data. For this purpose, we use existing morpheme-segmentation tools, namely supervised and unsupervised version of Morfessor, and (unsupervised) MorphSyn.
The experimental results show that the accuracy of segmented initial data influences derivational network quality.

V této práci navrhujeme algoritmus pro indukci morfologických sítí pro perštinu a turečtinu. Algoritmus využívá slovníky s morfematickou segmentací. Výsledná síť zachycuje jak derivační, tak flektivní relace. Algoritmus pro indukci sítě vychází buď z automaticky rozlišených afixů a kořenů, nebo z jednoduché klasifikační heuristiky. Obě varianty jsou empiricky vyhodnoceny. Pro perštinu používáme vlastní velký ručně segmentovaný slovník, pro turečtinu menší slovník publikovaný dříve. Ručně anotovaná data jsou algoritmem využita pro inicializaci sítě, která je následně rozšířena o formy pozorované v korpusech. Slovní formy, které nebyly přítomny v ručně anotovaných datech, segmentujeme řízenou i neřízenou verzí segmentačního nástroje Morfessor a nástrojem MorphSyn. Experimentální výsledky ukazují, jak inicializace ručně segmentovanými daty ovlivňuje finální kvalitu vygenerovaných sítí.

Hamid Haghdoost
Ebrahim Ansari
Zdeněk Žabokrtský
Mahshid Nikravesh
Mohammad Mahmoudi


COSTRA 1.0: A Dataset of Complex Sentence Transformations

COSTRA 1.0: Dataset komplexních transformací vět

We present COSTRA 1.0, a dataset of complex sentence transformations. The dataset is intended for the study of sentence-level embeddings beyond simple word alternations or standard paraphrasing. This first version of the dataset is limited to sentences in Czech but the construction method is universal and we plan to use it also for other languages.

The dataset consists of 4,262 unique sentences with an average length of 10 words, illustrating 15 types of modifications, such as simplification, generalization, or formal and informal language variation. The hope is that with this dataset, we should be able to test semantic properties of sentence embeddings and perhaps even to find some topologically interesting ''skeleton'' in the sentence embedding space. A preliminary analysis using LASER, multi-purpose multi-lingual sentence embeddings suggests that the LASER space does not exhibit the desired properties

V tomto článku je představena COSTRA 1.0, dataset komplexních transformací vět. Dataset je určen ke studiu větných embeddingů nad rámec jednoduchých výměn slov nebo standardních parafrází.  COSTRA 1.0 obsahuje pouze věty v češtině, ale metoda konstrukce je univerzální a plánujeme ji použít i pro jiné jazyky.

Dataset obsahuje 4262 unikátních vět s průměrnou délkou 10 slov, ilustrujících 15 typů úprav, jako je zjednodušení, zobecnění nebo formální a neformální jazykové variace. Doufáme, že s tímto datovým souborem bychom měli být schopni otestovat sémantické vlastnosti větných embeddingů a možná dokonce najít nějaké topologicky zajímavé '' kostry '' v prostoru větných embeddingů. Předběžná analýza s využitím mnohojazyčných větných embeddingů LASER naznačuje, že nevykazuje požadované vlastnosti


Costra 1.1: An Inquiry into Geometric Properties of Sentence Spaces

Costra 1.1: Zkoumání geometrických vlastností prostorů vět

In this paper, we present a new dataset for testing geometric properties of sentence embeddings spaces. In particular, we concentrate on examining how well sentence embeddings capture complex phenomena such paraphrases, tense or generalization.
The dataset is a direct expansion of Costra 1.0, which we extended with more sentences and sentence comparisons.
We show that available off-the-shelf embeddings do not possess essential attributes such as having synonymous sentences embedded closer to each other than similar sentences with a significantly different meaning.
On the other hand, some embeddings appear to capture the linear order of sentence aspects such as style (formality and simplicity of the language) or time (past to future).

V tomto článku představujeme nový dataset pro testování geometrických vlastností prostorů vět. Zaměřujeme se zejména na to, jak jsou v rámci větných embeddingů interpretovány komplexní jevy, jako jsou parafrázy, časy nebo zobecnění.
Dataset je přímým rozšířením Costra 1.0, kterou jsme obohatili o další vět a jejich porovnání.
Ukazujeme, že dostupným předtrénovaným větným embeddingům chybí základní předpoklad, aby synonymní věty byly zanořeny blíže k sobě než věty s výrazně odlišným významem.
Na druhou stranu se zdá, že některé embeddingy respektují lineární pořadí větných jevů jako je styl (formálnost a jednoduchost jazyka) nebo čas (minulost do budoucnosti).


Document Translation vs. Query Translation for Cross-Lingual Information Retrieval in the Medical Domain

Překlad dokumentů a překlad dotazů jako dva přístupy ve vícejazyčném vyhledávání informací

We present a thorough comparison of two principal approaches to Cross-Lingual Information Retrieval: document translation (DT) and query translation (QT). Our experiments are conducted using the cross-lingual test collection produced within the CLEF eHealth information retrieval tasks in 2013–2015 containing English documents and queries in several European languages. We exploit the Statistical Machine Translation (SMT) and Neural Machine Translation (NMT) paradigms and train several domain-specific and task-specific machine translation systems to translate the non-English queries into English (for the QT approach) and the English documents to all the query languages (for the DT approach). The results show that the quality of QT by SMT is sufficient enough to outperform the retrieval results of the DT approach for all the languages. NMT then further boosts translation quality and retrieval quality for both QT and DT for most languages, but still, QT provides generally better retrieval results than DT.

Porovnáváme dva základní přístupy k vícejazyčnému vyhledávání informací: překlad dokumentů (DT) a překlad dotazů (QT). Naše experimenty jsou prováděny na datech CLEF eHealth 2013–2015, které obsahují anglické dokumenty a dotazy v několika evropských jazycích. S použitím Statistického strojového překladu (SMT) a Neurálního strojového překladu (NMT) a trénujeme několik systémů strojového překladu pro překlad neanglických dotazů do angličtiny (QT) a anglických dokumentů do jazyků dotazů (DT). Výsledky ukazují, že kvalita QT pomocí SMT je dostatečná k překonání výsledků vyhledávání s DT pro všechny jazyky. NMT pak dále zvyšuje kvalitu překladu a kvalitu vyhledávání pro QT i DT pro většinu jazyků, QT ale stále poskytuje obecně lepší výsledky vyhledávání než DT.


THEaiTRE: A theatre play written entirely by machines

THEaiTRE: Divadelní hra napsaná výhradně stroji

Researchers at Charles University, Švanda Theater and the Academy of Performing Arts in Prague are currently working on an intriguing research project that merges artificial intelligence and robotics with theater. Their project's main objective is to use artificial intelligence to create an innovative theatrical performance, which is expected to premiere in January 2021.

Výzkumní pracovníci Univerzity Karlovy, Švandova divadla a Akademie múzických umění v Praze v současné době pracují na zajímavém výzkumném projektu, který spojuje umělou inteligenci a robotiku s divadlem. Hlavním cílem jejich projektu je využít umělou inteligenci k vytvoření inovativního divadelního představení, které by mělo mít premiéru v lednu 2021.


One Model, Many Languages: Meta-learning for Multilingual Text-to-Speech

Jeden model, mnoho jazyků: meta-učení pro vícejazyčnou syntézu řeči

We introduce an approach to multilingual speech synthesis which uses the meta-learning concept of contextual parameter generation and produces natural-sounding multilingual speech using more languages and less training data than previous approaches. Our model is based on Tacotron 2 with a fully convolutional input text encoder whose weights are predicted by a separate parameter generator network. To boost voice cloning, the model uses an adversarial speaker classifier with a gradient reversal layer that removes speaker-specific information from the encoder. We arranged two experiments to compare our model with baselines using various levels of cross-lingual parameter sharing, in order to evaluate: (1) stability and performance when training on low amounts of data, (2) pronunciation accuracy and voice quality of code-switching synthesis. For training, we used the CSS10 dataset and our new small dataset based on Common Voice recordings in five languages. Our model is shown to effectively share information across languages and according to a subjective evaluation test, it produces more natural and accurate code-switching speech than the baselines.

Představujeme přístup k vícejazyčné syntéze řeči, který využívá koncepce meta-učení  – generování parametrů na základě kontextu – a produkuje přirozeně znějící vícejazyčnou řeč s využitím více jazyků a méně trénovacích dat než předchozí přístupy. Náš model je založen na Tacotronu 2 s plně konvolučním enkodérem vstupního textu, jehož váhy jsou predikovány samostatnou sítí – generátorem parametrů. Pro zlepšení klonování hlasu napříč jazyky náš model používá adversariální klasifikaci mluvčího s vrstvou obracející gradienty, která z enkodéru odstraňuje informace specifické pro daného mluvčího. Provedli jsme dva experimenty, abychom náš model porovnali s baseliny používajícími různé úrovně sdílení parametrů napříč jazyky a přitom vyhodnotili: 1) stabilitu a výkonnost při trénování na malém množství dat, 2) přesnost výslovnosti a kvalitu hlasu při code-switchingu (změně jazyka uprostřed věty). Pro trénování jsme použili dataset CSS10 a náš nový malý dataset založený na nahrávkách Common Voice v pěti jazycích. Ukazujeme, že náš model efektivně sdílí informace napříč jazyky a podle subjektivní evaluace vytváří přirozenější a přesnější vícejazyčnou řeč než baseliny.


Proceedings of the 1st Workshop on Evaluating NLG Evaluation

Sborník z 1. workshopu o evaluaci evaluace generování jazyka

The aim of the workshop is to offer a platform for discussions on the status and the future of the evaluation of Natural Language Generation (NLG) systems. The workshop invited archival papers and abstracts on NLG evaluation including best practices of human evaluation, qualitative studies, cognitive bias in human evaluations etc.  The workshop received twelve submissions. Ten papers and abstracts were accepted and were presented as posters at the workshop. This proceedings volume contains the five archival papers.

Cílem workshopu je nabídnout platformu pro diskuse o stavu a budoucnosti hodnocení systémů generování přirozeného jazyka (NLG). Workshop vyzýval k pubilkaci jak archivních článků, tak abstraktů, zaměřených na evaluaci NLG včetně osvědčených postupů lidského hodnocení, kvalitativních studií, kognitivního zkreslení při lidském hodnocení atd. Sešlo se 12 přihlášených prezentací, bylo přijato deset článků a abstraktů, které byly na workshopu prezentovány jako postery. Tento sborník obsahuje pět archivních článků.

Shubham Agarwal
Ondřej Dušek
Sebastian Gehrmann
Dimitra Gkatzia
Ioannis Konstas
Emiel van Miltenburg
Sashank Santhanam
Samira Shaikh


Multi-Lingual MT Research at ÚFAL, Charles University

Výzkum mnohojazyčného strojového překladu na ÚFALu

In my talk, I will summarize our recent activities in text and speech
translation. I will start with the EU project ELITR (https://elitr.eu/) where we
are aiming at highly multi-lingual live translation of speech, highlighting the
technical challenges (you probably know all of them) but I will also touch upon
getting a better input from the end users so that better translation quality is
possible (our activity on 'outbound translation' in the EU project Bergamot,
https://browser.mt/). Finally, I will ask for collaboration on my
overall basic-research quest: to get the meaning right and to model it in a more
human-like way.

Ve svém projevu shrnu naše nedávné aktivity v překladu textu a řeči. Začnu projektem EU ELITR (https://elitr.eu/), kde se zaměřujeme na vysoce mnohojazyčný živý překlad řeči, který upozorňuje na technické problémy (pravděpodobně je všechny znáte), ale dotknu se i toho, jak získat lepší vstupy od koncových uživatelů, aby byla možná lepší kvalita překladu (naše aktivita na "odchozím překladu" v projektu EU Bergamot, https://browser.mt/). Na závěr požádám o spolupráci na svém celkovém úkolu základního výzkumu: správně určit význam a modelovat ho lidštějším způsobem.


ELITR (European Live Translator) project
aims to create a speech translation system
for simultaneous subtitling of conferences
and online meetings targetting up to 43
languages. The technology is tested by
the Supreme Audit Office of the Czech Republic and by alfaview®, a German online
conferencing system. Other project goals
are to advance document-level and multilingual machine translation, automatic
speech recognition, and meeting summarization.

Strojový překlad:

Projekt ELITR (European Live Translator)
usiluje o vytvoření systému pro překlad řeči
pro současné titulkování konferencí
a on-line schůzky až do 43
jazyků. Technologii testuje společnost
Nejvyššího kontrolního úřadu ČR a prostřednictvím alfaview®, německého online
konferenční systém. Další cíle projektu
mají posunout úroveň dokumentů a vícejazyčný strojový překlad, automatický
rozpoznávání řeči a shrnutí setkání.

Ondřej Bojar
Dominik Macháček
Sangeet Sagar
Otakar Smrž
Jonáš Kratochvíl
Ebrahim Ansari
Dario Franceschini
Chiara Canton
Ivan Simonini
Thai-Son Nguyen
Felix Schneider
Sebastian Stüker
Alex Waibel
Barry Haddow
Rico Sennrich
Philip Williams


MorfFlex CZ (the latest version is MorfFlex CZ 2.0)  is the Czech morphological dictionary developed originally by Jan Hajič as a spelling checker and lemmatization dictionary. MorfFlex is a flat list of lemma-tag-wordform triples. For each wordform, full inflectional information is coded in a positional tag. Wordforms are organized into entries (paradigm instances or paradigms in short) according to their formal morphological behavior. The paradigm (set of wordforms) is identified by a unique lemma. Apart from traditional morphological categories, the description also contains some semantic, stylistic and derivational  information.

MorfFlex CZ 2.0 je český morfologický slovník, který původně vyvinul Jan Hajič jako slovník kontroly pravopisu a lemmatizace. MorfFlex je seznam trojic lemma-značka-slovní forma. Pro každou slovní formu je kompletní morfologická informace kódována poziční značkou. Slovní formy jsou uspořádány do skupin (paradigma instancí nebo paradigmat ve zkratce) podle jejich formálního morfologického chování. Paradigma (množina slovník forem) je identifikováno jedinečným lemmatem. Kromě tradičních morfologických kategorií obsahuje popis také některé sémantické, stylistické a odvozené informace.

Jan Hajič
Jaroslava Hlaváčová
Marie Mikulová
Milan Straka
Barbora Štěpánková


Pražský závislostní korpus - Konzolidované vydání 1.0 (PDT-C 1.0)

A richly annotated and genre-diversified language resource, The Prague Dependency Treebank – Consolidated 1.0 (PDT-C 1.0, or PDT-C in short in the sequel) is a consolidated release of the existing PDT-corpora of Czech data, uniformly annotated using the standard PDT scheme. PDT-corpora included in PDT-C: Prague Dependency Treebank (the original PDT contents, written newspaper and journal texts from three genres); Czech part of Prague Czech-English Dependency Treebank (translated financial texts, from English), Prague Dependency Treebank of Spoken Czech (spokem data, including audio and transcripts and multiple speech reconstruction annotation); PDT-Faust (user-generated texts). The difference from the separately published original treebanks can be briefly described as follows: it is published in one package, to allow easier data handling for all the datasets; the data is enhanced with a manual linguistic annotation at the morphological layer and new version of morphological dictionary is enclosed; a common valency lexicon for all four original parts is enclosed. Documentation provides two browsing and editing desktop tools (TrEd and MEd) and the corpus is also available online for searching using PML-TQ.

Bohatě anotovaný a žánrově diverzifikovaný jazykový zdroj, Prague Dependency Treebank - Consolidated 1.0 (PDT-C 1.0) je konsolidovaným vydáním stávajících PDT-korpusů s českými texty, jednotně anotovanými podle standardního anotačního schématu PDT. Korpusy zahrnuté do vydání PDT-C: Prague Dependency Treebank (psané noviny a texty časopisů tří žánrů); Česká část Prague Czech-English Dependency Treebank (přeložené finanční texty, z angličtiny), Prague Dependency Treebank of Spoken Czech (mluvená data, včetně audia a přepisu a anotace rekonstrukce řeči); PDT-Faust (texty generované uživateli). Rozdíl oproti samostatně publikovaným původním korpusům lze stručně popsat následovně: korpusy jsou publikovány v jednom balíčku, aby bylo umožněno jejich snadnější zpracování; data jsou doplněna o manuální lingvistickou anotaci na morfologické rovině a je přiložena nová verze morfologického slovníku; je přiložen společný valenční lexikon pro všechny čtyři původní části. Dokumentace poskytuje dva nástroje pro procházení a úpravy  (TrEd a MEd) a korpus je také k dispozici online pro vyhledávání pomocí PML-TQ.

Jan Hajič
Eduard Bejček
Alevtina Bémová
Eva Buráňová
Eva Fučíková
Eva Hajičová
Jiří Havelka
Jaroslava Hlaváčová
Petr Homola
Pavel Ircing
Jiří Kárník
Václava Kettnerová
Natalia Klyueva
Veronika Kolářová
Lucie Kučová
Markéta Lopatková
David Mareček
Marie Mikulová
Jiří Mírovský
Anna Nedoluzhko
Michal Novák
Petr Pajas
Jarmila Panevová
Nino Peterek
Lucie Poláková
Martin Popel
Jan Popelka
Jan Romportl
Magdaléna Rysová
Jiří Semecký
Petr Sgall
Johanka Spoustová
Milan Straka
Pavel Straňák
Pavlína Synková
Magda Ševčíková
Jana Šindlerová
Jan Štěpánek
Barbora Štěpánková
Josef Toman
Zdeňka Urešová
Barbora Vidová Hladká
Daniel Zeman
Šárka Zikánová
Zdeněk Žabokrtský


Prague Dependency Treebank - Consolidated 1.0

Pražský závislostní korpus - Konsolidované vydaní 1.0

We present a richly annotated and genre-diversified language resource, the Prague Dependency Treebank-Consolidated 1.0 (PDT-C 1.0), the purpose of which is - as it always been the case for the family of the Prague Dependency Treebanks - to serve both as a training data for various types of NLP tasks as well as for linguistically-oriented research. PDT-C 1.0 contains four different datasets of Czech, uniformly annotated using the standard PDT scheme. The texts come from different sources: daily newspaper articles, Czech translation of the Wall Street Journal, transcribed dialogs and a small amount of user-generated, short, often non-standard language segments typed into a web translator. Altogether, the treebank contains around 180,000 sentences with their morphological, surface and deep syntactic annotation. The diversity of the texts and annotations should serve well the NLP applications as well as it is an invaluable resource for linguistic research, including comparative studies regarding texts of different genres. The corpus is publicly and freely available.

Představujeme bohatě anotovaný a žánrově diverzifikovaný jazykový zdroj Prague Dependency Treebank-Consolidated 1.0 (PDT-C 1.0), jehož účelem je - jak tomu vždy bylo u rodiny Pražských závislostních korpusů - sloužit jako trénovací data pro různé typy úkolů NLP i pro jazykově orientovaný výzkum. PDT-C 1.0 obsahuje čtyři různé datové soubory s českými texty, jednotně anotované podle standardního schématu PDT. Texty pocházejí z různých zdrojů: novinové články, český překlad Wall Street Journal, přepsané dialogy a malé množství uživatelem vytvořených krátkých, často nestandardních jazykových segmentů, které se zadávají do webového překladače. Celkem obsahuje strom kolem 180 000 vět s jejich morfologickou, povrchovou a hlubokou syntaktickou anotací.

Jan Hajič
Eduard Bejček
Jaroslava Hlaváčová
Marie Mikulová
Milan Straka
Jan Štěpánek
Barbora Štěpánková


We present the Institute of formal and applied linguistics at the occasion of the relocation of its part to the new Impakt building in Troja.

Přestavujeme Ústav formální a aplikované lingvistiky u příležitosti relokace jeho časti do nové trojské budovy Impakt.


F. Daneš - S. Čmejrková: Their meetings in the field of Grammar

Světla Čmejrková – František Daneš: Jejich setkávání na poli gramatiky. Jazykovědné aktuality 57, č. 1 a 2, 2020, 35 – 38.

In the memorial number the meetings of two famous Czech linguists are described and evaluated with the focus on their grammatical contributions shared by them.

Ve vzpomínkovém článku se vyčíslují několikerá setkání dvou významných českých lingvistů na poli editorském, pedagogickém, ale zejména jde o jejich styčné body v článcích gramatických.


Functional Generative Description  - a framework for an integrated description of grammar

Funkční generativní popis  – rámec pro konzistentní popis gramatiky

In the present contribution, the main constituting features of the Functional Generative Description as proposed by Petr Sgall and his collaborators are introduced together with short characteristics of selected Czech grammatical phenomena within this framework. These phenomena include mainly the verbal and nominal valency and related issues and topic-focus articulation, esp. in relation to negation and presupposition. Further, attention is paid to the categorization of deletions and the related phenomenon of a general participant. Main tenets of FGD have been applied, verified and further refined in the Prague Dependency Treebanks family and valency lexicons, which are briefly characterized here as well.

Článek představuje hlavní principy Funkčního generativního popisu, jak ho navrhl Petr Sgall a jeho spolupracovníci, současně však podává i stručnou charakteristiku vybraných gramatických jevů popsaných v rámci tohoto přístupu. K těmto jevům patří zejména slovesná a substantivní valence a dále aktuální členění věty, zkoumané zejména ve vztahu k negaci a presupozici. Dále je věnována pozornost třídění elips a souvisejícímu jevu zvanému všeobecný aktant. Hlavní principy FGP byly aplikovány, ověřovány a dále zdokonalovány při budování jazykových zdrojů, rovněž v článku krátce popsaných, zejména v rodině Pražských závislostních korpusů a ve valenčních slovnících.

Jarmila Panevová
Eva Hajičová
Václava Kettnerová
Veronika Kolářová
Markéta Lopatková
Marie Mikulová
Magda Ševčíková


Subcategorization of Adverbials  (The Case of Temporal Meanings)

Subkategorizace adverbiálních určení (Případ časových významů)

The system of adverbials with temporal meaning is analyzed here with specific emphasis on their surface expressions. The traditional classification for the meanings applied as responses for the question When?, Since when?, Till when?, How long?, How often? requires a more precise subcategorization with regard to systemic behavior of the adverbials. For the primary temporal expressions answering the questions When? and How long?, a system of subfunctors is proposed, while for the secondary meanings Since when?, Till when?, the corresponding functors are not splitted into subfunctors. The meanings connected with the repetition and the frequency are not discussed here as they belong to the description of the boundary between lexicon and grammar.

V článku analyzujeme adverbiální určení s časovým významem se zvláštním důrazem na jejich formální realizaci. Tradiční klasifikace významů podle toho na jakou otázku adverbiální určení odpovídá (Kdy?, Od kdy?, Do kdy?, Jak dlouho?, Jak často?) vyžaduje přesnější subkategorizaci. Pro primární časové výrazy, které odpovídají na otázky Kdy? a Jak dlouho?, je navržen systém subfunktorů, zatímco pro sekundární významy Od kdy?, Do kdy?, nejsou odpovídající funktory rozděleny na subfunktory. Významy spojené s opakováním a frekvencí zde nejsou diskutovány, protože patří k popisu hranice mezi lexikonem a gramatikou.


The notion of reciprocity is analyzed in linguistics from many different points of view. In this contribution, we focus on an interplay between reciprocity and valency. In Čzech (as in other languages), three groups of reciprocal verbs can be delimited: inherently reciprocal verbs, derived inherently reciprocal verbs and verbs without reciprocal feature in their lexical meaning that nevertheless allow reciprocity of some of their valency complementations. We show that verbs from the three given groups require different representation in lexicon and grammar and that in their syntactically reciprocalized constructions the clitic reflexive is of different part-of-speech classification. Moreover, they exhibit different types of ambiguity. Finally, we mention those aspects of reciprocity that cross the boundary between linguistically structured meaning and cognitive content.

V tomto příspěvku se zaměřujeme na souhru reciprocity a valence. V češtině lze -- s ohledem na reciprocitu -- vymezit tři skupiny sloves: inherentně reciproční slovesa, odvozená inherentně reciproční slovesa a slovesa, který rys vzájemnosti ve svém významu nenesou, ale reciprocitu umožňují. Ukazujeme, že slovesa těchto tří skupin vyžadují jinou reprezentaci ve slovníku a v gramatice a že reflexivum se v jejich konstrukcích má různou slovnědruhovou klasifikací. Dále se soutředíme na ty aspekty reciprocity, které přesahují jazykový význam.

Jarmila Panevová
Markéta Lopatková
Václava Kettnerová


Sentence Meaning Representations across Languages: What Can We Learn from Existing Frameworks?

Reprezentace větného významu napříč jazyky: Jak se můžeme poučit z existujících formalismů?

This article gives an overview of how sentence meaning is represented in eleven deep-syntactic frameworks, ranging from those based on linguistic theories elaborated for decades to rather lightweight NLP-motivated approaches. We outline most important characteristics of each framework and then discuss how particular language phenomena are treated across those frameworks, while trying to shed light on commonalities as well as differences.

Tento článek přináší přehled způsobů zachycení větného významu v jedenácti hloubkově-syntaktických formalismech, od takových, které jsou založené na lingvistických teoriích vyvíjených řadu desetiletí, až po jednodušší přístupy motivované zpracováním přirozeného jazyka. Nastiňujeme nejdůležitější charakteristiky každého formalismu a poté podrobněji rozebíráme způsoby zachycení konkrétních jazykových jevů napříč všemi formalismy. Snažíme se přitom objasnit společné rysy i rozdíly.

Zdeněk Žabokrtský
Daniel Zeman
Magda Ševčíková


On the so-called "setting" through the lens of a parallel corpus

K otázce tzv. kulisy ve světle paralelního korpusu

The author presents analysis of a certain category of the functional sentence perspective, called in Czech "kulisa" (setting), and comprising local and temporal modifications of the sentence. The analysis demonstrates that in Czech, such a setting is a part of the topic (theme) of the sentence and stands at its beginning. In English, due to its grammatical word order, such a setting may be placed at the end of the sentence. In such a case it is not a bearer of the sentential pitch accent.  The analysis is based on the data from the annotated Czech-English corpus PCEDT.

Autorka předkládá analýzu jisté kategorie v aktuálním členění věty, která se v češtině nazývá kulisa a zahrnuje místní a časové určení věty. Ukazuje se, že pokud má jít o kulisu, je toto určení v češtině součástí základu (tématu) věty a stojí na jejím začátku. V angličtině pak vzhledem k zásadě gramatického slovosledu může takové určení stát i na konci věty, v tom případě ovšem není nositelem větného přízvuku. Materiálem analýzy je anotovaný česko-anglický paralelní korpus PCEDT.


An obituary devoted to the life and work of the late Professor Petr Sgall, the founder of computational linguistics in Czechoslovakia, a member of the Prague Linguistic Circle.

Nekrolog věnovaný životu a dílu zesnulého profesora Petra Sgalla, zakladatele počítačové lingvistiky v Československu, člena Pražského lingvistického kroužku.


The analysis of the so-called focalizers, i.e. particles such as E. also, only, even, and their Czech counterparts také, jenom, dokonce, based on the data from the English–Czech parallel corpus PCEDT, focused on (i) in which respects and under which conditions these focalizers may  be said to serve as discourse connectives, (ii) which particular discourse relations are indicated by the  focalizers in question.

Analýza tzv. fokalizátorů, tj. částic jako jsou anglické also, only, even, a jejich českých protějšků také, jenom, dokonce, vycházející z údajů anglicko-českého paralelního korpusu PCEDT, zaměřená na (i) za jakých podmínek lze o těchto fokalizátorech říci, že slouží jako diskurzní konektory, (ii) které konkrétní diskurzní vztahy jsou dotyčnými fokalizátory značeny.

Eva Hajičová
Jiří Mírovský
Barbora Štěpánková


Our detailed analysis of the data from the English–Czech annotated parallel corpus PCEDT confirms the hypothesis that the particles also, only and even as well as their Czech equivalents play basically a discoursive role of explicit connectives, though in a different way and to a different extent.

Naše podrobná analýza dat z anglicko-českého anotovaného paralelního korpusu PCEDT potvrzuje hypotézu, že anglické částice also, only a even i jejich české ekvivalenty hrají v zásadě diskurzivní roli explicitních konektorů, i když jiným způsobem a v jiné míře.


eTranslation  - Machine translation for public administrations

eTranslation - strojový překlad pro veřejnou správu

The talk will introduce a machine translation service - eTranslation

Příspěvek představí službu Evropské komise pro strojový překlad - eTranslation


Vyhledávání informací v medicínských textech

Every day, a vast amount of data is created in the world, in various forms and areas of human activity. A significant part consists of textual data in various languages, such as news reports, professional publications, blog posts, but also private correspondence, conversations on social networks and more. This is no different in the field of medicine and health care. A wide range of data consists on the one hand of highly credible and peer-reviewed publications for experts, on the other hand they are completely uncontrolled advices on this or that illness from virtual friends, or even deliberate misinformation. A special place is given to medical reports typically written in a very specific language.

The paper will provide an overview of research in the field of natural language processing with a focus on various types of texts in the field of medicine and health, especially in the context of European projects Khresmoi and KConnect, which were addressed at the Institute of Formal and Applied Linguistics, MFF UK.

Každodenně vzniká na světě nepřeberné množství dat, které mají různou formu a jsou z různých oblastí lidské činnosti. Značnou část tvoří data textová, a to v různých jazycích, např. novinové zprávy, odborné publikace, blogposty, ale i soukromá korespondence, konverzace na sociálních sítích a další. V oblasti lékařství a péče o zdraví tomu není jinak. Širokou škálu útvarů tvoří na jedné straně vysoce důvěryhodné a recenzované publikace pro odborníky, na straně druhé jsou to zcela nekontrolované rady na ten či onen neduh od virtuálních přátel, či dokonce záměrné dezinformace. Zvláštní místo pak mají lékařské zprávy typicky psané velmi specifickým jazykem.

Příspěvek poskytne přehled výzkumu v oblasti zpracování přirozeného jazyka se zaměřením na různé typy textů z oblasti lékařství a zdraví, a
to zejména v kontextu evropských projektů Khresmoi a KConnect, které byly řešeny na Ústavu formální a aplikované lingvistiky, MFF UK.


The SynSemClass synonym verb lexicon is a result of a project investigating semantic ‘equivalence’ of verb senses and their valency behavior in parallel Czech-English language resources, i.e., relating verb meanings with respect to contextually-based verb synonymy. The lexicon entries are linked to PDT-Vallex (http://hdl.handle.net/11858/00-097C-0000-0023-4338-F), EngVallex (http://hdl.handle.net/11858/00-097C-0000-0023-4337-2), CzEngVallex (http://hdl.handle.net/11234/1-1512), FrameNet (https://framenet.icsi.berkeley.edu/fndrupal/), VerbNet (http://verbs.colorado.edu/verbnet/index.html), PropBank (http://verbs.colorado.edu/%7Empalmer/projects/ace.html), Ontonotes (http://verbs.colorado.edu/html_groupings/), and English Wordnet (https://wordnet.princeton.edu/). Part of the dataset are files reflecting interannotator agreement.

SynSemClass je slovník česko-anglických slovesných synonym. Základními hesly ve slovníku jsou dvojjazyčné česko-anglické slovesné synonymní třídy, v nichž jsou obsažena synonymní česká a anglická slovesa (členy třídy), reprezentovaná jako valenční rámce (tj. slovesné významy), jejichž pojetí vychází z teorie Funkčně generativního popisu jazyka. Sémantická ekvivalence jednotlivých členů třídy byla stanovena na základě jejich kontextového valenčního chování usouvztažněného k situačně-kognitivnímu obsahu (sémantickým rolím). Synonymické vztahy jsou ve slovníku chápány volně, jednotlivé členy třídy jsou ve vztahu nikoli striktní (úplné) synonymie, ale ve vztahu významové podobnosti, tj. částečné synonymie. Předností slovníku je použití paralelního česko-anglického korpusu, PCEDT(https://catalog.ldc.upenn.edu/LDC2012T08 ) jako hlavního zdroje jazykových dat, které umožňuje tzv. "bottom-up" přístup, tj. od praxe k teorii.  Předností slovníku je rovněž propojení všech členů jednotlivých synonymních tříd s dalšími lexikálními zdroji, a to s hesly valenčních slovníků (PDT-Vallex - http://hdl.handle.net/11858/00-097C-0000-0023-4338-F, EngVallex- http://hdl.handle.net/11858/00-097C-0000-0023-4337-2), CzEngVallex - http://hdl.handle.net/11234/1-1512 a Vallex -  http://ufal.mff.cuni.cz/vallex/3.5/), a s hesly sémantických  databází (FrameNet - https://framenet.icsi.berkeley.edu/fndrupal/, VerbNet  - http://verbs.colorado.edu/verbnet/index.html, PropBank - http://verbs.colorado.edu/%7Empalmer/projects/ace.html, Ontonotes - http://verbs.colorado.edu/html_groupings/ a Wordnet - https://wordnet.princeton.edu/).

Zdeňka Urešová
Eva Fučíková
Eva Hajičová
Jan Hajič


he SynSemClass synonym verb lexicon is a result of a project investigating semantic ‘equivalence’ of verb senses and their valency behavior in parallel Czech-English language resources, i.e., relating verb meanings with respect to contextually-based verb synonymy. The lexicon entries are linked to PDT-Vallex (http://hdl.handle.net/11858/00-097C-0000-0023-4338-F), EngVallex (http://hdl.handle.net/11858/00-097C-0000-0023-4337-2), CzEngVallex (http://hdl.handle.net/11234/1-1512), FrameNet (https://framenet.icsi.berkeley.edu/fndrupal/), VerbNet (http://verbs.colorado.edu/verbnet/index.html), PropBank (http://verbs.colorado.edu/%7Empalmer/projects/ace.html), Ontonotes (http://verbs.colorado.edu/html_groupings/), and English Wordnet (https://wordnet.princeton.edu/). Part of the dataset are files reflecting interannotator agreement.


SynSemClass Linked Lexicon: Mapping Synonymy between Languages

Slovník SynSemClass: mapování synonymie mezi jazyky

This lexicon stores cross-lingual semantically similar verb senses in synonym classes extracted from a richly annotated parallel corpus, the Prague Czech-English Dependency Treebank. When building the lexicon, we make use of predicate-argument relations (valency) and link them to semantic roles; in addition, each entry is linked to several external lexicons of more or less “semantic” nature, namely FrameNet, WordNet, VerbNet, OntoNotes and PropBank, and Czech VALLEX. The aim is to provide a linguistic resource that can be used to compare semantic roles and their syntactic properties and features across languages within and across synonym groups (classes, or ’synsets’), as well as gold standard data for automatic NLP experiments with such synonyms, such as synonym discovery, feature mapping, etc. However, perhaps the most important goal is to eventually build an event type ontology that can be referenced and used as a human-readable and human-understandable “database” for all types of events, processes and states. While the current paper describes primarily the content of the lexicon, we are also presenting a preliminary design of a format compatible with Linked Data, on which we are hoping to get feedback during discussions at the workshop. Once the resource (in whichever form) is applied to corpus annotation, deep analysis will be possible using such combined resources as training data.

Slovník synonym propojuje anglická slovesa s jejich překladovými českými protějšky. Vychází z valence, tak jak je zpracovaná ve valenčních slovnících PDT_Vallex, EngVallex a CzEngVallex, a je založen na datech PCEDT. Sdružuje slovesná synonyma podle významu a chování ohledně sémantických rolí. Hesla jsou propojena s existujícími slovníky pro angličtinu i češtinu (FrameNet, VALLEX, VerbNet, PropBank, OntoNotes, WordNet).


Syntactic-Semantic Classes of Context-Sensitive Synonyms Based on a Bilingual Corpus

Syntakticko sémantické třídy kontextových synonym založených na bilingvním korpusu

This paper summarizes findings of a three-year study on
verb synonymy in translation based on both syntactic and semantic criteria
and reports on recent results extending this work. Primary language
resources used are existing Czech and English lexical and corpus
resources, namely the Prague Dependency Treebank-style valency lexicons,
FrameNet, VerbNet, PropBank, WordNet and the parallel Prague
Czech-English Dependency Treebank, which contains deep syntactic
and partially semantic annotation of running texts. The resulting lexicon
(called formerly CzEngClass, now SynSemClass) and all associated
resources linked to the existing lexicons and corpora following from
this project are publicly and freely available. While the project proper
assumes manual annotation work, we expect to use the resulting resource
(together with the existing ones) as a necessary resource for developing
automatic methods for extending such a lexicon, or creating similar lexicons
for other languages.

Tento dokument shrnuje závěry tříleté studie o slovesných synonymech v překladu, založené na syntaktických i sémantických kritériích. Primárními jazykovými zdroji jsou stávající české a anglické lexikální a korpusové zdroje, konkrétně valenční lexikony ve stylu Pražského závislostního korpusu, FrameNet, VerbNet, PropBank, WordNet a paralelní Pražský česko-anglický závislostní korpus. Výsledný lexikon slovesných synonym (dříve nazývaný CzEngClass, nyní SynSemClass) a všechny související zdroje spojené se stávajícími lexikony  jsou veřejně a volně dostupné. Projekt samotný sice předpokládá ruční práci s anotacemi, ale předpokládáme, že výsledný zdroj (spolu se stávajícími) použijeme jako nezbytný zdroj pro vývoj automatických metod rozšíření takového lexikonu nebo vytvoření podobných lexikonů pro další jazyky.


Relation of affirmative and negative forms of adjectives and nouns from the point of view of their valency

Vztah afirmativní a negované formy adjektiv a substantiv z hlediska jejich valence

When treating valency of adjectives and nouns in a valency lexicon it is necessary to decide whether their affirmative and negative form can be captured in one entry, e.g., (ne)závislý ‘(in)dependent’ and (ne)závislost ‘(in)dependence’. There are two cases that would lead to creating a separate entry in the lexicon, namely a difference between the meaning of an affirmative form and the corresponding negative form, e.g., volnost ‘freedom’ vs. nevolnost ‘indisposition’, and a difference in their valency, cf. Eng. dependent on and independent of. Focusing on valency complementations expressed by a prepositional group, we show that valency of negative forms of Czech adjectives and nouns in used corpus data is, with few exceptions, the same as valency of the corresponding affirmative forms, e.g. (ne)spokojený s čím ‘(un)satisfied with sth’, (ne)spokojenost s čím  ‘(dis)satisfaction with sth’. However, it often differs as for its frequency. When capturing valency of affirmative and negative forms in one entry in a lexicon it is important to treat not only the common cases but also less frequent negative forms and their valency (e.g., nevděčný za něco ‘ungrateful for sth’) as well as the opposite cases in which the frequency of a negative form and its valency considerably outnumbers the frequency of the affirmative form (e.g., nepostradatelný pro někoho ‘indispensable to sb’).

Při zpracování valence adjektiv a substantiv ve valenčním slovníku je třeba rozhodnout, zda je možné jejich afirmativní a negované formy zpracovat v jednom hesle, např. (ne)závislý, (ne)závislost. Kromě rozdílů ve významu afirmativní a negované formy, např. volnost (svoboda) vs. nevolnost (nepříjemný tělesný stav), by k vydělení zvláštního hesla vedla také jejich odlišná valence (srov. anglické dependent on vs. independent of). Naše korpusová analýza ukazuje, že negované formy českých adjektiv a substantiv mají až na výjimky stejnou předložkovou valenci jako jejich afirmativní formy (např. (ne)spokojený s čím, (ne)spokojenost s čím), liší se však jejich frekvence. Při zpracování afirmativních a negovaných forem v jednom hesle je vedle běžných případů třeba jednotným způsobem ošetřit jak méně doložené negované formy a jejich valenci (např. nevděčný za něco), tak případy, kdy frekvence negované formy a její valence naopak převažuje nad afirmativní formou (nepostradatelný pro někoho).


NomVallex 1.0 - Valency Lexicon of Nouns

NomVallex 1.0 - Valenční slovník substantiv

The NomVallex I. lexicon describes valency of Czech deverbal nouns belonging to three semantic classes, namely Communication (e.g. dotaz 'question'), Mental Action (e.g. plán 'plan') and Psych State (e.g. nenávist 'hatred'). It covers stem-nominals (e.g. dotazování 'asking') as well as root-nominals (e.g. dotaz 'question'). It captures all lexical meanings of the nouns, differentiating between basic “categorial” meanings of action (e.g. žádání (si) ‘asking’, dovtípení (se) ‘inferring’), abstract result of an action (e.g. žádost ‘request’), property / quality (e.g. důvtip ‘ingenuity’), material object (e.g. pohled ‘postcard’), or container / quantity (e.g. počet ‘number’). Nouns matching the following criteria were included in the lexicon: its semantic class is either Communication, Mental Action or Psych State, its categorial meaning is action or abstract result of an action, and it exhibits non-systemic valency behaviour (especially non-systemic forms of participants) in at least one of its meanings. In total, the lexicon includes 505 lexical units in 248 lexemes. Valency properties are captured in the form of valency frames, specifying valency slots and their morphemic forms. The lexicon aims to illustrate the full range of syntactic structures of noun phrases, and thus the syntactic behaviour of every lexical unit is exemplified with all combinations of its participants (in all forms specified in the valency frame) which were found in the corpus data (CNC SYNv8 and Araneum Bohemicum Maximum). The lexicon is created within the theoretical framework of Functional Generative Description and was inspired by the VALLEX lexicon; it adopts the VALLEX annotation scheme, and in relevant cases, deverbal nouns captured in NomVallex I. mirror the division of lexemes into lexical units and the assignment of lexical units to semantic classes of the base verbs captured in the VALLEX lexicon.

Valenční slovník NomVallex I. zachycuje valenci českých deverbativních substantiv, která alespoň v jednom ze svých významů patří k sémantické třídě Communication (např. dotaz, dotázání se – dotazování se), Mental Action (např. plán, plánování) nebo Psych State (např. nenávist, nenávidění), a to v celkovém počtu 248 lexémů zahrnujících 505 lexikálních jednotek. Problematiku substantivní valence zpracovává v teoretickém rámci Funkčního generativního popisu, přičemž se důsledně opírá o korpusový materiál (korpusy řady SYN Českého národního korpusu a korpus Araneum Bohemicum Maximum). Navazuje na valenční slovník VALLEX, odkud přebírá anotační schéma, v relevantních případech rozdělení základových slovesných lexémů do lexikálních jednotek a jejich přiřazení k sémantickým třídám. U substantiv zachycuje všechny jejich lexikální významy, přičemž rozlišuje základní kategoriální významy událost (např. žádání, dovtípení se), abstraktní výsledek děje (např. žádost), vlastnost (např. důvtip), substance (např. komunikace (silnice)) a kontejner (např. počet). S cílem demonstrovat valenční chování různých typů substantivních derivátů jsou do slovníku zařazeny jak kmenové deriváty (odvozené sufixy -ní/-tí, např. žádání, navrhování - navržení, namítání - namítnutí), tak kořenové deriváty (odvozené různými sufixy, včetně sufixu nulového, např. žádost, návrh, námitka), je-li možné je od příslušných základových sloves utvořit. Kritériem pro zařazení do slovníku je příslušnost k jedné ze tří výše uvedených sémantických tříd, označení události nebo abstraktního výsledku děje a projev nesystémového valenčního chování, zejména nesystémové formy valenčních doplnění. Valenci zachycuje v podobě valenčního rámce, který pro každé valenční doplnění uvádí funktor a množinu možných morfematických vyjádření, a příkladů, které se vyskytly v použitých korpusech. Jeho cílem je na korpusových datech ukázat, v jakých syntaktických strukturách se zkoumaná substantiva mohou vyskytovat, proto dokládá všechny kombinace aktantů (ve všech formách uvedených ve valenčním rámci), které se u daných substantiv v použitých korpusových datech vyskytly.

Veronika Kolářová
Anna Vernerová
Jana Klímová


NomVallex I. Valenční slovník substantiv