The CzEngClass synonym verb lexicon is a result of a project investigating semantic ‘equivalence’ of verb senses and their valency behavior in parallel Czech-English language resources, i.e., relating verb meanings with respect to contextually-based verb synonymy. The lexicon entries are linked to PDT-Vallex (http://hdl.handle.net/11858/00-097C-0000-0023-4338-F), EngVallex (http://hdl.handle.net/11858/00-097C-0000-0023-4337-2), CzEngVallex (http://hdl.handle.net/11234/1-1512), FrameNet (https://framenet.icsi.berkeley.edu/fndrupal/), VerbNet (http://verbs.colorado.edu/verbnet/index.html), PropBank (http://verbs.colorado.edu/%7Empalmer/projects/ace.html), Ontonotes (http://verbs.colorado.edu/html_groupings/), and Czech (http://hdl.handle.net/11858/00-097C-0000-0001-4880-3) and English Wordnets (https://wordnet.princeton.edu/). Part of the dataset are files reflecting annotators choices and agreement for assignment of verbs to classes.


In the present article, we focus on valency and synonymy of verbs in a bilingual, Czech-English setting. Our research of semantic equivalence of verbs is based on the FGD theory on the syntactic side (including valency), and gets main inspiration from FrameNet and VerbNet on the semantic side. As the main source of evidence, we use the Prague Czech-English Dependency Treebank 2.0. We consider this “bottom-up” approach a novel and appropriate approach to study verbal synonymy. Synonymous Czech and English verbs are being grouped into cross-lingual synonym classes and captured in the new CzEngClass lexicon. This lexicon contains not only mappings of valency arguments to semantic roles for each member of the synonym group, but also links them to individual verb entries in FrameNet, VerbNet, Vallex(es) and Czech and English WordNets, making CzEngClass also a richly interconnected lexicon.

V článku se zaměřujeme na valency a synonymii sloves v bilingvním česko-anglickém kontextu. Náš výzkum sémantické ekvivalence sloves je z pohledu syntaktického (včetně valence) založen na FGP a z pohledu sémantického je inspirován především FrameNetem a VerbNetem. Jako hlavní zdroj korpusových dokladů používáme Pražský česko-anglický závislostní korpus 2.0. Postup výzkumu “od spoda nahoru” považujeme za nový a adekvátní přístup pro stadium slovesné synonymie. Synonymní česká a anglická slovesa jsou uskupeny do mezijazykových synonymních tříd v novém slovníku CzEngClass. Tento slovník pro každé synonymní sloveso dané třídy obsahuje jak mapování valenčních argumentů na sémantické role, tak propojení s jednotlivými slovesnými významy ve FrameNetu, VerbNetu, ve Vallexech a v anglickém WordNetu, což ze slovníku CzEngClass zároveň vytváří bohatě propojený slovník.

Zdeňka Urešová
Eva Fučíková
Eva Hajičová
Jan Hajič


Creating a Verb Synonym Lexicon Based on a Parallel Corpus

Slovesný synonymický slovník na základě paralelního korpusu

This paper presents the first findings of our recently started project of building a new lexical resource called CzEngClass, which consists
of bilingual verbal synonym groups. In order to create such a resource, we explore semantic ‘equivalence’ of verb senses of generally
different verbs in a bilingual (Czech-English) setting by using translational context of real-world texts in a parallel, richly annotated
dependency corpus. When grouping semantically equivalent verb senses into classes of synonyms, we focus on valency (arguments
as deep dependents with morphosyntactic features relevant for surface dependencies) and its mapping to a set of semantic “roles” for
verb arguments, common within one class. We argue that the existence of core argument mappings and certain adjunct mappings to a
common set of semantic roles is a suitable criterion for a reasonable verb synonymy definition, possibly accompanied with additional
contextual restrictions. By mid-2018, the first version of the lexicon called CzEngClass will be publicly available.

Představujeme první výsledky našeho projektu o slovesné synonymii na základě paralelního česko-anglického korpusu.


Defining Verbal Synonyms: between Syntax and Semantics

Definování slovesných synonym: mezi syntaxí a sémantikou

While studying verbal synonymy, we have investigated the relation between syntax and semantics
in hope that the exploration of this relationship will help us to get more insight into the question
of synonymy as the relationship relating (similar) meanings between different lexemes. Most
synonym lexicons (Wordnets and similar thesauri) are based on an intuition about the similarity
of word meanings, or on notions like “semantic roles.” In some cases, syntax is also taken into
account, but we have found no annotation and/or evaluation experiment to see how strongly
can syntax contribute to synonym specification. We have prepared an annotation experiment
for which we have used two treebanks (Czech and English) from the Universal Dependencies
(UD) set of parallel corpora (PUDs) in order to see how strong correlation exists between syntax
and the assignment of verbs in context to pre-determined (bilingual) classes of synonyms. The
resulting statistics confirmed that while syntax does support decisions about synonymy, such
support is not strong enough and that more semantic criteria are indeed necessary. The results of
the annotation will also help to further improve rules and specifications for creating synonymous
classes. Moreover, we have collected evidence that the annotation setup that we have used
can identify synonym classes to be merged, and the resulting data (which we plan to publish
openly) can possibly serve for the evaluation of automatic methods used in this area.

Při studiu synonymických vztahů jsme vzali v potaz vztah syntaxe a sémantiky, abychom mohli lépe definovat slovesnou valenci. Za pomocí anotačního  experimentu na datech UD a PUDs jsme zjišťovali koreleaci syntaxe a sémantiky.


Synonymy in Bilingual Context: The CzEngClass Lexicon

Synonymie v bilingvním kontextu: Slovník CzEngClass

This paper describes CzEngClass, a bilingual lexical resource being built to investigate verbal synonymy in bilingual context and to relate semantic roles common to one synonym class to verb arguments (verb valency). In addition, the resource is linked to existing resources with the same or a similar aim: English and Czech WordNet, FrameNet, PropBank, VerbNet (SemLink), and valency lexicons for Czech and English (PDT-Vallex, Vallex and EngVallex). There are several goals of this work and resource: (a) to provide gold standard data for automatic experiments in the future (such as automatic discovery of synonym classes, word sense disambiguation, assignment
of classes to occurrences of verbs in text, coreferential linking of verb and event arguments in text, etc.), (b) to build a core (bilingual) lexicon linked to existing resources, for comparative studies and possibly for training automatic tools, and (c) to enrich the annotation of a parallel treebank, the Prague Czech English Dependency Treebank, which so far contained valency annotation but has not linked synonymous senses of verbs together. The method used for extracting the synonym classes is a semi-automatic process with a substantial amount of manual work during filtering, role assignment to classes and individual members’ arguments, and linking to the external lexical resources. We present the first version with 200 classes (about 1800 verbs) and evaluate interannotator agreement using several metrics.

V článku popisujeme slovník bilingvní slovník anglických a českých slovesných synonym, CzEngClass. Ta jsou zachycena v synonymních třídách na základě kontextu. Zároveň je jejich valenční struktura vztažena k sémantickým rolím přiřazeným dané synonymní třídě.  Navíc jsou jednotlivé členy synonymní třídy propojeny s externími (FrameNet, VerbNet, PropbBank, WordNet) a interními zdroji (PDT-valency lexicons, Vallex and Czech WordNet). V čánku představujeme první verzi slovníku, obsahující 200 tříd (cca 1800 sloves) a evaluaci mezianotátorské shody.


Tools for Building an Interlinked Multilingual Synonym Lexicon Network

Nástroje pro vytvoření  synonymního slovníku

This paper (poster) presents a tool used for building a new cross-lingual verbal synonym lexical resource called CzEngClass, as well
as the structure of the lexicon. This lexicon captures interlingual synonyms, using valency behavior of synonymous verbs in relation
to semantic roles as one of the criteria for defining such interlingual synonymy. The tool, called Synonym Class Editor - SynEd, is a
user-friendly tool specifically customized to build and edit individual entries in the lexicon. It helps to keep the cross-lingual synonym
classes consistent and linked to internal as well as well-known external lexical resources. The structure of SynEd also allows to keep and
edit the appropriate syntactic and semantic information for each Synonym Class member. The editor makes it also possible to display
examples of class members usage in translational (parallel corpus) context. SynEd runs platform independently and may be used for
multiple languages. SynEd, CzEngClass and services based on them will be openly available.

Tento příspěvek představuje editor pro tvorbu bilingvního slovesného synonymického slovníku, který propojuje jednotlivé slovesné třídy a jejich členy s dalšími lexikálními zdroji.


Adnominal Valency Complementations Expressed by Prepositional Groups

Předložková vyjádření adnominálních valenčních doplnění

Prepositional groups represent the second most frequent form of valency complementations of Czech nouns (preceded only by prepositionless genitive). In this paper, we exploit the NomVallex lexicon which covers nouns belonging to three semantic classes, i.e. Communication, Mental action and Psychological state. We show that adnominal prepositional groups are shared among these semantic classes to a large extent but their frequency differs. A comparison between valency of nouns from NomVallex and valency of their base verbs from Vallex lexicon reveals that various non-systemic shifts in surface forms of participants exist between the verbal and adnominal prepositional groups. It also enables us to state a high ratio of non-systemic adnominal prepositional groups to all adnominal prepositional groups in the lexicon (not less than 39%).

Předložkové skupiny představují druhou nejčastější formu valenčních doplnění českých substantiv. V této studii byla zkoumána na datech valenčního slovníku NomVallex, a to u tří sémantických tříd, Communication, Mental action a Psychological state. Tyto tři třídy adnominální předložkové skupiny ve velké míře sdílejí, liší se však míra jejich zastoupení. Srovnání valenčních vlastností substantiv z NomVallexu a jejich základových sloves z valenčního slovníku Vallex nám umožnilo upřesnit popis protějšků adnominálních i adverbálních předložkových skupin a ukázat, že tyto předložkové skupiny podléhají nejrůznějším posunům ve formách participantů. Díky tomuto srovnání byl také zjištěn vysoký podíl nově získaných adnominálních předložkových skupin v celkovém počtu předložkových skupin (minimálně 39%).

Veronika Kolářová
Anna Vernerová
Jana Klímová


Valency Lexicon of Czech Nouns NomVallex: Starting Point and Goals

Valenční slovník českých substantiv NomVallex: Východiska a cíle

The corpus-based valency lexicon of Czech nouns NomVallex is a starting project building upon the theory of valency developed within Functional Generative Description and extending the two lexicons developed within this tradition, PDT-Vallex and Vallex. The linguistic material is extracted from Czech linear and syntactically annotated corpora. In comparison with PDT-Vallex, the treatment of entries will be more exhaustive, for example, in the coverage of senses and in the semantic classification added to selected lexical units. The main criteria for including nouns in the lexicon will be semantic class membership and the complexity of valency patterns. Valency of nouns will be captured in the form of valency frames, enumeration of combinations of adnominal participants, and corpus examples.

České valenční slovníky doposud pokrývaly především valenci slovesnou, slovníkové zpracování valence substantiv se tedy potýká s řadou teoretických i praktických otázek. V příspěvku představujeme východiska a cíle při budování valenčního slovníku českých deverbativních substantiv zvaného NomVallex, který vzniká v rámci projektu Valenční slovník substantiv založený na korpusu, s počátkem řešení v lednu 2016. Po teoretické stránce vycházíme z valenční teorie funkčního generativního popisu, při vlastním lexikografickém zpracování se opíráme o korpusový materiál (data Pražského závislostního korpusu a Českého národního korpusu – subkorpusů řady SYN). Při tvorbě slovníku budou částečně využita data valenčního slovníku PDT-Vallex, zpracování hesel však bude zdokonaleno v několika aspektech (například v pokrytí všech významů substantiva). Kritériem pro zařazení do slovníku bude především sémantická třída substantiva a složitost jeho valenčního chování, zejména specifické formy participantů. Valence substantiv bude zachycena pomocí valenčních rámců, výčtu všech možných kombinací adnominálních participantů a korpusových příkladů.

Veronika Kolářová
Jana Klímová
Anna Vernerová


EVALD 3.0 for Foreigners – Evaluator of Discourse

EVALD 3.0 pro cizince – Evaluátor diskurzu

Evaluator of Discourse for Foreigners (EVALD 3.0 for Foreigners) is a software that serves for automatic evaluation of surface coherence (cohesion) in Czech texts written by non-native speakers of Czech. Software evaluates the level of the given text from the perspective of its surface coherence (i.e. it takes into consideration, e.g., the frequency and diversity of connectives, richness of vocabulary, coreference relations etc.). The new version (3.0) adds a set of features related to the topic-focus articulation.

Počítačový nástroj Evaluátor diskurzu pro cizince (EVALD 3.0 pro cizince) slouží k automatickému hodnocení povrchové koherence (koheze) textů v češtině psaných nerodilými mluvčími češtiny. Software hodnotí úroveň předloženého textu z hlediska jeho povrchové výstavby (zohledňuje např. frekvenci a rozmanitost užitých spojovacích prostředků, bohatost slovní zásoby, koreferenční vztahy apod.). Nová verze (3.0) přidává množinu rysů zaměřených na informační strukturu věty.

Jiří Mírovský
Michal Novák
Kateřina Rysová
Magdaléna Rysová
Eva Hajičová


Evaluator of Discourse (EVALD 3.0) is a software that serves for automatic evaluation of surface coherence (cohesion) in Czech texts written by native speakers of Czech. Software evaluates the level of the given text from the perspective of its surface coherence (i.e. it takes into consideration, e.g., the frequency and diversity of connectives, richness of vocabulary, coreference relations etc.). The new version (3.0) adds a set of features related to the topic-focus articulation.

Počítačový nástroj Evaluátor diskurzu (EVALD 3.0) slouží k automatickému hodnocení povrchové koherence (koheze) textů v češtině psaných rodilými mluvčími češtiny. Software tedy hodnotí (známkuje) úroveň předloženého textu z hlediska jeho povrchové výstavby (zohledňuje např. frekvenci a rozmanitost spojovacích prostředků, bohatost slovní zásoby, koreferenční vztahy apod.). Nová verze (3.0) přidává množinu rysů zaměřených na informační strukturu věty.


Core Arguments in Universal Dependencies

Základní aktanty v Universal Dependencies

We will look at one of the cornerstones of Universal Dependencies relation taxonomy, the core arguments and their difference from oblique dependents.

Podíváme se na jeden ze základních kamenů taxonomie vztahů v Universal Dependencies, na tzv. core arguments (základní aktanty) a na způsoby, jak je lze odlišit od tzv. oblique dependents (vedlejší aktanty a volná doplnění).


This monograph presents a comparative study of annotation approaches to morphology and syntax of natural languages, with emphasis on applicability in a multilingual environment. Annotation is understood as adding linguistic categories and relations to digitally encoded natural language text, resulting in annotated corpus; as syntactic relations are often represented in the form of dependency trees, the annotated corpora covered by the monograph are dependency treebanks. Many treebanks exist and their annotation styles vary significantly, which hampers their usefulness for linguists and language engineers. We survey several harmonization efforts that tried to come up with cross-linguistically applicable annotation guidelines, including the most recent and broadest effort to date, Universal Dependencies. We examine language description on three levels: 1. tokenization and word segmentation, 2. morphology, and 3. surface dependency syntax. For each language phenomenon we provide a comparison of its analysis and annotation in various existing treebanks (or other corpora, for tokenization and morphology), pointing out advantages and disadvantages of the competing approaches. On the morphological layer, we go even beyond the currently available corpora and provide a typological survey of features that will be needed when less-resourced languages are covered by an annotation project. We conclude that no single approach is suitable for all purposes, but a good approach must not lose information, so that annotation can be converted to another style when necessary.

Tato monografie představuje srovnávací studii přístupů k anotaci morfologie a syntaxe přirozených jazyků s důrazem na použitelnost v mnohojazyčném prostředí. Anotací se rozumí přidání lingvistických kategorií a vztahů do digitalizovaného textu v přirozeném jazyce. Výsledkem je anotovaný korpus; vzhledem k tomu, že syntaktické vztahy jsou často reprezentované jako závislostní stromy, tato monografie se soustředí na závislostní korpusy (treebanky).


Uniformity versus Diversity: Dependency Grammar for All

Jednota vedle různosti: Závislostní gramatika pro všechny

I will present Universal Dependencies, a community project in computational linguistics that develops morphologically and syntactically annotated corpora for a large number of languages. UD started as an attempt to harmonize language resources used in various software tools for natural language processing. However, it quickly became a valuable resource also for corpus-based research. Three years after its first release, UD contains over 100 dependency treebanks in more than 60 languages. Despite the inevitable bias towards “big” languages, treebanks from less resourced language families are gradually added. In my talk, I will discuss some challenges of building a universal annotation scheme for all languages. In particular, how to make sure that comparable phenomena are annotated in a comparable fashion, without making all the languages look the same.

Představím Universal Dependencies, komunitní projekt v počítačové lingvistice, který poskytuje morfologicky a syntakticky anotované korpusy v mnoha jazycích.


Universal Dependencies and the Slavic Languages

Universal Dependencies a slovanské jazyky

I will present Universal Dependencies, a worldwide community effort aimed at providing multilingual corpora, annotated at the morphological and syntactic levels following unified annotation guidelines. I will discuss the concept of core arguments, one of the cornerstones of the UD framework. In the second part of the talk I will focus on some interesting problems and challenges of applying Universal Dependencies to the Slavic languages. I will discuss examples from 12 Slavic languages that are currently represented in UD and show that cross-linguistic consistency can still be improved.

Představím Universal Dependencies, celosvětový komunitní projekt zacílený na tvorbu mnohojazyčných korpusů anotovaných podle jednotných pravidel na morfologické a syntaktické rovině. Proberu koncept základních aktantů (core arguments), jednoho z pilířů, na kterých stojí anotační schéma UD. Ve druhé části přednášky se zaměřím na některé zajímavé problémy spojené s aplikací Universal Dependencies na slovanské jazyky. Na příkladech z 12 slovanských jazyků, které jsou v současné době reprezentované v UD, ukážu, že na mezijazykové konzistenci je ještě stále co zlepšovat.


Výstupy systémů, které se účastnily soutěže CoNLL 2018

Test data parsed by systems submitted to the CoNLL 2018 shared task in parsing Universal Dependencies.

Testovací data rozebraná systémy, které se účastnily soutěže v syntaktické analýze Universal Dependencies při konferenci CoNLL 2018.

Daniel Zeman
Martin Potthast
Elie Duthoo
Olivier Mesnard
Piotr Rybak
Alina Wróblewska
Wanxiang Che
Yijia Liu
Yuxuan Wang
Bo Zheng
Ting Liu
Zuchao Li
Shexia He
Zhuosheng Zhang
Hai Zhao
Yingting Wu
Jia-Jun Tong
Dat Quoc Nguyen
Karin Verspoor
Hui Wan
Tahira Naseem
Young-Suk Lee
Vittorio Castelli
Miguel Ballesteros
Daniel Hershcovich
Omri Abend
Ari Rappoport
Aaron Smith
Bernd Bohnet
Miryam de Lhoneux
Joakim Nivre
Yan Shao
Sara Stymne
Ömer Kırnap
Erenay Dayanık
Deniz Yuret
Jenna Kanerva
Filip Ginter
Niko Miekka
Akseli Leino
Tapio Salakoski
Kyungtae Lim
Cheoneum Park
Changki Lee
Thierry Poibeau
Riyaz Ahmad Bhat
Irshad Bhat
Srinivas Bangalore
Peng Qi
Timothy Dozat
Yuhao Zhang
Christopher Manning
Tiberiu Boroş
Stefan Daniel Dumitrescu
Ruxandra Burtica
Gor Arakelyan
Karen Hambardzumyan
Hrant Khachatrian
Rudolf Rosa
David Mareček
Milan Straka
Amit Seker
Amir More
Reut Tsarfaty
Berkay Furkan Önder
Can Gümeli
Ganesh Jawahar
Benjamin Muller
Amal Fethi
Louis Martin
Eric Villemonte de la Clergerie
Benoît Sagot
Djamé Seddah
Şaziye Betül Özateş
Arzucan Özgür
Tunga Gungor
Balkız Öztürk
Tao Ji
Yufang Liu
Yijun Wang
Yuanbin Wu
Man Lan
Danlu Chen
Mengxiao Lin
Zhifeng Hu
Xipeng Qiu


CoNLL 2018 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies

Soutěž CoNLL 2018: Vícejazyčná syntaktická analýza z prostého textu do Universal Dependencies

Every year, the Conference on Computational Natural Language Learning (CoNLL) features a shared task, in which participants train and test their learning systems on the same data sets. In 2018, one of two tasks was devoted to learning dependency parsers for a large number of languages, in a real-world setting without any gold-standard annotation on test input.

Konference o počítačovém učení přirozeného jazyka (CoNLL) každoročně zahrnuje tzv. společnou úlohu, tedy soutěž, jejíž účastníci trénují a testují své systémy strojového učení na jednotné sadě dat. Jedna z úloh roku 2018 byla věnována učení závislostních syntaktických analyzátorů (parserů) pro velké množství jazyků, v reálné situaci bez jakýchkoli ručních anotací na vstupu.

Daniel Zeman
Jan Hajič
Martin Popel
Martin Potthast
Milan Straka
Filip Ginter
Joakim Nivre
Slav Petrov


ForFun 1.0: Prague Database of Forms and Functions -- An Invaluable Resource for Linguistic Research

ForFun 1.0: Pražská databáze forem a funkcí -- Neocenitelný zdroj pro lingvistický výzkum

NOT FINAL VERSION.
In this paper, we introduce first version of ForFun, Prague Database of Syntactic Forms and Functions, as an invaluable resource for
profound linguistic research, particularly in describing syntactic functions and their formal realizations. ForFun takes advantage of sev-
eral richly syntactically annotated corpora, collectively called Prague Dependency Treebanks. The ForFun brings this rich and complex
annotation of Czech sentences closer to common researchers. We demonstrate that the ForFun 1.0 provides valuable and rich material
allowing to elaborate various syntactic issues in depth. We believe that nowadays when corpus linguistics differs from traditional linguis-
tics in its insistence on a systematic study of authentic examples of language in use, our database will contribute to the comprehensive
syntactic description.

V příspěvku představujeme první verzi Pražské databáze forem a funkcí, ForFun, jakožto neocenitelný zdroj jazykových dat pro lingvistický výzkum, zejména při popisu syntaktických funkcí a jejich formálních realizací v češtině. ForFun je vybudován na několika bohatě syntakticky anotovaných korpusecg z rodiny Pražských závislostních korpusů.


What Can We Find Out about Time and Space in the ForFun Database?

Co můžeme zjistit o čase a prostoru v databázi ForFun?

We present a description of time and space modifications in Czech sentences based on the ForFun database. ForFun is a new resource built on annotated corpora of Czech—Prague Dependency Treebanks—for inspecting thousands of real examples categorized by their form as well as by their deep syntactic function. Based on the database, we perform a detailed description of meanings of time and space modifications including a list of formal means with real examples coming from both written and spoken texts. It should be emphasized that the study is data-oriented rather than theory-oriented.

Předkládáme popis času a prostoru v českých větách na základě databáze ForFun. ForFun je nový lingvistický zdroj postavený na Pražskými závislostními korpusy češtiny. Umožňuje prohledávání tisíců skutečných příkladů tříděných podle užitých forem a také hloubkově syntaktických funkcí. Na základě databáze provedeme podrobný popis významů časových a prostorových určení včetně seznamu formálních prostředků. Příklady pocházejí z psaných i tištěných textů. Práce vychází z dat a neklade si za cíl nový teoretický popis.

Marie Mikulová
Eduard Bejček
Jarmila Panevová


Search for the Relation of Form and Function Using the ForFun Database

Vyhledávání forem a jejich funkcí v datábázi ForFun

The aim of the contribution is to introduce a database of linguistic forms and their functions
built with the use of the multi-layer annotated corpora of Czech, the Prague Dependency
Treebanks. The purpose of the Prague Database of Forms and Functions (ForFun) is to help the
linguists to study the form-function relation, which we assume to be one of the principal tasks
of both theoretical linguistics and natural language processing. We demonstrate possibilities
of the exploitation of the ForFun database.
This article is largely based on a paper presented at the 16th International Workshop on
Treebanks and Linguistic Theories in Prague (Bejček et al., 2017).

Představujeme databázi forem a funkcí vybudovanou na podkladě ručně anotovaných víceúrovňových korpusů češtiny zvaných Pražské závislostní korpusy. Pražská databáze forem a funkcí (ForFun) byla vytvořena, aby usnadnila lingvistické badání o vztahu funkce a formy, což je jeden z hlavních úkolů, jak v teoretické lingvistice, tak v oblasti počítačového zpracování jazyka. V článku jsou představeny možnosti, jakým způsobem lze v databázi vztah funkce a formy zkoumat.
Článek je z větší části založen na již dříve prezentovaném příspěvku na 16th International Workshop on Treebanks and Linguistic Theories in Prague (Bejček et al., 2017).

Marie Mikulová
Eduard Bejček
Eva Hajičová
Jarmila Panevová


Between Reflexivity and Reciprocity: Towards an Analysis of Reflexive and Reciprocal Constructions of Selected Czech Verbs

Mezi reflexivitou a reciprocitou: Poznámky k reflexivním a recipročním konstrukcím vybraných českých sloves

In this article, we focus on two groups of Czech verbs, lexical and syntactic reciprocals. We provide an analysis of their syntactic properties with respect to reciprocity and reflexivity, their possible ambiguity and combination. We demonstrate that it is the reflexive pronoun and its surface expression that play a key role in the studied phenomena.  In case of ambiguity, both reciprocity and reflexivity affect the same pair of situational participants / valency complementations; the reflexive pronoun occupies the same syntactic position and it corefers with the plural subject. In contrast, when these phenomena combine, different pairs of participants / complementations are involved. We also show that lexical and syntactic reciprocals differ with respect to the studied phenomena.

Na pozadí dvou skupin sloves, lexikálních a syntaktických reciprok v češtině, diskutujeme otázky homonymie a kombinovatelnosti reflexivity a reciprocity. Ukazujeme, že zdrojem homonymie i možnosti kombinace reflexivity a reciprocity je reflexivní zájmeno a že klíčovou úlohu sehrává jeho povrchověsyntaktická pozice. V případě homonymie je při reciprocitě a reflexivitě zasažena stejná dvojice situačních participantů / valenčních doplnění, reflexivní zájmeno tedy obsazuje totožnou povrchověsyntaktickou pozici a koreferuje s plurálovým subjektem. V případě kombinací těchto významů jde o rozdílné pozice a reflexivita a reciprocita zasahují různé dvojice participantů / doplnění. Uvedené dvě skupiny sloves se přitom vzhledem k homonymii a kombinovatelnosti těchto významů chovají do značné míry odlišně.


The talk focused on multiple functions which the reflexives have in the Czech language and their representation in a lexicon.

Příspěvek se zaměřil na polyfunkčnost reflexiv v češtině, vymezení jejich hlavní funckí, které v jazyce plní a důsledky pro jejich popis ve slovníku.


VALLEX 3.5 - Valency Lexicon of Czech Verbs

VALLEX 3.5 - Valenční slovník českých sloves

VALLEX 3.5 provides information on the valency structure (combinatorial potential) of verbs in their particular senses, which are characterized by glosses and examples. VALLEX 3.5 describes almost 4 600 Czech verbs in more than 10 700 lexical units, i.e., given verbs in the given senses; this version is enriched with an annotation of light verb constructions -- almost 1 500 complex predicates have been added.
VALLEX is a is a collection of linguistically annotated data and documentation, resulting from an attempt at formal description of valency frames of Czech verbs. In order to satisfy different needs of different potential users, the lexicon is distributed (i) in a HTML version (the data allows for an easy and fast navigation through the lexicon) and (ii) in a machine-tractable form as a single XML file, so that the VALLEX data can be used in NLP applications.

Valenční slovník českých sloves (též VALLEX 3.5) poskytuje informace o valenční struktuře českých sloves v jejich jednotlivých významech, které charakterizuje pomocí glos a příkladů; tyto základní údaje jsou doplněny o některé další syntaktické a sémantické charakteristiky. VALLEX 3.5 zachycuje téměř 4 600 českých sloves, která odpovídají více než 10 700 lexikálním jednotkám, tedy vždy danému slovesu v daném významu; tato verze je rozšířena o anotaci komplexních predikátů s kategoriálním slovesem (zpracováno celkem téměř 1 500 komplexních predikátů).
VALLEX je budován jako odpověď na potřebu rozsáhlého a kvalitního veřejně dostupného slovníku, který by obsahoval syntaktické a sémantické charakteristiky českých sloves a byl přitom široce uplatnitelný v aplikacích pro zpracování přirozeného jazyka. Při navrhování koncepce slovníku byl proto kladen důraz na všestranné využití jak pro lidského uživatele, tak pro automatické zpracování češtiny.

Markéta Lopatková
Václava Kettnerová
Eduard Bejček
Anna Vernerová
Zdeněk Žabokrtský
Petra Barančíková


DATLOWE: software pro textovou analytiku

Licence and service agreement between Charles University and Datlowe Ltd.(January 1, 2018 -- January 1, 2020) covers the right to use the data of PDT 2.5 and the software for text analytics trained on PDT 2.5, for commercial purposes. The data and software (non-adapted) is otherwise available for free through the LINDAT/CLARIN repository for non-commercial use under the appropriate variant of the Creative Commons license. Namely, software for morphological analysis, lemmatization, syntactic analysis and named-entity recognition.

Licenční smlouva a smlouva o poskytnutí služeb mezi Univerzitou Karlovou a Datlowe, s.r.o. (1. 1. 2018 -- 1. 1. 2020) obsahuje právo na užití dat PDT 2.5 a software pro textovou analytiku natrénovaného na PDT 2.5, a to pro komerční účely. Jedná se o upravené verze nekomerčního software a dat jinak dostupných z repozitáře LINDAT/CLARIN. Jmenovitě: software pro analýzu tvarosloví a lematizaci, syntaktickou analýzu a analýzu názvů pojmenovanýchch entit.


Expletives in Universal Dependency Treebanks

Expletiva v Universal Dependency treebancích

Although treebanks annotated according to the guidelines of Universal Dependencies (UD) now exist for many languages, the goal of annotating the same phenomena in a crosslinguistically consistent fashion is not always met. In this paper, we investigate one phenomenon where we believe such consistency is lacking, namely expletive elements. Such elements occupy a position that is structurally associated with a core argument (or sometimes an oblique dependent), yet are non-referential and semantically void. Many UD treebanks identify at least some elements as expletive, but the range of phenomena differs between treebanks, even for closely related languages, and sometimes even for different treebanks for the same language. In this paper, we present criteria for identifying expletives that are applicable across languages and compatible with the goals of UD, give an overview of expletives as found in current UD treebanks, and
present recommendations for the annotation of expletives so that more consistent annotation can be achieved in future releases.

Ačkoli treebanky anotované podle pravidel univerzálních závislostí (UD) dnes existují pro mnoho jazyků, cíl anotace stejných jevů křížově jazykově konzistentním způsobem není vždy splněn. V této studii zkoumáme jeden jev, u něhož se domníváme, že takový soulad chybí, a to expletiva. Takové prvky zaujímají pozici, která je strukturálně spojena s hlavním argumentem (nebo někdy s volnou závislostí), a přesto jsou nesouvisející a sémanticky prázdné. Mnoho UD stromů označuje alespoň některé prvky za expletiva, ale škála jevů se liší mezi stromy, a to i u úzce příbuzných jazyků, a někdy dokonce u různých stromů pro stejný jazyk. V tomto článku uvádíme kritéria pro určení výrazů, které jsou použitelná napříč jazyky a kompatibilní s cíli UD, poskytujeme přehled výrazů, které se nacházejí v současných UD stromech, a předkládáme doporučení pro anotaci expletiv, aby bylo možné v budoucích vydáních dosáhnout konzistentnější anotace.

Gosse Bouma
Jan Hajič
Joakim Nivre
Per Erik Solberg
Lilja Øvrelid


The paper presents the analysis of Czech verbal prefixes, which is the first step of a project that has the ultimate goal an automatic
morphemic analysis of Czech. We studied prefixes that may occur in Czech verbs, especially their possible and impossible combinations. We
describe a procedure of prefix recognition and derive several general rules for selection of a correct result. The analysis of “double” prefixes enables to make conclusions about universality of the first prefix. We also added linguistic comments to several types of prefixes.

Článek představuje analýzu českých slovesných předpon, což je první krok projektu, který má konečný cíl automatickou morfematickou analýzu češtiny. Studovali jsme předpony, které se mohou vyskytnout v českých slovesech, zejména jejich možné a nemožné kombinace. Popisujeme postup rozpoznávání předpon a odvozujeme obecná pravidla pro výběr správného výsledku. Analýza "dvojitých" prefixů umožňuje vyvodit závěry o univerzálnosti první předpony. Připojili jsme také lingvistické komentáře k několika typům předpon.


The use of large corpora for morphemic analysis of Czech verbal prefixes

Využití velkých korpusů pro morfematickou analýzu českých slovesných předpon

Prefixation is one of the basic word formation means in Czech. Especially for verbs, it is a very productive way, which can modify their meaning and aspect. In the present contribution we show how the corpus data can be used to analyze multiple
prefixes occurring in Czech verbs. In the second part, we deal with the prefixes used to modify the loan verbs coming from foreign languages.

Prefixace je pro češtinu jedním ze základních slovotvorných prostředků. Zejména pro slovesa představuje velmi produktivní způsob, jakým lze modifikovat jejich význam a vid. V současném příspěvku ukážeme, jak lze korpusová data použít k analýze vícenásobných předpon vyskytujících se u českých sloves. Ve druhé části se zabýváme předponami, které se používají k modifikaci sloves přejatých z cizích jazyků.


Testsuite on Czech–English Grammatical Contrasts

Soubor testovacích vět pro česko-anglické gramatické konstrukce

We  present  a  pilot  study  of  machine  transla-
tion of selected grammatical contrasts between
Czech and English in WMT18 News Transla-
tion  Task.   For  each  phenomenon,  we  run  a
dedicated  test  which  checks  if  the  candidate
translation  expresses  the  phenomenon  as  ex-
pected or not. The proposed type of analysis is
not an evaluation in the strict sense because the
phenomenon can be correctly translated in var-
ious ways and we anticipate only one. What is
nevertheless interesting are the differences be-
tween various MT systems and the single ref-
erence translation in their general tendency in
handling the given phenomenon.

Přinášíme pilotní studii strojového překladu vybraných gramatických konstrukcí, které se neshodují při překladu mezi češtinou a angličtinou.


Analysis of Word Order in Multiple Treebanks

Analýza pořádku slov ve více treebancích

This paper gives an overview of results of automatic analysis of word order in 23 dependency treebanks of the HamleDT project. The analysis concentrates on basic characteristics of word order, the order of three main constituents, a predicate, a subject and an object. A quantitative analysis is performed separately for main clauses and subordinated clauses.

Článek seznamuje s výsledky automatické analýzy pořádku slov ve 23 závislostních korpusech projektu HamleDT. Analýza se zaměřuje na základní vlasnosti pořádku slov, pořadí tří hlavních konstituentů - predikátu, subjektu a objektu. Kvantitativní analýza je provedena zvlášť pro hlavní a vedlejší věty.

Vladislav Kuboň
Markéta Lopatková
Jiří Mírovský


Discerning action nouns formed by a zero suffix from unmotivated nouns

Rozdíly mezi deverbálními substantivy tvořenými nulovou příponou a nemotivovanými substantivy

The paper focuses on action nouns with a zero suffix in Czech, which are described as derivation from verbs since the action meaning is primarily expressed by verbs. However, such nouns have a simpler morphemic structure than the corresponding verbs (cf. běh ‘run’ – běh-a-t ‘to run’) and thus differ from the majority of word-formation types in Czech in which the base word is formally simpler and the derivative more complex. In this paper, 100 top-frequent action nouns extracted from a representative corpus of Czech are analysed for features which could support the semantic evidence when determining the direction of motivation between a formally simpler noun and a more complex verb. First, we test whether action nouns derived from verbs do not undergo morphophonemic alternations in inflection (cf. běh.nom – běhu.gen) while in pairs of a base noun and a derived verb the noun is sensitive to alternations (cf. sníh‘snow’, which is the base word for sněžit ‘to snow’, has genitive sněhu; Millet 1958). Second, we verify the assumption that a derivative is less frequent than its base word. Third, the valency potential of both groups of nouns is compared.

Příspěvek se zaměřuje na deverbální substantiva tvořená nulovým sufixem a probírá jejich vlastnosti (hlásková skladba, lexikální význam, korpusová frekvence, valence) s cílem najít rysy, kterými se liší od nemotivovaných substantiv s nulovým sufixem.


Lexical network DeriNet: Derivational relations in the lexicon of Czech

Lexikální síť DeriNet: Derivační vztahy v české slovní zásobě

In the talk, the lexical network DeriNet will be presented. I focus on the theoretical background of this specialized language data resource, selection of lexemes and procedures used for identification of derivational links.

V přednášce bude představena lexikální síť DeriNet, a to zvláště teoretické pozadí tohoto specializovaného zdroje jazykových dat, výběr lexémů a postup vytváření derivačních vztahů.


Modelling Morphographemic Alternations in Derivation of Czech

Modelování morfografémových alternací při odvozování v češtině

The present paper deals with morphographemic alternations in Czech derivation with regard to the build-up of a large-coverage lexical resource specialized in derivational morphology of contemporary Czech (DeriNet database). After a summary of available descriptions in the Czech linguistic literature and Natural Language Processing, an extensive list of alternations is provided in the first part of the paper with a focus on their manifestation in writing. Due to the significant frequency and limited predictability of alternations in Czech derivation, several bottom-up methods were used in order to adequately model the alternations in DeriNet. Suffix-substitution rules proved to be efficient for alternations in the final position of the stem, whereas a specialized approach of extracting alternations from inflectional paradigms was used for modelling alternations within the roots. Alternations connected with derivation of verbs were handled as a separate task. DeriNet data are expected to be helpful in developing a tool for morphemic segmentation and, once the segmentation is available, to become a reliable resource for data-based description of word formation including alternations in Czech.

Článek se věnuje grafémovým alternacím při odvozování slov v češtině z pohledu budování lexikální sítě DeriNet, která se specializuje na zachycování derivačních vztahů v českém lexikonu.


Derivation of Czech verbs and the category of aspect

Odvozování českých sloves a kategorie vidu

The present paper deals with the changes of the category of grammatical aspect during derivation of verbs from verbs in Czech. After summarizing the main issues of the long-standing debate over aspect in Czech, it is argued that formation of aspectual pairs can be seen as an integral part of derivation of Czech verbs. In a language data resource capturing the derivational morphology of Czech, the category of aspect was employed as an important feature in modelling verb-to-verb derivation. A set of criteria used for organization of verbs in the database is presented in the paper.

Příspěvek se zabývá změnami v kategorii slovesného vidu, k nimž dochází během odvozování sloves od sloves v češtině. Po stručném shrnutí základních bodů aspektologických diskuzí nad videm českého slovesa je tvoření vidových protějšků prezentováno jako integrální součást derivace českých sloves. Ve shodě s tímto pohledem je kategorie vidu využita jako důležitý rys při modelování slovesné derivace v databázi zachycující derivační morfologii češtiny. V příspěvku představujeme sadu kritérií, na jejichž základě byla slovesa v databázi organizována.


On the borderline between inflectional and derivational morphology: The case of the Czech verbal prefix po-

Hranice flektivní a derivační morfologie: Případ předpony po- u českých sloves

The present case study deals with the functions of the Czech verbal prefix po-. Three functions of the prefix are analysed by contrasting the existing theoretical descriptions with corpus data. In its primary, word-formational function, po- modifies the meaning of the base verb (expressing one of the semantic features described as Aktionsart or other meanings; e.g. kreslit ‘to draw’ > pokreslit ‘to cover with drawings’). In its second function, po- derives perfective counterparts from the imperfective verb; here, the prefix is considered to be a grammatical means used for the formation of aspectual pairs of verbs (cf. kárat ‘to admonish.impf’ > pokárat ‘to admonish.pf’). The third function of po- is manifested in the class of determinate verbs; it is a part of the morphological form of these verbs in their (imperfective) future meaning (e.g. běžet ‘to run’ – poběží ‘(he) will run’). A group of verbs suspected of exhibiting similar behaviour as the pure determinate verbs is analysed and attested using the corpus data. Finally, the competition between the prefix po- and
several tens of prefixes in Czech verbs is commented upon and the position of the prefixed verbs within word-formation nests is sketched.

Příspěvek probírá postupně tři funkce, které jsou v odborné literatuře připisovány předponě po- u českých sloves. Na pozadí rozsáhlých korpusových dat se předponou po- zabýváme nejprve jako formantem odvozujícím předponová slovesa od sloves bezpředponových, dále jako morfémem podílejícím se na tvoření vidového protějšku a naposledy jako morfémem tvořícím syntetické nedokonavé futurum.
Cílem naší analýzy v jednotlivých oddílech je dosavadní poznatky jednak shrnout a syntetizovat, jednak je konfrontovat se zásadní otázkou, jak autentické korpusové doklady k jednotlivým funkcím přiřadit. Na závěr se na předponu po- u sloves díváme z hlediska konkurence s dalšími předponami a z hlediska, jaké místo předponová slovesa zaujímají v příslušných slovotvorných hnízdech.


A language resource specialized in Czech word-formation: Recent achievements in developing the DeriNet database

Zdroj jazyových dat zaměřený na slovotvorbu češtiny: Novinky ve vývoji databáze DeriNet

The paper reports on recent progress in development of the lexical database DeriNet, which has been designed as a resource specialized in derivation of Czech but, recently, the structure of the database has been modified in order to allow  for  capturing  compounding  and  combined  word-formation  processes, too. The ambition is to cover a major part of the word-formation system of Czech in all its complexity.  The potential of the resource for both linguistic research and experiments  in  Natural  Language  Processing  are exemplified  by  recent  case studies based on the data.

Příspěvek informuje o novinkách ve vývoji lexikální databáze DeriNet, která je budována jako zdroj jazykových data specializovaný na derivaci v češtině a aktuálně modifikována tak, aby zde bylo možné zachycovat i slovotvornou kompozici. Možnosti využití těchto dat jsou ilustrovány nejnovějšími experimenty z oblasti zpracování přirozeného jazyka i z lingvistického výzkumu.

Magda Ševčíková
Adéla Kalužová
Zdeněk Žabokrtský


Universal Dependencies is a project that seeks to develop cross-linguistically consistent treebank annotation for many languages, with the goal of facilitating multilingual parser development, cross-lingual learning, and parsing research from a language typology perspective. The annotation scheme is based on (universal) Stanford dependencies (de Marneffe et al., 2006, 2008, 2014), Google universal part-of-speech tags (Petrov et al., 2012), and the Interset interlingua for morphosyntactic tagsets (Zeman, 2008). This is the ninth release of UD Treebanks, Version 2.3.

Universal Dependencies je projekt, který vyvíjí mezijazykově konzistentní morfologicko-syntaktickou anotaci mnoha jazyků s cílem usnadnit vývoj jazykově nezávislých parserů, mezijazykové strojové učení a výzkum parsingu z perspektivy jazykové typologie. Anotační schéma je založeno na univerzálních Stanfordských závislostech (de Marneffe et al., 2006, 2008, 2014), univerzálních značkách Google (Petrov et al., 2012) a na Intersetu, tj. interlingvě pro sady morfologických značek (Zeman, 2008). Toto je deváté vydání treebanků UD, verze 2.3.

Joakim Nivre
Mitchell Abrams
Željko Agić
Lars Ahrenberg
Lene Antonsen
Katya Aplonova
Maria Jesus Aranzabe
Gashaw Arutie
Masayuki Asahara
Luma Ateyah
Mohammed Attia
Aitziber Atutxa
Liesbeth Augustinus
Elena Badmaeva
Miguel Ballesteros
Esha Banerjee
Sebastian Bank
Verginica Barbu Mititelu
Victoria Basmov
John Bauer
Sandra Bellato
Kepa Bengoetxea
Yevgeni Berzak
Irshad Ahmad Bhat
Riyaz Ahmad Bhat
Erica Biagetti
Eckhard Bick
Rogier Blokland
Victoria Bobicev
Carl Börstell
Cristina Bosco
Gosse Bouma
Sam Bowman
Adriane Boyd
Aljoscha Burchardt
Marie Candito
Bernard Caron
Gauthier Caron
Gülşen Cebiroğlu Eryiğit
Flavio Massimiliano Cecchini
Giuseppe G. A. Celano
Slavomír Čéplö
Savas Cetin
Fabricio Chalub
Jinho Choi
Yongseok Cho
Jayeol Chun
Silvie Cinková
Aurélie Collomb
Çağrı Çöltekin
Miriam Connor
Marine Courtin
Elizabeth Davidson
Marie-Catherine de Marneffe
Valeria de Paiva
Arantza Diaz de Ilarraza
Carly Dickerson
Peter Dirix
Kaja Dobrovoljc
Timothy Dozat
Kira Droganova
Puneet Dwivedi
Marhaba Eli
Ali Elkahky
Binyam Ephrem
Tomaž Erjavec
Aline Etienne
Richárd Farkas
Hector Fernandez Alcalde
Jennifer Foster
Cláudia Freitas
Katarína Gajdošová
Daniel Galbraith
Marcos Garcia
Moa Gärdenfors
Sebastian Garza
Kim Gerdes
Filip Ginter
Iakes Goenaga
Koldo Gojenola
Memduh Gökırmak
Yoav Goldberg
Xavier Gómez Guinovart
Berta González Saavedra
Matias Grioni
Normunds Grūzītis
Bruno Guillaume
Céline Guillot-Barbance
Nizar Habash
Jan Hajič
Jan Hajič, jr.
Linh Hà Mỹ
Na-Rae Han
Kim Harris
Dag Haug
Barbora Hladká
Jaroslava Hlaváčová
Florinel Hociung
Petter Hohle
Jena Hwang
Radu Ion
Elena Irimia
Ọlájídé Ishola
Tomáš Jelínek
Anders Johannsen
Fredrik Jørgensen
Hüner Kaşıkara
Sylvain Kahane
Hiroshi Kanayama
Jenna Kanerva
Boris Katz
Tolga Kayadelen
Jessica Kenney
Václava Kettnerová
Jesse Kirchner
Kamil Kopacewicz
Natalia Kotsyba
Simon Krek
Sookyoung Kwak
Veronika Laippala
Lorenzo Lambertino
Lucia Lam
Tatiana Lando
Septina Dian Larasati
Alexei Lavrentiev
John Lee
Phương Lê Hồng
Alessandro Lenci
Saran Lertpradit
Herman Leung
Cheuk Ying Li
Josie Li
Keying Li
KyungTae Lim
Nikola Ljubešić
Olga Loginova
Olga Lyashevskaya
Teresa Lynn
Vivien Macketanz
Aibek Makazhanov
Michael Mandl
Christopher Manning
Ruli Manurung
Cătălina Mărănduc
David Mareček
Katrin Marheinecke
Héctor Martínez Alonso
André Martins
Jan Mašek
Yuji Matsumoto
Ryan McDonald
Gustavo Mendonça
Niko Miekka
Margarita Misirpashayeva
Anna Missilä
Cătălin Mititelu
Yusuke Miyao
Simonetta Montemagni
Amir More
Laura Moreno Romero
Keiko Sophie Mori
Shinsuke Mori
Bjartur Mortensen
Bohdan Moskalevskyi
Kadri Muischnek
Yugo Murawaki
Kaili Müürisep
Pinkey Nainwani
Juan Ignacio Navarro Horñiacek
Anna Nedoluzhko
Gunta Nešpore-Bērzkalne
Lương Nguyễn Thị
Huyền Nguyễn Thị Minh
Vitaly Nikolaev
Rattima Nitisaroj
Hanna Nurmi
Stina Ojala
Adédayọ̀ Olúòkun
Mai Omura
Petya Osenova
Robert Östling
Lilja Øvrelid
Niko Partanen
Elena Pascual
Marco Passarotti
Agnieszka Patejuk
Guilherme Paulino-Passos
Siyao Peng
Cenel-Augusto Perez
Guy Perrier
Slav Petrov
Jussi Piitulainen
Emily Pitler
Barbara Plank
Thierry Poibeau
Martin Popel
Lauma Pretkalniņa
Sophie Prévost
Prokopis Prokopidis
Adam Przepiórkowski
Tiina Puolakainen
Sampo Pyysalo
Andriela Rääbis
Alexandre Rademaker
Loganathan Ramasamy
Taraka Rama
Carlos Ramisch
Vinit Ravishankar
Livy Real
Siva Reddy
Georg Rehm
Michael Rießler
Larissa Rinaldi
Laura Rituma
Luisa Rocha
Mykhailo Romanenko
Rudolf Rosa
Davide Rovati
Valentin Roșca
Olga Rudina
Jack Rueter
Shoval Sadde
Benoît Sagot
Shadi Saleh
Tanja Samardžić
Stephanie Samson
Manuela Sanguinetti
Baiba Saulīte
Yanin Sawanakunanon
Nathan Schneider
Sebastian Schuster
Djamé Seddah
Wolfgang Seeker
Mojgan Seraji
Mo Shen
Atsuko Shimada
Muh Shohibussirri
Dmitry Sichinava
Natalia Silveira
Maria Simi
Radu Simionescu
Katalin Simkó
Mária Šimková
Kiril Simov
Aaron Smith
Isabela Soares-Bastos
Carolyn Spadine
Antonio Stella
Milan Straka
Jana Strnadová
Alane Suhr
Umut Sulubacak
Zsolt Szántó
Dima Taji
Yuta Takahashi
Takaaki Tanaka
Isabelle Tellier
Trond Trosterud
Anna Trukhina
Reut Tsarfaty
Francis Tyers
Sumire Uematsu
Zdeňka Urešová
Larraitz Uria
Hans Uszkoreit
Sowmya Vajjala
Daniel van Niekerk
Gertjan van Noord
Viktor Varga
Eric Villemonte de la Clergerie
Veronika Vincze
Lars Wallin
Jing Xian Wang
Jonathan North Washington
Seyi Williams
Mats Wirén
Tsegay Woldemariam
Tak-sum Wong
Chunxiao Yan
Marat M. Yavrumyan
Zhuoran Yu
Zdeněk Žabokrtský
Amir Zeldes
Daniel Zeman
Manying Zhang
Hanzhi Zhu


Universal Dependencies is a project that seeks to develop cross-linguistically consistent treebank annotation for many languages, with the goal of facilitating multilingual parser development, cross-lingual learning, and parsing research from a language typology perspective. The annotation scheme is based on (universal) Stanford dependencies (de Marneffe et al., 2006, 2008, 2014), Google universal part-of-speech tags (Petrov et al., 2012), and the Interset interlingua for morphosyntactic tagsets (Zeman, 2008). This is the eighth release of UD Treebanks, Version 2.2.

Universal Dependencies je projekt, který vyvíjí mezijazykově konzistentní morfologicko-syntaktickou anotaci mnoha jazyků s cílem usnadnit vývoj jazykově nezávislých parserů, mezijazykové strojové učení a výzkum parsingu z perspektivy jazykové typologie. Anotační schéma je založeno na univerzálních Stanfordských závislostech (de Marneffe et al., 2006, 2008, 2014), univerzálních značkách Google (Petrov et al., 2012) a na Intersetu, tj. interlingvě pro sady morfologických značek (Zeman, 2008). Toto je osmé vydání treebanků UD, verze 2.2.

Joakim Nivre
Mitchell Abrams
Željko Agić
Lars Ahrenberg
Lene Antonsen
Maria Jesus Aranzabe
Gashaw Arutie
Masayuki Asahara
Luma Ateyah
Mohammed Attia
Aitziber Atutxa
Liesbeth Augustinus
Elena Badmaeva
Miguel Ballesteros
Esha Banerjee
Sebastian Bank
Verginica Barbu Mititelu
John Bauer
Sandra Bellato
Kepa Bengoetxea
Riyaz Ahmad Bhat
Erica Biagetti
Eckhard Bick
Rogier Blokland
Victoria Bobicev
Carl Börstell
Cristina Bosco
Gosse Bouma
Sam Bowman
Adriane Boyd
Aljoscha Burchardt
Marie Candito
Bernard Caron
Gauthier Caron
Gülşen Cebiroğlu Eryiğit
Giuseppe G. A. Celano
Savas Cetin
Fabricio Chalub
Jinho Choi
Yongseok Cho
Jayeol Chun
Silvie Cinková
Aurélie Collomb
Çağrı Çöltekin
Miriam Connor
Marine Courtin
Elizabeth Davidson
Marie-Catherine de Marneffe
Valeria de Paiva
Arantza Diaz de Ilarraza
Carly Dickerson
Peter Dirix
Kaja Dobrovoljc
Timothy Dozat
Kira Droganova
Puneet Dwivedi
Marhaba Eli
Ali Elkahky
Binyam Ephrem
Tomaž Erjavec
Aline Etienne
Richárd Farkas
Hector Fernandez Alcalde
Jennifer Foster
Cláudia Freitas
Katarína Gajdošová
Daniel Galbraith
Marcos Garcia
Moa Gärdenfors
Kim Gerdes
Filip Ginter
Iakes Goenaga
Koldo Gojenola
Memduh Gökırmak
Yoav Goldberg
Xavier Gómez Guinovart
Berta González Saavedra
Matias Grioni
Normunds Grūzītis
Bruno Guillaume
Céline Guillot-Barbance
Nizar Habash
Jan Hajič
Jan Hajič, jr.
Linh Hà Mỹ
Na-Rae Han
Kim Harris
Dag Haug
Barbora Hladká
Jaroslava Hlaváčová
Florinel Hociung
Petter Hohle
Jena Hwang
Radu Ion
Elena Irimia
Tomáš Jelínek
Anders Johannsen
Fredrik Jørgensen
Hüner Kaşıkara
Sylvain Kahane
Hiroshi Kanayama
Jenna Kanerva
Tolga Kayadelen
Václava Kettnerová
Jesse Kirchner
Natalia Kotsyba
Simon Krek
Sookyoung Kwak
Veronika Laippala
Lorenzo Lambertino
Tatiana Lando
Septina Dian Larasati
Alexei Lavrentiev
John Lee
Phương Lê Hồng
Alessandro Lenci
Saran Lertpradit
Herman Leung
Cheuk Ying Li
Josie Li
Keying Li
Kyungtae Lim
Nikola Ljubešić
Olga Loginova
Olga Lyashevskaya
Teresa Lynn
Vivien Macketanz
Aibek Makazhanov
Michael Mandl
Christopher Manning
Ruli Manurung
Cătălina Mărănduc
David Mareček
Katrin Marheinecke
Héctor Martínez Alonso
André Martins
Jan Mašek
Yuji Matsumoto
Ryan McDonald
Gustavo Mendonça
Niko Miekka
Anna Missilä
Cătălin Mititelu
Yusuke Miyao
Simonetta Montemagni
Amir More
Laura Moreno Romero
Shinsuke Mori
Bjartur Mortensen
Bohdan Moskalevskyi
Kadri Muischnek
Yugo Murawaki
Kaili Müürisep
Pinkey Nainwani
Juan Ignacio Navarro Horñiacek
Anna Nedoluzhko
Gunta Nešpore-Bērzkalne
Lương Nguyễn Thị
Huyền Nguyễn Thị Minh
Vitaly Nikolaev
Rattima Nitisaroj
Hanna Nurmi
Stina Ojala
Adédayọ̀ Olúòkun
Mai Omura
Petya Osenova
Robert Östling
Lilja Øvrelid
Niko Partanen
Elena Pascual
Marco Passarotti
Agnieszka Patejuk
Siyao Peng
Cenel-Augusto Perez
Guy Perrier
Slav Petrov
Jussi Piitulainen
Emily Pitler
Barbara Plank
Thierry Poibeau
Martin Popel
Lauma Pretkalniņa
Sophie Prévost
Prokopis Prokopidis
Adam Przepiórkowski
Tiina Puolakainen
Sampo Pyysalo
Andriela Rääbis
Alexandre Rademaker
Loganathan Ramasamy
Taraka Rama
Carlos Ramisch
Vinit Ravishankar
Livy Real
Siva Reddy
Georg Rehm
Michael Rießler
Larissa Rinaldi
Laura Rituma
Luisa Rocha
Mykhailo Romanenko
Rudolf Rosa
Davide Rovati
Valentin Roșca
Olga Rudina
Shoval Sadde
Shadi Saleh
Tanja Samardžić
Stephanie Samson
Manuela Sanguinetti
Baiba Saulīte
Yanin Sawanakunanon
Nathan Schneider
Sebastian Schuster
Djamé Seddah
Wolfgang Seeker
Mojgan Seraji
Mo Shen
Atsuko Shimada
Muh Shohibussirri
Dmitry Sichinava
Natalia Silveira
Maria Simi
Radu Simionescu
Katalin Simkó
Mária Šimková
Kiril Simov
Aaron Smith
Isabela Soares-Bastos
Antonio Stella
Milan Straka
Jana Strnadová
Alane Suhr
Umut Sulubacak
Zsolt Szántó
Dima Taji
Yuta Takahashi
Takaaki Tanaka
Isabelle Tellier
Trond Trosterud
Anna Trukhina
Reut Tsarfaty
Francis Tyers
Sumire Uematsu
Zdeňka Urešová
Larraitz Uria
Hans Uszkoreit
Sowmya Vajjala
Daniel van Niekerk
Gertjan van Noord
Viktor Varga
Veronika Vincze
Lars Wallin
Jonathan North Washington
Seyi Williams
Mats Wirén
Tsegay Woldemariam
Tak-sum Wong
Chunxiao Yan
Marat M. Yavrumyan
Zhuoran Yu
Zdeněk Žabokrtský
Amir Zeldes
Daniel Zeman
Manying Zhang
Hanzhi Zhu


We present our ever ongoing work on cross-lingual syntactic parsing.

Představujeme naši stále probíhající práci na mezijazyčném přenosu syntaktických parserů.


Digital Humanities at Dibris, University of Genova, Italy

Digital Humanities v Dibris, University of Genova, Itálie

I present what I learned about the PhD studies at University of Genova, and suggest some changes to PhD studies at ÚFAL.

Prezentuji, co jsem se dozvěděl o PhD studiu na University of Genova, a navrhuji několik změn pro PhD studium na ÚFALu.


Discovering the structure of natural language sentences by semi-supervised methods

Hledání struktury vět přirozeného jazyka pomocí částečně řízených metod

In this thesis, we focus on the problem of automatically syntactically analyzing a language for which there is no syntactically annotated training data. We explore several methods for cross-lingual transfer of syntactic as well as morphological annotation, ultimately based on utilization of bilingual or multilingual sentence-aligned corpora and machine translation approaches. We pay particular attention to automatic estimation of the appropriateness of a source language for the analysis of a given target language, devising a novel measure based on the similarity of part-of-speech sequences frequent in the languages. The effectiveness of the presented methods has been confirmed by experiments conducted both by us as well as independently by other respectable researchers.

V této dizertaci se zaměřujeme na problém automatického syntaktického rozboru jazyků, pro něž nejsou k dispozici žádná syntakticky anotovaná trénovací data. Zkoumáme několik metod mezijazyčného přenosu syntaktické i morfologické anotace, a nakonec docházíme k metodám založeným na využití dvojjazyčných či vícejazyčných korpů zarovnaných na úrovni vět, a strojového překladu. Zvláštní pozornost věnujeme automatickému odhadování vhodnosti zdrojového jazyka pro analýzu daného cílového jazyka, a navrhujeme novou míru založenou na podobnostech častých sledů slovních druhů. Účinnost představených postupů byla ověřena jak v našich pokusech, tak nezávisle v pracech uznávaných světových vědců.


Modelling language syntax across languages

Modelování závislostní syntaxe napříč jazyky

Presentation of the GAUK project, especially the language similarity measure, and a personal view of the advantages and disadvantages of GAUKs.

Představení projektu GA UK, zejména metody měření podobnosti jazyků, a osobní pohled na výhody a nevýhody GAUKu.


Wikipedia plain text data obtained from Wikipedia dumps with WikiExtractor in February 2018.

Data v podobě prostého textu získaná z dumpů Wikipedie v únoru 2018.


CUNI x-ling: Parsing under-resourced languages in CoNLL 2018 UD Shared Task

CUNI x-ling: Parsing jazyků s omezenými zdroji v CoNLL 2018 UD Shared Task

This is a system description paper for the CUNI x-ling submission to the CoNLL 2018 UD Shared Task. We focused on parsing under-resourced languages, with no or little training data available. We employed a wide range of approaches, including simple word-based treebank translation, combination of delexicalized parsers, and exploitation of available morphological dictionaries, with a dedicated setup tailored to each of the languages. In the official evaluation, our submission was identified as the clear winner of the Low-resource languages category.

Tento článek popisuje systém CUNI x-ling zaslaný do soutěže CoNLL 2018 UD Shared Task. Zaměřili jsme se na syntaktickou analýzu jazyků s nedostatkem zdrojů, které mají k dipozici malá nebo žádná trénovací data. Použili jsme široké spektrum přístupů, včetně jednoduchého překladu závislostních korpusů slovo po slově, kombinace delexikalizovaných parserů, a využití dostupných tvaroslovných slovníků. Náš příspěvek byl v oficiálním vyhodnocení označen za jasného vítěze v kategorii analýzy jazyků s nedostatkem zdrojů.


Slovenskočeský NLP workshop (SloNLP 2018)

SloNLP is a workshop focused on Natural Language Processing (NLP) and Computational Linguistics. Its primary aim is to promote cooperation among NLP researchers in Slovakia and Czech Republic.

The topics of the workshop include automatic speech recognition, automatic natural language analysis and generation (morphology, syntax, semantics, etc.), dialogue systems, machine translation, information retrieval, practical applications of NLP technologies, and other topics of computational linguistics.

SloNLP je workshop speciálně zaměřený na zpracování přirozeného jazyka a počítačovou lingvistiku. Jeho hlavním cílem je podpořit spolupráci mezi výzkumníky v oblasti NLP v Česku a na Slovensku.

Mezi témata workshopu patří automatické rozpoznávání mluvené řeči (ASR), automatická analýza a generování přirozeného jazyka (morfologie, syntax, sémantika...), dialogové systémy (DS), strojový překlad (MT), vyhledávání informací (IR), praktické aplikace NLP technologií, a další témata počítačové lingvistiky.


Looking for linguistic structures in neural networks

Hledání lingvistických struktur v neuronových sítích

In recent years, deep neural networks have achieved and surpassed
state-of-the-art results in many tasks, including many natural language
processing problems, such as machine translation, sentiment analysis, image
captioning, etc.

Traditionally, solving these tasks relied on many intermediary
steps, internally using explicit linguistic annotations and representations,
such as part-of-speech tags, syntactic structures, semantic labels, etc. These
smaller substeps were thought of as useful or even necessary to solve the
larger and more complex tasks.

However, deep neural networks have made it possible to use end-to-end
learning, where the network directly learns to produce the desired outputs
from the inputs, without any explicit internal intermediary representations.

Nevertheless, the networks are structured in such a way that we can still
think of them as using some intermediary representations of the inputs,
although these are learned only implicitly. Some of the representations can be
directly linked to certain parts of the input -- such as word embeddings
corresponding to individual words -- others are linked to the inputs more
vaguely, due to using recurrent units, attention, etc.

In our project, we are interested in investigating these internal representations,
trying to see what information they capture, how they are structured, and what
meaning we can assign to them. More specifically, we are currently trying to
reliably determine to what extent neural networks seem to capture some basic
linguistic notions, such as part of speech, in their various components --
encoder word embeddings, decoder word embeddings, encoder hidden states... We
are also interested in how this depends on the task for which the network is
trained -- language modelling (word2vec), machine translation, sentiment
analysis... Ultimately, we are interested in the somewhat philosophical
question of whether neural networks seem to understand language, or at least
capture the meanings of sentences.

Představujeme svůj projekt LSD, ve kterém se snažíme zjistit, zda neuronové sítě pracují s reprezentacemi podobnými klasickým lingvistickým strukturám.

Rudolf Rosa
Jindřich Libovický
Tomáš Musil
David Mareček


We present the question-answering system Politician, which
is a chatbot designed to imitate a fictional politician. The chatbot accepts questions on political issues and answers them accordingly. The questions are analyzed using natural language processing techniques, mainly using a custom scenario built on Treex, and no complex knowledge base is involved. There are two working versions so far, in Czech and in English.

Once morphological and syntactic annotations are available for
the question, an appropriate answer template is selected from the manually created set of answer templates based on the nouns, verbs and named entities present in the question. After that, the answer template is transformed into a grammatically correct reply.

We also briefly investigated the differences between the two languages and potential generalization of the approach to other topics. Apparently, morphological and syntactic information provides enough data for a very basic understanding of questions on a specific topic.

Prezentujeme dialogový systém Politik, který imituje virtuálního politika. Systém zodpovídá otázky na politická témata. Otázky jsou analyzovány pomocí nástrojů počítačového zpracování jazyka pomocí systému Treex bez znalostní báze. Systém je navržen pro češtinu a angličtinu. Po zpracování morfologickém a syntaktickém zpracování otázky se vybírá vhodná šablona odpovědi z ručně vytvořených šablon. Následně je šablona transformována do gramiticky správné věty. Také jsme pilotně zkoumali rozdíly v doméně rozhovoru.

David Kuboň
Eleni Metheniti
Barbora Hladká


A Fine-grained Large-scale Analysis of Coreference Projection

Detailní analýza projekce koreference na velkých datech

We perform a fine-grained large-scale analysis
of coreference projection.  By projecting gold
coreference  from  Czech  to  English  and  vice
versa  on  Prague  Czech-English  Dependency
Treebank 2.0 Coref, we set an upper bound of
a proposed projection approach for these two
languages.  We undertake a detailed thorough
analysis that combines the analysis of projec-
tion’s  subtasks  with  analysis  of  performance
on individual mention types.  The findings are
accompanied with examples from the corpus.

V článku provádíme experimenty s projekcí koreference na velkých datech a analyzujeme je napříč jemně zvolenými kategoriemi.


A Study on Bilingually Informed Coreference Resolution

Studie o bilinguálně informovaném rozpoznávání koreference

Coreference is a basic means to retain coherence of a text that likely exists in every language. However, languages may differ in how a coreference relation is manifested on the surface. A possible way how to measure the extent and nature of such differences is to build a coreference resolution system that operates on a parallel corpus and extracts information from both language sides of the corpus. In this work, we build such a bilingually informed coreference resolution system and apply it on Czech-English data. We compare its performance with the system that learns only from a single language. Our results show that the cross-lingual approach outperforms the monolingual one. They also suggest that a system for Czech can exploit the additional English information more effectively than the other way round. The work concludes with a detailed analysis that tries to reveal the reasons behind these results.

Článek popisuje experimenty s bilinguálně informovaným rozpoznáváním koreference na česko-anglických datech.


Coreference from the Cross-lingual Perspective

The subject of this monograph is to study properties of coreference using cross-lingual approaches. We designed two cross-lingual methods: the bilingually informed coreference resolution and the coreference projection. The results of our experiments suggest that with respect to coreference English is more informative for cyech than vice versa.

Tématem této knihy je studium vlastností koreference s použitím mezijazykových přístupů. Navrhujeme dvě mezijazykové metody: rozpoznávání koreference s informací z druhého jazyka a projekci koreference. Výsledky našich experimentů s těmito metodami na česko-anglických datech naznačují, že s ohledem na koreferenci přináší angličtina více informací do češtiny než naopak.


The subject of this thesis is to study properties of coreference using cross-lingual approaches. The work is motivated by the research on coreference-related linguistic typology. Another motivation is to explore whether differences in the ways how languages express coreference can be exploited to build better models for coreference resolution. We design two cross-lingual methods: the bilingually informed coreference resolution and the coreference projection. The results of our experiments with the methods carried out on Czech-English data suggest that with respect to coreference English is more informative for Czech than vice versa. Furthermore, the bilingually informed resolution applied on parallel texts has managed to outperform the monolingual resolver on both languages. In the experiments, we employ the monolingual coreference resolver and an improved method for alignment of coreferential expressions, both of which we also designed within the thesis.

Tématem této práce je studium vlastností koreference s použitím mezijazykových přístupů. Motivací práce je výzkum lingvistické typologie založené na koreferenci. Další motivací je prozkoumání, jestli rozdíly ve způsobech, jak jazyky vyjadřují koreferenci, mohou být využity k natrénování lepších modelů pro rozpoznávání koreference. Navrhujeme dvě mezijazykové metody: rozpoznávání koreference s informací z druhého jazyka a projekci koreference. Výsledky našich experimentů s těmito metodami na česko-anglických datech naznačují, že s ohledem na koreferenci přináší angličtina více informací do češtiny než naopak. Rozpoznávání koreference s informací z druhého jazyka navíc dokázalo při aplikaci na paralelních datech překonat na obou jazycích výsledky jednojazykového systému na rozpoznávání. Při experimentech používáme jednojazykový rozpoznávač koreference a vylepšenou metodu na zarovnání koreferenčních výrazů, které jsme rovněž navrhli v rámci této práce.


Topic–Focus Articulation: A Third Pillar of Automatic Evaluation of Text Coherence

Topic–Focus Articulation: Třetí pilíř automatického hodnocení koherence textu

We present a system for automatic evaluation of surface text coherence in Czech essays written by native and non-native speakers. The features of the EVALD system cover spelling, vocabulary, morphology, syntax, discourse relations and coreference. Newly we add features targeting topic–focus articulation.

Představujeme systém pro automatické hodnocení textové koherence v českých esejích psaných nerodilými mluvčími. Systém EVALD pracuje s množinou rysů z oblasti pravopisu, slovní zásoby, morfologie, syntaxe, diskurzních vzahů a koreference. Nově nyní přidáváme rysy z oblasti informační struktury věty (aktuálního členění větného).

Michal Novák
Jiří Mírovský
Kateřina Rysová
Magdaléna Rysová


Diacritics Restoration Using Neural Networks

Doplnění diakritiky pomocí neuronových sítí

In this paper, we describe a novel combination of a character-level recurrent neural-network based model and a language model applied to diacritics restoration. In many cases in the past and still at present, people often replace characters with diacritics with their ASCII counterparts. Despite the fact that the resulting text is usually easy to understand for humans, it is much harder for further computational processing. This paper opens with a discussion of applicability of restoration of diacritics in selected languages. Next, we present a neural network-based approach to diacritics generation. The core component of our model is a bidirectional recurrent neural network operating at a character level. We evaluate the model on two existing datasets consisting of four European languages. When combined with a language model, our model reduces the error of current best systems by 20% to 64%. Finally, we propose a pipeline for obtaining consistent diacritics restoration datasets for twelve languages and evaluate our model on it. All the code is available under open source license on https://github.com/arahusky/diacritics_restoration.

Článek popisuje inovativní kombinaci recurrent neural-network based modelu na úrovni znaků a jazykového modelu aplikovanou na úlohu doplnění diakritiky do textu.

Jakub Náplava
Milan Straka
Pavel Straňák
Jan Hajič


The WMT’18 Morpheval test suites for English-Czech, English-German, English-Finnish and Turkish-English

Testovací sady Morpeval pro WMT18 a jazykové páry angličtina-čeština, angličtina-němčina, angličtina-finština

Progress in the quality of machine translation
output calls for new automatic evaluation pro-
cedures  and  metrics.    In  this  paper,  we  ex-
tend  the  Morpheval  protocol  introduced  by
Burlot  and  Yvon  (2017)  for  the  English-to-
Czech  and  English-to-Latvian  translation  di-
rections to three additional language pairs, and
report its use to analyze the results of WMT
2018’s  participants  for  these  language  pairs.
Considering  additional,  typologically  varied
source  and  target  languages  also  enables  us
to  draw  some  generalizations  regarding  this
morphology-oriented evaluation procedure.

Pokrok v kvalitě strojového překladu si žádá nové metody a metriky automatického vyhodnocování. V tomto příspěvku rozšiřujeme testovací sadu pro morfologické rysy (Burlot a Zvon, 2017) o další jazykové páry.

Franck Burlot
Yves Scherrer
Vinit Ravishankar
Ondřej Bojar
Stig-Arne Grönroos
Maarit Koponen
Tommi Nieminem
François Yvon


Challenges in Converting the Index Thomisticus Treebank into Universal Dependencies

Výzvy při převodu korpusu Index Thomisticus do Universal Dependencies

This paper describes the changes applied to the original process used to convert the Index Thomisticus Treebank, a corpus including texts in Medieval Latin by Thomas Aquinas, into the annotation style of Universal Dependencies. The changes are made both to harmonise the Universal Dependencies version of the Index Thomisticus Treebank with the two other available Latin treebanks and to fix errors and inconsistencies resulting from the original process. The paper details the treatment of different issues in PoS tagging, lemmatisation and assignment of dependency relations. Finally, it assesses the quality of the new conversion process by providing an evaluation against a gold standard.

Tento článek popisuje změny v proceduře, která se používá při převodu závislostního korpusu Index Thomisticus do anotačního stylu Universal Dependencies. Index Thomisticus je korpus středověkých latinských textů od Tomáše Akvinského.

Flavio Massimiliano Cecchini
Marco Passarotti
Paola Marongiu
Daniel Zeman


A Case for Instrinsic Evaluation of Optical Music Recognition

Za intrinsní evaluaci rozpoznávání notopisu

Evaluating Optical Music Recognition (OMR) has
long been an acknowledged sore spot of the field. This short
position paper attempts to bring some clarity to what are actually
open problems in OMR evaluation: a closer look reveals that the
main problem is finding an edit distance between some practical
representations of music scores. While estimating these editing
costs in the transcription use-case of OMR is difficult, I argue
that the problems with modeling the subsequent editing workflow
can be de-coupled from general OMR system development using
an intrinsic evaluation approach, and sketch out how to do this.

Evaluace rozpoznávání notopisu (Optical Music Recognition, OMR) je dlouholetým trnem v patě oboru. Tento krátký position paper se pokouší vyjasnit, co přesně jsou překážky ve vyhodnocování OMR: detailnější pohled ukazuje, že hlavním problémem je nalézt způsob, jak vypočítat editační vzdálenost mezi prakticky použitelnými reprezentacemi notopisu.  Odhadovat tyto "ceny úprav" pro aplikaci OMR pro přímočarou digitalizaci not je obtížné, tvrdím však, že problémy s modelováním dalších faktorů ovlivňující náročnost lidského post-editování výstupu OMR je možné separovat od vyhodnocování sytémů OMR během jejich vývoje, pokud se použije intrinsní evaluace místo evaluace motivované aplikací, a načrtávám způsob, jak takovou evaluaci udělat.


Optical Music Recognition (OMR) is a field of research that investigates how to computationally decode music notation in documents. As most musical compositions in the Western tradition have been written rather than recorded, bringing this music into the digital domain can significantly diversify the sources for MIR, digital musicology, and more broadly lower the costs of introducing previously unheard works to audiences worldwide. While OMR has been regarded as a largely unsolved problem, this situation has recently shifted: new large-scale datasets and tools have been released, methods based on deep learning are successfully dealing with musical symbol detection and partial end-to-end recognition, and applications of OMR such as retrieval have started migrating from article introductions to the Results sections. Our tutorial will present this new and rather exciting state of the art in OMR. We will demonstrate recent methods and results, introduce the audience to the tools and datasets used to achieve them, and showcase the opportunities for using OMR. Finally, we will introduce the current challenges in OMR. After the tutorial, the participants should be familiar with state-of-the-art OMR research, and should be able to start using existing tools to integrate OMR into their own work, whether in MIR or (digital) musicology. For those interested in working on OMR themselves, the tutorial should provide a head start.

Rozpoznávání notopisu (Optical Music Recognition, OMR) je oblast výzkumu zaměřená na automatické dekódování hudební notace z dokumentů. Vzhledem k tomu, že většina hudebních skladeb v západní tradici existuje pouze v psané podobě, zapojení této modality do digitální domény může podstatně diversifikovat zdroje pro digitální muzikologii, hudební informatiku, aj. Doposud bylo OMR považováno za převážně nevyřešený problém, avšak tato situace se v posledních letech začla měnit: byly vydány rozsáhlé datové sady, metody založené na strojovém učení překonávají dříve nepřekonatelné překážky, a aplikace OMR migrují z motivačních úvodů jednotlivých článků spíše do sekcí Výsledky. Náš tutoriál prezentuje tento nový stav poznání: metody, výsledky, nástroje, a datasety. Po tutoriálu budou účastníci obeznámeni se stavem rozpoznávání notopisu, a měli by být schopní pomocí existujících nástrojů začít OMR integrovat do své práce, ať už hudebně-informatické či muzikologické; pro účastníky, kteří mají zájem na OMR přímo pracovat, pak tutoriál představuje efektivní úvod do problematiky.

Jan Hajič, jr.
Alexander Pacha
Jorge Calvo-Zaragoza


How current optical music recognition systems are becoming useful for digital libraries

Jak se systémy rozpoznávání notopisu stávají užitečnější pro digitální knihovny

Optical Music Recognition (OMR) promises to make large collections of sheet music searchable by their musical content. It would open up novel ways of accessing the vast amount of written music that has never been recorded before. For a long time, OMR was not living up to that promise, as its performance was simply not good enough, especially on handwritten music or under non-ideal image conditions. However, OMR has recently seen a number of improvements, mainly due to the advances in machine learning. In this work, we take an OMR system based on the traditional pipeline and an end-to-end system, which represent the current state of the art, and illustrate in proof-of-concept experiments their applicability in retrieval settings. We also provide an example of a musicological study that can be replicated with OMR outputs at much lower costs. Taken together, this indicates that in some settings, current OMR can be used as a general tool for enriching digital libraries.

Rozpoznávání notopisu (optical music recognition, OMR) slibuje, že díky němu půjde prohledávat hudební "full-text" v rozsáhlých notových archivech. Otevřel by se tak nový způsob přístupu k obrovskému množství hudby, která byla napsána, avšak ne nahrána. OMR však toto už slibuje dlouho a povětšinou bezvýsledně: jeho výsledky nejsou dostatečně dobré, především pro hudební rukopisy či pro nedokonalé scany. V poslední době se však OMR zlepšilo, především díky pokrokům ve strojovém učení. V tomto příspěvku vezmeme OMR systém založený na tradičním několikakrokovém postupu a druhý systém založený na učení end-to-end, a ilustrujeme jejich možnosti v jednoduchých, prototypických vyhledávacích aplikacích. Na příkladu také ukazujeme, jak použití OMR může výrazně snížit náklady na studie kvantitativní muzikologie. Dohromady tyto výsledky interpretujeme tak, že v určitých úlohách již lze současné technologie OMR nasadit jako obecný nástroj pro obohacování digitálních knihoven.

Jan Hajič, jr.
Marta Kolárová
Alexander Pacha
Jorge Calvo-Zaragoza


Towards Full-Pipeline Handwritten OMR with Musical Symbol Detection by U-Nets

Směrem k úplnému rozpoznávání rukopisné notace s detekcí notačních objeků pomocí architektury U-Net

Detecting music notation symbols is the most immediate unsolved  subproblem  in  Optical  Music  Recognition  for musical manuscripts.  We show that a U-Net architecture for semantic segmentation combined with a trivial detector  already  establishes  a  high  baseline  for  this  task,  and we  propose  tricks  that  further  improve  detection  performance: training against convex hulls of symbol masks, and multichannel output models that enable feature sharing for semantically related symbols. The latter is helpful especially for clefs, which have severe impacts on the overall OMR result. We then integrate the networks into an OMR pipeline by applying a subsequent notation assembly stage, establishing a new baseline result for pitch inference in handwritten music at an f-score of 0.81.  Given the automatically inferred pitches we run retrieval experiments on handwritten scores, providing first empirical evidence that utilizing the powerful image processing models brings content-based search in large musical manuscript archives within reach.

Detekce notačních symbolů je nejpalčivější otevřený podproblém v rozpoznávání notopisu (Optical Music Recognition, OMR). Ukazujeme, že architektura U-Net pro sémantickou segmentaci spolu s triviálním detektorem představuje silnou baseline, a navrhujeme několik triků, které výsledky ještě zlepšují: trénování proti konvexním obalům notačních objektů, a vícekanálové výstupy které umožňují sdílet parametry sítě pro několik sémanticky příbuzných tříd objektů. Oba triky přináší výrazné zlepšení v detekci klíčů, což má zásadní následky pro výsledky OMR. Následně začleníme U-Nety do kompletního rozpoznávacího systému: přidáme model doplňující vztahy mezi rozpoznanými symboly, a dosáhneme tak výsledného f-score 0.81 pro extrakci výšek zapsaných tónů. Nad takto automaticky extrahovanými tóny provedeme pokusy pro vyhledávání rukopisných kopií stejné hudby, které přináší první empirické indikace, že využívání mocných modelů hlubokého učení pro OMR skutečně dle očekávání přibližuje full-textové vyhledávání ve velkých sbírkách hudebních rukopisů na dosah.

Jan Hajič, jr.
Matthias Dorfer
Gerhard Widmer
Pavel Pecina


Are BLEU and Meaning Representation in Opposition?

Odporují si BLEU a reprezentace významu?

One of possible ways of obtaining continuous-space
sentence representations is by
training neural machine translation (NMT)
systems. The recent attention mechanism
however removes the single point in the
neural network from which the source sentence
representation can be extracted. We
propose several variations of the attentive
NMT architecture bringing this meeting
point back. Empirical evaluation suggests
that the better the translation quality, the
worse the learned sentence representations
serve in a wide range of classification and
similarity tasks.

Neuronový strojový překlad lze použít jako jedno z metod pro získání spojité větné reprezentace. V příspěvku ukazujeme, že pro takto získané reprezentace kvalita překladu negativně koreluje s kvalitou zachycení významu.


The Czech Legal Text Treebank 2.0 (CLTT 2.0) contains texts that come from the legal domain and are manually syntactically annotated. The syntactic annotation in CLTT 2.0 is more elaborate than in CLTT 1.0.  In addition, CLTT 2.0 contains two new annotation layers, namely the layer of entities and the layer of semantic entity relations. In total, CLTT 2.0 consists of two legal documents, 1,121 sentences and 40,950 tokens.

Český korpus právních textů 2.0 (CLTT 2.0) obsahuje texty z legislativní domény, které jsou manuálně syntakticky anotovány. Nová verze korpusu obsahuje vylepšenou syntaktickou anotaci a dvě nové vrstvy anotací - anotaci jmenných entit a sémantických vztahů. Celkově korpus obsahuje 2 právní dokumenty, 1121 vět a 40950 tokenů.


The actor – instrument alternation in a parallel Czech-English dependency treebank

Alternace konstrukcí s aktorem a instrumentem v paralelním česko-anglickém závislostním korpusu

This paper analyzes one type of valency structure difference in a bilingual, Czech-English valency lexicon and a parallel syntactically annotated treebank, namely the instances of Instrument-Subject Alternation, Abstract Cause-Subject Alternation and Locatum-Subject Alternation (Levin, 1993), roughly corresponding to three specific verb semantic classes. These alternations represent a problematic point of mutual alignment of valency structures in a parallel corpus and a bilingual valency lexicon because of the dual possible assignment of a semantic role to the position of a syntactic subject, and consequently, the dual interpretation of the deep-syntactic role of an actor.  As a result, two different interpretations arise, an agentive one and a non-agentive one, which collide in the syntactically annotated data. The conflict of the two intepretations influences substantially the semantic interpretation of the “target of evaluation” in constructions involving evaluative verbs in Sentiment Analysis tasks. We discuss the problem through linking individual syntactic, semantic and situational participants, focusing both on the similarities and differences between the three alternation types in question, providing analogies to other known constructions, and studying them from the morphosyntactic, semantic and propositional content point of view.

V příspěvku se zabýváme jedním typem rozdílu v zachycení valenčních struktur v českém a anglickém valenčním slovníku a paralelním česko-anglickém syntakticky anotovaném korpusu. Jde o konstrukce tzv. alternace subjektu a instrumentu (Instrument-Subject Alternation) a jí podobné alternace subjektu a abstraktní příčiny (Abstract Cause-Subject Alternation), příp. alternace subjektu a materiálu (Locatum-Subject Alternation) (Levin, 1993), odpovídající zhruba třem sémantickým typům sloves. Tyto konstrukce představují specifický problém v rámci vzájemného mapování valenčních struktur v paralelním korpusu a jejich zachycení ve valenčních slovnících, neboť u nich dochází ke konkurenčnímu naplnění pozice povrchověsyntaktického subjektu a hloubkověsyntaktického aktoru dvěma sémanticky různými typy doplnění. Výsledkem jsou dvě interpretace, agentní a neagentní, které vstupují do konfliktu při zachycení v syntakticky anotovaných korpusových datech. Konflikt těchto dvou interpretací významně ovlivňuje sémantickou interpretaci „cíle evaluace“ v konstrukcích s evaluativními slovesy v rámci analýzy sentimentu.  Problém analyzujeme na základě vzájemného vztažení syntaktických, sémantických a situačních participantů, s ohledem na již publikovanou literaturu k tématu. Zaměřujeme se na společné rysy všech tří dotčených sémantických slovesných typů i na rozdíly mezi nimi. Zmíněné alternující konstrukce vztahujeme k dalším analogickým konstrukcím a studujeme z hlediska morfosyntaktického, lexikálněsémantického i propozičně obsahového.

Jana Šindlerová
Vladislav Kuboň
Aleš Tamchyna
Kateřina Veselovská


Phonetic Transcription by Untrained Annotators

Fonetická transkripce od netrénovaných anotátorů

The paper presents an application for lay, untrained users to generate high-quality, aligned phonetic transcription of speech. The application has been in use for several years and has served to transcribe over 600 thousand word forms over two versions of a web interface. We present measures for compensating the lack of expert training.

Článek prezentuje aplikaci pro laické, netrénované uživatele, která slouži pro generování kvalitních zarovnaných fonetických přepisů mluveného slova. Aplikace se již několik let používá a přepsalo se jí přes 600 tisíc slovních forem napříč dvěma verzemi webového rozhraní. Představujeme opatření pro kompenzaci nedostatku odborného tréninku.


Second-Generation Web Interface to Correcting ASR Output

Webové rozhraní druhé generace pro opravování výstupu rozpoznávání řeči

This paper presents a next-generation web application that enables users to contribute corrections to automatically acquired transcription of long speech recordings. We describe differences from similar settings, compare our solution with others and reflect on the development from the now 6 years old work we build upon in the light of the progress made, lessons learned and the new technologies available in the browser.

Článek prezentuje webovou aplikaci nové generace, která umožňuje uživatelům přispívat opravami automaticky získaného přepisu dlouhých záznamů mluveného slova. Popisujeme rozdíly od podobných případů, porovnáváme svoje řešení s ostatními a pozastavujeme se nad vývojem oproti nyní 6 let staré aplikaci, z níž vycházíme, ve světle učiněného pokroku, získaného poučení a v prohlížeči nově dostupných technologií.


Enriched Discourse Annotation of PDiT Subset 1.0 (PDiT-EDA 1.0)

Enriched discourse annotation of a subset of the Prague Discourse Treebank, adding implicit relations, entity based relations, question-answer relations and other types of discourse structuring relations.

Rozšířená anotace diskurzu v části Pražského diskurzního korpusu, přidávající implicitní vztahy, vztahy založené na koreferenci, vztahy mezi otázkou a odpovědí a další typy vztahů strukturujících výpověď.

Šárka Zikánová
Pavlína Synková
Jiří Mírovský


A pilot study on underspecified discourse connectives in the TED Talk parallel corpus

Pilotní studie o subspecifrikovaných konektorech v paralelním korpusu TED talks

The presentation describes general results of comparison how underspecified discourse connectives are used in English, Czech, Hungarian, French and Lithuanian, based on the texts of TED talks.

Přednáška představuje hlavní výsledky srovnávací analýzy věnované vágním diskurzním konektorům v angličtině, češtině, maďarštině, francouzštině a litevštině. Analýza je založena na textech z TED talks.

Šárka Zikánová
Ágnes Abuczki
Nijolė Burkšaitienė
Ludivine Crible
Péter Furkó
Anna Nedoluzhko
Giedre Valunaite Oleskeviciene


Discourse Connectives in Czech: From Centre to Periphery

Diskurzní konektory v češtině: Od centra k periferii

In the monograph, we examine primary and secondary discourse connectives in Czech. The analysis is carried out on the data of the Prague Discourse Treebank 2.0 (PDiT). The results of the research are presented in four parts. The first one focuses on delimitation and characteristics of discourse connectives in Czech, the second one describes annotation of connectives in the PDiT and demonstrates its evaluation, the third one presents results of this annotation, and the fourth one discusses linguistic principles and tendencies in using discourse connectives.

V knize představujeme výzkum primárních a sekundárních diskurzních konektorů v češtině, provedený na datech Pražského diskurzního korpusu 2.0 (PDiT). Výsledky výzkumu jsou rozděleny do čtyř částí. První část přináší vymezení a charakteristiku diskurzních konektorů v češtině, druhá popisuje anotaci konektorů v PDiT. Ve třetí části jsou představeny výsledky diskurzní anotace PDiT a ve čtvrté obecné principy a tendence v užívání diskurzní konektorů v komunikaci.


Primary and secondary discourse connectives: Constraints and preferences

Primární a sekundární diskurzní konektory: tendence v užívání

In this paper, we explore the linguistic factors that influence an author's choice of discourse connectives in the production of a coherent text. We focus on the competition between so-called primary connectives (grammaticalized and mostly one-word expressions such as therefore) and secondary connectives (not yet fully grammaticalized compositional discourse phrases such as for this reason). We attempt to describe the linguistic constraints on and preferences in connective selection. The analysis is based on manually annotated data from the Prague Discourse Treebank 2.0 (PDiT), which contains almost 50000 sentences from Czech newspaper texts. We demonstrate that discourse connectives are used in accordance with the economy principle in language, i.e. authors aim to achieve the maximal result with minimal effort. They most frequently choose short and semantically more generalized primary connectives. However, in cases where the discourse relations can be misunderstood, authors prefer more complex and specific structures.

Článek se zabývá jazykovými faktory, které ovlivňují výběr diskurzních konektorů při tvorbě koherentního textu. Zaměřuje se na konkurenci tzv. primárních konektorů (gramatikalizovaných a většinou jednoslovných výrazů typu „protože“) a sekundárních konektorů (dosud ne plně gramatikalizovaných výrazů typu „z tohoto důvodu“). Analýza vychází z dat Pražského diskurzního korpusu 2.0 (Prague Discourse Treebank, PDiT), který obsahuje téměř 50 000 vět z českých novinových textů. Ukazuje se, že užívání diskurzních konektorů ovlivňuje tzv. jazyková ekonomie, tj. autoři textu usilují o dosažení maximálního výsledku s vynaložením minimálního úsilí. Nejčastěji proto volí krátké a sémanticky obecnější primární konektory. Naopak v případech, kdy by diskurzní vztahy mohly být interpretovány nesprávně, upřednostňují autoři složitější a specifické konektivní struktury.


Practicing Students‘ Writing Skills through eLearning: Automated Evaluation of Text Coherence in Czech

Písemné dovednosti studentů a e-learning: automatické hodnocení koherence textu v češtině

The paper presents possibilities of improving students’ writing skills through e-learning. It addresses the topic of automated evaluation of surface text coherence and introduces improvements of a system solving this task for Czech. With the implementation of new morpho-syntactic features, the system works with the reliability of 0.63 macro-average F-score. Except for the overall mark for coherence, the system newly provides also a detailed feedback for users. The user (student) learns stronger and weaker aspects of his or her text in the following language fields: spelling, vocabulary, morphology, syntax, and discourse (in terms of coreference and discourse relations). The student (a learner of Czech) is thus given a detailed evaluation of his or her text, which is available online and gives thus space for practicing writing skills easily through e-learning.

Článek představuje možnosti, jak zlepšovat dovednosti studentů psát koherentní text pomocí e-learningových metod. Zaměřuje se na téma automatického hodnocení povrchové koherence textu a představuje zlepšení softwaru, který toto hodnocení provádí pro texty v češtině.

Magdaléna Rysová
Kateřina Rysová
Jiří Mírovský
Michal Novák


Describing CzeDLex – a Lexicon of Czech Discourse Connectives

Popis CzeDLexu – slovníku českých diskurzních konektorů

We introduce a pilot version of CzeDLex, a Lexicon of Czech Discourse Connectives. Currently, CzeDLex contains 205 lemmas of connectives coming from the annotation of the Prague Discourse Treebank 2.0 (PDiT). At this stage, 19 lemmas have been fully manually processed, which covers more than two thirds of all discourse relations annotated in the PDiT.

Představujeme pilotní verzi CzeDLexu, slovníku českých diskurzních konektorů. Ve své aktuální verzi CzeDLex obsahuje 205 lemmat konektorů, získaných z anotací Pražského diskurzního korpusu 2.0 (PDiT). 19 lemmat bylo plně ručně zpracováno, což zahrnuje více než dvě třetiny všech diskurzních vztahů anotovaných v PDiT.

Magdaléna Rysová
Lucie Poláková
Jiří Mírovský
Pavlína Synková


UDPipe 2.0 Prototype at CoNLL 2018 UD Shared Task

Prototype UDPipe 2.0 v CoNLL 2018 UD Shared Task

UDPipe is a trainable pipeline which performs sentence segmentation, tokenization, POS tagging, lemmatization and dependency parsing. We present a prototype for UDPipe 2.0 and evaluate it in the CoNLL 2018 UD Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies, which employs three metrics for submission ranking. Out of 26 participants, the prototype placed first in the MLAS ranking, third in the LAS ranking and third in the BLEX ranking. In extrinsic parser evaluation EPE 2018, the system ranked first in the overall score.

The prototype utilizes an artificial neural network with a single joint model for POS tagging, lemmatization and dependency parsing, and is trained only using the CoNLL-U training data and pretrained word embeddings, contrary to both systems surpassing the prototype in the LAS and BLEX ranking in the shared task.

The open-source code of the prototype is available at http://github.com/CoNLL-UD-2018/UDPipe-Future.

After the shared task, we slightly refined the model architecture, resulting in better performance both in the intrinsic evaluation (corresponding to first, second and second rank in MLAS, LAS and BLEX shared task metrics) and the extrinsic evaluation. The improved models will be available shortly in UDPipe at http://ufal.mff.cuni.cz/udpipe.

UDPipe je trénovatelný nástroj, který provádí segmentaci vět, tokenizaci, morfologické značkování, lemmatizaci a syntaktickou analýzu. Představujeme prototyp UDPipe 2.0 a jeho vyhodnocení v Soutěži CoNLL 2018 UD: Multilingual Parsing from Raw Text to Universal Dependencies, která využívá tři míry pro hodnocení. Z 26 účastníků obsadil prototyp první místo dle míry MLAS, třetí dle míry LAS a třetí dle míry BLEX. V extrinsic hodnocení EPE 2018 se systém umístil na prvním místě v celkovém hodnocení.

Prototyp je založen na neuronovou síťi s jediným společným modelem pro současné morfologické značkování, lemmatizaci a syntaktickou analýzu a je trénován pouze pomocí trénovacích dat CoNLL-U a předtrénovaných slovních embeddingů, na rozdíl od obou systémů, které překonaly tento prototyp v LAS a BLEX mírách.

Open-source zdrojový kód prototypu je k dispozici na adrese http://github.com/CoNLL-UD-2018/UDPipe-Future.

Po soutěží CoNLL 2018 jsme mírně vylepšili modelovou architekturu, což vedlo k lepšímu výkonu jak v intrinsic hodnocení (odpovídající prvnímu, druhému a druhému místu dle metrik MLAS, LAS a BLEX), tak i v extrinsic hodnocení. Vylepšené modely budou brzy k dispozici v UDPipe na adrese http://ufal.mff.cuni.cz/udpipe.