UFAL Submissions to the IWSLT 2016 MT Track

Překladové systémy ÚFALu v MT soutěži IWSLT 2016

We present our submissions to the IWSLT 2016 machine
translation task, as our first attempt to translate subtitles and
one of our early experiments with neural machine translation
(NMT). We focus primarily on English→Czech translation
direction but perform also basic adaptation experiments for
NMT with German and also the reverse direction. Three MT
systems are tested: (1) our Chimera, a tight combination of
phrase-based MT and deep linguistic processing, (2) Neural
Monkey, our implementation of a NMT system in TensorFlow
and (3) Nematus, an established NMT system.

Představujeme naše systémy v překladové soutěži IWSLT 2016. Jedná se o naše první systémy pro překlad filmových titulků a současně o jedny z prvních experimentů s neuronovým překladem, které provádíme.

Ondřej Bojar
Ondřej Cífka
Jindřich Helcl
Tom Kocmi
Roman Sudarikov


Ten Years of WMT Evaluation Campaigns: Lessons Learnt

Deset let vyhodnocovacích kampaní WMT: Získané zkušenosti

The WMT evaluation campaign (http://www.statmt.org/wmt16) has been run annually since 2006. It is a collection of shared
tasks related to machine translation, in which researchers compare their techniques against those of others in the field. The longest
running task in the campaign is the translation task, where participants translate a common test set with their MT systems. In addition
to the translation task, we have also included shared tasks on evaluation: both on automatic metrics (since 2008), which compare the
reference to the MT system output, and on quality estimation (since 2012), where system output is evaluated without a reference. An
important component of WMT has always been the manual evaluation, wherein human annotators are used to produce the official ranking
of the systems in each translation task. This reflects the belief of theWMTorganizers that human judgement should be the ultimate arbiter
of MT quality. Over the years, we have experimented with different methods of improving the reliability, efficiency and discriminatory
power of these judgements. In this paper we report on our experiences in running this evaluation campaign, the current state of the art in
MT evaluation (both human and automatic), and our plans for future editions of WMT.

Článek shrnuje deset ročníků soutěží ve strojovém překladu a ve vyhodnocování jeho kvality: WMT.

Ondřej Bojar
Christian Federmann
Barry Haddow
Philipp Koehn
Matt Post
Lucia Specia


A Pilot Eye-Tracking Study of WMT-Style Ranking Evaluation

Pilotní studie sledování očních pohybů při hodnocení překladů WMT

The shared translation task of the Workshop of Statistical Machine Translation (WMT) is one of the key annual events of the field. Participating
machine translation systems in WMT translation task are manually evaluated by relatively ranking five candidate translations
of a given sentence. This style of evaluation has been used since 2007 with some discussion on interpreting the collected judgements but
virtually no insight into what the annotators are actually doing. The scoring task is relatively cognitively demanding and many scoring
strategies are possible, influencing the reliability of the final judgements. In this paper, we describe our first steps towards explaining the
scoring task: we run the scoring under an eye-tracker and monitor what the annotators do. At the current stage, our results are more of a
proof-of-concept, testing the feasibility of eye tracking for the analysis of such a complex MT evaluation setup.

Soutěž ve strojovém překladu WMT používá od roku 2007 ruční hodnocení, kdy anotátor vidí najednou pět kandidátských překladů. Přes relativně dlouhou dobu používání nemáme dosud jasnou představu, co přesně anotátoři dělají. Tento článek představuje pilotní studii s osmi anotátory, jejichž oční pohyby jsme během hodnocení zaznamenávali na eyetrackeru a následně vyhodnotili.

Ondřej Bojar
Filip Děchtěrenko
Maria Zelenina


The Chimera-TectoMT architecture of Machine   Translation with Deep Linguistic Analysis

Chimera-TectoMt architektura strojového překladu s hlubokou jazykovou analýzou

The TectoMT system is a result of long-term development which began in the pre-statistical era at Charles University in Prague and continued to include state-of-the-art tools for POS tagging, morphological feature disambiguation, lemmatization parsing, and some aspects of semantic analysis. It follows the usual Analysis – Transfer – Generation workflow, with transfer trained on a large parallel corpus using Hidden Markov Tree Model. Generation is partly rule-based (at the syntax level) and partly statistical (at the inflection/morphology level). Chimera is a hybrid system that uses a specific combination of TectoMT and a standard Phrase-based SMT (Moses), complemented by a “Depfix” automatic post-editing system, which as a whole improves on the individual systems, as documented in the results of the recent WMT Shared tasks. The system has been originally developed for English-Czech and recently transferred to several other languages within the EU QTLeap project (qtleap.eu), where it has been successfully used in the IT domain for both question and answer translation in a Q&A context. Both the TectoMT and Chimera systems will be presented together with a discussion about language (in)dependence of such a hybrid solution.

Prezentace vítězného systému ze soutěže (Shared Task) WMT 2013-2015. Byla prezentována architektura, zásadní moduly a principy, a statistické komponenty.


Verb Argument Pairing in Czech-English Parallel Treebank

Párování slovesných argumentů v česko-anglickém paralelním korpusu

We describe CzEngVallex, a bilingual Czech-English valency lexicon which aligns verbal valency frames and their arguments. It is based on a parallel Czech-English corpus, the Prague Czech-English Dependency Treebank, where for each occurrence of a verb a reference to the underlying Czech and English valency lexicons is explicitly recorded. CzEngVallex lexicon pairs the entries (verb senses) of these two lexicons, and allows for detailed studies of verb valency and argument structure in translation. While some related studies have already been published on certain phenomena, we concentrate here on basic statistics, showing that the variability of verb argument mapping between verbs in the two languages is richer than it might seem and than the perception from the studies published so far might have been.

V článku popisujeme CzEngVallex, bilingvní česko-anglický valenční slovník, zachycující propojení slovesné valence na základě překladových textů. Předkládáme zde základní statistiky, které podchycují mapování argumentů propojených sloves.

Jan Hajič
Eva Fučíková
Jana Šindlerová
Zdeňka Urešová


Linguistically Annotated Corpus as an Invaluable Resource for Advancements in Linguistic Research: A Case Study

Jazykově anotovaný korpus jako důležitý zdroj pro jazykovědný výzkum

A case study based on experience in linguistic investigations using annotated monolingual and multilingual text corpora; the “cases” include a description of language phenomena belonging to different layers of the language system: morphology, surface and underlying syntax, and discourse; the analysis is based on a complex annotation of syntax, semantic functions, information structure and discourse relations of the Prague Dependency Treebank, a collection of annotated Czech texts. We want to demonstrate that annotation of corpus is not a self-contained goal: in order to be consistent, it should be based on some linguistic theory, and, at the same time, it should serve as a test bed for the given linguistic theory in particular and for linguistic research in general.

Případová studie založená na zkušenosti autorů s lingvistickým výzkumem opírajícím se o anotovaný monolingvální I paralelní korpus. Příspěvek zahrnuje popis jevů patřících k různým jazykovým rovinám (morfologie, syntax povrchová I hloubková a diskurs). Podkladem je  Pražský závislostní korpus , soubor českých textů komplexně anotovaných na hloubkové syntaktické rovině včetně diskurzních vztahů a informační struktury věty. Autoři ukazují, že anotování (značkování) textových korpusů, pokud je založeno na spolehlivé lingvistické teorii,  není  účelem samo o sobě, ale že může především sloužit jako dobrý test pro danou teorii i pro jazykovědný výzkum obecně.

Jan Hajič
Eva Hajičová
Jiří Mírovský
Jarmila Panevová


Phraseology in two Slavic valency dictionaries: limitations and perspectives

Frazeologie ve dvou slovanských valenčních slovnících: omezení a perspektivy

Phraseological components of valency dictionaries for two West Slavic languages are presented, namely, of the PDT-Vallex dictionary for Czech and of the Walenty dictionary for Polish. Both dictionaries are corpus-based, albeit in different ways. Both are machine readable and employable by syntactic parsers and generators. The paper compares the expressive power of the phraseological subformalisms of these dictionaries, discusses  their limitations and makes recommendations for their possible extensions, which can be possibly applied also to other valency dictionaries with rich phraseological components.

Pro dva valenční slovníky slovanckých jazyků, PDT-Vallex pro češtinu a Walenty pro polštinu článek porovnává jejich frazeologickou část. Oba slovníky jsou založené na korpusu, i když se liší jak způsob propojení, tak technické řešení, ovšem oba jsou dostupné elektronicky ve standardnim formátu. V článku se porovnávají frazeologická hesla, jejich formální popis a možnosti a omezení. V závěru se doporučují rozšíření těchto komponent pro obecnější pokrytí i pro další jazyky.

Adam Przepiórkowski
Jan Hajič
Elżbieta Hajnicz
Zdeňka Urešová


In favour of the Argument-Adjunct Distinction (from the Perspective of FGD)

Obhajoba dichotomie Argument-Adjunct (z hlediska FGP)

The arguments against the Argument-Adjunct distinction presented by A. Przepiórkowski in this volume are analyzed. The criteria iterability, specificity and dialogue test conditions are analyzed here and their usefulness for the framework of FGD is demonstrated.

V článku jsou analyzovány výhrady vůči dichotomii arguemtu (valenčního členu) a volného doplnění, které jsou předloženy ve stati A. Przepiórkovského ve stejné publikaci. Obhajují se kritéria opakovatelnosti, specifičnosti a podmínky užití dialogového testu.


Vl. Šmilauer´s Syntax yesterday and today

In this article the contribution of Šmialuer´s syntax in the period when it was published (1947) as well as its permanent influence on the contemporary books and studies on the syntax of contemporary Czech are analyzed.

Ve stati jsou charakterizovány přínosy skladby Vladimíra Šmilauera v kontextu jejího vzniku (1947) a její trvalé přínosy pro současnou českou syntax. Analyzují se její základní rysy odrážející se v nových syntaxích do dnešních dnů.


Valency in the grammar, valency in the lexicon

Valence v gramatice, valence ve slovníku

In this chapter the criteria used for the determination of valency members and the shape of the valency frames in lexicon are presented. The possibilities of the surface deletion of obligatory valency member are analyzed.

V kapitole jsou rozebrána kritéria používaná pro stanovení valenčních členů a způsob jejich zacycení ve slovníkové hesle. Zvláštní pozornost je věnována analýze možností vypuštění valenčního členu v povrchové struktuře.


To tree or not to tree? (The quest for sentence structure in natural language processing)

Se stromy nebo bez stromů? (hledání větné struktury ve zpracování přirozených jazyků)

We will present tree-shaped structures that are used in Natural Languages Processing for representing sentence syntactical structure, and discuss the benefits and drawbacks of such representations.

V přednášce se budeme zabývat stromovými strukturami, které jsou využívány v počítačovém zpracování přirozeného jazyka.


Merging Data Resources for Inflectional and Derivational Morphology in Czech

Propojení datových zdrojů pro flektivní a derivační morfologii češtiny

The paper deals with merging two complementary resources of morphological data previously existing for Czech, namely the inflectional dictionary MorfFlex CZ and the recently developed lexical network DeriNet. The MorfFlex CZ dictionary has been used by a morphological analyzer capable of analyzing/generating several million Czech word forms according to the rules of Czech inflection. The DeriNet network contains several hundred thousand Czech lemmas interconnected with links corresponding to derivational relations (relations between base words and words derived from them). After summarizing basic characteristics of both resources, the process of merging is described, focusing on both rather technical aspects (growth of the data, measuring the quality of newly added derivational relations) and linguistic issues (treating lexical homonymy and vowel/consonant alternations). The resulting resource contains 970 thousand lemmas connected with 715 thousand derivational relations and is publicly available on the web under the CC-BY-NC-SA license. The data were incorporated in the MorphoDiTa library version 2.0 (which provides morphological analysis, generation, tagging and lemmatization for Czech) and can be browsed and searched by two web tools (DeriNet Viewer and DeriNet Search tool).

Článek se zabývá propojením dvou existujících, vzájemně se doplňujících datových zdrojů pro morfologii češtiny, a to flektivního slovníku MorfFlex CZ a derinační sítě DeriNet. MorfFlex CZ pokrývá několik milionů slovních forem v češtině. DeriNet obsahuje několik set tisíc českých lemmat, která jsou propojena explicitními slovotvornými relacemi odpovídajícímu. Výsledný zdroj je zpřístupněn pod licencí CC-BY-NC-SA a lze k němu rovněž přistupovat pomocí několika webových uživatelských rozhraní.

Zdeněk Žabokrtský
Magda Ševčíková
Milan Straka
Jonáš Vidra
Adéla Limburská


Putting things together: Correlating discourse relations with other types of linguistic data

Spojení popisů: propojování diskurzních vztahů s dalšími typy lingvistických dat

Apart to discourse relations expressed primarily by discourse connectives (and partly also being implicit), there are other relations in the discourse that contribute to the text connectedness and have to be taken into consideration. This concerns first of all the information  structure of the sentence and the relations of coreference. All these three aspects are included in the annotation scheme of the Prague Dependency Treebank.

Vedle diskurzních vztahů vyjádřených primárně tzv. diskurzními konektory (nebo jsou případně dány implicitně) je třeba při analýze diskurzu brát v úvahu též další vztahy. To se týká především aktuálního členění větného a vztahů koreference. Všechny tři tyto aspekty jsou začleněny do anotačního scénáře Pražského závislostního korpusu.

Eva Hajičová
Barbora Hladká
Pavlína Jínová
Jiří Mírovský
Šárka Zikánová


We describe results of investigation of a
specific type of discontinuous constructions,
namely non-projective constructions concerning
verbs and their arguments. This topic is
especially important for languages with a relatively
free word order, such as Czech, which is
the language we have primarily worked with.
For comparison, we have included some results
for English. The corpora used for both
languages are the Prague Czech-English Dependency
Treebank and the Prague Dependency
Treebank, which are both annotated at
a dependency syntax level as well as a deep
(semantic) level, including verbs and their valency
(arguments). We are using traditionally
defined non-projectivity on trees with full linear
ordering, but the two levels of annotation
are innovatively combined to determine if a
particular (deep) verb -argument structure is
non-projective. As a result, we have identi-
fied several types of discontinuities, which we
classify either by the verb class or structurally
in terms of the verb, its arguments and their
dependents. In addition, we have quantitatively
compared selected phenomena found in
Czech translated texts (in the PCEDT) to the
native Czech as found in the original Prague
Dependency Treebank.

Článek se zaměřuje na popis neprojektivních konstrukcí z hlediska valence sloves. Pro tuto studii jsme použili data PDT a PCEDT a zameřili jsme se na kombinaci povrchové hloubkové syntaxe. V článku navrhujeme novou definici projektivity a klasifikujeme neprojektivni konstrukce z hlediska predikatove struktury.
Porovnáváme češtinu a angličinu.


CzEngVallex: a bilingual Czech-English valency lexicon

CzEngVallex: dvojjazyčný česko- anglický valenční slovník

This paper introduces a new bilingual Czech-English verbal valency lexicon (called CzEng-Vallex) representing a relatively large empirical database. It includes 20,835 aligned valency frame pairs (i.e., verb senses which are translations of each other) and their aligned arguments.
This new lexicon uses data from the Prague Czech-English Dependency Treebank and also takes advantage of the existing valency lexicons for both languages: the PDT-Vallex for Czech and the EngVallex for English. The CzEngVallex is available for viewing in LINDAT/CLARIN repository.

Článek představuje nový dvojjazyčný česko-anglický valenční slovník nazvaný CzEng-Vallex. Elektronická podoba slovníku je  umístěna v repozitáři Centra jazykové výzkumné infrastruktury LINDAT/CLARIN v XML formátu a je zde k dispozici také v prohledávatelné podobě. Slovník je propojen s českým valenčním slovníkem PDT-Vallex, s anglickýmm valenčním slovníkem EngVallex a rovněž je propojen s příklady z PCEDT korpusu (PCEDT 2.0). CzEngVallex  obsahuje 20835 propojených párů valenčních rámců (slovesných významů) překladových ekvivalentů a obsahuje i propojení jejich argumentů.

Zdeňka Urešová
Eva Fučíková
Jana Šindlerová


Inherently Pronominal Verbs in Czech: Description and Conversion Based on Treebank Annotation

Inherentně zájmenná slovesa v češtině: Popis a konverze pomocí korpusové anotace

This paper describes results of a study related to the PARSEME Shared Task on automatic detection of verbal Multi-Word Expressions (MWEs) which focuses on their identification in running texts in many languages. The Shared Task’s organizers have provided basic annotation guidelines where four basic types of verbal MWEs are defined including some specific subtypes. Czech is among the twenty languages selected for the task. We will contribute to the Shared Task dataset, a multilingual open resource, by converting data from the Prague Dependency Treebank (PDT) to the Shared Task format. The question to answer is to which extent this can be done automatically. In this paper, we concentrate on one of the relevant MWE categories, namely on the quasi-universal category called “Inherently Pronominal Verbs” (IPronV) and describe its annotation in the Prague Dependency Treebank. After comparing it to the Shared Task guidelines, we can conclude that the PDT and the associated valency lexicon, PDT-Vallex, contain sufficient information for the conversion, even if some specific instances will have to be checked. As a side effect, we have identified certain errors in PDT annotation which can now be automatically corrected.

PARSEME Shared Task (PST) se zabývá automatickou identifikací víceslovných výrazů (VV) v textu.
Jeho organizátoři připravili základní anotační pokyny se čtyřmi základními skupinami slovesných VV.
Jedním z dvaceti vybraných jazyků je i čeština.
Článek popisuje konversi dat Pražského závislostního korpusu (PDT), prozatím výhradně inherentně zájmenných sloves (IPronV) -- současnou anotaci v PDT, porovnává ji s anotačními pokyny PST. Závěrem je, že PDT a přidružený slovník obsahuje pro konversi dostatek údajů (ačkoli specifické jevy budou muset být kontrolovány ručně). Vedlejším efektem je, že jsme odhalili některé drobné chyby v anotaci PDT, které teď mohou být opraveny.


Designing CzeDLex – A Lexicon of Czech Discourse Connectives

Návrh slovníku českých diskurzních konektorů CzeDLex

We present a design for a new electronic lexicon of Czech discourse connectives. The data format and the annotation scheme are based on a study of similar existing resources, and we discuss arguments for choosing the data structure and
selecting features of the lexicon entries. A special attention is paid to a consistent encoding
of both primary and secondary connectives. The data itself comes from exploiting the Prague Dependency Treebank, a large treebank manually annotated with discourse relations.

Představujeme návrh nového slovníku českých diskurzních konektorů. Formát dat i anotační schéma vycházejí z podobných existujících elektronických zdrojů; zabýváme se důvody pro volbu struktury dat a pro výběr vlasností jednotlivých záznamů ve slovníku. Pozornost věnujeme obzvláště konzistentnímu zachycení primárních i sekundárních konektorů. Samotná data pocházejí z Pražského závislostního korpusu, rozsáhlého korpusu s manuálně anotovanými diskurzními vztahy.

Jiří Mírovský
Pavlína Synková
Magdaléna Rysová
Lucie Poláková


Searching in the Penn Discourse Treebank Using the PML-Tree Query

Vyhledávání v Penn Discourse Treebanku za použití PML-Tree Query

The PML-Tree Query is a general, powerful and user-friendly system for querying richly linguistically annotated treebanks. The paper shows how the PML-Tree Query can be used for searching for discourse relations in the Penn Discourse Treebank 2.0 mapped onto the syntactic annotation of the Penn Treebank.

PML-Tree Query je mocný a uživatelsky přítulný vyhledávací nástroj pro vyhledávání v bohatě lingvisticky anotovaných datech. Článek ukazuje, jak může být PML-TQ využito k vyhledávání diskurzních vztahů Penn Discourse Treebanku 2.0 namapovaných na syntaktické stromy Penn Treebanku.

Jiří Mírovský
Lucie Poláková
Jan Štěpánek


The Universe of Dependencies: Past and Future

Závislostní vesmír: minulost a budoucnost

Universal Dependencies (UD) is a project that seeks to find a cross-linguistically applicable morphological and syntactic annotation scheme, and to publish data conforming to that scheme in a wide range of languages. We will briefly motivate and introduce the project, its history and underlying principles. Then we will present the new proposal of version 2 UD guidelines. Finally, time permitting, we will describe several interesting problems related to the application of UD to Slavic languages.

Universal Dependencies (UD) je projekt, který hledá morfologické a syntaktické anotační schéma aplikovatelné na mnoho jazyků, a vydává data anotovaná podle tohoto schématu. Stručně motivujeme a uvedeme tento projekt, jeho historii a principy, na kterých stojí. Poté popíšeme návrh nové (druhé) verze anotačních pravidel UD. Nakonec, pokud zbude čas, popíšeme několik zajímavých problémů, které se týkají aplikace UD na slovanské jazyky.


Universal Annotation of Slavic Verb Forms

Univerzální anotace slovanských slovesných tvarů

This article is an attempt to propose application of a subset of the Universal Dependencies (UD) standard to the group of Slavic languages. The subset in question comprises morphosyntactic features of various verb forms. We systematically document the inventory of features observable with Slavic verbs, giving numerous examples from 10 languages. We demonstrate that terminology in literature may differ, yet the substance remains the same. Our goal is practical. We definitely do not intend to overturn the many decades of research in Slavic comparative linguistics. Instead, we want to put the properties of Slavic verbs in the context of UD, and to propose a unified (Slavic-wide) application of UD features and values to them. We believe that our proposal is a compromise that could be accepted by corpus linguists working on all Slavic languages.

Tento článek je pokusem navrhnout aplikaci podmnožiny standardu Universal Dependencies (UD) na skupinu slovanských jazyků. Dotyčnou podmnožinou jsou morfosyntaktické rysy jednotlivých slovesných tvarů. Systematicky dokumentujeme kategorie, které lze pozorovat u slovanských sloves, a přinášíme množství příkladů z 10 jazyků. Ukazujeme, že terminologie známá z literatury se často liší, i když podstata zkoumaných jevů je stejná. Náš cíl je praktický. Rozhodně nemáme v úmyslu přehodnocovat výsledky mnohaletého bádání slovanské srovnávací jazykovědy. Spíše chceme zasadit vlastnosti slovanských sloves do kontextu UD a navrhnout jednotný (všeslovanský) způsob, jak mají být prostředky UD aplikovány na tyto jazyky. Věříme, že náš návrh je kompromisem, který bude přijatelný pro korpusové lingvisty pracující se všemi slovanskými jazyky.


Universal Dependencies for Slavic Languages (invited talk)

Universal Dependencies pro slovanské jazyky (zvaná přednáška)

Universal Dependencies (UD) is an international project that seeks to define guidelines for annotation of morphology and syntax, applicable to all natural languages. Its motivation is to find a common lingua franca for people and tools that deal with annotated linguistic data. Besides guidelines, UD also releases dependency treebanks converted to the UD annotation style; this data is becoming an important resource for multilingual NLP research and applications. In my talk, I will give a brief introduction to UD in general, and then I will focus on phenomena specific to Slavic languages. The UD release 1.2 includes six Slavic languages and others are being worked on. This gives us plenty of material for comparative studies, that in turn can (and should) further contribute to improved cross-linguistic consistency and fine-grained UD guidelines for Slavic languages. I will present observations from the UD data, as well as some results of dependency parsers trained on the data.

Universal Dependencies (UD) je mezinárodní projekt, který se snaží definovat pravidla morfologické a syntaktické anotace, aplikovatelná na všechny přirozené jazyky. Motivací projektu je najít společnou lingua franku pro lidi a nástroje, které pracují s lingvisticky anotovanými daty. Kromě pravidel UD také vydává závislostní korpusy převedené do anotačního stylu UD; z těchto dat se stává významný zdroj pro výzkum a aplikace ve vícejazyčném zpracování přirozených jazyků.


Planting Trees in the Desert: Delexicalized Tagging and Parsing Combined

Pěstování stromů v poušti: kombinace delexikalizovaného značkování a parsingu

Various unsupervised and semi-supervised
methods have been proposed to tag and parse
an unseen language. We explore delexicalized
parsing, proposed by (Zeman and Resnik,
2008), and delexicalized tagging, proposed
by (Yu et al., 2016). For both approaches
we provide a detailed evaluation on Universal
Dependencies data (Nivre et al., 2016), a de-facto standard for multi-lingual morphosyntactic processing (while the previous work used other datasets). Our results confirm that in separation, each of the two delexicalized techniques has some limited potential when no annotation of the target language is available. However, if used in combination, their errors multiply beyond acceptable limits. We demonstrate that even the tiniest bit of expert annotation in the target language may contain significant potential and should be used if available.

Pro morfologické značkování a syntaktickou analýzu neznámých jazyků byla navržena řada metod. My zkoumáme delexikalizovaný parsing, navržený Zemanem a Resnikem (2008), a delexikalizované značkování, navržené Yu et al. (2016). V obou případech předkládáme podrobné vyhodnocení na datech z Universal Dependencies (Nivre et al., 2016), de-facto standardu pro vícejazyčné morfosyntaktické zpracování (předchozí práce pracovaly s jinými daty). Naše výsledky potvrzují, že každá z uvedených delexikalizovaných metod samostatně má určitý omezený potenciál v případech, kdy není k dispozici žádná ruční anotace cílového jazyka. Nicméně, pokud obě metody zkombinujeme, jejich chyby se vzájemně zmnožují nad přijatelnou mez. Ukazujeme, že i sebemenší střípek expertní anotace cílového jazyka může významně zvýšit úspěšnost a měl by být použit, jestliže ho lze získat.

Daniel Zeman
David Mareček
Zhiwei Yu
Zdeněk Žabokrtský


Alternations: From Lexicon to Grammar And Back Again

Alternace: Od slovníku ke gramatice a zpět

In this paper, we introduce the representation of grammaticalized alternations in Czech based on the division of the information between grammar and lexicon. This representation is exemplified by reciprocity.

V příspěvku na příkladu reciprocity představujeme popis gramatikalizovaných alternací v češtině, který je založen na rozdělení informace do slovníku a gramatiky.


VALLEX, Family of Electronic Valency Lexicons of Verbs

VALLEX, Rodina elektronických valenčních slovníků sloves

In this contribution, the family of valency lexicons whose theoretical background represents the Functional Generative Description is introduced, VALLEX, PDT-Vallex, EngVallex and CzEngVallex.

Příspěvek představil rodinu elektronických valenčních slovníků, které jsou rozvíjeny v Ústavu formální a aplikované lingvistiky, VALLEX, PDT-Vallex, EngVallex a CzEngVallex, jejichž teoretické zázemí tvoří funkční generativní popis.

Markéta Lopatková
Václava Kettnerová
Zdeňka Urešová


Valency Lexicon of Czech Verbs VALLEX: from Lexicon to Grammar

Valenční slovník českých sloves VALLEX: od slovníku ke gramatice

In this talk, a new version of the valency lexicon of Czech verbs, VALLEX, was introduced. This version is based on the division of the lexicon between two components: a data component and a grammar component.

V tomto příspěvku jsme představili valenční slovník českých sloves, VALLEX, a jeho nejnovější verzi 3.0, která je založena na dvou komponentech: na slovníkové a gramatické komponentě.

Markéta Lopatková
Václava Kettnerová
Eduard Bejček
Anna Vernerová


The Valency Lexicon of Czech Verbs (henceforth VALLEX 3.0) provides information on the valency structure of Czech verbs in their respective senses. Each sense is characterized by a gloss and an example; further syntactic and semantic characteristics are provided as relevant. VALLEX 3.0 covers 4586 Czech verbs in 2722 lexemes with a total of 6710 lexical units (i.e. a given verb in a given meaning; if aspectual counterparts are counted separately, we get a total of 10816 lexical units, excluding iteratives).

Valenční slovník českých sloves (dále též VALLEX 3.0) poskytuje informace o valenční struktuře českých sloves v jejich jednotlivých významech, které charakterizuje pomocí glos a příkladů; tyto základní údaje jsou doplněny o některé další syntaktické a sémantické charakteristiky. VALLEX 3.0 zachycuje 4586 českých sloves náležejících 2722 lexémům, které odpovídají 6710 lexikálním jednotkám, tedy daným slovesům v daném významu (počítáme-li vidové protějšky zvlášť, jde -- bez iterativ, jež nejsou detailně zpracována -- o 10816 lexikálních jednotek).

Markéta Lopatková
Václava Kettnerová
Eduard Bejček
Anna Vernerová
Zdeněk Žabokrtský


VALLEX 3.0 - Valency Lexicon of Czech Verbs

VALLEX 3.0 - Valenční slovník českých sloves

VALLEX 3.0 provides information on the valency structure (combinatorial potential) of verbs in their particular senses, which are characterized by glosses and examples. VALLEX 3.0 describes almost 4 600 Czech verbs in more than 10 700 lexical units, i.e., given verbs in the given senses.

VALLEX 3.0 is a is a collection of linguistically annotated data and documentation, resulting from an attempt at formal description of valency frames of Czech verbs.  In order to satisfy different needs of different potential users, the lexicon is distributed (i) in a HTML version (the data allows for an easy and fast navigation through the lexicon) and (ii) in a machine-tractable form as a single XML file, so that the VALLEX data can be used in NLP applications.

Valenční slovník českých sloves (též VALLEX 3.0) poskytuje informace o valenční struktuře českých sloves v jejich jednotlivých významech,
které charakterizuje pomocí glos a příkladů;
tyto základní údaje jsou doplněny o některé další syntaktické a sémantické charakteristiky.
VALLEX 3.0 zachycuje téměř 4 600 českých sloves, která odpovídají více než 10 700 lexikálním jednotkám, tedy vždy danému slovesu v daném  významu.

VALLEX je  budován jako odpověď na potřebu rozsáhlého a kvalitního veřejně dostupného slovníku, který by obsahoval
syntaktické a sémantické charakteristiky českých sloves a byl přitom široce uplatnitelný v aplikacích pro zpracování
přirozeného jazyka. Při navrhování koncepce slovníku byl proto kladen důraz
na všestranné využití jak pro lidského uživatele, tak pro automatické zpracování češtiny.


Diatheses in the Valency Lexicon of Czech Verbs VALLEX

Diateze ve Valenčním slovníku českých sloves VALLEX

In this chapter, the representation of Czech diatheses in the valency lexicon VALLEX is described. A semiautomatic method identifying the possibility of lexical units of verbs to create diatheses is introduced.

V této kapitole je popsáno lexikografické zpracování diatezí ve valenčním slovníku VALLEX. Dále je představen poloautomatický postup při identifikaci diatezí lexikálních jednotek sloves.

Markéta Lopatková
Anna Vernerová
Václava Kettnerová


DATLOWE: software pro textovou analytiku

Licence and service agreement between Charles University and Datlowe Ltd.(January 1, 2015 -- January 1, 2018) covers the right to use the data of PDT 2.5 and the software for text analytics trained on PDT 2.5, for commercial purposes. The data and software (non-adapted) is otherwise available for free through the LINDAT/CLARIN repository for non-commercial use under the appropriate variant of the Creative Commons license. Namely, software for morphological analysis, lemmatization, syntactic analysis and named-entity recognition.

Licenční smlouva a smlouva o poskytnutí služeb mezi Univerzitou Karlovou a Datlowe, s.r.o. (1. 1. 2015 -- 1. 1. 2018) obsahuje právo na užití dat PDT 2.5 a software pro textovou analytiku natrénovaného na PDT 2.5, a to pro komerční účely. Jedná se o upravené verze nekomerčního software a dat jinak dostupných z repozitáře LINDAT/CLARIN. Jmenovitě: software pro analýzu tvarosloví a lematizaci, syntaktickou analýzu a analýzu názvů pojmenovanýchch entit.


Towards a Corpus-based Valency Lexicon of Czech Nouns

Ke slovníku valence českých substantiv založenému na korpusu

Corpus-based Valency Lexicon of Czech Nouns is a starting project picking up the threads of our previous work on nominal valency. It builds upon solid theoretical foundations of the theory of valency developed within the Functional Generative Description. In this paper, we describe the ways of treating valency of nouns in a modern corpus-based lexicon, available as machine readable data in a format suitable for NLP applications, and report on the limitations that the most commonly used corpus interfaces provide to the research of nominal valency. The linguistic material is extracted from the Prague Dependency Treebank, the synchronic written part of the Czech National Corpus, and Araneum Bohemicum. We will utilize lexicographic software and partially also data developed for the valency lexicon PDT-Vallex but the treatment of entries will be more exhaustive, for example, in the coverage of senses and in the semantic classification added to selected lexical units (meanings). The main criteria for including nouns in the lexicon will be semantic class membership and the complexity of valency patterns. Valency of nouns will be captured in the form of valency frames, enumeration of all possible combinations of adnominal participants, and corpus examples.

Slovník valence substantiv založený na korpusu je začínající projekt navazující na předchozí výzkumy valence substantiv v češtině. Tento příspěvek se zabývá zachycením valence substantiv v moderním slovníku založeném na korpusu, dostupném jak pro lidské uživatele, tak ve formě strojově čitelných dat. Referujeme také o omezeních, která pro výzkum jmenné valence představují v současnosti nejčastěji užívané korpusové vyhledávače.

Jana Klímová
Veronika Kolářová
Anna Vernerová


Homonymy and Polysemy in the Czech Morphological Dictionary

Homonymie a polysémie v českém morfologickém slovníku

We focus on a problem of homonymy and polysemy in morphological dictionaries on the example of the Czech morphological dictionary MorfFlex CZ. It is not necessary to distinguish meanings in morphological dictionaries unless the distinction has consequencies in word formation or syntax. The contribution proposes several  important rules and principles for achieving consistency.

Na příkladu českého morfologického slovníku MorfFlex CZ upozorňujeme na problém homonymie a polysémie. V morfologickém slovníku není nutné rozlišovat význam slov, pokud takové rozlišení nemá důsledky ve slovotvorbě nebo v syntaxi. Příspěvek navrhuje několik důležitých pravidel a principů pro dosažení konzistence.


Human judgments of lexical similarity/relatedness are used as evaluation data for Vector Space Models, helping to judge how the distributional similarity captured by a given Vecotr Space Model correlates with human intuitions. A well establishde data set for the evaluation of lexical similarity/relatedness id WordSim353, alnog with its translations into sefveral other languages. Thiospaper presents its Czech translation and annotation, which is publicly available via the Lindat-Clarin repository.

Tento článek popisuje vznik nového lexikálního zdroje pro češtinu.


Graded and Word-Sense-Disambiguation Decisions in Corpus Pattern Analysis: a Pilot Study

Škálované posouzení vzoru užití vs. desambiguace významu: Pilotní studie

We present a pilot analysis of a new linguistic resource, VPS-GradeUp (available at http://hdl.handle.net/11234/1-1585). The resource contains 11,400 graded human decisions on usage patterns of 29 English lexical verbs, randomly selected from the Pattern Dictionary of English Verbs (Hanks, 2000 2014) based on their frequency and the number of senses their lemmas have in PDEV. This data set has been created to observe the interannotator agreement on PDEV patterns produced using the Corpus Pattern Analysis (Hanks, 2013). Apart from the graded decisions, the data set also contains traditional Word-Sense-Disambiguation (WSD) labels. We analyze the associations between the graded annotation and WSD annotation. The results of the respective annotations do not correlate with the size of the usage pattern inventory for the respective verbs lemmas, which makes the data set worth further linguistic analysis.

Představujeme pilotní analýzu nového lingvistického zdroje, VPS-GradeUp, který je dostupný z http://hdl.handle.net/11234/1-1585.

Silvie Cinková
Ema Krejčová
Anna Vernerová
Vít Baisa


What Do Graded Decisions Tell Us about Verb Uses

Co nám říkají škálovaná rozhodování o užití sloves

We work with 1450 concordances of 29 English verbs (50 concordances per lemma) and their
corresponding entries in the Pattern Dictionary of English Verbs (PDEV). Three human annotators
working independently but in parallel judged how well each lexical unit of the corresponding PDEV
entry illustrates the given concordance. Thereafter they selected one best-fitting lexical unit for each concordance – while the former setup allowed for ties (equally good matches), the latter did not. We measure the interannotator agreement/correlation in both setups and show that our results are not worse (in fact, slightly better) than in an already published graded-decision annotation performed on a traditional dictionary. We also manually examine the cases where several PDEV lexical units were classified as good matches and how this fact affected the interannotator agreement in the bestfit
setup. The main causes of overlap between lexical units include semantic coercion and regular
polysemy, as well as occasionally insufficient abstraction from regular syntactic alternations, and eventually also arguments defined as optional and scattered across different lexical units despite not being mutually exclusive.

Tento článek pojednává o škálovaných rozhodnutích anotátorů v CPA analýze anglických sloves.


WordSim353-cs: Evaluation Dataset for Lexical Similarity and Relatedness based on WordSim353

Human judgments of lexical similarity/relatedness are used as evaluation data for Vector Space Models, helping to judge how the distributional similarity captured by a given Vector Space Model correlates with human intuitions. A well established data set for the evaluation of lexical similarity/relatedness is WordSim353, along with its translations into several other languages. This paper presents its Czech translation and annotation, which is publicly available via the LINDAT-CLARIN repository at hdl.handle.net/11234/1-1713.

Toto je dataset k evaluaci vzájemných sémantických vztahů mezi slovy (podobnost a souvislost). Vytvořeno podle již klasického anglického zdroje WordSim353

Silvie Cinková
Jana Straková
Jakub Hajič
Jan Hajič
Jan Hajič, jr.
Jolana Janoušková
Milan Straka
Miroslava Urešová


Analysis of Word Order in Multiple Treebanks

This poster gives an overview of the results of automatic analysis of word order in 23 dependency treebanks. These treebanks have been collected in the frame of in the HamleDT project, whose main goal is to provide universal annotation for dependency corpora.

Poster představuje přehled výsledků automatické analýzy slovosledu ve 23 treebancích. Tyto treebanky byly vytvořeny v rámci projektu HamleDT, jehož cílem je poskytnout univerzální anotaci závislostních korpusů.

Vladislav Kuboň
Markéta Lopatková
Jiří Mírovský


Searching for a Measure of Word Order Freedom

This paper compares various means of measur-
ing of word order freedom applied to data from syntactically annotated corpora for 23 languages. The corpora are part of the HamleDT project, the word order statistics are relative frequencies of all word order combinations of subject, predicate and object both in main and subordinated clauses. The measures include Euclidean distance, max-min distance, entropy and cosine similarity. The dif-
ferences among the measures are discussed.

Tento článek porovnává několik způsobů měření stupně volnosti slovosledu na datech 23 jazyků, získaných z jejich syntakticky anotovaných korpusů. Tyto korpusy jsou součástí projektu HamleDT. Měření bere v úvahu vzájemné postavení podmětu, přísudku a předmětu v hlavních a vedlejších větách a měří jej pomocí euklidovské vzdálenosti, vzdálenosti max-min, entropie a kosinové podobnosti.

Vladislav Kuboň
Markéta Lopatková
Tomáš Hercig


Annotation of MWEs, Representation in a Lexicon

Anotace víceslovných výrazů, jejich representace ve slovníku

Overview of my project concerning MWEs at Second PARSEME Training School in La Rochelle.

Představení mých projektů týkajících se víceslovných výrazů na PARSEME Training school v La Rochelle.


Named Entities within Multiword Addresses

Pojmenované entity uvnitř víceslovných adres

We analyze inner structure of complex address data
given in text, categorize it, annotate
it and evaluate the annotation.

Analyzujeme vnitřní strukturu komplexních adresních datových údajů v textu, kategorizujeme je, anotujeme a vyhodnocujeme výsledky.


PARSEME Shared Task and PDT: Comparison and Data Conversion

Sdílený úkol Parseme a PZK: Srovnání a přeměna údajů

We show that verbal MWEs similar to those specified in PARSEME Shared Task have already been annotated in Prague Dependency Treebank and all their individual categories can be extracted and used within the Shared Task.

Ukážeme, že slovesné víceslovné výrazy (VV) specifikované v Shared Tasku PARSEME jsou anotovány v PDT a jednotlivé kategorie VV je možné z něj extrahovat a v Shared Tasku použít.

Eduard Bejček
Pavel Straňák
Zdeňka Urešová


Enrichment of a lexical network of Czech derived words by exploiting inflectional paradigms

Obohacování lexikální sítě českých derivátů na základě flektivních paradigmat

The paper  deals  with  two  main  issues,  each  approaching  the  relation between  derivational  (sub-)paradigms (as discussed by Štekauer 2014) and inflectional paradigms  from  a  different perspective.  First,  a  recent  enrichment  of  the  DeriNet network  is  described  which  focused  on  words  the  derivation  of  which  is  accompanied by consonant and/or vowel alternations. Second,  inflectional  features  have  been  used  as  an  important  input  for  the  semi-automatic task of semantic labelling of derivational relations in the DeriNet network.

Příspěvek prezentuje dva problémy, při jejichž řešení bylo využíváno vztahů mezi derivačními a flektivními paradigmaty. Za prvé, tyto vztahy byly využity při identifikaci nových vztahů mezi odvozenými slovy a slovy základovými, a to především v případech, kdy během odovzení dochází k hláskové alternaci. Za druhé, flektivní rysy je možné využívat rovněž jako důležitou vstupní informaci při poloautomatickém značkování významových vztahů mezi deriváty a slovy základovými.


The DeriNet Lexical Network: a Language Data Resource for Research into Derivation in Czech

Lexikální síť DeriNet: elektronický zdroj pro výzkum derivace v češtině

In the present paper, the lexical database DeriNet is introduced which includes more than 969 thousand Czech word interconnected with 718 thousand links corresponding to derivational relations (relations between a base word and a word derived from it). Derivational relations were identified by semi-automatic procedures and manual annotation. As the DeriNet network is fully compatible with a big inflectional dictionary of Czech (MorfFlex CZ), it can be used as a resource for an integrating approach to derivational and inflectional morphology of Czech both in linguistic research and in natural language processing.

Článek představuje lexikální databázi DeriNet, která obsahuje téměř 1 milion českých slov propojených více než 700 tisíci hranami odpovídajícími vztahu mezi slovem odvozeným a základovým. V textu je popsán proces budování této databáze, lingvistická rozhodnutí, která bylo nutné během tohoto procesu učinit, i možné využití a výhledy.

Magda Ševčíková
Zdeněk Žabokrtský
Jonáš Vidra
Milan Straka


Universal Dependencies v1: A Multilingual Treebank Collection

Universal Dependencies v1: Kolekce treebanků v mnoha jazycích

This paper presents the resources so far created in the Universal Dependencies (UD) project, which attempts to address a lack of cross-linguistically adequate dependency representations for natural language processing.

Tento článek představuje zdroje dosud vytvořené v projektu Universal Dependencies (UD), který se snaží vypořádat s chybějící závislostní reprezentací pro zpracování přirozených jazyků aplikovatelnou na více jazyků.

Joakim Nivre
Marie-Catherine de Marneffe
Filip Ginter
Yoav Goldberg
Jan Hajič
Christopher Manning
Ryan McDonald
Slav Petrov
Sampo Pyysalo
Natalia Silveira
Reut Tsarfaty
Daniel Zeman


Universal Dependencies is a project that seeks to develop cross-linguistically consistent treebank annotation for many languages, with the goal of facilitating multilingual parser development, cross-lingual learning, and parsing research from a language typology perspective. The annotation scheme is based on (universal) Stanford dependencies (de Marneffe et al., 2006, 2008, 2014), Google universal part-of-speech tags (Petrov et al., 2012), and the Interset interlingua for morphosyntactic tagsets (Zeman, 2008). This is the fifth release of UD Treebanks, Version 1.4.

Universal Dependencies je projekt, který vyvíjí mezijazykově konzistentní morfologicko-syntaktickou anotaci mnoha jazyků s cílem usnadnit vývoj jazykově nezávislých parserů, mezijazykové strojové učení a výzkum parsingu z perspektivy jazykové typologie. Anotační schéma je založeno na univerzálních Stanfordských závislostech (de Marneffe et al., 2006, 2008, 2014), univerzálních značkách Google (Petrov et al., 2012) a na Intersetu, tj. interlingvě pro sady morfologických značek (Zeman, 2008). Toto je páté vydání treebanků UD, verze 1.4.

Joakim Nivre
Željko Agić
Lars Ahrenberg
Maria Jesus Aranzabe
Masayuki Asahara
Aitziber Atutxa
Miguel Ballesteros
John Bauer
Kepa Bengoetxea
Yevgeni Berzak
Riyaz Ahmad Bhat
Eckhard Bick
Carl Börstell
Cristina Bosco
Gosse Bouma
Sam Bowman
Gülşen Cebiroğlu Eryiğit
Giuseppe G. A. Celano
Fabricio Chalub
Çağrı Çöltekin
Miriam Connor
Elizabeth Davidson
Marie-Catherine de Marneffe
Arantza Diaz de Ilarraza
Kaja Dobrovoljc
Timothy Dozat
Kira Droganova
Puneet Dwivedi
Marhaba Eli
Tomaž Erjavec
Richárd Farkas
Jennifer Foster
Cláudia Freitas
Katarína Gajdošová
Daniel Galbraith
Marcos Garcia
Moa Gärdenfors
Sebastian Garza
Filip Ginter
Iakes Goenaga
Koldo Gojenola
Memduh Gökırmak
Yoav Goldberg
Xavier Gómez Guinovart
Berta González Saavedra
Matias Grioni
Normunds Grūzītis
Bruno Guillaume
Jan Hajič
Linh Hà Mỹ
Dag Haug
Barbora Hladká
Radu Ion
Elena Irimia
Anders Johannsen
Fredrik Jørgensen
Hüner Kaşıkara
Hiroshi Kanayama
Jenna Kanerva
Boris Katz
Jessica Kenney
Natalia Kotsyba
Simon Krek
Veronika Laippala
Lucia Lam
Phương Lê Hồng
Alessandro Lenci
Nikola Ljubešić
Olga Lyashevskaya
Teresa Lynn
Aibek Makazhanov
Christopher Manning
Cătălina Mărănduc
David Mareček
Héctor Martínez Alonso
André Martins
Jan Mašek
Yuji Matsumoto
Ryan McDonald
Anna Missilä
Verginica Barbu Mititelu
Yusuke Miyao
Simonetta Montemagni
Keiko Sophie Mori
Shinsuke Mori
Bohdan Moskalevskyi
Kadri Muischnek
Nina Mustafina
Kaili Müürisep
Lương Nguyễn Thị
Huyền Nguyễn Thị Minh
Vitaly Nikolaev
Hanna Nurmi
Petya Osenova
Robert Östling
Lilja Øvrelid
Valeria de Paiva
Elena Pascual
Marco Passarotti
Cenel-Augusto Perez
Slav Petrov
Jussi Piitulainen
Barbara Plank
Martin Popel
Lauma Pretkalniņa
Prokopis Prokopidis
Tiina Puolakainen
Sampo Pyysalo
Alexandre Rademaker
Loganathan Ramasamy
Livy Real
Laura Rituma
Rudolf Rosa
Shadi Saleh
Baiba Saulīte
Sebastian Schuster
Wolfgang Seeker
Mojgan Seraji
Elena Shakurova
Mo Shen
Natalia Silveira
Maria Simi
Radu Simionescu
Katalin Simkó
Mária Šimková
Kiril Simov
Aaron Smith
Carolyn Spadine
Alane Suhr
Umut Sulubacak
Zsolt Szántó
Takaaki Tanaka
Reut Tsarfaty
Francis Tyers
Sumire Uematsu
Larraitz Uria
Gertjan van Noord
Viktor Varga
Veronika Vincze
Lars Wallin
Jing Xian Wang
Jonathan North Washington
Mats Wirén
Zdeněk Žabokrtský
Amir Zeldes
Daniel Zeman
Hanzhi Zhu


Universal Dependencies is a project that seeks to develop cross-linguistically consistent treebank annotation for many languages, with the goal of facilitating multilingual parser development, cross-lingual learning, and parsing research from a language typology perspective. The annotation scheme is based on (universal) Stanford dependencies (de Marneffe et al., 2006, 2008, 2014), Google universal part-of-speech tags (Petrov et al., 2012), and the Interset interlingua for morphosyntactic tagsets (Zeman, 2008). This is the fourth release of UD Treebanks, Version 1.3.

Universal Dependencies je projekt, který vyvíjí mezijazykově konzistentní morfologicko-syntaktickou anotaci mnoha jazyků s cílem usnadnit vývoj jazykově nezávislých parserů, mezijazykové strojové učení a výzkum parsingu z perspektivy jazykové typologie. Anotační schéma je založeno na univerzálních Stanfordských závislostech (de Marneffe et al., 2006, 2008, 2014), univerzálních značkách Google (Petrov et al., 2012) a na Intersetu, tj. interlingvě pro sady morfologických značek (Zeman, 2008). Toto je čtvrté vydání treebanků UD, verze 1.3.

Joakim Nivre
Željko Agić
Lars Ahrenberg
Maria Jesus Aranzabe
Masayuki Asahara
Aitziber Atutxa
Miguel Ballesteros
John Bauer
Kepa Bengoetxea
Yevgeni Berzak
Riyaz Ahmad Bhat
Cristina Bosco
Gosse Bouma
Sam Bowman
Gülşen Cebiroğlu Eryiğit
Giuseppe G. A. Celano
Çağrı Çöltekin
Miriam Connor
Marie-Catherine de Marneffe
Arantza Diaz de Ilarraza
Kaja Dobrovoljc
Timothy Dozat
Kira Droganova
Tomaž Erjavec
Richárd Farkas
Jennifer Foster
Daniel Galbraith
Sebastian Garza
Filip Ginter
Iakes Goenaga
Koldo Gojenola
Memduh Gökırmak
Yoav Goldberg
Xavier Gómez Guinovart
Berta González Saavedra
Normunds Grūzītis
Bruno Guillaume
Jan Hajič
Dag Haug
Barbora Hladká
Radu Ion
Elena Irimia
Anders Johannsen
Hüner Kaşıkara
Hiroshi Kanayama
Jenna Kanerva
Boris Katz
Jessica Kenney
Simon Krek
Veronika Laippala
Lucia Lam
Alessandro Lenci
Nikola Ljubešić
Olga Lyashevskaya
Teresa Lynn
Aibek Makazhanov
Christopher Manning
Cătălina Mărănduc
David Mareček
Héctor Martínez Alonso
Jan Mašek
Yuji Matsumoto
Ryan McDonald
Anna Missilä
Verginica Barbu Mititelu
Yusuke Miyao
Simonetta Montemagni
Keiko Sophie Mori
Shinsuke Mori
Kadri Muischnek
Nina Mustafina
Kaili Müürisep
Vitaly Nikolaev
Hanna Nurmi
Petya Osenova
Lilja Øvrelid
Elena Pascual
Marco Passarotti
Cenel-Augusto Perez
Slav Petrov
Jussi Piitulainen
Barbara Plank
Martin Popel
Lauma Pretkalniņa
Prokopis Prokopidis
Tiina Puolakainen
Sampo Pyysalo
Loganathan Ramasamy
Laura Rituma
Rudolf Rosa
Shadi Saleh
Baiba Saulīte
Sebastian Schuster
Wolfgang Seeker
Mojgan Seraji
Elena Shakurova
Mo Shen
Natalia Silveira
Maria Simi
Radu Simionescu
Katalin Simkó
Kiril Simov
Aaron Smith
Carolyn Spadine
Alane Suhr
Umut Sulubacak
Zsolt Szántó
Takaaki Tanaka
Reut Tsarfaty
Francis Tyers
Sumire Uematsu
Larraitz Uria
Gertjan van Noord
Viktor Varga
Veronika Vincze
Jing Xian Wang
Jonathan North Washington
Zdeněk Žabokrtský
Daniel Zeman
Hanzhi Zhu


Czech and English abstracts of ÚFAL papers

This is a document-aligned parallel corpus of English and Czech abstracts of scientific papers published by authors from the Institute of Formal and Applied Linguistics, Charles University in Prague, as reported in the institute's system Biblio. For each publication, the authors are obliged to provide both the original abstract in Czech or English, and its translation into English or Czech, respectively. No filtering was performed, except for removing entries missing the Czech or English abstract, and replacing newline and tabulator characters by spaces.

Toto je dokument-alignovaný paralelní korpus anglických a českých abstraktů vědeckých článků, které publikovali autoři z Institutu formální a aplikované lingvistiky Univerzity Karlovy v Praze, jak byly reportovány v systému institutu Biblio. Autoři každé publikace jsou povinni poskytnout jak originální abstrakt v češtině nebo angličtině, tak jeho překlad do angličtiny  respektive češtiny. Žádné filterování nebylo provedeno, kromě odstranění záznamů, kterým chybí český nebo anglický abstrakt a nahrazení nových řádků a tabulátorů mezerami.


We present a lexicon-less rule-based machine translation system from English to Czech, based on a very limited amount of transformation rules. Its core is a novel translation module, implemented as a component of the TectoMT translation system, and depends massively on the extensive pipeline of linguistic preprocessing and postprocessing within TectoMT. Its scope is naturally limited, but for specific texts, e.g. from the scientific or marketing domain, it occasionally produces sensible results.

Prezentujeme lexikon-lesový rule-bazovaný systém machín translace od Engliše Čecha, který bazoval na verově limitované amountu rulů transformace. Jeho kor je novelový modul translace, implementovalo jako komponent systému translace tektomtu a dependuje masivně na extensivní pipelínu lingvistické preprocesování a postprocesovat v Tektomtu. Jeho skop je naturálně limitovaná, ale pro specifické texty z například scientifické nebo marketování doménu okasionálně producuje sensibilní resulty.


Delexicalized Cross-lingual Transfer of Statistical Syntactic Parsers for Automatic Analysis of Low-resourced Natural Languages

Delexicalizovaný mezijazyčný přenos statistických syntaktických parserů pro automatický rozbor přirozených jazyků s omezenými zdroji

We present our work on semi-supervised parsing of natural language sentences, focusing on multi-source crosslingual transfer of delexicalized dependency parsers. We present KLcpos3, an empirical language similarity measure, designed and tuned for source parser weighting in multi-source delexicalized parser transfer. And finally, we introduce a novel resource combination method, based on interpolation of trained parser models.

Představujeme naši práci v oblasti částečně řízené syntaktické analýzy vět přirozeného jazyka, se zaměřením na mezijazyčný přenos delexikalizovaných závislostních parserů s více zdroji. Představujeme KLcpos3, empirickou míru podobnosti jazyků, navrženou a vyladěnou pro vážení zdrojových parserů při přenosu delexicalizovaných parserů s více zdroji. Nakonec představíme novou metodu kombinace zdrojů, založenou na interpolaci natrénovaných modelů parserů.


This is something everyone uses, but it is not absolutely clear how it works. For a given query it is not possible to simply traverse all the existing billions of websites, and return the few millions that contain the sought words. I will show what a reverse index is, how results are sorted, and I will also add more advanced techniques (TF.IDF, lemmatization, synonyms, named entities).

To je něco, co používá každý, přitom není úplně zřejmé, jak to funguje. Pro daný dotaz nejde prostě pro každý dotaz projít všechny existující miliardy webových stránek, a vrátit uživateli několik miliónů z nich, které obsahují hledaná slova. Ukážu, co je reverzní index (to zná každý pod názvem rejstřík), podle čeho se řadí výsledky, a přidám i pokročilejší vylepšení (TF.IDF, lematizace, synonyma, pojmenované entity).


Slovenskočeský NLP workshop (SloNLP 2016)

SloNLP is a workshop focused on Natural Language Processing (NLP) and Computational Linguistics. Its primary aim is to promote cooperation among NLP researchers in Slovakia and Czech Republic.
The topics of the workshop include automatic speech recognition, automatic natural language analysis and generation (morphology, syntax, semantics, etc.), dialogue systems, machine translation, information retrieval, practical applications of NLP technologies, and other topics of computational linguistics.

SloNLP je workshop speciálně zaměřený na zpracování přirozeného jazyka a počítačovou lingvistiku. Jeho hlavním cílem je podpořit spolupráci mezi výzkumníky v oblasti NLP v Česku a na Slovensku.
Mezi témata workshopu patří automatické rozpoznávání mluvené řeči (ASR), automatická analýza a generování přirozeného jazyka (morfologie, syntax, sémantika...), dialogové systémy (DS), strojový překlad (MT), vyhledávání informací (IR), praktické aplikace NLP technologií, a další témata počítačové lingvistiky.


Dictionary-based Domain Adaptation of MT Systems without Retraining

Doménová adaptace strojových překladačů bez přetrénovávání založená na slovníku

We describe our submission to the IT-domain translation task of WMT 2016.
We perform domain adaptation with dictionary data on already trained MT systems with no further retraining.
We apply our approach to two conceptually different systems developed within the QTLeap project: TectoMT and Moses, as well as Chimera, their combination.
In all settings, our method improves the translation quality.
Moreover, the basic variant of our approach is applicable to any MT system, including a black-box one.

Popisuje náš příspěvek do úlohy překladu v doméně IT na WMT16.
Provádíme doménovou adaptaci již natrénovaných překladových systémů pomocí slovníkových dat bez dalšího trénování.
Náš postup aplikujeme na dva konceptuálně odlišné překladače, vyvíjené v rámci projektu QTLeap -- TectoMT a Moses -- a na jejich kombinaci -- Chiméru.
Všechny naše metody zlepšují ve všech experimentech kvalitu překladu.
Základní varianta naší metody je navíc použitelná na libovolný překladový systém, včetně takového, který je pro uživatele černou skříňkou.

Rudolf Rosa
Roman Sudarikov
Michal Novák
Martin Popel
Ondřej Bojar


Moses & Treex Hybrid MT Systems Bestiary

Bestiář hybridních systémů MT založených na Mosesu a Treexu

Moses is a well-known representative of the phrase-based statistical machine translation systems family, which are known to be extremely poor in explicit linguistic knowledge, operating on flat language representations, consisting only of tokens and phrases. Treex, on the other hand, is a highly linguistically motivated NLP toolkit, operating on several layers of language representation, rich in linguistic annotations. Its main application is TectoMT, a hybrid machine translation system with deep syntax transfer. We review a large number of machine translation systems that have been built over the past years by combining Moses and Treex/TectoMT in various ways.

Moses je dobře známý reprezentant rodiny frázových systémů statistického strojového překladu, který je známý tím, že je extrémně chudý na explicitní lingvistické znalosti, a operuje na plochých reprezentacích jazyka, složených jen z tokenů a frází. Na druhé straně, Treex NLP toolkit, který je vysoce lingvisticky motivovaný, operuje na několika vrstvách reprezentace jazyka, bohatých na lingvistické anotace. Jeho hlavní aplikace je TectoMT, hybridní systém strojového překladu s hloubkovým transfrem syntaxe. Nabízíme přehled velkého počtu systémů strojového překladu, sestavených v minulých letech, které různými způsoby kombinují Mosese a Treex/TectoMT.

Rudolf Rosa
Martin Popel
Ondřej Bojar
David Mareček
Ondřej Dušek


We present a question-answering system
Politician designed as a chatbot imitating a
politician. It answers questions on political
issues. The questions are analyzed using
natural language processing techniques and
no complex knowledge base is involved.
The language used for the interviews is
Czech.

Prezentujeme dialogový systém Politik. Politik je navržen jako chatovací robot, který imituje politika. Odpovídá na otázky týkající se politických témat. Otázky jsou zpracovány nástroji počítačového zpracování jazyka bez použití externí znalostní báze. Jazykem dialogu je čeština.


Pronoun Prediction with Linguistic Features and Example Weighing

Predikce zájmen s použitím lingvistických rysů a vážení příkladů

We present a system submitted to the WMT16 shared task in cross-lingual pronoun prediction, in particular, to the English-to-German and German-to-English sub-tasks. The system is based on a linear classifier making use of features both from the target language model and from linguistically analyzed source and target texts. Furthermore, we apply example weighing in classifier learning, which proved to be beneficial for recall in less frequent pronoun classes. Compared to other shared task participants, our best English-to-German system is able to rank just below the top performing submissions.

Představujeme systém na mezijazyčnou predikci zájmen, konkrétně mezi angličtinou a němčinou.


Prague Czech-English Dependency Treebank 2.0 - Russian Translation, version 0.5

Ruské překlady Pražského česko-anglického závislostního korpusu, verze 0.5

Prague Czech-English Dependency Treebank - Russian translation (PCEDT-R) is a project of translating a subset of Prague Czech-English Dependency Treebank 2.0 (PCEDT 2.0) to Russian and  linguistically annotating the Russian translations with emphasis on coreference and cross-lingual alignment of coreferential expressions. Cross-lingual comparison of coreference means is currently the purpose that drives development of this corpus. In version 0.5, it contains Russian translations of more than 1000 English sentences with automatic morphological analysis and manual cross-lingual alignment of Czech, English and Russian possessive pronouns.

Tento projekt rozšiřuje část PCEDT 2.0 o ruské překlady a anotaci zaměřenou na koreferenci a mezijazyčné zarovnání koreferenčních výrazǔ. Ve verzi 0.5 korpus obsahuje překlad více než 1000 anglických vět s automatickými anotacemi na úrovni morfologie a ručním mezijazyčným zarovnáním českých, anglických a ruských posesivních zájmen.

Michal Novák
Anna Nedoluzhko
Anna Schwarz (Khoroshkina)


An interoperable approach to the analysis of discourse

Interoperabilní přístup k analýze diskurzu

In the present paper, we analyse variation of discourse phenomena in two typologically different languages, i.e. in German and Czech.
The novelty of our approach lies in the nature of the resources we are using. Advantage is taken of existing resources, which are,
however, annotated on the basis of two different frameworks. We use an interoperable scheme unifying discourse phenomena in both
frameworks into more abstract categories and considering only those phenomena that have a direct match in German and Czech. The
discourse properties we focus on are relations of identity, semantic similarity, ellipsis and discourse relations. Our study shows that the
application of interoperable schemes allows an exploitation of discourse-related phenomena analysed in different projects and on the
basis of different frameworks. As corpus compilation and annotation is a time-consuming task, positive results of this experiment open
up new paths for contrastive linguistics, translation studies and NLP, including machine translation.

Rozšířená a přepracovaná verze Lapshinova et al. (2016). V článku provádíme srovnávací analýzu diskurzních jevů v němčině a češtině na základě dvou korpusových zdrojů pro tyto jazyky. Korpusy jsou anotovány v rámci různých teoretických přístupů: FGP (Sgall et al. 1986) pro češtinu a teorie textové koheze (Halliday & Hasan 1976) pro němčinu. Hledáme společné rysy, automaticky je identifikujeme v textech a tím se dostáváme k srovnatelným korpusům anotovaných stejnými typy vztahů, které dále rozebíráme. (viz hlavně angl. abstrakt a text)

Ekaterina Lapshinova-Koltunski
Anna Nedoluzhko
Kerstin Anna Kunz


From monolingual annotations towards cross-lingual resources: An interoperable approach to the analysis of discourse

Od jednojazyčných zdrojů k mnohojazyčným: interoperabilní přístup k analýze diskurzu

in this paper, we perform a cross-lingual analysis of discourse phenomena in German and Czech, using two corpus resources annotated monolingually within two different frameworks: functional Generative description (Sgall et al. 1986) for Czech, and textual cohesion (Halliday & Hasan 1976) for German.
We take advantage of the existing resources reflecting systemic peculiarities and realisational options of the languages under analysis. in our previous work (Lapshinova et al. 2015), we have shown that the annotations of the involved resources are comparable if abstract categories are used and only the phenomena with a direct match in German and Czech are taken into consideration. Our
analysis is a first step towards unifying separate analyses of discourse relations in Germanic and Slavic languages. at the same time, it demonstrates that the application of ’theoretically’ different resources is possible in one contrastive analysis. This is especially valuable for nlp, which uses annotated resources to train language models for various tools.

V článku provádíme srovnávací analýzu diskurzních jevů v němčině a češtině na základě dvou korpusových zdrojů pro tyto jazyky. Korpusy jsou anotovány v rámci různých teoretických přístupů: FGP (Sgall et al. 1986) pro češtinu a teorie textové koheze (Halliday & Hasan 1976) pro němčinu. Hledáme společné rysy, automaticky je identifikujeme v textech a tím se dostáváme k srovnatelným korpusům anotovaných stejnými typy vztahů, které dále rozebíráme. (viz hlavně angl. abstrakt a text)


Using Term Position Similarity and Language Modeling for Bilingual Document Alignment

Využití podobnosti pozic termínů a jazykového modelování pro identifikaci dvojic dokumentů

The WMT Bilingual Document Alignment
Task requires systems to assign
source pages to their “translations”, in a
big space of possible pairs. We present
four methods: The first one uses the term
position similarity between candidate document
pairs. The second method requires
automatically translated versions of the
target text, and matches them with the candidates.
The third and fourth methods try
to overcome some of the challenges presented
by the nature of the corpus, by
considering the string similarity of source
URL and candidate URL, and combining
the first two approaches.

Článek popisuje metodu hledání dvojic dokumentů, které jsou si překladem, na základě podobného umístění klíčových slov v kandidátech a na základě podobnosti měřené n-gramovým jazykovým modelem.

Le Thanh
Hoa Vu Throng
Jonathan Oberländer
Ondřej Bojar


MUSCIMarker 1.1 is an open-source tool for annotating visual objects and their relationships in images. It was designed with music notation in mind, but it can annotate any user-defined object set.
Specialized functionality is provided to speed up annotation of binary images (where the background, defined as an area where no object of interest resides, is known). MUSCIMarker is an offline standalone graphical user interface desktop application implemented in Python and known to run on all major desktop operating systems (Windows, Linux and OS X).

MUSCIMarker 1.1 je open-source nástroj pro anotaci vizuálních objektů a jejich vztahů v obrázkách. Byl navržen pro anotování hudební notace, avšak uživatel může definovat libovolnou sadu objektů. Poskytuje specializované funkce pro zrychlení anotace binárních obrázků (tj. obrázků, kde je jsou jasně vymezené oblasti pozadí, ve kterých se žádný anotovaný objekt nevyskytuje). MUSCIMarker je samostatná aplikace s grafickým rozhraním pro osobní počítače a nevyžaduje připojení na internet; je implementována v jazyce Python a otestována na všech třech hlavních operačních systémech (Windows, Linux a OS X).


Further Steps towards a Standard Testbed for Optical Music Recognition

Další kroky ke standardizovanému testování pro rozpoznávání notopisu

Evaluating Optical Music Recognition (OMR) is notoriously difficult and automated end-to-end OMR evaluation metrics are not available to guide development. In “Towards a Standard Testbed for Optical Music Recognition: Definitions, Metrics, and Page Images”, Byrd and Simonsen recently stress that a benchmarking standard is needed in the OMR community, both with regards to data and evaluation metrics. We build on their analysis and definitions and present a prototype of an OMR benchmark. We do not, however, presume to present a complete solution to the complex problem of OMR benchmarking. Our contributions are: (a) an attempt to define a multi- level OMR benchmark dataset and a practical prototype implementation for both printed and handwritten scores, (b) a corpus-based methodology for assessing automated evaluation metrics, and an underlying corpus of over 1000 qualified relative cost-to-correct judgments. We then assess several straightforward automated MusicXML evaluation metrics against this corpus to establish a baseline over which further metrics can improve.

Evaluace rozpoznávání notopisu (Optical Music Recognition, OMR) je notoricky obtížná a automatické metriky pro evaluaci konečného výstupu OMR nejsou k dispozici. V "Towards a Standard Testbed for Optical Music Recognition: Definitions, Metris and Page Images", Byrd a Simonsen nedávno zdůraznili, že benchmarkovací standard je v komunitě OMR nutný: jak evaluační data, tak metriky. Navazujeme na jejich analýzu a předkládáme prototyp benchmarku pro OMR. Náš příspěvek není úplné řešení komplexního problému evaluace OMR; je to (a) snaha definovat víceúrovňový testovací dataset pro OMR a implementace jeho prototypu pro tištěná a rukopisná data, (b) na korpusu založená metodologie pro vyhodnocování automatických evaluačních metrik, a příslušný korpus více než 1000 expertních posouzení relativní obtížnosti opravy různých druhů chyb. Na (b) pak navazujeme vyhodnocením několika přímočarých evaluačních metrik pro MusicXML a nastavujeme tak baseline, kterou další metriky budou zlepšovat.

Jan Hajič, jr.
Jiří Novotný
Pavel Pecina
Jaroslav Pokorný


Automated implementation process of machine translation system for related languages.

Automatizovaný proces implementace systému strojového překladu pro příbuzné jazyky

The paper presents an attempt to automate all data creation processes of a rule-based shallow-transfer machine translation system. The presented methods were tested on four fully functional translation systems covering language pairs: Slovenian paired with Serbian, Czech, English and Estonian language. An extensive range of evaluation tests was performed to assess the applicability of the methods.

Článek popisuje pokus o automatizaci všech procesů vytváření dat u systému strojového překladu založeného na pravidlovém přístupu s mělkým transferem. Uváděné metody byly vyzkoušeny na čtyřech plně funkčních překladových systémech pokrývajících tyto jazykové páry: slovinštinu do srbštiny, češtiny, angličtiny a estonštiny. Aplikovatelnost použitých metod byla testována rozsáhlou řadou evalučních testů.

Jernej Vičič
Petr Homola
Vladislav Kuboň


Automatic Keyword Extraction from Medical and Healthcare Curriculum

Automatická extrakce klíčových slov z medicínských záznamů

Medical and healthcare study programmes are quite complicated in terms of branched structure and heterogeneous content. In logical sequence a lot of requirements and demands placed on students appear there. This paper focuses on an innovative way how to discover and understand complex curricula using modern information and communication technologies. We introduce an algorithm for curriculum metadata automatic processing -- automatic keyword extraction based on unsupervised approaches, and we demonstrate a real application during a process of innovation and optimization of medical education. The outputs of our pilot analysis represent systematic description of medical curriculum by three different approaches (centrality measures) used for relevant keywords extraction. Further evaluation by senior curriculum designers and guarantors is required to obtain an objective benchmark.

Medical and healthcare study programmes are quite complicated in terms of branched structure and heterogeneous content. In logical sequence a lot of requirements and demands placed on students appear there. This paper focuses on an innovative way how to discover and understand complex curricula using modern information and communication technologies. We introduce an algorithm for curriculum metadata automatic processing - automatic keyword extraction based on unsupervised approaches, and we demonstrate a real application during a process of innovation and optimization of medical education. The outputs of our pilot analysis represent systematic description of medical curriculum by three different approaches (centrality measures) used for relevant keywords extraction. Further evaluation by senior curriculum designers and guarantors is required to obtain an objective benchmark.

Martin Komenda
Matěj Karolyi
Andrea Pokorná
Martin Víta
Vincent Kríž


Improving Dependency Parsing Using Sentence Clause Charts

Zlepšení závislostního parsingu pomocí klauzálních grafů

We propose a method for improving the dependency parsing of complex sentences. This method assumes segmentation of input sentences into clauses and does not require to re-train a parser of one's choice. We represent a sentence clause structure using clause charts that provide a layer of embedding for each clause in the sentence. Then we formulate a parsing strategy as a two-stage process where (i) coordinaed and subordinated clauses of the sentence are parsed separately with respect to the sentence clause chart and (ii) their dependency trees become subtrees of the final tree of the sentence. The object language is Czech and the parser used is a maximum spanning tree parser trained on the Prague Dependency Treebank. We have achieved an average 0.97% improvement in the unlabeled attachment score. Although the method has been designed for the dependency parsing of Czech, it is useful for other parsing techniques and languages.

Navrhujeme metodu, která zlepšuje závislostní parsing složených vět. Metoda předpokládá segmentaci věty do klauzí a nevyžaduje přetrénování parseru. Klauzální strukturu věty reprezentujeme pomocí klauzálních grafů, které poskytují informaci o vnoření každé klauze. Navrhujeme postup, ve kterém parsujeme klauze nezávisle a vzniklé závislostní stromy vkládáme jako podstromy do finálního stromu pro celou větu. Metodu aplikujeme na češtinu a experimentujeme s MST parserem natrénovaným na PDT 2.0. Dosahujeme zvýšení UAS o 0.97%.


RExtractor: a Robust Information Extractor

RExtractor: robustní informační extraktor

The RExtractor system is an information extractor that processes input documents by natural language processing tools and consequently queries the parsed sentences to extract a knowledge base of entities and their relations. The extraction queries are designed manually using a tool that enables natural graphical representation of queries over dependency trees. A workflow of the system is designed to be language and domain independent. We demonstrate RExtractor on Czech and English legal documents.

RExtractor je systém pro extrakci informací. Vstupní dokumenty jsou zpracovány NLP nástroji. Extrakce následně probíhá pomocí dotazů nad závislostními stromy. Výsledkem je znalostní báze dokumentu, definována jako množina entit a vztahů mezi nima. Dotazy nad stromy jsou definovány manuálně. Architektura systému je navržena doménově a jazykově nezávisle. Systém demonstrujeme na českých a anglických právních dokumentech.


Statistical Recognition of References in Czech Court Decisions

Statistiké rozpoznávaní referencí v českých soudních rozhodnutích


We propose a method for improving the dependency parsing of complex sentences. This method assumes segmentation of input sentences into clauses and does not require to re-train a parser of one's choice. We represent a sentence clause structure using clause charts that provide a layer of embedding for each clause in the sentence. Then we formulate a parsing strategy as a two-stage process where (i)  coordinaed and subordinated clauses of the sentence are parsed separately with respect to the sentence clause chart and (ii) their dependency trees become subtrees of the final tree of the sentence. The object language is Czech and the parser used is a maximum spanning tree parser trained on the Prague Dependency Treebank. We have achieved an average 0.97% improvement in the unlabeled attachment score. Although the method has been designed for the dependency parsing of Czech, it is useful for other parsing techniques and languages.


We introduce a new member of the family of Prague dependency treebanks. The Czech Legal Text Treebank 1.0 is a morphologically and syntactically annotated corpus of 1,128 sentences. The treebank contains texts from the legal domain, namely the documents from the Collection of Laws of the Czech Republic. Legal texts differ from other domains in several language phenomena influenced by rather high frequency of very long sentences. A manual annotation of such sentences presents a new challenge. We describe a strategy and tools for this task. The resulting treebank can be explored in various ways. It can be downloaded from the LINDAT/CLARIN repository and viewed locally using the TrEd editor or it can be accessed on-line using the KonText and TreeQuery tools.

Představujeme nového člena rodiny pražských závislostních korpusů. Český korpus právních textů je morfologicky a syntakticky anotovaný korpus 1128 vět, který obsahuje texty z právní domény, konkrétně dokumenty ze Sbírky zákonů České republiky. Právní texty se odlišují od jiných domén v několika jazykových jevech vyplývajících z vysoké četnosti velmi dlouhých vět. Manuální anotace takových vět představuje novou výzvu. Popisujeme strategii a nástroje pro tento úkol. Korpus je dostupný několika způsoby, a sice z repozitáře LINDAT/CLARIN a on-line pomocí aplikací KonText a TreeQuery.

Vincent Kríž
Barbora Hladká
Zdeňka Urešová


VIDATA-REPO is a modification to lindat-dspace platform; it's a part of the VIADAT project and as such will be a part of a "virtual assistant" for processing, annotation, enrichment and accessing of audio and video recordings.

VIADAT-REPO je součást projektu VIADAT, tj. část "virtuálního asistenta" pro zpracování, anotaci, obohacení a přístup k audio a video nahrávkám. Základem tohoto softwaru je repozitář lindat-dspace.


The IR Task at the CLEF eHealth Evaluation Lab 2016: User-centred Health Information Retrieval

Úloha vyhledávání informací v CLEF eHealth Evaluation Lab 2016: vyhledávání zdravotních informací pro uživatele

This paper details the collection, systems and evaluation methods used in the IR Task of the CLEF 2016 eHealth Evaluation Lab. This task investigates the effectiveness of web search engines in providing access to medical information for common people that have no or little medical knowledge. The task aims to foster advances in the development of search technologies for consumer health search by providing resources and evaluation methods to test and validate search systems. The problem considered in this year’s task was to retrieve web pages to support the information needs of health consumers that are faced by a medical condition and that want to seek relevant health information online through a search engine. As part of the evaluation exercise, we gathered 300 queries users posed with respect to 50 search task scenarios. The scenarios were developed from real cases of people seeking health information through posting requests of help on a web forum. The presence of query variations for a single scenario helped us capturing the variable quality at which queries are posed. Queries were created in English and then translated into other languages. A total of 49 runs by 10 different teams were submitted for the English query topics; 2 teams submitted 29 runs for the multilingual topics.

Souhrnný článek o přípravě, průbehu a výsledcích soutěže vyhledávání zdravotních informací CLEF eHealth Evaluation Lab 2016.

Guido Zuccon
João Palotti
Lorraine Goeuriot
Liadh Kelly
Mihai Lupu
Pavel Pecina
Henning Müller
Julie Budaher
Anthony Deacon


Customizable tool that will help user select the right public license for his data or software

nástroj, který pomůže uživateli vybrat vhodnou veřejnou licenci jeo jeho data nebo software

Michal Sedlák
Pavel Straňák
Paweł Kamocki


CLARIN Concept Registry: The New Semantic Registry

CLARIN Concept Registry: nový sémantický rejstřík

The CLARIN Concept Registry (CCR) is the place in the CLARIN Infrastructure where common
and shared semantics are defined. This is important to achieve semantic interoperability, and to overcome to a degree the diversity in data structures, either in metadata or linguistic resources, encountered within the infrastructure. Whereas in the past, CLARIN has been using the ISOcat registry for these purposes, nowadays this new CCR registry is being used, as ISOcat turned out to have some serious drawbacks as far as its use in the CLARIN community is concerned. The main difference between both semantic registries is that the new CCR registry is a concept
registry whereas ISOcat is a data category registry. In this paper we describe why this choice has been made. We also describe the most important other characteristics of the new (Open)SKOSbased registry, as well as the management procedures used to prevent a recurrent proliferation of entries, as was the case with ISOcat.

CLARIN Concept Registry (CCR, Rejstřík konceptů CLARIN) je součást Infrastruktury CLARIN a místo, kde se definuje společná a sdílená sémantika. To je důležité pro dosažení sémantické interoperability a pro překonání různosti datových struktur v metadatech a lingvistických zdrojích, se kterou se v rámci infrastruktury setkáváme.

Ineke Schuurman
Menzo Windhouwer
Oddrun Ohren
Daniel Zeman


Interrogation unit for wooden buildings monitoring

Interogační jednotka pro monitorování dřevostaveb

This thesis presents the original computer program that monitors a stability of structural elements in timber constructions. The program captures and evaluates the data from fiber-optic FBG sensors embedded into the glued wooden beams.
Glued timber beams deflect under load, which causes deformation of the optical sensors. This deformation is recorded with a spectrum analyzer that evaluates the spectrum reflected from the optical sensors. The broad-spectrum laser source emits the light through the optical fiber into the FBG sensors.
The created computer program called FBG Monitor analyzes the measured data and controls connected devices. It allows you to configure measurement parameters, view and store measured values. The program FBG Monitor can be controlled remotely via a web interface.

Diplomová práce předkládá autorem samostatně vytvořený původní počítačový program, který monitoruje stabilitu nosných prvků v dřevostavbách. Program snímá a vyhodnocuje data z optovláknových FBG senzorů zabudovaných do dřevěných lepených nosníků.
Dřevěné lepené nosníky se při zátěži prohýbají, což vyvolává deformaci optických senzorů. Tato deformace je zaznamenána pomocí spektrálního analyzátoru, který vyhodnocuje spektrum odražené od optických senzorů. Do nich je optickým vláknem přivedeno světlo ze širokospektrálního laserového zdroje.
Vytvořený počítačový program s názvem FBG Monitor analyzuje naměřená data a ovládá připojená zařízení. Umožňuje konfigurovat parametry měření, prohlížet a ukládat hodnoty. Program FBG Monitor lze ovládat vzdáleně přes webové rozhraní.


Radio said... or the mapping of location and actor in a bilingual dependency treebank

Hlásili to v rozhlase aneb vzájemné mapování lokace a aktora v dvojjazyčném závislostním korpusu

In the talk, we discuss one particular type of structural difference between Czech and English parallel sentences in a bilingual dependency treebank PCEDT, i.e., the mapping of valency complementation of teh ACT type and the free modification of the LOC type. In the analysis of corpus sentences we comment on the impact of the language specific syntacto-semantic preferences of concrete words in the position of subject and predicate on the differences in valency patterns of verbs.

V příspěvku se zabýváme jedním typem strukturní odlišnosti mezi českými a anglickými paralelními větami v dvojjazyčném korpusu PCEDT, konkrétně vzájemným mapováním valenčních doplnění aktorového typu a (nevalenčních) lokačních doplnění. Analýzou korpusových příkladů ukazujeme, do jaké míry se na rozdílech ve valenci sloves v překladově ekvivalentních větách podílejí jazykově specifické- syntakticko-sémantické preference konkrétních slov na pozicích subjektu a predikátu


PDiT 2.0 is a new version of the Prague Discourse Treebank. It contains a complex annotation of discourse phenomena enriched by the annotation of secondary connectives.

PDiT 2.0 je novou verzí Pražského diskurzního korpusu. Přináší komplexní anotaci diskurzních jevů, obohacenou o anotaci sekundárních konektorů.

Magdaléna Rysová
Pavlína Synková
Jiří Mírovský
Eva Hajičová
Anna Nedoluzhko
Radek Ocelák
Jiří Pergler
Lucie Poláková
Veronika Pavlíková
Jana Zdeňková
Šárka Zikánová


Verb Sense Disambiguation in Machine Translation

Rozlišení významu u sloves ve strojovém překladu

We describe experiments in Machine Translation using word sense disambiguation (WSD) information. This work focuses on WSD in verbs, based on two different approaches -- verbal patterns based on corpus pattern analysis and verbal word senses from valency frames. We evaluate several options of using verb senses in the source-language sentences as an additional factor for the Moses statistical machine translation system.
Our results show a statistically significant translation quality improvement in terms of the BLEU metric for the valency frames approach, but in manual evaluation, both WSD methods bring improvements.

Popisujeme experimenty s použitím rozlišení významu slov (WSD) ve strojovém překladu. Zaměřujeme se na WSD u sloves a používáme dva různé přístupy -- slovesné vzorce založené na metodě corpus pattern analysis a významy sloves z valenčního slovníku. Vyhodnocujeme několik způsobů, jak použít významy sloves jako dodatečný faktor ve strojovém překladači Moses. Výsledky ukazují statisticky signifikantní zlepšení kvality překladu z pohledu metriky BLEU pro přístup s valenčním slovníkem, ale v ruční evaluaci vycházejí obě metody WSD jako přínos.

Roman Sudarikov
Ondřej Dušek
Martin Holub
Ondřej Bojar
Vincent Kríž


The paper showcases the MT-ComparEval tool for qualitative evaluation of machine translation (MT). MT-ComparEval is an opensource
tool that has been designed in order to help MT developers by providing a graphical user interface that allows the comparison
and evaluation of different MT engines/experiments and settings.

Tento představuje nástroj MT-ComparEval pro kvalitativní vyhodnocení strojového překladu. MT-ComparEval je opensourcový nástroj, který byl navržen tak, aby pomáhal vývojářům strojových překladačů díky grafickému rozhraní, které umožňuje porovnávat a vyhodnocovat různé překladače či experimenty a nastavení.

Roman Sudarikov
Martin Popel
Ondřej Bojar
Aljoscha Burchardt
Ondřej Klejch


Tools and Guidelines for Principled Machine Translation Development

Nástroje a doporučení pro důsledný vývoj strojového překladu

This work addresses the need to aid Machine Translation (MT) development cycles with a complete workflow of MT evaluation methods. Our aim is to assess, compare and improve MT system variants. We hereby report on novel tools and practices that support various measures, developed in order to support a principled and informed approach of MT development

Tento článek reaguje na potřebu podpory strojového překladu pomocí vývojových cyklů s integrovanými evaluačními metodami. Naším cílem je zhodnotit, porovnat a vylepšit různé varianty strojových překladačů. Článek pojednává o nových nástrojích a praktikách, které podporují informovaný přístup k vývoji strojových překladačů.

Nora Aranberri
Eleftherios Avramidis
Aljoscha Burchardt
Ondřej Klejch
Martin Popel
Maja Popović


UFAL at SemEval-2016 Task 5: Recurrent Neural Networks for Sentence Classification

UFAL v úloze SemEval-2016 Task 5: Klasifikace vět pomocí rekurentních neuronových sítí

This  paper  describes  our  system  for  aspect-based sentiment analysis (ABSA). We participate in Subtask 1 (sentence-level ABSA), focusing specifically on aspect category detection. We  train  a  binary  classifier  for  each category. This  year’s  addition  of  multiple languages  makes  language-independent  approaches  attractive. We  propose  to  utilize neural  networks  which  should  be  capable  of
discovering linguistic patterns in the data automatically,   thereby  reducing  the  need  for language-specific tools and feature engineering.

Článek popisuje náš systém pro aspektovou analýzu postojů (ABSA). Účastníme se podúkolu 1 (ABSA na úrovni vět), v jeho rámci se pak zaměřujeme na detekci kategorií aspektů. Trénujeme binární klasifikátory pro každou kategorii. Letošní rozšíření o další jazyky motivuje jazykově nezávislé přístupy. Navrhujeme využít neuronové sítě, které by měly automaticky detekovat v datech jazykové konstrukce, a tak omezit nutnost využívat jazykově závislé nástroje a ruční návrh rysů.


Target-Side Context for Discriminative Models in Statistical Machine Translation

Cílový kontext v diskriminativních modelech strojového překladu

Discriminative translation models utilizing source context have been shown to help statistical machine translation performance. We propose a novel extension of this work using target context information. Surprisingly, we show that this model can be efficiently integrated directly in the decoding process. Our approach scales to large training data sizes and results in consistent improvements in translation quality on four language pairs. We also provide an analysis comparing the strengths of the baseline source-context model with our extended source-context and target-context model and we show that our extension allows us to better capture morphological coherence. Our work is freely available as part of Moses.

Diskriminativní překladové modely, které využívají zdrojový kontext, zlepšují kvalitu statistického strojového překladu. V tomto článku navrhujeme nové rozšíření, které navíc využívá i informace z cílového kontextu. Ukazujeme, že i takový model lze efektivně integrovat přímo do procesu dekódování. Náš přístup lze uplatnit i na velká trénovací data a jeho využití konzistentně zlepšuje kvalitu překladu u čtyř jazykových párů. Analyzujeme také zvlášť přínos zdrojového a cílového kontextu a ukazujeme, že toto rozšíření lépe zachycuje morfologickou shodu. Model je volně dostupný v rámci softwaru Moses.

Aleš Tamchyna
Alexander Fraser
Ondřej Bojar
Marcin Junczys-Dowmunt


Manual and Automatic Paraphrases for MT Evaluation

Ruční a automatické parafráze pro hodnocení strojového překladu

Paraphrasing of reference translations has been shown to improve the correlation with human judgements in automatic evaluation of
machine translation (MT) outputs. In this work, we present a new dataset for evaluating English-Czech translation based on automatic
paraphrases. We compare this dataset with an existing set of manually created paraphrases and find that even automatic paraphrases can
improve MT evaluation. We have also propose and evaluate several criteria for selecting suitable reference translations from a larger set.

Již v minulosti se ukázalo, že parafrázování referenčních překladů zlepšuje korelaci s lidským hodnocením při automatickém vyhodnocování strojového překladu. V této práci představujeme novou sadu dat k vyhodnocování anglicko-českého překladu založenou na automatických parafrázích. Tuto sadu porovnáváme s existující sadou ručně tvořených parafrází a zjišťujeme, že i automatické parafráze mohou hodnocení překladu zlepšit. Navrhujeme a vyhodnocujeme také několik kritérií pro výběr vhodných referenčních překladů z větší sady.


CUNI-LMU Submissions in WMT2016: Chimera Constrained and Beaten

Systémy CUNI-LMU na WMT2016: Chiméra spoutána a poražena

This paper describes the phrase-based systems
jointly submitted by CUNI and LMU
to English-Czech and English-Romanian
News translation tasks of WMT16. In contrast
to previous years, we strictly limited
our training data to the constraint datasets,
to allow for a reliable comparison with
other research systems. We experiment
with using several additional models in our
system, including a feature-rich discriminative
model of phrasal translation.

Tento článek popisuje společnou praci UK a LMU nad anglické-českého a anglický-rumunského systémy frázových překladu pro WMT16. V porovnání s minulými pokusy, jsme přísně omezili trénovací daty na constrained, aby bylo možné spolehlivé porovnat naší systémy s jiné výzkumné systémy. My jsme zkoušeli využiti několika dalších modelů v naších systémech, včetně diskriminačního modelu frázových překladu.

Aleš Tamchyna
Roman Sudarikov
Ondřej Bojar
Alexander Fraser


UDPipe is an trainable pipeline for tokenization, tagging, lemmatization and dependency parsing of CoNLL-U files. UDPipe is language-agnostic and can be trained given only annotated data in CoNLL-U format. Trained models are provided for nearly all UD treebanks. UDPipe is available as a binary, as a library for C++, Python, Perl, Java, C#, and as a web service.

UDPipe is a free software under Mozilla Public License 2.0 and the linguistic models are free for non-commercial use and distributed under CC BY-NC-SA license, although for some models the original data used to create the model may impose additional licensing conditions.

UDPipe je trénovatelný nástroj pro tokenizaci, tagging, lemmatizaci a závislostní parsing CoNLL-U souborů. UDPipe je jazykově nezávislý a pro natrénování jazykového modelu stačí označkovaná data v CoNLL-U formátu. Předtrénované jazykové modely jsou k dispozici pro téměř všechny UD korpusy. UDPipe je k dispozici jako spustitelný soubor, jako knihovna pro C++, Python, Perl, Java, C#, a také jako webová služba.

UDPipe je svobodný software licencovaný pod Mozilla Public License 2.0 a jazykové modely jsou k dispozici pro nekomerční použití pod licencí CC BY-NC-SA, nicméně původní data použitá k vytvoření modelů mohou v některých případech ukládat další licenční omezení.


Complete Analysis from Unstructured Text to Dependency Tree with UDPipe and NameTag

Úplná analýza nestrukturovaného textu až k závislostnímu stromu pomocí nástrojů UDPipe a NameTag

We present our in-house software tools for NLP: UDPipe, an open-source tool for processing CoNLL-U files which performs tokenization, morphological analysis, POS tagging and dependency parsing for 32 languages; and NameTag, a named entity recognizer for Czech and English. Both tools achieve excellent performance and are distributed with pretrained models, while running with minimal time and memory requirements. UDPipe and NameTag are also trainable with your own data. Both tools are open-source and distributed under Mozilla Public License 2.0 (software) and CC BY-NC-SA (data). The binary, C++ library with Python, Perl, Java and C# bindings along with online web service and demo are available at http://ufal.mff.cuni.cz/udpipe and http://ufal.mff.cuni.cz/nametag.

Představujeme naše softwarové nástroje pro NLP: UDPipe, open-source nástroj pro zpracování CoNLL-U souborů, který provádí tokenizaci, morfologickou analýzu, určování slovních druhů a závislostní parsing pro 32 jazyků; a NameTag, rozpoznávač pojmenovaých entit pro češtinu a angličtinu. Oba nástroje dosahují vynikajících výsledků, jsou dostupné s předtrénovanými modely a mají minimální nároky na čas a paměť počítače. UDPipe a NameTag lze také trénovat s použitím vlastních dat. Oba nástroje jsou open-source a jsou dostupné v licenci Mozilla Public License 2.0 (software) a CC BY-NC-SA (data). Program, C++ knihovna s vazbami na Python, Perl, Java a C# a také online web service a demo jsou dostupné na odkazech http://ufal.mff.cuni.cz/udpipe a http://ufal.mff.cuni.cz/nametag.