Automatic evaluation of surface coherence in L2 texts in Czech

Automatická evaluace povrchové koherence v textech nerodilých mluvčích češtiny

We introduce possibilities of automatic evaluation of surface text coherence (cohesion) in texts written by learners of Czech during certified exams for non-native speakers. On
the basis of a corpus analysis, we focus on finding and describing relevant distinctive
features for automatic detection of A1–C1 levels (established by CEFR – the Common
European Framework of Reference for Languages) in terms of surface text coherence.
The CEFR levels are evaluated by human assessors and we try to reach this assessment
automatically by using several discourse features like frequency and diversity of discourse
connectives, density of discourse relations etc. We present experiments with various
features using two machine learning algorithms. Our results of automatic evaluation
of CEFR coherence/cohesion marks (compared to human assessment) achieved 73.2%
success rate for the detection of A1–C1 levels and 74.9% for the detection of A2–B2
levels.

V článku jsou představeny možnosti automatické evaluace povrchové koherence (koheze) textů psaných nerodilými mluvčími češtiny během certifikovaných zkoušek. Na základě korpusové analýzy jsou vyhledávány a popisovány relevantní rozlišovací rysy (týkající se povrchové koherence textu) pro automatickou detekci úrovní textů nerodilých mluvčích A1–C1 (úrovně jsou ustanoveny Společným evropským referenčním rámcem pro jazyky). Úrovně A1–C1 byly hodnoceny nejprve lidmi (anotátory) – poté byly dělány strojové experimenty s cílem přiblížit se lidskému hodnocení automaticky, a to sledováním vybraných textových rysů, např. frekvence a různorodosti diskurzních konektorů nebo hustoty diskurzních vztahů v daném textu ap. V článku jsou představeny experimenty sledující vždy různé textové rysy při použití dvou algoritmů strojového učení. Úspěšnost automatického měření povrchové koherence (koheze) textu podle Společného evropského referenčního rámce pro jazyky je 73,2 % pro rozpoznávání úrovní A1–C1 a 74,9 % pro rozpoznávání úrovní A2–B2.

Kateřina Rysová
Magdaléna Rysová
Jiří Mírovský


Logical vs. Natural Language Conjunctions in Czech: A Comparative Study

Jazykové spojky v češtině: komparativní studie

This paper studies the relationship between
conjunctions in a natural language (Czech) and their logical counterparts. It shows that the process of transformation of a natural language expression into its logical representation is not straightforward. The paper concentrates on the most frequently used logical conjunctions, AND and OR, and it analyzes the natural language phenomena which influence their transformation
into logical conjunction and disjunction.
The phenomena discussed in the paper are temporal
sequence, expressions describing mutual relationship and the consequences of using plural.

Názvy logických spojek jsou často motivovány názvy spojek z přirozeného jazyka. V případě, že však chceme výroku v přirozeném jazyce (konkrétně češtině) přiřadit jednoznačně logické schéma, zjišt’ujeme, že to není možné dělat automaticky. V tomto článku se zabýváme tím, kdy je možné české spojky „a“ a „nebo“ zapsat pomocí konjunkce a disjunkce a kde je nutné zvolit jinou interpretaci – s ohledem na problematiku množného čísla a vyjádření vztahů.

Katrin Přikrylová
Vladislav Kuboň
Kateřina Veselovská


The Role of Conjunctions in Adjective Polarity Analysis in Czech

Úloha spojek v při určování polarity českých adjektiv

Adjectives very often determine the polarity of
an utterance. This paper studies the role of conjunctions in the analysis of adjective polarity. The study is being performed on Czech language on the basis of an existing algorithm for English. The algorithm has been modified in order to reflect the differences between
the two typologically different languages. The results of the original and modified algorithm are being compared and discussed. The paper also contains a thorough discussion of exceptions and special cases supported by a number of examples from a large corpus of Czech.

Adjektiva velmi často určují polaritu věty. Tento článek studuje roli spojek v analýze polarity adjektiv. Celá studie je prováděna pro češtinu modifikací algoritmu vyvinutého původně pro angličtinu. Modifikace berou v úvahu typologické rozdíly mezi oběma jazyky. Výsledky dosažené pro oba jazyky jsou porovnány a doplněny rozsáhlým rozborem výjimečných případů.


If You Even Don't Have a Bit of Bible: Learning Delexicalized POS Taggers

Když nemáte ani kus Bible: učení delexikalizovaných POS taggerů

Part-of-speech (POS) tagging is sometimes considered an almost solved problem in NLP. Standard supervised approaches often reach accuracy above 95% if sufficiently large hand-labeled training data are available (typically several hundred thousand tokens or more). However, we still believe that it makes sense to study semi-supervised and unsupervised approaches.

Značkování slovními druhy (POS tagging) se v počítačovém zpracování přirozeného jazyka někdy považuje za téměř vyřešený problém. Standardní řízené přístupy často dosahují úspěšnosti přes 95 %, pokud je k dispozici dostatek ručně anotovaných trénovacích dat (typicky několik set tisíc tokenů nebo více). My si nicméně myslíme, že je stále užitečné studovat polořízené a neřízené přístupy.

Zhiwei Yu
David Mareček
Zdeněk Žabokrtský
Daniel Zeman


Deeper Machine Translation and Evaluation for German

Hlubší strojový překlad a evaluace pro němčinu

This paper describes a hybrid Machine Translation (MT) system built for translating from English
to German in the domain of technical documentation. The system is based on three different
MT engines (phrase-based SMT, RBMT, neural) that are joined by a selection mechanism
that uses deep linguistic features within a machine learning process. It also presents a detailed
source-driven manual error analysis we have performed using a dedicated “test suite” that contains
selected examples of relevant phenomena. While automatic scores show huge differences
between the engines, the overall average number or errors they (do not) make is very similar for
all systems. However, the detailed error breakdown shows that the systems behave very differently
concerning the various phenomena.

Tento článek popisuje systém hybridního strojového překladu (MT), který byl vytvořen pro překlad z angličtiny do němčiny v oblasti technické dokumentace.
Systém je založen na třech různých systémech MT (frázový, pravidlový a neuronový), které jsou spojeny výběrovým mechanismem, který používá hluboké jazykové rysy v procesu strojového učení.
Součástí je také podrobná manuální analýza chyb, kterou jsme provedli pomocí specializované "zkušební sady", která obsahuje vybrané příklady relevantních jevů.
Zatímco automatické výsledky ukazují obrovské rozdíly mezi systémy, celkový průměrný počet chyb, které (ne) dělají, je pro všechny systémy velmi podobný.
Podrobné rozdělení chyb však ukazuje, že systémy se chovají velmi odlišně, pokud jde o různé jevy.

Eleftherios Avramidis
Vivien Macketanz
Aljoscha Burchardt
Jindřich Helcl
Hans Uszkoreit


VPS-GradeUp: Graded Decisions on Usage Patterns

VPS-GradeUp: Škálované posouzení vzorů užití

We present VPS-GradeUp ― a set of 11,400 graded human decisions on usage patterns of 29 English lexical verbs from the Pattern Dictionary of English Verbs by Patrick Hanks. The annotation contains, for each verb lemma, a batch of 50 concordances with the given lemma as KWIC, and for each of these concordances we provide a graded human decision on how well the individual PDEV patterns for this particular lemma illustrate the given concordance, indicated on a 7-point Likert scale for each PDEV pattern. With our annotation, we were pursuing a pilot investigation of the foundations of human clustering and disambiguation decisions with respect to usage patterns of verbs in context. The data set is publicly available at http://hdl.handle.net/11234/1-1585.

Článek představuje VPS-GradeUp, sadu 11 400 manuálně anotovaných ohodnocení vzorů užití 29 anglických sloves z Pattern Dictionary of English Verbs Patricka Hankse.

Vít Baisa
Silvie Cinková
Ema Krejčová
Anna Vernerová


Enriching a Valency Lexicon by Deverbative Nouns

Rozšíření valenčního slovníku o deverbativní substantiva

In this paper, we present an attempt to automatically identify Czech deverbative nouns using several methods that use large corpora as well as existing lexical resources. The motivation for the task is to extend a verbal valency (i.e., predicate-argument) lexicon by adding nouns that share the valency properties with the base verb, assuming their properties can be derived (even if not trivially) from the underlying verb by deterministic grammatical rules. At the same time, even in inflective languages, not all deverbatives are simply created from their underlying base verb by regular lexical derivation processes. We have thus developed hybrid techniques that use
both large parallel corpora and several standard lexical resources. Thanks to the use of parallel
corpora, the resulting sets contain also synonyms, which the lexical derivation rules cannot get. For evaluation, we have manually created a gold dataset of deverbative nouns linked to 100 frequent Czech verbs since no such dataset was initially available for Czech.

Článek popisuje metodu automatické identifikace deverbativ na základě slovníků a manuálně a automaticky anotovaných korpusů. Metoda je evaluována na novém testovacím korpusu, který je rovněž zveřejněn.


Joint search in a bilingual valency lexicon and an annotated corpus

Vyhledávání ve dvojjazyčném slovníku a anotovaném korpusu

In this paper and the associated system demo, we present an advanced search system that allows
to perform a joint search over a (bilingual) valency lexicon and a correspondingly annotated
linked parallel corpus. This search tool has been developed on the basis of the Prague Czech-English Dependency Treebank, but its ideas are applicable in principle to any bilingual
parallel corpus that is annotated for ependencies and valency (i.e., predicate-argument structure), and where verbs are linked to appropriate entries in an associated valency lexicon. Our online search tool consolidates more search interfaces into one, providing expanded
structured search capability and a more efficient advanced way to search, allowing users to
search for verb pairs, verbal argument pairs, their surface realization as recorded in the lexicon, or for their surface form actually appearing in the linked parallel corpus. The search system is currently under development, and is replacing our current search tool available at
http://lindat.mff.cuni.cz/services/CzEngVallex, which could search the lexicon but the queries cannot take advantage of the underlying corpus nor use the additional surface form information from the lexicon(s). The system is available as open source.

Článek popisuje vyhledávací systém pro spojené vyhledávání ve dvojjazyčném slovníku CzEngVallex a v paralelním anglicko-českém korpusu PCEDT.


Word2vec Based System for Recognizing Partial Textual Entailment

Word2vec systém pro rozpoznávání Partial Textual Entailment

Recognizing textual entailment is typically considered as a binary decision task – whether a text T entails a hypothesis H. Thus, in case of a negative answer, it is not possible to express that H is “almost entailed” by T. Partial textual entailment provides one possible approach to this issue. This paper presents an attempt to use word2vec model for recognizing partial (faceted) textual entailment. The proposed approach does not rely on language dependent NLP tools and other linguistic resources, therefore it can be easily implemented in different language environments where word2vec models are available.

Recognizing textual entailment is typically considered as a binary decision task – whether a text T entails a hypothesis H. Thus, in case of a negative answer, it is not possible to express that H is almost entailed by T. Partial textual entailment provides one possible approach to this issue. This paper presents an attempt to use word2vec model for recognizing partial (faceted) textual entailment. The proposed approach does not rely on language dependent NLP tools and other linguistic resources, therefore it can be easily implemented in different language environments where word2vec models are available.


Sentiment analysis or automatic extraction of subjective opinions from a written texts is currently one of the major topics in NLP. In this talk, I will introduce the state-of-the-art methods and approaches to sentiment analysis on Czech data.

Sentiment analysis neboli automatická extrakce subjektivních názorů z textu je v současnosti jedním z hlavních témat počítačového zpracovávání přirozeného jazyka. V příspěvku bude shrnut současný stav bádání v této oblasti na českých datech. Obšírněji představím základní metody vytěžování emocí z textu, datové zdroje pro češtinu i specifika českých dat a přiblížím konkrétní aplikace a use cases např. z oblasti internetového marketingu, monitoringu sociálních sítí apod.


Automatic sentiment or Where does the World go

Automatický sentiment aneb Kam spěje svět

Ignite talk on automatic detection of emotions, basic approaches, data resources overview.

Ignite talk na téma automatické detekce emocí, základní přístupy a datové zdroje.


If well trained, computers can count emotions in texts. Is that so? And what about irony?

Pokud mají dostatek trénovacích dat, umějí stroje rozpoznat emoce v psaném textu. Je tomu skutečně tak? A jak se řeší ironie?


Machine Learning Approaches to Sentiment Analysis

Current computational linguistics witnesses a massive increase of interest in sentiment analysis, as it is a powerful means of public opinion mining. However, is it even possible to distinguish between good and evil using statistical methods? How would you treat irony, idioms, innovative vulgarisms and other inherent elements of natural language? Are emotions language-independent? I will share my thoughts and opinions towards these issues, describing the state-of-the art approaches employed in sentiment analysis.

Současná počítačová lingvistika zažívá masový zájem o postojovou analýzu jakožto nástroj zjišťování veřejného mínění. Je ale možné rozlišit dobro a zlo pomocí statistických metod? Jak zacházet s ironií, idiomy či vulgarismy? Jsou emoce jazykově nezávislé? V příspěvku zodpovím tyto otázky a popíšu současné přístupy k postojové analýze.


The volume of text data is increasing constantly, the rise of Web 2.0 brings lots of data created by the Internet users themselves. How do we categorize these data automatically with respect to emotions they express? In this talk, I will introduce basic means of emotional language and methods we use to process it automatically.

Objem textových dat stále roste, rozvoj Webu 2.0 přináší množství textů generovaných samotnými uživateli Internetu. Jejich příspěvky nezřídka obsahují subjektivní názory, emoce, hodnocení… K čemu a jak můžeme tato data použít? Je možné emoce v textu spolehlivě strojově třídit?
V přednášce si představíme základní prostředky emocionálního vyjadřování v češtině na všech rovinách popisu jazyka a popíšeme metody automatického zpracovávání emocionálně laděných textů i jejich praktické aplikace z oblasti internetového marketingu, monitoringu sociálních sítí apod.


Stance modality and possibilities of automatic extraction of emotions from written text

Postojová modalita a možnosti automatické extrakce emocionality z psaného textu

In this talk, I will introduce basic means of Czech emotional language on all the levels of linguistic description. I will focus on both grammar and lexicon and semantics and pragmatics of evaluative utterances.

V přednášce si představíme základní prostředky emocionálního vyjadřování v češtině na všech rovinách lingvistického popisu: zaměříme se na stránku lexikální (slovník emocionálních výrazů pro češtinu, evaluativní idiomy, vulgarismy), gramatickou (význam jednotlivých slovních druhů, typické syntaktické vzorce hodnotících vět) a především sémantickou a pragmatickou (ironie, sarkasmus). Popíšeme také základní metody automatického zpracovávání emocionálně laděných textů a jejich praktické aplikace.


Artificial Intelligence with Opinion: Objectivity in computer linguistics

Umělá inteligence s názorem: objektivita v počítačové lingvistice

Can artificial intelligence have an opinion? And how do we distinguish between subjective and objective stances using computer linguistic? This talk introduces basic approaches to these problems.

Může mít umělá inteligence vlastní úsudek? A jak dokážeme počítačově odhalit objektivní či subjektivní názor? Přednáška shrne základní přístupy k objektivitě a subjektivitě v textu.


Using Universal Dependencies for Cross-linguistic Comparison of Syntactic Features in Evaluative Structures

Využití univerzálních závislostí pro mezijazykové srovnání syntaktických rysů evaluativních struktur

This paper is to present a unique project of parallel treebank annotation and a case study of its practical use. We describe the project of Universal Dependencies, explain the methodological approach, illustrate the basic principles of parallel annotation and introduce the universal annotation scheme. Also, we provide a contrastive syntactic analysis of evaluative sentences in typologically different languages.

Příspěvek představuje projekt Universal Dependencie a konkrétní případ jeho využití v oblasti sentiment analysis.


Vyjadřování emocí v češtině a možnosti extrakce emocionality z psaného textu

In this talk, we introduce the basic means of expressing emotions in Czech on all levels of the linguistic description.


Combining Hand-Crafted Rules and Machine Learning Methods in Opinion Target Identification

Kombinace pravidel a metod strojového učení pro identifikaci cílů hodnocení

This poster shows how we created the rules for  opinion  target  identification  based  on  evaluative  structures automatically found in Prague Dependency Treebank and  combined  them  with  machine  learning  methods, namely linear-chain conditional random fields.

Poster představuje tvorbu pravidel pro určení cílů hodnocení založenou na evaluativních strukturách automaticky vyhledaných v Pražském závislostním korpusu. Tato pravidla jsme zkombinovali s metodami strojového učení, konkrétně s conditional random fields.


Czech-English Manual Word Alignment. Czech-English Manual Word Alignment.

Česko-anglické ruční zarovnání slov. Česko-anglické ruční zarovnání slov.


Delexicalized and Minimally Supervised Parsing on Universal Dependencies

Delexikalizovaný a minimálně supervizovaný parsing na Universal Dependencies

In this paper, we compare delexicalized transfer and minimally supervised parsing techniques on 32 different languages from Universal Dependencies treebank collection. The minimal supervision is in adding handcrafted universal grammatical rules for POS tags. The rules are incorporated into the unsupervised dependency parser in forms of external prior probabilities. We also experiment with learning this probabilities from other treebanks. The average attachment score of our parser is slightly lower then the delexicalized transfer parser, however, it performs better for languages from less resourced language families (non-Indo-European) and is therefore suitable for those, for which the treebanks often do not exist.

V tomto článku budeme porovnávat delexicalized přenos a minimálně pod dohledem rozebrat techniky na 32 různých jazyků od Universal závislostí korpusu sbírky. Minimální dohled při přidávání pouštět univerzální gramatická pravidla pro POS tagy. Pravidla jsou začleněny do nekontrolované závislost parseru ve formách externích dřívějších pravděpodobnostech. Také jsme experimentovat s učit se toto pravděpodobností z jiných stromových korpusů. Průměrná připevnění skóre našeho parseru je o něco nižší než v delexicalized přenosu analyzátor, nicméně, to funguje lépe pro jazyky z méně zdroji jazykových rodin (non-Indo-Evropan), a proto je vhodný pro ty, pro které stromových korpusů často neexistují.


Merged bilingual trees based on Universal Dependencies in Machine Translation

Dvojjazyčné stromy založené na Universal Dependencies ve strojovém překladu

In  this  paper,  we  present  our  new  experimental system of merging dependency
representations  of  two  parallel  sentences
into  one  dependency  tree. All  the  inner  nodes  in  dependency  tree  represent source-target  pairs  of  words,   the  extra words are in form of leaf nodes.  We use Universal Dependencies annotation style, in  which  the  function  words,  whose  usage  often  differs  between  languages,  are annotated  as  leaves.
The  parallel  treebank  is  parsed  in minimally  supervised way. Unaligned  words  are  there  automatically  pushed  to  leaves. We  present a  simple  translation  system  trained  on such   merged   trees   and   evaluate   it   in WMT 2016 English-to-Czech and Czech-to-English  translation  task. Even though the model is so far very simple and no language  model  and  word-reordering  model were  used,  the  Czech-to-English  variant reached similar BLEU score as another established tree-based system.

V tomto příspěvku představujeme náš nový experimentální systém sloučení závislost
reprezentace dvou rovnoběžných vět
do jednoho strom závislostí. Všechny vnitřní uzly v závislosti stromu představují zdroj-cílové páry slovy, další slova jsou ve formě koncové uzly. Používáme Univerzální Závislosti anotace styl, ve kterém funkční slova, jejichž použití se často liší mezi jazyky, jsou zaznamenány jako listy.
Paralelní korpus je analyzován v minimálně dohlíží způsobem. Nezarovnaný slova jsou zde automaticky tlačil na povrch listů. Představujeme jednoduchý systém překladu vyškoleného na takových sloučených stromech a vyhodnocovat jej WMT 2016 anglicko-to-český a česko-to-anglický překlad úloh. I přesto, že model je doposud velmi jednoduché a byl používán žádný jazykový model a model word-li řazení varianta Český k angličtině dosáhl podobného Bleu skóre jako další zavedeného systému stromu bázi.


Twelve Years of Unsupervised Dependency Parsing

Dvanáct let neřízeného závislostního parsingu

In the last 12 years, there has been a big progress in the field of unsupervised dependency parsing. Different approaches however sometimes differ in motivation and definition of the problem. Some of them allow using resources that are forbidden by others, since they are treated
as a kind of supervision. The goal of this paper is to define all the variants of unsupervised dependency parsing problem and show their motivation, progress, and the best results. We also discuss the usefulness of the unsupervised
parsing generally, both for the formal linguistics and for the applications.

V posledních 12 letech došlo k velkým pokroku v oblasti bez dozoru závislostní parsování. Různé přístupy však někdy liší v motivaci a ve vymezení problému. Některé z nich umožňují využití zdrojů, které jsou zakázány jinými, neboť se s nimi zachází jako druh dohledu. Cílem tohoto příspěvku je definovat všechny varianty bez dozoru závislost rozebrat problém a ukázat jejich motivace, pokrok, a nejlepší výsledky. Také jsme diskutovali o užitečnosti látky jako součásti bez dozoru analýze obecně, a to jak pro formální lingvistiky a pro aplikace.


Texts in 107 languages from the W2C corpus (http://hdl.handle.net/11858/00-097C-0000-0022-6133-9), first 1,000,000 tokens per language, tagged by the delexicalized tagger described in Yu et al. (2016, LREC, Portorož, Slovenia).

Texty ve 107 jazycích z korpusu W2C (http://hdl.handle.net/11858/00-097C-0000-0022-6133-9), první 1000000 tokenů pro každý jazyk, označkované delexikalizovaným taggerem popsaným v Yu et al. (2016, LREC, Portorož, Slovenia).

David Mareček
Zhiwei Yu
Daniel Zeman
Zdeněk Žabokrtský


Gibbs Sampling Segmentation of Parallel Dependency Trees for Tree-Based Machine Translation

Segmentace paralelních závislostních stromů pomocí Gibbsova samplingu pro stromový strojový překlad

We present a work in progress aimed at extracting translation pairs of source and target dependency treelets to be used in a dependency-based machine translation system. We introduce a novel unsupervised method for parallel tree segmentation based on Gibbs sampling. Using the data from a Czech-English parallel treebank, we show that the procedure converges to a dictionary containing reasonably sized treelets; in some cases, the segmentation seems to have interesting linguistic interpretations.

Představujeme nedokončené zaměřená na těžbu překladové páry zdrojové a cílové závislost treelets které mají být použity v systému strojového překládání závislostí na bázi. Představíme nový voze metodu pro paralelní segmentaci stromu na základě vzorků Gibbs. S použitím dat z české, anglické paralelním korpusu, ukážeme, že postup konverguje ke slovníku, který obsahuje poměrně velké treelets; V některých případech se zdá, že segmentace mít zajímavé lingvistické výklady.


A Context-aware Natural Language Generation Dataset for Dialogue Systems

Kontextová datová sada pro generování jazyka v dialogových systémech

We present a novel dataset for natural language generation (NLG) in spoken dialogue systems which includes preceding context (user utterance) along with each system response to be generated, i.e., each pair of source meaning representation and target natural language paraphrase. We expect this to allow an NLG system to adapt (entrain) to the user’s way of speaking, thus creating more natural and potentially more successful responses. The dataset has been collected using crowdsourcing, with several stages to obtain natural user utterances and corresponding relevant, natural, and contextually bound system responses. The dataset is available for download under the Creative Commons 4.0 BY-SA license.

Představujeme novou datovou sadu pro generování jazyka v hlasových dialogových systémech, která spolu s každou odpovědí systému k vygenerování (pár zdrojová sémantická reprezentace – cílová věta v přirozeném jazyce) uvádí i předcházející kontext (uživatelský dotaz). Očekáváme, že tento kontext dovolí generátorům jazyka adaptovat se na způsob vyjadřování uživatele a tím docílit přirozenějších a potenciálně úspěšnějších odpovědí. Datová sada byla vytvořena za pomoci crowdsourcingu v několika fázích, aby bylo možno získat přirozené uživatelské dotazy a odpovídající přirozené, relevantní a kontextově zapojené odpovědi systému. Datová sada je dostupná online pod otevřenou licencí Creative Commons 4.0 BY-SA.


A Context-aware Natural Language Generator for Dialogue Systems

Kontextový generátor přirozeného jazyka pro dialogové systémy

We present a novel natural language generation system for spoken dialogue systems capable of entraining (adapting) to users' way of speaking, providing contextually appropriate responses. The generator is based on recurrent neural networks and the sequence-to-sequence approach. It is fully trainable from data which include preceding context along with responses to be generated. We show that the context-aware generator yields significant improvements over the baseline in both automatic metrics and a human pairwise preference test.

Představujeme nový generátor přirozeného jazyka pro hlasové dialogové systémy, který je schopný přizpůsobit se způsobu, jakým mluví uživatel, a poskytovat odpovědi přiměřené kontextu dialogu. Generátor je založen na neuronových sítích a přístupu sequence-to-sequence. Je plně trénovatelný z dat, která spolu s trénovacími výstupy generátoru obsahují také předchozí kontext. Ukazujeme, že kontextový generátor přináší signifikantní zlepšení oproti základnímu generátoru, a to jak z pohledu automatických metrik, tak v preferenčním testu lidského hodnocení.


Kontextová datová sada pro generování jazyka

A dataset intended for fully trainable natural language generation (NLG) systems in task-oriented spoken dialogue systems (SDS), covering the English public transport information domain.
It includes preceding context (user utterance) along with each data instance (pair of source meaning representation and target natural language paraphrase to be generated). Taking the form of the previous user utterance into account for generating the system response allows NLG systems trained on this dataset to entrain (adapt) to the preceding utterance, i.e., reuse wording and syntactic structure. This should presumably improve the perceived naturalness of the output, and may even lead to a higher task success rate.
Crowdsourcing has been used to obtain natural context user utterances as well as natural system responses to be generated.

Datová sada pro plně trénovatelné generátory jazyka v hlasových dialogových systémech, která pokrývá doménu anglických informací o veřejné dopravě.
Spolu s každou datovou položkou (pár zdrojové reprezentace významu a věty v přirozeném jazyce jako cíl generování) obsahuje i předcházející kontext (uživatelův dotaz, který má systém egnerovanou větou zodpovědět). Zohlednění formy předchozího dotazu pro generování umožní generátorům natrénovaným na této datové sadě adaptovat se na předchozí dotazy, tj. používat stejné shodné výrazy a syntaktické konstrukce jako uživatel dialogového systému. Předpokládáme, vygenerované věty tak budou vnímány jako přirozenější, což může vést i k úspěšnějším dialogům.
Pro získání přirozených uživatelských dotazů i odpovědí systému byla použita metoda crowdsourcingu.


Sequence-to-Sequence Generation for Spoken Dialogue via Deep Syntax Trees and Strings

Generování hloubkově syntaktických stromů a řetězců pro dialogové systémy s použitím metody sequence-to-sequence

We present a natural language generator based on the sequence-to-sequence approach that can be trained to produce natural language strings as well as deep syntax dependency trees from input dialogue acts, and we use it to directly compare two-step generation with separate sentence planning and surface realization stages to a joint, one-step approach.

We were able to train both setups successfully using very little training data. The joint setup offers better performance, surpassing state-of-the-art with regards to n-gram-based scores while providing more relevant outputs.

Prezentujeme generátor přirozeného jazyka založený na metodě sequence-to-sequence, který lze natrénovat tak, aby z dialogových aktů produkoval buď věty v přirozeném jazyce, nebo hloubkově syntaktické závislostní stromy. Na generátoru potom přímo porovnáváme dvoufázové generování, které používá oddělené větné plánování a povrchovou realizaci, s jednofázovým přístupem.

Obě nastavení generátoru jsme byli schopni natrénovat s použitím velmi malého množství trénovacích dat. Jednofázové generování dosahuje lepších výsledků; překonává nejlepší předchozí výsledek podle n-gramových automatických metrik a zároveň nabízí relevantnější výstupy.


Diatheses of Complex Predicates in Czech

Diatheses represent relations between different surface syntactic structures of verbs. They are conditioned by changes in morphological meaning of a verb and they are associated with specific changes in its valency structure. In this contribution, I discussed changes in the surface syntactic expressions of Czech complex predicates.

Diateze představují vztahy mezi různými povrchověsyntaktickými strukturami sloves. Jsou podmíněny změnou morfologické charakteristiky slovesného rodu a jsou spojeny se změnami v povrchověsyntaktickém vyjádření valenčních doplnění sloves. V příspěvku jsme se zaměřili na specifické změny, kterým podléhají valenční doplnění českých funkčních sloves.


Distribution of Valency Complementations in Light Verb Constructions

Distribuce valenčních doplnění v konstrukcích s funkčními slovesy

The contribution discusses the distribution of ACTors in light verb constructions in Czech.

Příspěvek se zabývá distribucí Konatele v konstrukcích komplexních predikátů s kategoriálními slovesy.


Syntactic Structure of Complex Predicates and its Description in the Valency Lexicon

Syntaktická struktura komplexních predikátů a její popis ve valenčním slovníku

This chapter describes the syntactic structure of Czech complex predicates with light verbs in active voice. Four types of Czech complex predicates are distinguished. Their rules based description and representation in the valency lexicon are proposed.

Kapitola popisuje syntaktickou strukturu českých komplexních predikátů s funkčním slovesem v aktivu. Vymezuje čtyři typy komplexních predikátů. Navrhuje pravidlový popis daných jazykových jevů a jejich zachycení ve slovníku.


Lexicographic Description of Complex Predicates in Czech: Between Lexicon and Grammar

Lexikografický popis komplexních predikátů v češtině: Mezi lexikonem a gramatikou

In this contribution, we propose a lexicographic representation of Czech complex predicates. Special attention is devoted to the selection of collocations of function verbs and predicative nouns and to the annotation of their syntactic structure.

V příspěvku navrhujeme lexikografickou reprezentaci komplexivních predikátů v češtině. Zvláštní oddíl je věnován výběru kolokací funkčních sloves a predikativních jmen a anotaci jejich syntaktické struktury.

Václava Kettnerová
Petra Barančíková
Markéta Lopatková


Distribution of Valency Complements in Czech Complex Predicates: Between Verb and Noun

Distribuce valenčních doplnění v českých složených predikátech: Mezi slovesem a substantivem

In this paper, we focus on Czech complex predicates formed by a light verb and a predicative noun expressed as the direct object. Although Czech – as an inflectional language encoding syntactic relations via morphological cases – provides an excellent opportunity to study the distribution of valency complements in the syntactic structure with complex predicates, this distribution has not been described so far. On the basis of a manual analysis of the richly annotated data from the Prague Dependency Treebank, we thus formulate principles governing this distribution. In an automatic experiment, we verify these principles on well-formed syntactic structures from the Prague Dependency Treebank and the Prague Czech-English Dependency Treebank with very satisfactory results: the distribution of 97% of valency complements in the surface structure is governed by the proposed principles. These results corroborate that the surface structure formation of complex predicates is a regular process.

V tomto článku se zaměřujeme na české složené predikáty, které jsou tvořené lehkým slovesem a predikativním jménem vyjádřeným jako přímý objekt. Ačkoli čeština -- jakožto inflekční jazyk -- poskytuje výbornou příležitost pro studium distribuce valenčních doplnění složených predikátů, tato distribuce dosud nebyla poplsána. Na základě manuální analýzy bohatě anotovaných dat PDT formulujeme poučky řídicí tuto distribuci. V automatickém experimentu tyto poučky ověřujeme na korektních syntaktických strukturách PDT a PCEDT s velmi uspokojivými výsledky: distribuce 97% valenčních doplnění se řídí navrženými poučkami. Tyto výsledky dokládají, že vytváření povrchové struktury složených predikátů je pravidelný proces.


Towards Comparability of Linguistic Graph Banks for Semantic Parsing

Ke srovnatelnosti lingvistických závislostních grafů pro sémantickou analýzu

Increased interest in natural language ‘understanding’ has brought into the focus of much current work a variety of techniques often described as ‘semantic parsing’.

Zvýšený zájem o ‚porozumění‘ přirozeným jazykům způsobil, že do centra pozornosti současného výzkumu se dostávají různé postupy, často popisované jako ‚sémantická analýza‘.

Stephan Oepen
Marco Kuhlmann
Yusuke Miyao
Daniel Zeman
Silvie Cinková
Dan Flickinger
Jan Hajič
Angelina Ivanova
Zdeňka Urešová


Neural Networks for Featureless Named Entity Recognition in Czech

Umělé neuronové sítě pro rozpoznávání pojmenovaných entit v češtině

We present a completely featureless, language agnostic named entity recognition system. Following recent advances in artificial neural network research, the recognizer employs parametric rectified linear units (PReLU), word embeddings and character-level embeddings based on
gated linear units (GRU). Without any feature engineering, only with surface forms, lemmas and tags as input, the network achieves excellent results in Czech NER and surpasses the current state of the art of previously published Czech NER systems, which use manually designed rule-based orthographic classification features. Furthermore, the neural network achieves robust results even when only surface forms are available as input. In addition, the proposed neural network can use the manually designed rule-based orthographic classification features and in such combination, it exceeds the current state of the art by a wide margin.

Předkládáme systém pro rozpoznávání pojmenovaných entit, který je jazykově nezávislý a nepotřebuje klasifikační rysy pro strojové učení. Systém využívá současných výsledků v oblasti umělých neuronových sítí, jako jsou parametric rectified linear units (PReLU), embeddingy slov a embeddingy charakterů ve slovech založené na gated linear units (GRU). Systém nepotřebuje vyhledávání vhodné sady klasifikačních rysů (feature engineering) a pouze s využitích povrchových forem, lemmat a slovních druhů na vstupu dosahuje vynikajících výsledků v rozpoznávání pojmenovaných entit v češtině a překonává stávající výsledky dříve publikovaných prací, které využívají ručně vytvořené klasifikační rysy založené na ortografické podobnosti slov. Navíc tato síť podává robustní výkon i v případě, kdy jsou na vstupu pouze povrchové formy. Síť dovede využít navíc i kombinaci ručně vytvořených klasifikačních rysů a v tom případě překonává stávající výsledky s markantním rozdílem.


Creating Hybrid Dependency Parsers for Syntax-Based MT

Hybridní závislostní analyzátory pro strojový překlad založený na syntaxi

Dependency parsers are almost ubiquitously evaluated on their accuracy
scores, these scores say nothing of the complexity and usefulness of the
resulting structures. As dependency parses are basic structures in which
other systems are built upon, it would seem more reasonable to judge
these parsers down the NLP pipeline. In this chapter, we will discuss
how different forms and different hybrid combinations of dependency
parses effect the overall output of Syntax-Based machine translation both
through automatic and manual evaluation. We show results from a variety
of individual parsers, including dependency and constituent parsers, and
describe multiple ensemble parsing techniques with their overall effect
on the Machine Translation system. We show that parsers’ UAS scores
are more correlated to the NIST evaluation metric than to the BLEU
Metric, however we see increases in both metrics. To truly see the effect
of hybrid dependency parsers on machine translation, we will describe
and evaluate a combined resource we have released, that contains gold
standard dependency trees along with gold standard translations.

Závislostní parsery jsou obvykle vyhodnocovány pomocí podílu správně zavěšených uzlů, toto skóre ale neříká nic o užitečnosti daného parseru pro koncové aplikace, v nichž slouží jako komponenta. V této kapitole se zabývá tím, jak rozdílné parsery a jejich různé kombinace přispívají ke kvalitě strojového překladu založeného na syntaxi. Překládáme výsledky pro několik základních typů parserů a pro různé metody jejich kombinace. Ukazujeme korelace se standardními metrikami pro vyhodnocování kvality strojového překladu.


SubGram: Extending Skip-gram Word Representation with Substrings

SubGram: Rozšíření Skip-gramové slovní reprezentace o podřetězce

Skip-gram (word2vec) is a recent method for creating vector representations of words (“distributed word representations”) using a neural network. The representation gained popularity in various areas of natural language processing, because it seems to capture syntactic and semantic information about words without any explicit supervision in this respect.
We propose SubGram, a refinement of the Skip-gram model to consider also the word structure during the training process, achieving large gains on the Skip-gram original test set.

Představujeme SubGram, rozšíření Skip-gram modelu, které používá podřetězce slov během trénování reprezentace slov.


Universal Dependencies for Russian: A New Syntactic Dependencies Tagset

Universal Dependencies pro ruštinu: nová sada závislostních syntaktických značek

We present a new annotation schema of dependency syntax for Russian. The schema is based on the Universal Dependencies formalism. It has been applied to the SynTagRus corpus.

Představujeme nové anotační schéma závislostní syntaxe pro ruštinu, založené na formalismu Universal Dependencies a aplikované na korpus SynTagRus.

Olga Lyashevskaya
Kira Droganova
Daniel Zeman
Maria Alexeeva
Tatiana Gavrilova
Nina Mustafina
Elena Shakurova


CUNI at TRECVID 2015 Video Hyperlinking Task

CUNI na benchmarku TRECVID 2015 Video Hyperlinking Task

In this paper, we present our approach used in the TRECVID 2015 Video Hyperlinking Task. Our approach combines text-based similarity calculated on subtitles, visual similarity between keyframes calculated using Feature Signatures, and preference whether the query
and retrieved answer come from the same TV series. All experiments were tuned and tested on about 2500 hours of BBC TV programmes.
Our Baseline run exploits fixed-length segmentation, text-based retrieval of subtitles, and query expansion which utilizes metadata, context, in-formation about music and artist contained in the query segment and visual concepts. The Series run combines the Baseline run with weighting based on information whether the query and data segment come from the same TV series. The FS run combines the Baseline run with the similarity between query and data keyframes calculated using Feature Signatures. The FSSeriesRerank run is based on the FS run on which we applied reranking which, again, uses information about the TV series. The Series run significantly outperforms the FSSeriesRerank run. Both these runs are significantly inferior to our Baseline run in terms of all our reported measures. The FS run outperforms the Baseline run in terms of all measures but it is significantly better than the Baseline run only in terms of the MAP score. Our test results confirm that employment of visual similarity can improve video retrieval based on information contained in subtitles but information about TV series which was most helpful in our training experiments did not lead to further improvements.

V článku popisujeme náš postup aplikovaný v benchmarku TRECVID 2015 v úlohe Video Hyperlinking. Náš prístup kombinuje podobnosť textov vypočítanú z titulkov, vizuálnu podobnosť medzi zábermi vypočítanú pomocou Feature Signatures a informáciou o tom, či query segment a vyhľadaný segment pochádzajú z toho istého televízneho programu. Všetky experimenty boli odladené a otestované na kolekcii 2500 hodín televíznych programov poskytnutých BBC.

Petra Galuščáková
Michal Batko
Martin Kruliš
Jakub Lokoč
David Novák
Pavel Pecina


SHAMUS: UFAL Search and Hyperlinking Multimedia System

SHAMUS: Systém na vyhľadávanie v multimédiách

In this paper, we describe SHAMUS, our system for an easy search and navigation in multimedia archives. The system consists of three components. The Search component provides a text-based search in a multimedia collection, the Anchoring component determines the most important segments of videos, and segments topically related to the anchoring ones are retrieved by the Hyperlinking component. In the paper, we describe each component of the system as well as the online demo interface which currently works with a collection of TED talks.

Článok popisuje systém SHAMUS určený na jednoduché vyhľadávanie a navigáciu v multimediálnych archívoch. Systém pozostáva z troch komponentov. Search poskytuje textové vyhľadávanie v mutlimediálnej kolekcii, Anchoring automaticky detekuje najvýznamnejšie segmenty videa a sémanticky súvisiace segmenty sú vyhľadané v komponente Hyperlinking. V článku popisujeme jednotlivé komponenty systému, ako aj online demo rozhranie, ktoré pracuje s kolekciou videí z konferencie TED.

Petra Galuščáková
Shadi Saleh
Pavel Pecina


Machine Translation of Medical Text in the KConnect Project

Strojový překlad medicínských textů v projektu KConnect

This paper presents the work on Machine Translation (MT) that has been conducted within the KConnect project, funded under the H2020 programme and focused on development and commercialization of cloud-based services for multilingual Semantic Annotation, Semantic Search and Machine Translation of electronic health records and medical publications. We first present the main goal and role of MT in the project and then briefly describe the main methods and components developed in the project, including training data acquisition, methods of domain adaptation, deployment of MT as cloud-based web-service, and the training toolkit allowing easy adaptation of the MT service to new languages.

Článek popisuje práci na strojovém překladu provedenou v rámci projektu KConnect, financovaném v rámci programu H2020 a zaměřeném na vývoj a komercializaci cloudových služeb pro vícejazyčnou sémantickou anotaci, sémantické vyhledávání a strojový překlad elektronických zdravotních záznamů a medicínských publikací. Nejprve prezentujeme hlavní cíl a úlohu strojového překladu v projektu, následně stručně popisujeme hlavní metody a komponenty vyvinuté v rámci projektu, mj. získání dat, metody doménové adaptace, nasazení MT jako cloudové webové služby a nástroj pro trénování překladových systémů, který umožňuje snadnou adaptaci překladové služby na nové jazyky.

Petra Galuščáková
Jan Hajič
Jindřich Libovický
Pavel Pecina
Aleš Tamchyna


Classifier of Russian Documents for ACREA CR, spol. s r.o.

Klasifikátor ruských dokumentů pro ACREA CR, spol. s r.o.

Given the specification of ACREA CR, a commercial partner of UFAL, a software for binary classification of documents written in the Russian language was implemented. New documents are classified as relevant or non-relevant with respect to a given topic, while the topic is specified using a training dataset of documents that are relevant for the topic.

Na základě objednávky komerčního partnera ACREA CR byl implementován software pro binární klasifikaci dokumentů v ruštině na dokumenty relevantní nebo nerelevantní vůči tématu zadanému příklady relevantních dokumentů.

Petra Galuščáková
Zdeněk Žabokrtský
Pavel Pecina


Quantitative Analysis of Syntactic Dependency in Czech

Kvantitativní analýza syntaktických závislostí v češtině

Cílem prezentace je kvantitativní analýza syntaktických závislostí v češtině. Pro každé slovo syntakticky anotovaného korpusu (Bejček et al. 2013) odvozujeme závislostní rámec , který je tvořen analytickými funkcemi přiřazenými každému bezprostředně závislému slovu.

The aim of our talk is to present results of quantitative analysis of dependency characteristics of particular analytical functions. For each word in a syntactically annotated corpus (Bejček et al. 2013), a dependency frame is derived first. The dependency frame consists of all analytical functions assigned to its directly dependent words.

Radek Čech
Ján Mačutek
Michaela Koľcová
Markéta Lopatková


NLP Pipeline for Russian: an Easy-to-Use Web Application for Morphological and Syntactic Annotation

NLP Pipeline pro rustinu: snadno pouzivatelna webova aplikace pro morfologickou a syntaktickou anotaci

The aim of this poster is to present an easy-to-use web application specifically developed for annotating Russian texts with morphological and syntactic information.

Cílem je podat snadno použitelné webové aplikace speciálně vyvinuté pro anotaci ruských textů s morfologickou a syntaktickou informaci.


Conversion of SynTagRus (the Russian dependency treebank) to Universal Dependencies

Konverze SynTagRusu (ruského závislostního korpusu) do Universal Dependencies

This report presents the Universal Dependencies (UD) annotated corpus for Russian and a conversion process which was developed to transform the SynTagRus dependency treebank of Russion into a UD-style annotated corpus.

Tato zpráva představuje ruský korpus anotovaný podle standardu Universal Dependencies a popisuje postup, kterým byl existující ruský závislostní korpus SynTagRus transformován do stylu UD.


Enriching Source for English-to-Urdu Machine Translation

Obohacování zdrojové strany ve strojovém překladu z angličtiny do urdštiny

This paper focuses on the generation of case markers for free word order languages that use case markers as phrasal clitics for marking the relationship between the dependent- noun and its head. The generation of such clitics becomes essential task especially when translating from fixed word order languages where syntactic relations are identified by the positions of the dependent-nouns. To address the problem of missing markers on source-side, artificial markers are added in source to improve alignments with its target counterparts. Up to 1 BLEU point increase is observed over the baseline on different test sets for English-to-Urdu.

Článek se zaměřuje na generování pádových příznaků ve strojovém překladu do jazyků s volným slovosledem. Navrhujeme několik pravidel identifikujících vhodná místa pro takové příznaky při překladu z angličtiny do urdštiny. Výsledky ukazují zlepšení až 1 bod BLEU.


Výsledky soutěže v optimalizaci systémů strojového překladu WMT16

This paper presents the results of the
WMT16 Tuning Shared Task. We provided
the participants of this task with a
complete machine translation system and
asked them to tune its internal parameters
(feature weights). The tuned systems were
used to translate the test set and the outputs
were manually ranked for translation
quality. We received 4 submissions in the
Czech-English and 8 in the English-Czech
translation direction. In addition, we ran
2 baseline setups, tuning the parameters
with standard optimizers for BLEU score.
In contrast to previous years, the tuned
systems in 2016 rely on large data.

Článek shrnuje výsledky soutěže v optimalizaci parametrů pevně daného překladového systému. V letošní variantě soutěže jde o systém opírající se o velká trénovací data.

Bushra Jawaid
Amir Kamran
Miloš Stanojević
Ondřej Bojar


From search to exploration: Barriers and opportunities in using oral history archives as data resources

Od vyhledávání k objevování: Meze a možnosti ve využívání orálněhistorických archivů jako zdrojů dat

Key themes of the talk were: (1) using oral history as topic and resource; (2) different barriers in doing so (epistemological, methodological, technical); (3) imagined possibilities, future opportunities and
new research directions. Some of the current barriers seem to result from the fragmentary nature of social/human sciences, which is hard to overcome. At the same time, facilitating the use of ICT provides enviroment for interdisciplinary cooperation, which often leads to interesting and ground-breaking research.

Hlavní témata přednášky: (1) užití orální historie jako zdroje a tématu výzkumu; (2) rozmanité bariéry v tomto kontextu (epistemologické, metodologické, technické); (3) možnosti a budoucí příležitosti, nové výzkumné směřování.


The Past as a Memory and Narrative: USC Shoah Foundation's Visual History Archive in the context of oral history

Minulost jako vzpomínka a vyprávění: Archiv vizuální historie USC Shoah Foundation v kontextu orální historie

The chapter describes USC Shoah Foundation's Visual History Archive, its relevant content for the thematic focus of the book, and some methodological issues of secondary analysis of oral history recordings.

Kapitola popisuje Archiv vizuální historie USC Shoah Foundation, jeho obsah relevantní s ohledem na tematické zaměření knihy, a některé metodologické souvislosti sekundární analýzy orálněhistorických nahrávek.


Bridging Corpus for Russian in comparison with Czech

Bridging korpus pro ruštinu ve srovnání s češtinou

In this paper, we present a syntactic approach to the annotation of bridging relations, so-called genitive bridging. We introduce the RuGenBridge corpus for Russian annotated with genitive bridging and compare it to the semantic approach that was applied in the Prague Dependency Treebank for Czech. We discuss some special aspects of bridging resolution for Russian and specifics of bridging annotation for languages where definite nominal groups are not as frequent as e.g. in Romance and Germanic languages. To verify the consistency of our method, we carry out two
comparative experiments: the annotation of a small portion of our corpus with bridging relations according to both approaches and finding for all relations from the RuGenBridge their semantic interpretation that would be annotated for Czech.

V práci popisujeme syntaktický přístup zpracovaní asociační anafory. Představujeme nově vytvořený korpus RuGenBridge  s anotací tzv. genitivní asociační anafory v ruštině. Srovnáváme výsledky anotace se statistyky a typy anotovaných vztahů v PDT.


One of the four English target representations (viz. DM) and the entire Czech data (in the PSD target representation) are not derivative of LDC-licensed annotations and, thus, can be made available for direct download (Open SDP; version 1.1; April 2016) under a more permissive licensing scheme, viz. the Creative Common Attribution-NonCommercial-ShareAlike scheme (CC BY-NC-SA 2.0). This package also includes some ‘richer’ meaning representations from which the English bi-lexical DM graphs derive, viz. scope-underspecified logical forms and more abstract, non-lexicalized ‘semantic networks’. The latter of these are formally (if not linguistically) similar to Abstract Meaning Representation (AMR) and are available in a range of serializations, including in AMR-like syntax.

Jedna z našich čtyř anglických reprezentací (DM) a kompletní česká data (v reprezentaci PSD) nejsou odvozené od anotací licencovaných LDC, a tudíž mohou být poskytnuta k přímému stažení (Open SDP; verze 1.1; duben 2016) pod svobodnější licencí, konkrétně Creative Commons Attribution-NonCommercial-ShareAlike (CC BY-NC-SA). Tento balíček také obsahuje některé bohatší reprezentace významu, ze kterých jsou anglické bilexikální DM grafy odvozeny, totiž logické formy a abstraktnější nelexikalizované sémantické sítě. Ty jsou formálně (když už ne lingvisticky) podobné abstraktní reprezentaci významu (AMR) a jsou k dispozici v různých formátech, včetně syntaxe podobné AMR.

Dan Flickinger
Jan Hajič
Angelina Ivanova
Marco Kuhlmann
Yusuke Miyao
Stephan Oepen
Daniel Zeman


SDP 2014 & 2015: Sémantická závislostní analýza s širokým pokrytím

SDP 2014 & 2015: Broad Coverage Semantic Dependency Parsing consists of data, tools, system results, and publications associated with the 2014 and 2015 tasks on Broad-Coverage Semantic Dependency Parsing (SDP) conducted in conjunction with the International Workshop on Semantic Evaluation (SemEval) and was developed by the SDP task organizers.

SDP 2014 & 2015: Sémantická závislostní analýza se širokým pokrytím sestává z dat, nástrojů, systémových výstupů a publikací spojených se soutěžemi v sémantické závislostní analýze (SDP) v letech 2014 a 2015, které byly pořádány spolu s mezinárodním workshopem SemEval. Tento balíček dat a softwarových nástrojů byl připraven organizátory soutěží SDP.


On Similarities Between Workflow Verification and Grammar Checking

O podobnostech mezi verifikací postupů a gramatickou kontrolou

The paper investigates the similarities in the application of attribute grammars to two seemingly different research areas, namely the area of formal description of workflows and the area of checking the syntactic correctness
of natural languages. It uses existing models
and formalisms and tries to find a common ground
which would enable to exploit mutually the experience gained in both individual fields. It shows how a slight adaptation of a grammar formalism used for grammar checking of languages with a high degree of word-order freedom may lead to a tool useful for a workflow verification.

Článek zkoumá podobnost aplikace atributových gramatik ve dvou zdánlivě odlišných vědeckých oblastech, jmenovitě ve formálním popisu pracovních postupů a v kontrole syntaktické správnosti přirozených jazyků. Jsou použity existující modely a formalismy a hledá se společný jmenovatel, který by umožnil využít zkušenosti nabyté v obou oblastech. Zároveň také ukazuje nutnost mírné adaptace formalismu pro kontrolu gramatiky pro jazyky s vysokým stupněm volnosti slovosledu, která by mohla vést k vytvoření nástroje použitelného pro kontrolu pracovních postupů.


Using a Grammar Checker to Validate Compliance of Processes with Workflow Models

Použití kontroly gramatiky k validaci shody procesů s modely procesních toků

Grammar checking has been used for a long time to validate if a given sentence - a sequence of words - complies with grammar rules. Recently attribute grammars have been proposed as a formal model to describe workflows. A workflow specifies valid processes, which are sequences of actions. In this paper we show how a grammar checker developed for natural languages can be used to validate whether or not a given process complies with the workflow model expressed using an attribute grammar. The checker can also suggest possible corrections of the process to become a valid process.

Nedávné výsledky ukázaly, že vhodným nástrojem popisu procesních toků jsou atributové gramatiky. Ty v minulosti posloužily také jako vhodný prostředek implementace kontroly gramatické správnosti přirozených jazyků. Článek popisuje způsob, jak by bylo možné validovat, zda daný procesní tok je správně sestaven podobně jako se to dělá pro věty přirozeného jazyka.


In the world of academic identity (inter-)federations, the release attribute problem is often mentioned. The problem is that Service Providers (SPs) do not get the attributes from Identity Providers (IdPs) they need. This service makes it possible to gather statistics about released attributes names between various SPs and IDPs.

Ve světě akademických federací identit je častým problémem neuvolňování atributů potřebných pro chod služeb.
Naše služba umožňuje sbírat statistiky o uvolňovaných atributech mezi různými poskytovateli služeb (SP) a poskytovateli identit (IDP).

Amir Kamran
Ondřej Košarko
Jozef Mišutka


Easy-to-cite and persistent infrastructure (shortref.org) for research and data citation in the form a URL shortener service. Reproducibility of results is very important for the extension of research and is directly depends on the availability of the research data. The advancements in the web technologies made redistribution of the data much more easy nowadays, however, due to the dynamic nature of the web, the content is consistently on the move from one destination to another. The URLs researchers use for the citation of their contents do not directly account for these changes and many times when the users try to access the cited URLs, the data is either not available or moved to a newer version. In our proposed solution, the shortened URLs are not simple URLs but use persistent identifiers and provide a reliable mechanism to make the data always accessible that can directly improve the impact of research.

Služba pro snadnou a trvalou citaci dat vzešlých z výzkumu. Tuto službu poskytujeme formou zkracovače URL. Reprodukovatelnost výsledků, důležitá součást vědeckého výzkumu, přímo závisí na dostupnosti dat, nad kterými výzkum probíhal. Rozvoj webových technologií velmi usnadnil sdílení dat. Kvůli dynamické povaze webu se ale obsah často přesouvá z jednoho místa na druhé. Běžné URL, které může výzkumník použít k citaci svých dat, nemá prostředky, kterými by se s tímto přesouváním dalo vyrovnat. Čtenář/uživatel tak často zjistí, že data se na dané URL již nenalézají, nebo dostane k dispozici novější verzi. Námi navrhované řešení, ve kterém je zkrácené URL perzistentním identifikátorem, poskytuje spolehlivý mechanismus pro stálou dostupnost dat a může tak zlepšit dopad výzkumu.


How to set up a CLARIN B-centre using a modified DSpace

Ako postaviť CLARIN-B centrum s použitím DSpace

This talk presents the steps required for becoming a CLARIN-B centre using LINDAT/CLARIN digital library based on DSpace.

CLARIN centrum sa môže nazývať CLARIN-B centrum iba ak spĺňa špecifické kritériá. Digitálny repozitár LINDAT/CLARIN postavený na DSpace spĺňa väčšinu týchto požiadaviek.


ConFarm: Extracting Surface Representations of Verb and Noun Constructions from Dependency Annotated Corpora of Russian

ConFarm: Extrakce povrchove reprezentace slovesnych a jmennych konstrukci ze zavislostnich anotovanych korpusu rustiny.

ConFarm is a web service dedicated to extraction of surface representations of verb and noun constructions from dependency annotated corpora of Russian texts. Currently, the extraction of constructions with a specific lemma from SynTagRus and Russian National Corpus is available. The system provides flexible interface that allows users to fine-tune the output. Extracted constructions are grouped by their contents to allow for compact representation, and the groups are visualized as a graph in order to help navigating the extraction results. ConFarm differs from similar existing tools for Russian language in that it offers full constructions, as opposed to extracting separate dependents of search word or working with collocations, and allows users to discover unexpected constructions as opposed to searching for examples of a user-defined construction.

ConFarm je webová služba, věnovaná extrakci povrchových reprezentaci slovesnych a jmennych tvaru ze závislostních anotovaných korpusů ruských textů. V současné době je  k dispozici extrakce konstrukci s konkrétním lemmatem z korpusu SynTagRus a ruského národního korpusu. Nas systém poskytuje flexibilní rozhraní, které umožňuje uživatelům vyladit výstup. Extrahované konstrukce jsou seskupeny podle jejich obsahu, aby byla možna kompaktní reprezentace, a skupiny jsou zobrazeny ve formě grafu. ConFarm se liší od podobných existujících nástrojů pro rustinu v tom, že nabízí kompletní konstrukce, v protikladu k samostatni extrakci zavislostnich clenu nebo práci s slovních spojení, a umožňuje uživatelům objevit nečekané konstrukce, na rozdíl od vyhledavani příkladu podle formy zadane uživatelem.


Building NLP Pipeline for Russian with a Handful of Linguistic Knowledge

Vytvoreni NLP Pipeline pro rustinu s pouzitim maleho mnoznstvi lingvistickych dat

This work addresses the issue of building a free NLP pipeline for processing Russian texts from plain text to morphologically and syntactically annotated structures in CONLL format. The pipeline is written in python3. Segmentation is provided by our own module. Mystem with numerous postprocessing fixes is used for lemmatization and morphology tagging.
Finally, syntactical annotation is obtained with MaltParser utilizing our own model trained on SynTagRus, which was converted into CONLL format for this purpose, with its morphological tagset being converted into Mystem/Russian National Corpus tagset

Tato práce se zabývá otázkou budování svobodného NLP potrubí pro zpracování ruské texty z prostého textu na morfologicky a syntakticky anotovaný struktury ve formátu CONLL. Potrubí je napsán v python3. Segmentace je zajišťována vlastní modul. Mystem s četnými postprocesních oprav se používá pro lemmatizace a morfologie značkování.
A konečně, syntaktická anotace se získá MaltParser využitím naší vlastní model vyškolený na SynTagRus, který byl převeden do formátu CONLL pro tento účel, s jeho morfologické tagset převádí do Mystem / ruského národního korpusu tagset


Lexical network DeriNet version 1.2 contains 1,003,590 lexemes (from the morphological dictionary MorfFlex) among which 740.750 edges were created according to derivational relations (between a derived word and its base word). In the current version, words containg consonant and/or vowel alternations were connected to their base word.

Lexikální síť DeriNet verze 1.2 obsahuje 1.003.590 lexémů (z morfologického slovníku MorfFlex), mezi nimiž bylo poloautomatickými metodami vytvořeno 740.750 hran odpovídajících vztahu odvození (mezi slovem odvozeným a slovem základovým). V této verzi dat jsou nově se základovým slovem spojena i slova, při jejichž odvozování dochází k hláskovým alternacím (př. boží - bůh).

Jonáš Vidra
Zdeněk Žabokrtský
Magda Ševčíková
Milan Straka


Diatheses of Czech Verbs with Genitive Complementation

Diateze u českých sloves s genitivním doplněním

This contribution dealt with passive and deagentive diatheses of Czech verbs with genitive complementation. According to their changes in valency structure, these verbs are classified into three groups: (1) verbs that behave in the same way as verbs with accusative complementation, (2) verbs that preserve genitive complementations and (3) verbs complementations of which can be expressed in the nominative, or in the genitive.

Příspěvek se zabývá klasifikací českých sloves s genitivním doplněním z hlediska tvoření pasivní a deagentní diateze. Slovesa jsou klasifikována na ta, která se chovají podobně jako slovesa s akuzativním doplněním,,
slovesa, u nichž je genitivní vazba v příznakových členech diateze zachována, a
slovesa, jejichž genitivní doplnění může být v diatezi vyjádřeno nominativem i genitivem.

Anna Vernerová
Markéta Lopatková
Václava Kettnerová


Universal Dependencies for the AnCora treebanks

Universal Dependencies pro treebanky AnCora

This article describes the conversion of the Catalan and Spanish AnCora treebanks to the Universal Dependencies formalism. We describe the conversion process and assess the quality of the resulting treebank in terms of parsing accuracy by means of monolingual, cross-lingual and cross-domain parsing evaluation. The converted treebanks show an internal consistency comparable to the one shown by the original CoNLL09 distribution of AnCora, and indicate some differences in terms of multiword expression inventory with regards to the already existing UD Spanish treebank. The two new converted treebanks will be released in version 1.3 of Universal Dependencies.

Tento článek popisuje konverzi katalánského a španělského treebanku AnCora do formalismu Universal Dependencies (univerzální závislosti). Popisujeme proces konverze a odhadujeme kvalitu výsledného treebanku nepřímo pomocí automatické syntaktické analýzy v jednojazykovém, mezijazykovém a mezidoménovém testu. Převedené treebanky vykazují interní konzistenci srovnatelnou s původní distribucí AnCora pro CoNLL09. Od jiného, dříve vydaného španělského UD treebanku se liší zejména v repertoáru vyznačených víceslovných výrazů. Tyto dva nově převedené treebanky budou vydány v Universal Dependencies verzi 1.3.


MWEs in Treebanks: From Survey to Guidelines

Víceslovné výrazy v syntakticky anotovaných korpusech: Od přehledu ke směrnicím

By means of an online survey, we have investigated ways in which various types of multiword expressions are annotated in existing treebanks. The results indicate that there is considerable variation in treatments across treebanks and thereby also, to some extent, across languages and across theoretical frameworks. The comparison is focused on the annotation of light verb constructions and verbal idioms. The survey shows that the light verb constructions either get special annotations as such, or are treated as ordinary verbs, while VP idioms are handled through different strategies. Based on insights from our investigation, we propose some general guidelines for annotating multiword expressions in treebanks. The recommendations address the following application-based needs: distinguishing MWEs from similar but compositional constructions; searching distinct types of MWEs in treebanks; awareness of literal and nonliteral meanings; and normalization of the MWE representation. The cross-lingually and cross-theoretically focused survey is intended as an aid to accessing treebanks and an aid for further work in treebank annotation.

Provedli jsme přehled VV v existujících treebancích pomocí online průzkumu. Výsledky ukazují významné odlišnosti. Srovnání se zaměřuje na anotaci analytických predikátů a slovesných idiomů.
Na základě průzkumu navrhujeme všeobecné směrnice pro anotaci VV v treebancích. Doporučení se týkají následujících potřeb: rozlišovat VV od podobných, avšak kompozicionálních konstrukcí; vyhledávat rozličné druhy VV v treebanku; rozlišení doslovného a přeneseného významu a normalizace reprezentace VV. Průzkum vedený napříč jazyky a teoriemi je míněn jako pomůcka pro zpracování a další práci s anotovanými treebanky.

Victoria Rosén
Koenraad De Smedt
Gyri Smørdal Losnegaard
Eduard Bejček
Agata Savary
Petya Osenova


Arabic Spelling Error Detection and Correction

A spelling error detection and correction application is typically based on three main components: a dictionary (or reference word list), an error model and a language model. While most of the attention in the literature has been directed to the language model, we show how improvements in any of the three components can lead to significant cumulative improvements in the overall performance of the system. We develop our dictionary of 9.2 million fully-inflected Arabic words (types) from a morphological transducer and a large corpus, validated and manually revised. We improve the error model by analyzing error types and creating an edit distance re-ranker. We also improve the language model by analyzing the level of noise in different data sources and selecting an optimal subset to train the system on. Testing and evaluation experiments show that our system significantly outperforms Microsoft Word 2013, OpenOffice Ayaspell 3.4 and Google Docs.

Práce se zabývá automatickou kontrolou pravopisu arabštiny a ukazuje, jak vylepšení jednotlivých komponent (slovníku, jazykového modelu, chybového modelu) vede ke kumulativnímu zlepšení celého systému.

Mohammed Attia
Pavel Pecina
Younes Samih
Khaled Shaalan
Josef Genabith


A new look at possessive reflexivization: A comparative study between Czech and Russian

Nový pohled na posesivní reflexivizaci: Srovnávácí analýza na češtině a ruštině

The paper presents the contrastive description of reflexive possessive pronouns “svůj” in Czech and “svoj” in Russian. The research concerns syntactic, semantic and pragmatic aspects. With our analysis, we shed a new light on the already investigated issue, which comes from the detailed comparison of the phenomenon of possessive reflexivization in two typologically and genetically similar languages. We show that whereas in Czech, the possessive reflexivization is mostly limited to syntactic functions and does not go beyond the grammar, in Russian it gets additional semantic meanings and moves substantially towards the lexicon. The obtained knowledge lets us explain heretofore unclear marginal uses of
reflexives in each language.

Kontrastivní popis “svůj” v češtině a “svoj” v ruštině. Korpusová data ve třijazyčném paralelním korpusu jsou analyzována se zřetelem k existujícím popisům reflexiv v každém jazyce.


This session focuses on discussing tools applied to the annotation of discourse phenomena in different languages. Following the general session on “Annotation theories and tools”, trainees will be invited to use several annotation tools, such as  TrEd, PDTB, Brat, PDTB-tool and MMAX.

Přednáska je zaměřena na anotační nástroj, které se používají pro zaznamenávání diskurzních jevů (TrEd, PDTB, Brat, PDTB-tool, MMAX, etc.)


Discourse annotation approaches to Czech and German

In the talk, I summariye common and different features in the annotation approaches to Czech (PDT-like) and German (applied in GECCo).

Shrnutí čeho jsme dosáhli v rozborech, anotacích a analýze češtiny (PDT) a němčiny v rámci korpusu GECCo.


Discourse coherence is a complex natural language phenomenon which is achieved by different linguistic means (e.g., anaphoricity, information structure, discourse markers and connectives, rhetorical structure of text, etc.). Many approaches in computational linguistics are used to capture discourse relations and Tind practical applications. This session focuses on discussing theories and approaches applied to the annotation of discourse phenomena in different languages, such as Rhetorical Structure Theory, Penn Discourse Treebank, Segmented Discourse Representation Theory and so on. Participants will have the opportunity to compare these approaches to see which phenomena are central to them and which ones are less prominent. We will also introduce the tools of discourse annotation and demonstrate esp. TrEd, PDTB and MMAX.

V rámci přednásky byly představeny existující teorie anotace diskurních jevů a nástroje, které se pro tento typ anotací používají.


Personal and reflexive possessives in Czech in comparison to Russian

Osobní a reflexivní posesiva v češtině ve srovnání s ruštinou

Comparative analysis of personal and possessive reflexives in Czech and Russian. Analysis of secondary literature.

K zajímavým lingvistickým poznatkům lze dojít různými cestami: analýzou korpusových dat, srovnáním typologicky blízkých a vzdálenějších jazyků mezi sebou, použitím dotazníků nebo podnětů z odborné literatury. V plánovaném příspěvku chceme kombinací těchto přístupů  dospět  k důkladnějšímu popisu chování posesívních reflexivních zájmen v češtině a ruštině.

Rozbor anglo-česko-ruského paralelního korpusu (PCEDT-R) poukázal na značné statistické rozdíly v použití posesiv v těchto třech jazycích. Zatímco v angličtině se často používají ve funkci determinátoru při jmenné frázi, v češtině a ruštině je jejich frekvence výrazně nižší. Avšak i mezi češtinou a ruštinou se najdou značné – jak frekvenční tak funkční – rozdíly. Chování osobních a reflexivních přivlastňovacích zájmen a jejich konkurence byly dosud popisovány pro každý jazyk zvlášť. Pro češtinu jsou normativní pravidla použití reflexivního posesiva „svůj“ formulována již v Trávníčkově mluvnici (Trávníček, 1951). Pravidlům jejich skutečné distribuce v současné češtině se podrobně věnovaly např. práce F. Daneše a K. Hausenblase (1962), J. Panevové (1986) a S. Čmejrkové (1998, 2011). Konkurenci „svoj“ a „jego“ v ruštině se věnovala hlavně E. Padučevová (1983, 1985), která nabídla formálně syntaktická, sémantická a pragmatická pravidla distribuce těchto zájmen. Každá z těchto prací se však soustředí na analýzu tohoto jevu v jednom jazyce. Zde se zaměříme na porovnání výsledků, k nimž jmenovaní autoři došli a budeme hledat inspiraci pro lepší pochopení použití těchto zájmen v češtině a ruštině zvlášť.

Na první pohled se zdá, že se pravidla distribuce osobních posesiv a „svůj“ se v ruštině a češtině do značné míry shodují. Avšak dotazníky vytvořené na základě použité literatury tuto podobnost neprokazují. Zjišťujeme například, že Padučevovou navržený distributivní význam reflexivního posesiva, který je pro ruštinu úplně běžný, je v češtině zcela marginální (U každogo učenogho jesť svoja biblioteka – Každý vědec má *svou/vlastní knihovnu). Podobné je to u významu, který je nazýván 'ovladání'. Ten je pro užití ruského „svoj“ natolik produktivní, že se již vymyká pojetí frazému (Svoja kvartira lučše čem sjemnaja - *Svůj (=vlastní) byt je lepší než pronajatý.) Ruské „svoj“ má také řadu sekundárních významů, které v češtině chybí.

Analýza paralelních korpusových dat (Intercorp, PCEDT-R) ukazuje, že česká posesiva se dají častěji vynechat, jejich výskyt je tedy často fakultativní, tím se čeština od ruštiny liší. Zjistili jsme to na textech, které byly přeloženy z angličtiny, ale ověřili jsme to statisticky i na originálních textech přiměřené velikosti a tematiky (z PDT a RTB).

V referátu sjednotíme teoretické poznatky s výsledky korpusové analýzy a vymezíme společné a odlišné rysy použití osobních a reflexivních přivlastňovacích zájmen v češtině a ruštině.


Coreference in Prague Czech-English Dependency Treebank

Koreference v Pražském česko-anglickém závislostním treebanku

We present coreference annotation on parallel Czech-English texts of the Prague Czech-English Dependency Treebank (PCEDT). The paper describes innovations made to PCEDT 2.0 concerning coreference, as well as coreference information already present there. We characterize the coreference annotation scheme, give the statistics and compare our annotation with the coreference annotation in Ontonotes and Prague Dependency Treebank for Czech. We also present the experiments made using this corpus to improve the alignment of coreferential expressions, which helps us to collect better statistics of correspondences between types of coreferential relations in Czech and English. The corpus released as PCEDT 2.0 Coref is publicly available.

Představujeme anotaci koreference na paralelních česko-anglických textech Pražského česko-anglického závislostního treebanku (PCEDT).

Anna Nedoluzhko
Michal Novák
Silvie Cinková
Marie Mikulová
Jiří Mírovský


Prague Czech-English Dependency Treebank 2.0 Coref

Pražský česko-anglický závislostní korpus 2.0 (koreferenční rozšíření)

We present an extended version of the Prague Czech-English Dependency Treebank 2.0 (PCEDT 2.0). It includes all annotation of coreference (the original one from PCEDT 2.0 as well as the new one) and improved cross-lingual alignment of coreferential expressions. The corpus released as PCEDT 2.0 Coref is publicly available.

Vydání Pražského česko-anglického závislostního treebanku 2.0 (PCEDT), obsahující všechny anotace koreference (původní z PCEDT 2.0 i nové) a vylepšené mezijazyčné zarovnání koreferenčních výrazǔ.


Abstract Coreference in a Multilingual Perspective: a View on Czech and German

Abstraktní koreference ve vícejazyčné perspektivě: Pohled na češtinu a němčinu

This paper aims at a cross-lingual analysis of coreference to abstract entities in Czech and German, two languages that are typologically not very close, since they belong to two
different language groups – Slavic and Germanic. We will specifically focus on coreference chains to abstract entities, i.e. verbal phrases, clauses, sentences or even longer text
passages. To our knowledge, this type of relation is underinvestigated in the current stateof-the-art literature.

Srovnávácí analýzy koreferenčních výrazů poukazujících k abstraktním entitám a propozicím v češtině a němčině.

Anna Nedoluzhko
Ekaterina Lapshinova-Koltunski


Contrasting Coreference in Czech and German: from Different Frameworks to Joint Results

Koreference v cestine a nemcine: od ruznych pristupu ke spojenym vysledkum

In this paper, we analyse coreference patterns in Czech and German. We specifically
focus on different types of coreference chains and their properties,
for instance, their length, number and functional subtypes of the elements
inside these chains. We use two datasets annotated within different annotation
frameworks, showing that this approach is possible if an interoperable
analysis scheme is applied.

V clanku venujeme koreferencnim retezcum v ceskych a nemeckych textech. Za zaklad bereme jiz anotovane originalni texty v techto jazycich, aplikujeme spolecne prunikove schema a analyzujeme vysledky.

Anna Nedoluzhko
Ekaterina Lapshinova-Koltunski
Kerstin Anna Kunz


Possessives in Parallel English‑Czech-Russian Texts

We present a corpus-based analysis of the use of possessive and reflexive possessive pronouns in a newly created English-Czech-Russian parallel corpus (PCEDT-R). Automatic word-alignment was applied to the texts, which were subsequently manually corrected. In the word-aligned data, we have manually annotated all correspondences of possessive and possessive reflexive pronouns from the perspective of each analysed language. The collected statistics and the analysis of the annotated data allowed us to formulate assumptions about language differences. Our data confirm the relative frequency of possessive pronouns in English as compared to Czech and Russian, and we explain it by the category of definiteness in English. To confirm some of our hypotheses, we used other corpora and questionnaires. We compared the translated texts in Czech and Russian from our corpus to the original texts from other corpora, in order to find out to what degree the translation factor might influence the frequency of possessives.

Korpusová analýza použití posesivních zájmen v nově vytvořeném anglicko-česko-ruském paralelním korpusu PCEDT-R. V článku představujeme korpus, popisujeme jeho anotaci a prezentujeme statistiky na něm spočtené.

Anna Nedoluzhko
Anna Schwarz (Khoroshkina)
Michal Novák


The title of the present publication suggests that it follows up the Encyclopedic Dictionary of Czech (2002) and its goals. However, it exceeds the previous dictionary in the extent, contents and form of the individual entries as well as the dictionary as a whole.

Titul předkládané publikace napovídá, že navazuje na Encyklopedický slovník češtiny (2002) a cíle, které si kladl. Rozsahem, obsahem a formou jednotlivých hesel i slovníku jako celku jej však přesahuje.

Gabriel Altman
Jan Andres
Johan van der Auwera
Jarmila Bachmannová
Jan Balhar
Aleš Bičan
Lenka Bičanová
Jana Bílková
Petr Biskup
Ondřej Bláha
Izabela Blaszczyk
Ondřej Bojar
Tomáš Bořil
Máša Bořkovcová
Ivana Bozděchová
Pavel Caha
Václav Cvrček
Radek Čech
Marie Čechová
František Čermák
David S. Danaher
František Daneš
Jaroslav David
Mojmír Dočekal
Jakub Dotlačil
Vít Dovalil
Věra Dvořák
Eva Eckertová
Viktor Elšík
Joseph Emonds
Adolf Erhart
François Esvan
Dan Faltýnek
Masako Fidler
Alena Andrlová Fidlerová
Zbyněk Fišer
Eva Flanderková
Mirjam Fried
Markus Giger
Miroslav Grepl
Jan Hajič
Eva Hajičová
Ernst Hansack
Björn Hansen
Radoslav Harman
Milan Harvalík
Martin Havlík
Eva Havlová
Elke Hentschel
Milada Hirschová
Zdeňka Hladká
Jana Hoffmannová
Jiří Homoláč
Milada Homolková
Tomáš Hoskovec
Jan Hric
Jaroslav Hubáček
Jan Chloupek
Leonid L. Iomdin
Pavel Ircing
Laura Janda
Ilona Janyšková
Milan Jelínek
Tomáš Jelínek
Lucie Jílková
Filip Jurčíček
Michal Jurka
Petr Karlík
Petr Karlík mladší
Helena Karlíková
Stanislava Kloferová
Martina Kloudová
Miroslava Knappová
Robert Kolár
Ivana Kolářová
Marie Kopřivová
Jan Kořenský
Pavel Kosek
Peter Kosta
Michaela Koščová
Jiří Koten
Ondřej Koupil
Michal Kovář
Michala Králíková
Marie Krappmann
Jiří Kraus
Marie Krčmová
Susan Kresin
Michal Křen
Michal Křístek
Pavel Kubaník
Miroslav Kubát
Tomáš Kubík
Vladislav Kuboň
Ivona Kučerová
Natalia Levshina
Alena Macurová
Ján Mačutek
Jarosław Malicki
Petr Mareš
Olga Martincová
Jiří Marvan
Jindřich Matoušek
Barbara Mertins
Roland Meyer
Krzysztof Migdalski
Eva Minářová
Kamila Mrázková
Iveta Mrázová
Richard Müller
Olga Müllerová
Mira Nábělková
Olga Navrátilová
Iva Nebeská
Anna Nedoluzhko
Marek Nekula
Zuzana Nevěřilová
Stefan Michael Newerkla
Mark Newson
Pavel Novák
Renata Novotná
Norbert Nübler
Radek Ocelák
Karel Oliva
Ivo Osolsobě
Klára Osolsobě
Ludmila Pacnerová
Karel Pala
Zdena Palková
Jarmila Panevová
Pavel Pecina
Jaroslav Peregrin
Anna Maria Perissutti
Ondřej Pešek
Vladimír Petkevič
Petr Plecháč
Jana Pleskalová
Jan Radimský
Paul Rastall
Alexandr Rosen
Zdenka Rusínová
Lucie Saicová Římalová
Tamah Sherman
Tobias Scheer
Boris Skalka
Radek Skarnitzl
Marián Sloboda
Olga Stehlíková
Hana Strachoňová
Jana Straková
Roman Sukač
Zbyněk Sviták
Aleš Svoboda
Josef Syka
Ondřej Šefčík
Radek Šimík
Hana Gruet Škrabalová
Dušan Šlosar
Rudolf Šrámek
Jan Štěpán
František Štícha
Michaela Tabakovičová
Knut Tarald Taraldsen
Lucie Taraldsen Medová
Jiří Trávníček
Vladimír Trpka
Jana Marie Tušková
Ludmila Uhlířová
Lenka Uličná
Oldřich Uličný
Jana Valdrová
Irena Vaňková
Ivo Vasiljev
Radoslav Večerka
Jarmil Vepřek
Ljuba Veselinova
Kateřina Veselovská
Ludmila Veselovská
Jan Volín
Taťána Vykypělová
Roland Wagner
James Wilson
Uliana Yazhinova
Daniel Zeman
Jiří Zeman
Šárka Zikánová
Markéta Ziková
Petr Zima
Ilse Zimmermann
Zdeněk Žabokrtský
Stanislav Žaža


Adapting SMT Query Translation Reranker to New Languages in Cross-Lingual Information Retrieval

Adaptace sytému  pro přeuspořádávání hypotéz strojového překladu dotazů na nové jazyky pro vícejazyčné vyhledávání informací.

We investigate adaptation of a supervised  machine learning model for reranking of query translations to new languages in the context of cross-lingual information retrieval. The model is trained to rerank multiple translations produced by a statistical machine translation system and optimize retrieval quality. The model features do not depend on the source language and thus allow the model to be trained on query translations coming from multiple languages. In this paper, we explore how this affects the final retrieval quality. The experiments are conducted on medical-domain test collection in English and multilingual queries (in Czech, German, French) from the CLEF eHealth Lab series 2013--2015.
We adapt our method to allow reranking of query translations for four new languages (Spanish, Hungarian, Polish, Swedish). The baseline approach, where a single model is trained for each source language on query translations from that language, is compared with a model co-trained on translations from the three original languages.

Tento článek se zabývá metodou překladu vyhledávacích dotazů, která přeuspořádávává překladové hypotézy produkované překladovým systémem, a to s ohledem na kvalitu výsledného vyhledávání. V článku je prezentován způsob adaptace této metody na nové zdrojové jazyky.


Reranking Hypotheses of Machine-Translated Queries for Cross-Lingual Information Retrieval

Přeuspořádávání hypotéz strojového překladu dotazů pro vícejazyčné vyhledávání informací

Machine Translation (MT) systems employed to translate queries for Cross-Lingual Information Retrieval typically produce single translation with maximum translation quality. This, however, might not be optimal with respect to retrieval quality and other translation variants might lead to better retrieval results. In this paper, we explore a method exploiting multiple translations produced by an MT system, which are reranked using a supervised machine-learning method trained to directly optimize the retrieval quality. We experiment with various types of features and the results obtained on the medical-domain test collection from the CLEF eHealth Lab series show significant improvement of retrieval quality compared to a system using single translation provided by MT.

Strojový překlad dotazů pro vícejazyčné vyhledávání informací je obvykle cílen na maximální překladovou kvalitu. To ovšem nemusí být optimální s ohledem na kvalitu vyhledávání a jiné překladové hypotézy mohou vést k lepším výsledkům vyhledávání. V tomto článku zkoumáme metodu využívající více možných překladů, které jsou přeuspořádávány pomocí metody založené na strojovém učení, která je optimalizována přímo na kvalitu překladu.


Task3 Patient-Centred Information Retrieval: Team CUNI

Úloha 3: vyhledávání informací se zaměřením na uživatele: Tým Univerzity Karlovy

In this paper we present our participation as the team of
the Charles University at Task3 Patient-Centred Information Retrieval. In the monolingual task and its subtasks, we submitted two runs: one is based on language model approach and the second one is based on vector space model. For the multilingual task, Khresmoi translator, a Statistical Machine Translation (SMT) system, is used to translate the queries into English and get the n-best-list. For the baseline system, we take 1-best-list translation and use it for the retrieval, while for other runs, we use a machine learning model to rerank the n-best-list translations and predict the translation that gives the best CLIR performance in terms of P@10. We present set of features to train the model, these features are generated from the SMT verbose output, different resources like UMLS Metathesaurus, MetaMap, document collection and from the Wikipedia
articles. Experiments on previous CLEF eHealth IR tasks test set show significant improvement brought by the reranker over the baseline system.

Zpráva o účasti týmu Univerzity Karlovy v soutěži vyhledávání zdravotních informací CLEF eHealth Evaluation Lab 2016.


Vystadial 2016 is a dataset of telephone conversations in Czech, developed for training acoustic models for automatic speech recognition in spoken dialogue systems. The data comprise over over 75 hours in Czech, plus orthographic transcriptions.

Vystadial 2016 je databáze telefonních hovorů v češtině, vyvinuté pro trénování akustických modelů pro automatické rozpoznávání řeči v dialogových systémech. Data obsahují více než 75 hodin v českém jazyce.

Ondřej Plátek
Ondřej Dušek
Filip Jurčíček


Recurrent Neural Networks for Dialogue State Tracking

Rekurentní neuronové sítě pro sledování dialogového stavu

This paper discusses models for dialogue state tracking using recurrent neural networks (RNN). We present experiments on the standard dialogue state tracking (DST) dataset, DSTC2. On the one hand, RNN models became the state of the art models in DST, on the other hand, most state-of-the-art models are only turn-based and require dataset-specific preprocessing (e.g. DSTC2-specific) in order to achieve such results. We implemented two architectures which can be used in incremental settings and require almost no preprocessing. We compare their performance to the benchmarks on DSTC2 and discuss their properties. With only trivial preprocessing, the performance of our models is close to the state-of- the-art results.

Tento článek se zabývá modely pro sledování stavu dialogu pomocí rekurentních neuronových sítí (RNN). Představujeme pokusy na datové sadě, DSTC2. Na jedné straně, RNN modely dosahují vynikajících výsledků. Na druhou stranu většina state-of-the-art modelů jsou "turn-based" a vyžadují specifické předzpracování (např pro data z DSTC2) k dosažení vynikajících výsledků. Představili jsme dvě architektury, které mohou být použity v inkrementálních nastavení a nevyžadují téměř žádnou předzpracování. V članku porovnáváme jejich výkonnost na referenčních hodnotách pro DSTC2 a diskutujeme jejich vlastnosti. S pouze triviální předzpracováním se výkon našich modelů blíží k výsledkům state-of-the-art.

Ondřej Plátek
Petr Bělohlávek
Vojtěch Hudeček
Filip Jurčíček


A Dataset of Operator-client Dialogues Aligned with Database Queries for End-to-end Training

Dataset konverzací mezi operátorem a klientem zarovaný s dotazy do databáze pro end-to-end trénovaní

This paper presents a novel dataset for training end-to-end task oriented conversational agents. The dataset contains conversations between an operator – a task expert, and a client who seeks information about the task. Along with the conversation transcriptions, we record database API calls performed by the operator, which capture a distilled meaning of the user query. We expect that the easy-to-get supervision of database calls will allow us to train end-to-end dialogue agents with significantly less training data. The dataset is collected using crowdsourcing and the conversations cover the well-known restaurant domain. Quality of the data is enforced by mutual control among contributors. The dataset is available for download under the Creative Commons 4.0 BY-SA license.

Tento článek prezentuje novou datovou sadu pro výcvik end-to-end úkol orientovaně konverzační agentů. Obsahuje rozhovory mezi operátorem - odborníkem na danou doménu, a klientem, který hledá informace o úloze. Spolu s konverzační přepisy zaznamenáme databázová volání prováděné operátorem, které zachycují význam dotazu uživatele. Očekáváme, že se snadno získatelné databázová volání nám umožní trénovat end-to-end dialog agenty se s výrazně méně tréninkových dat. Datová sada je sbírána pomocí crowdsourcing a rozhovory pokrývají dobře známé restaurace doménu. Kvalita dat je vynucováno vzájemné kontroly mezi přispěvateli. Datový soubor je k dispozici ke stažení pod licencí Creative Commons 4.0 BY-SA licencí.


A Framework for Discriminative Rule Selection in Hierarchical Moses

Systém pro diskriminativní výběr pravidel v hierarchickém překladači Moses

We propose two contributions to discriminative rule selection in hierarchical machine translation. First, we test  previous  approaches on two French-English translation tasks in domains for which only limited resources are  available  and  show  that  they  fail  to improve  translation  quality. To improve on  such  tasks,  we  propose  a  rule  selection  model  that  is  (i)  global  with  rich label-dependent  features  (ii)  trained  with all available negative samples.  Our global model yields significant improvements, up to 1  BLEU  point,  over  previously  proposed rule selection models.

Navrhujeme dva příspěvky k diskriminativnímu výběru pravidel v hierarchickém strojovém překladu. Ověřujeme předchozí přístupy na dvou úlohách francouzsko-anglického překladu na doménách s omezenými zdroji a ukazujeme, že nedokážou zlepšit překladovou kvalitu. Navrhujeme model pro výběr pravidel, který je (i) globální a využívá bohatou sadu rysů a (ii) je trénován s využitím všech dostupných negativních příkladů. Náš globální model přináší významné zlepšení až 1 bod BLEU oproti předchozím modelům pro výběr pravidel.

Fabienne Braune
Alexander Fraser
Hal Daumé III
Aleš Tamchyna


What data are used in machine translation

An introduction to machine translation for employees of governmental and other public institutions.

Představení technik strojového překladu pro pracovníky státní správy a veřejných institucí.


Jaká data se používají ve strojovém překladu

An overview of method for acquiring parallel data and for their preparation for the purposes of MT training.

Přehled o metodách získávání paralelních dat a jejich přípravě pro trénování modelů strojového překladu.


WMT Metrics Task: Past Great Metrics, Current Evaluation Experiments, Future Metrics Challenges

WMT Metrics Task: Úspěšné starší metriky, současné experimenty, budoucí výzvy

A summary of ten years of automatic MT evaluation, highlighting past successful metrics, current evaluation challenges and topics that need to be tackled in the future.

Příspěvek shrnul deset let konání soutěže v automatickém hodnocení kvality překladu: představil úspěšné minulé metriky, současné experimenty a poukázal na potřebné další směry vývoje.


A new release of the Czech-English parallel corpus CzEng. CzEng 1.6 consists of about 0.5 billion words (“gigaword”) in each language. The corpus is equipped with automatic annotation at a deep syntactic level of representation and alternatively in Universal Dependencies.

Nové vydání česko-anglického paralelního korpusu CzEng. CzEng 1.6 obsahuje kolem půl miliardy slov v každém z jazyků.

Ondřej Bojar
Ondřej Dušek
Tom Kocmi
Jindřich Libovický
Michal Novák
Martin Popel
Roman Sudarikov
Dušan Variš


A pipeline of linguistic analysis used for CzEng 1.6 packaged in a Docker container. Any English or Czech text can be processed by this pipeline. The processing pipeline includes part-of-speech tagging, parsing, named entity recognition, semantic role labelling, coreference resolution etc.

Lingvistická anotace angličtiny a češtiny použitá pro CzEng 1.6 je nyní k dispozici pro jakýkoliv text ve formě Docker kontejneru.


CzEng 1.6: Enlarged Czech-English Parallel Corpus with Processing Tools Dockered

CzEng 1.6: Větší česko-anglický paralelní korpus

We present a new release of the Czech-English parallel corpus CzEng. CzEng 1.6 consists of about 0.5 billion words (“gigaword”) in each language. The corpus is equipped with automatic annotation at a deep syntactic level of representation and alternatively in Universal Dependencies. Additionally, we release the complete annotation pipeline as a virtual machine in the Docker virtualization toolkit.

Představujeme nové vydání česko-anglického paralelního korpusu CzEng. CzEng 1.6 obsahuje kolem půl miliardy slov v každém z jazyků.


Findings of the 2016 Conference on Machine Translation (WMT16)

Výsledky Workshopu o statistickém strojovém překladu v roce 2016

This paper presents the results of the
WMT16 shared tasks, which included five
machine translation (MT) tasks (standard
news, IT-domain, biomedical, multimodal,
pronoun), three evaluation tasks (metrics,
tuning, run-time estimation of MT quality),
and an automatic post-editing task
and bilingual document alignment task.
This year, 102 MT systems from 24 institutions
(plus 36 anonymized online systems)
were submitted to the 12 translation
directions in the news translation task. The
IT-domain task received 31 submissions
from 12 institutions in 7 directions and the
Biomedical task received 15 submissions
systems from 5 institutions. Evaluation
was both automatic and manual (relative
ranking and 100-point scale assessments).

Článek představuje výsledky společných úloh WMT16, které zahrnovaly 5 úloh strojového překladu (novinové texty, IT doména, biomedicína, multimodální překlad a překlad zájmen), 3 úlohy vyhodnocovací (metriky, tuning, odhadu kvality překladu) a automatické posteditace a bilingvní párování dokumentů. Letos se WMT zůčastnilo 102 překladových systémů z 24 institucí (plus 36 anonymizovaných online systémů).

Ondřej Bojar
Rajen Chatterjee
Christian Federmann
Yvette Graham
Barry Haddow
Matthias Huck
Antonio Jimeno Yepes
Philipp Koehn
Varvara Logacheva
Christof Monz
Matteo Negri
Aurelie Névéol
Mariana Neves
Martin Popel
Matt Post
Raphael Rubino
Carolina Scarton
Lucia Specia
Marco Turchi
Karin Verspoor
Marcos Zampieri


Results of the WMT16 Metrics Shared Task

Výsledky soutěže ve vyhodnocování strojového překladu

This paper presents the results of the
WMT16 Metrics Shared Task. We asked
participants of this task to score the outputs
of the MT systems involved in the
WMT16 Shared Translation Task. We
collected scores of 16 metrics from 9 research
groups. In addition to that, we computed
scores of 9 standard metrics (BLEU,
SentBLEU, NIST, WER, PER, TER and
CDER) as baselines. The collected scores
were evaluated in terms of system-level
correlation (how well each metric’s scores
correlate with WMT16 official manual
ranking of systems) and in terms of segment
level correlation (how often a metric
agrees with humans in comparing two
translations of a particular sentence).
This year there are several additions to
the setup: large number of language pairs
(18 in total), datasets from different domains
(news, IT and medical), and different
kinds of judgments: relative ranking
(RR), direct assessment (DA) and HUME
manual semantic judgments. Finally, generation
of large number of hybrid systems
was trialed for provision of more conclusive
system-level metric rankings.

Článek shrnuje výsledky soutěže v hodnocení kvality strojového překladu. Letos je soutěž rozšířena o několik novinek: větší počet jazykových párů, data z více domén, tři způsoby ručního vyhodnocení, jemuž se mají automatické metody v soutěži přiblížit.

Ondřej Bojar
Yvette Graham
Amir Kamran
Miloš Stanojević