Towards Automatic Detection of Applicable Diatheses

Automatická detekce aplikovatelných diatezí

The valency behavior (argument structure) of lexical items  is so varied that it cannot be described by general rules and must be captured in lexicons separately for each lexical item.
For verbs, lexicons typically describe only unmarked usage (the active form), while natural languages allow for certain regular changes in the number, type and/or realization of complementations (e.g. passivization).
Thanks to their regularity, such changes may be described in a separate rule component of the lexicon;
however, they are typically seen in many but not all verbs and their applicability to a given lexical unit (verb meaning) is not predictable from its valency alone.
In this paper, we describe our initial experiments with using a large morphologically annotated corpus of Czech for determining which diatheses are applicable to a given lexical unit.

Valenční lexikony typicky zachycují pouze bezpříznakové užití slovesa (aktivum), zatímco přirozený jazyk umožňuje řadu pravidelných změn v počtu, typu a/nebo povrchové formě valenčních doplnění (např. při pasivizaci).
Vzhledem k jejich pravidelnosti je výhodné tyto změny zachytit v pravidlové komponentě slovníku.
Jednotlivé změny typicky nacházíme u některých, ale ne u všech slovníkových jednotek (rámců), a proto je nutné u každého rámce uvést, která pravidla na něj lze aplikovat.
Ve článku popisujeme třífázový přístup k určení, které diateze lze aplikovat na daný slovesný význam.


MERLIN: An Online Trilingual Learner Corpus Empirically Grounding the European Reference Levels in Authentic Learner

Merlin: Tříjazyčný žákovský korpus empiricky zakotvující CEFR v autentických datech

Since its publication in 2001, the Common European Framework of Reference for Languages (CEFR) has gained a leading role as an instrument of reference for language teaching and certification. Nonetheless, there is a growing concern about CEFR levels being insufficiently illustrated in terms of authentic learner data. Such concern grows even stronger when considering languages other than English (cf., e.g., Hulstijn 2007, North 2000). In this paper, we present the MERLIN project that addresses this need by illustrating and validating the CEFR levels for Czech, German, and Italian. To achieve its goal, we are developing a didactically motivated online platform to enable CEFR users to explore authentic written learner productions that have been related in a methodologically sophisticated and rigorous way to the CEFR levels. By making a significant number of learner productions freely accessible and easily searchable in a form that is richly annotated with linguistic characteristics and learner error types, the platform will assist teachers, learners, test developers, textbook authors, teacher trainers, and educational policy makers in developing a more comprehensive conceptualization of CEFR levels based on authentic learner data.

In the first, methodology-oriented part of this paper, we explain how the learner textual data were collected, re-rated, transcribed, double-checked and prepared for additional manual and automatic processing. We then illustrate the indicators we built to analyze L2 productions. Indicators were derived through (a) linguistic analyses of the performance samples, (b) the operationalization of the CEFR scale descriptors, (c) the study of relevant literature on SLA and language testing, (d) textbook analyses and (e) a questionnaire study. This study allowed us to devise a harmonized annotation schema taking into account both common and language-specific features (e.g., gender/article in German, reflexive possessive pronouns in Czech, pronoun particles in Italian).

In the second, application-oriented part, we explain how, by offering a large corpus of freely accessible empirical material, the project helps provide a fine-grained characterization of the CEFR levels and how it serves language teaching and learning. MERLIN thereby aims at responding to the suggestions of the Council of Europe itself, which solicits the development of supplementary tools for illustrating the CEFR levels (http://purl.org/net/CEFR-Goullier.doc). Furthermore, we explain how the platform enables the targeted users to retrieve authentic information about the relationship of the CEFR levels to a wide spectrum of well-defined, user-need-oriented L2 challenges. MERLIN users, such as teacher or learners, can thus compare their students’ or their own performances and get a clearer picture of their strengths and weaknesses.

In the third, research-oriented part, we situate MERLIN with regards to two current topics in Second Language Acquisition: validation of CEFR scales and natural language processing for learner language

Korpus Merlin je žákovský korpus s psanými texty v čestině, němčině a italštině. Jeho cílem je ilustrovat úrovně CEFR autentickými daty. Článek popisuje metodologii tvorby korpusu (sběr dat, transkripci, anotaci, ověření kvality, atd.), možnosti jeho použití při validaci CEFR.

Katrin Wisniewski
Karin Schöne
Lionel Nicolas
Chiara Vettori
Adriane Boyd
Detmar Meurers
Andrea Abel
Jirka Hana


Khresmoi - multilingual semantic search of medical text and images

Khresmoi - multilinguální sémantické vyhledávání medicínských textů a obrázků

The Khresmoi project is developing a multilingual multimodal search and access system for medical and health information and documents. This scientific demonstration presents the current state of the Khresmoi integrated system, which includes components for text and image annotation, semantic search, search by image similarity and machine translation. The flexibility in adapting the system to varying requirements for different types of medical information search is demonstrated through two instantiations of the system, one aimed at medical professionals in general and the second aimed at radiologists. The key innovations of the Khresmoi system are the integration of multiple software components in a flexible scalable medical search system, the use of annotation cycles including manual correction to improve semantic search, and the possibility to do large scale visual similarity search on 2D and 3D (CT, MR) medical images.

Projekt Khresmoi vyvýjí multilinguální a multimodální vyhledávací a přístupový systém pro medicínské a zdravotní informace a dokumenty.

Niraj Aswani
Thomas Beckers
Erich Birngruber
Célia Boyer
Andreas Burner
Jakub Bystroň
Khalid Choukri
Sarah Cruchet
Hamish Cunningham
Jan Dědek
Ljiljana Dolamic
René Donner
Sebastian Dungs
Ivan Eggel
Antonio Foncubierta
Norbert Fuhr
Adam Funk
Alba García Seco de Herrera
Arnaud Gaudinat
Georgi Georgiev
Julien Gobeill
Lorraine Goeuriot
Paz Gomez
Mark A. Greenwood
Manfred Gschwandtner
Allan Hanbury
Jan Hajič
Jaroslava Hlaváčová
Markus Holzer
Gareth J.F. Jones
Blanca Jordán
Matthias Jordan
Klemens Kaderk
Franz Kainberger
Liadh Kelly
Sascha Kriewel
Marlene Kritz
Georg Langs
Nolan Lawson
Dimitrios Markonis
Iván Martínez
Vassil Momtchev
Alexandre Masselot
Hélène Mazo
Henning Müller
Pavel Pecina
Konstantin Pentchev
Deyan Peychev
Natalia Pletneva
Diana Pottecher
Angus Roberts
Patrick Ruch
Matthias Samwald
Priscille Schneller
Veronika Stefanov
Miguel Angel Tinte
Zdeňka Urešová
Alejandro Vargas
Dina Vishnyakova


Khresmoi Professional: Multilingual Semantic Search for Medical Professionals

Khresmoi Professional: Vícejazyčné sémantické vyhledávání pro medicínské odborníky

There is increasing interest in and need for innovative solutions to medical search. In this paper we present the EU-funded Khresmoi medical search and access system, currently in year 3 of 4 of development across 12 partners. The Khresmoi system uses a component-based architecture housed in the cloud to allow for the development of several innovative applications to support target users' medical information needs. The Khresmoi search systems based on this architecture have been designed to support the multilingual and multimodal information needs of three target groups: the general public, general practitioners and consultant radiologists. In this paper we focus on the presentation of the systems to support the latter two groups using semantic, multilingual text and image-based (including 2D and 3D radiology images) search.

V dnešní době stoupá zájem a potřeba inovativních řešení pro medicínské vyhledávání. V tomto článku představujeme systém Khresmoi pro medicínské vyhledávání a získávání informací, podporovaný Evropskou unií, na kterém se podílí dvanáct partnerů a který je momentálně ve třetím roce vývoje ze čtyř. Systém Khresmoi používá architekturu založenou na komponentách a provozovanou v cloudu, tak aby umožňovala vývoj několika inovativních aplikací, uspokojujících medicínské informační potřeby cílových uživatelů. Vyhledávací systémy Khresmoi založené na této architektuře byly navrženy tak, aby podporovaly vícejazyčné a víceúčelové informační potřeby tří cílových skupin: všeobecné veřejnosti, praktických lékařů a radiologů. V tomto článku se zaměřujeme na představení systémů pro praktické lékaře a radiology s využitím sémantického vyhledávání, vícejazyčného textového vyhledávání a vyhledávání založeného na obrázcích (zahrnujícího 2D a 3D radiologické obrázky).

Niraj Aswani
Thomas Beckers
Erich Birngruber
Célia Boyer
Andreas Burner
Jakub Bystroň
Khalid Choukri
Sarah Cruchet
Hamish Cunningham
Jan Dědek
Ljiljana Dolamic
René Donner
Ondřej Dušek
Sebastian Dungs
Ivan Eggel
Antonio Foncubierta
Norbert Fuhr
Adam Funk
Alba García Seco de Herrera
Arnaud Gaudinat
Georgi Georgiev
Julien Gobeill
Lorraine Goeuriot
Paz Gomez
Mark A. Greenwood
Manfred Gschwandtner
Allan Hanbury
Jan Hajič
Jaroslava Hlaváčová
Markus Holzer
Gareth J.F. Jones
Blanca Jordán
Matthias Jordan
Klemens Kaderk
Franz Kainberger
Liadh Kelly
Sascha Kriewel
Marlene Kritz
Georg Langs
Nolan Lawson
Johannes Leveling
David Mareček
Dimitrios Markonis
Iván Martínez
Vassil Momtchev
Alexandre Masselot
Hélène Mazo
Henning Müller
Michal Novák
Johann Petrak
João Palotti
Pavel Pecina
Konstantin Pentchev
Deyan Peychev
Natalia Pletneva
Martin Popel
Diana Pottecher
Angus Roberts
Rudolf Rosa
Patrick Ruch
Alexander Sachs
Matthias Samwald
Priscille Schneller
Veronika Stefanov
Aleš Tamchyna
Miguel Angel Tinte
Zdeňka Urešová
Alejandro Vargas
Dina Vishnyakova


Generic noun phrases and annotation of coreference and bridging  relations in the Prague Dependency Treebank

Generické jmenné fráze a anotace koreference a asociační anafory v PDT

This paper discusses the problem of annotation
of  coreference  relations  with  generic
expressions in a large scale corpus. We present
and  analyze  some  existing  theories  of
genericity,  compare  them  to  the  approaches  to generics  that  are  used  in  the  state-of-the-art coreference  annotation  guidelines  and  discuss how  coreference  of  generic  expressions  is processed  in  the  manual  annotation  of  the Prague  Dependency  Treebank.  After  analyzing some  typical  problematic  issues  we  propose some  partial  solutions  that  can  be  used  to enhance  the  quality  and  consistency  of  the annotation

V tomto článku se analyzují problémy anotace generických jmenných frází ve velkém jazykovém  korpusu. Podává se přehled existujících teorií referencí generických NP, tyto teorie se pak srovnávají s přístupy k generickým NP v aplikačních projektech a se situací v anotací koreference v různých korpusech. Po představení anotace generických NP v Pražském závoslostním korpusu se rozebírají typické problematické situace a obecné potíže a nabízí se některá řešení vylepšující kvalitu anotace.


Annotators’ Certainty and Disagreements in Coreference and Bridging Annotation in Prague Dependency Treebank

Anotátorská jistota a neshoda v anotaci koreference a asociační anafory v Pražském závislostním korpusu

We present the results of the coreference and bridging annotation in the Prague Dependency Treebank 2.0. The annotation is carried out on dependency trees (on the tectogrammatical layer). We describe the inter-annotator agreement measurement, classify and analyse the most common types of annotators’ disagreement. On two selected long texts,  we asked the annotators to mark the degree of certainty they have in some most problematic points; we compare the results to the inter-annotator agreement measurement.

Představujeme výsledky anotace koreference a asociační anafory v Pražském závislostním korpusu 2.0. Anotace byla provedena na závislostních stromech tektogramatické roviny. Popisujeme měření mezianotátorksé shody a klasifikujeme a analyzujeme nejčastější typy anotátorské neshody. Na dvou vybraných delších textech jsme požádali anotátory o značení jistoty jejich rozhodnutí; tuto jistotu porovnáváme s výsledky měření mezianotátorské shody.


How Dependency Trees and Tectogrammatics Help Annotating Coreference and Bridging Relations in Prague Dependency Treebank

Jak závislostní stromy a tektogramatika pomáhají anotaci koreference a asociační anafory v Pražském závislostním korpusu

We explore the benefits of dependency trees and tectogrammatical structure used in the Prague Dependency Treebank for annotating language phenomena that cross the sentence boundary, namely coreference and bridging relations. We present the benefits of dependency trees such as the detailed processing of ellipses, syntactic decisions for coordination and apposition structures that make possible coding coreference relations in cases that are not so easy when annotating on the raw texts.

Zkoumáme výhody závislostních stromů a tektogramatických struktur použitých v Pražském závislostním korpusu pro anotaci jazykových jevů překračujících hranici věty, jmenovitě koreference a asociační anafory. Uvádíme výhody závislostních stromů jako podrobné zpracování elips, syntaktické řešení koordinace a apozice umožňující značkování koreference v případech, které jsou přímo na textu složitější.


A Coreferentially annotated Corpus and Anaphora Resolution for Czech

The paper presents an overview of a finished project focused on annotation of grammatical, pronominal and extended nominal coreference and
bridging relations in the Prague Dependency Treebank (PDT 2.0). We give an overview of existing similar projects and their interests and compare them with our project. We describe the annotation scheme and the typology of coreferential and bridging relations and give the statistics of these types in the annotated corpus. Further we give the final results of the interannotator agreement with some explanations. We also briefly present the anaphora resolution experiments trained on the coreferentially annotated corpus and the future plans.

Představujeme ukončený projekt anotace koreference a asociační anafory na Pražském závislostním korpusu. Korpus obsahuje ruční anotace textové  koreference včetně koreference jmenných frází a tzv. bridging anafory, to vše na 50k větách korpusu. Také podáváme stručný popis automatických experimentů na těchto datech.

Anna Nedoluzhko
Jiří Mírovský
Michal Novák


Lexical Paraphrasing for Improvement of MT Evaluation

Zpřesňování hodnocení strojového překladu pomocí lexikálních parafrází

In this paper, we discuss the possibility of making the automatic evaluation of machine translation (MT) more accurate by targeted paraphrasing. The most common automatic metric for MT evaluation BLEU disregards synonymous phrases and word order variants. One way how to alleviate this drawback is to transform the reference translation into a one that is closer to the MT output and keeps its original meaning. We start with a basic algorithm for lexical substitution and discuss extending the process with word order changes and grammar checking.

Standardní metrika pro hodnocení strojového překladu BLEU nebere v úvahu synonymii mezi referenční větou a překladem. Tuto nevýhodu zkoušíme zmírnit cíleným parafrázováním referenční věty. Nově vzniklá věta by si tak zachovává význam a správnost původní referenční věty a současně je bližší strojovému překladu.


This is the PyKaldi - release 2013.

This code include modification of the gmm-lat-gen-faster decoder so that it can be used for online decoding. The modification based on a light weight modification to the original code by subclassing the main decoder class and adding online processing of input, including LDA+MLLT transforamtions.

In addtition, this code includes a Python wrapper so that the decoder can be used from any python application.

Toto je vydání PyKaldi pro rok 2013 - verze 1.0.

Tento kód obsahuje modifikace gmm-lat-gen-faster dekodéru, které umožňují jeho použití v úloze rozpoznávání mluvené řeči v reálném čase. Změny jsou založeny na povrchové modifikaci původního kódu pomocí dědění z původního dekodéru a přidání online zpracování vstupu včetně LDA+MLLT transformací.

Navíc, tento kód obsahuje Python knihovnu takže samotný dekodér může být použit z libovolného programu napsaného v Python programovacím jazyku.


Increasing the quality and quantity of source language data for unsupervised cross-lingual POS tagging.

Zlepšování kvality a kvantity dat ve zdrojovém jazyce pro neřízené morfologické značkování

Bilingual corpora offer a promising bridge between resource-rich and resource-poor languages, enabling the development of natural language processing systems for the latter. English is often selected as the resource-rich language, but another choice might give better performance. In this paper, we consider the task of unsupervised cross-lingual POS tagging, and construct a model that predicts the best source language for a given target language. In experiments on 9 languages, this model improves on using a single fixed source language. We then show that further improvements can be made by combining information from multiple source languages.

Tento článek se zabývá neřízenou metodu pro morfologické značkování, založené na projekci morfologické informace v paralelních datech a konstrukci prediktivního modelu pro optimální výběr zdrojového jazyka.

Thành Long Dương
Steven Bird
Paul Cook
Pavel Pecina


Simpler unsupervised POS tagging with bilingual projections

Jodnodušší neřízené morfologické značkování pomocí bilinguální projekce

We present an unsupervised approach to part-of-speech tagging based on projections of tags in a word-aligned bilingual parallel corpus. In contrast to the existing state-of-the-art approach of Das and Petrov, we have developed a substantially simpler method by automatically identifying “good” training sentences from the parallel corpus and applying self-training. In experimental results on eight languages, our method achieves state-of-the-art results.

Tento článek popisuje neřízenou metodu pro morfologické značkování založenou na projekci značek v bilinguálním paralelním korpusu. Ve srovnání s existujícími metodami je tato metoda jednodušší a rychlejší, vybírá spolehlivější trénovací příklady využívá tzv. selftraining.


A popularizing talk on computational linguistics and machine translation given at Science Café in Kladno.

Popularizační přednáška o počítačové lingvistice a strojovém překladu na tzv. Science Café v Kladně.


A brief description of our machine translation system that performed better than Google Translate in an English-to-Czech translation task.

Seznámení zájemců o studium informatiky s naším překladovým systémem, který v soutěži při překladu do češtiny dopadl lépe než Google Translate.


A brief introduction to UFAL research presented at the seminar TMC organized by CESNET, with the focus on possible shared interests and future collaboration.

Stručné seznámení účastníků Semináře TMC pořádaného CESNETem s výzkumem na naší katedře s důrazem na potenciální styčné body pro budoucí spolupráce.


Corpora and translation models for the company Lingea

Korpusy a překladové modely pro společnost Lingea

A customized delivery of the corpora CzEng and PCEDT and English<->Czech translation models for the MT system Moses on request of the company Lingea. As part of the delivery, we also provided a running setup on Lingea's machines.

Dodávka korpusů CzEng a PCEDT a překladových modelů pro systém Moses pro překlad mezi angličtinou a češtinou podle zadání společnosti Lingea. Součástí dodávky bylo zprovoznění překladového systémů na počítačích objednatele.


Chimera – Three Heads for English-to-Czech Translation

Chimera – tři hlavy pro anglicko-český strojový překlad

This paper describes our WMT submissions CU-BOJAR and CU-DEPFIX, the latter
dubbed "chimera" because it combines on three diverse approaches: TectoMT, a system
with transfer at the deep syntactic level of representation, factored
phrase-based translation using Moses, and finally automatic rule-based correction
of frequent grammatical and meaning errors.
We do not use any off-the-shelf system-combination method.

Článek popisuje naše příspěvky na WMT, systémy CU-BOJAR a CU-DEPFIX, později nazvaný "chiméra", protože kombinuje tři rozdílné přístupy: TectoMT, systém s transferem na úrovni hloubkové syntaxe, faktorový frázový překlad pomocí nástroje Moses, a konečně automatický pravidlový korektor častých gramatických a významových chyb. Nepoužíváme žádnou standardní metodu systémové kombinace.


Findings of the 2013 Workshop on Statistical Machine Translation

Výsledky Workshopu o statistickém strojovém překladu v roce 2013

We present the results of the WMT13 shared tasks, which included a translation task, a task for run-time estimation of machine translation quality, and an unofficial metrics task. This year, 143 machine translation systems were submitted to the ten translation tasks from 23 institutions. An additional 6 anonymized systems were included, and were then evaluated both automatically and manually, in our largest manual evaluation to date. The quality estimation task had four subtasks, with a total of 14 teams, submitting 55 entries.

Představujeme výsledky společných úloh z workshopu WMT: strojový překlad a odhad kvality překladu. Úloha metrik strojového překladu je prezentována v samostatném článku.
Letos se překladové soutěže účastnilo 143 systémů z celkem 23 institucí. Dalších 6 anonymních systémů jsme do hodnocení přidali sami. Ruční i automatické hodnocení výstupů bylo provedeno v dosud největším rozsahu. Úloha odhadu kvality překladu měla čtyři části a celkem se jí účastnilo 55 příspěvků od 14 týmů.

Ondřej Bojar
Christian Buck
Chris Callison-Burch
Christian Federmann
Barry Haddow
Philipp Koehn
Christof Monz
Matt Post
Radu Soricut
Lucia Specia


Scratching the Surface of Possible Translations

One of the key obstacles in automatic evaluation of machine translation systems is the reliance on a few (typically just one) human-made reference translations to which the system output is compared. We propose a method of capturing millions of possible translations and implement a tool for translators to specify them using a compact representation. We evaluate this new type of reference set by edit distance and correlation to human judgements of translation quality.

Jedna z hlavních obtíží při automatickém vyhodnocování strojového překladu je závislost na několika (typicky na jediném) lidských referenčních překladech, se kterými se výstup překladového systému srovnává. Navrhujeme metodu, jak zachytit milióny možných překladů, a implementujeme nástroj, s jehož pomocí mohou překladatelé takové překlady popsat v kompaktní reprezentaci. Vyhodnocujeme takto vzniklou novou referenční sadu s použitím editační vzdálenosti a korelace s lidským hodnocením kvality překladu.

Ondřej Bojar
Matouš Macháček
Aleš Tamchyna
Daniel Zeman


The Design of Eman, an Experiment Manager

Návrh Emana, nástroje pro správu experimentů

We present eman, a tool for managing large numbers of computational experiments. Over
the years of our research in machine translation (MT), we have collected a couple of ideas for
efficient experimenting. We believe these ideas are generally applicable in (computational)
research of any field. We incorporated them into eman in order to make them available in a
command-line Unix environment.
The aim of this article is to highlight the core of the many ideas. We hope the text can serve
as a collection of experiment management tips and tricks for anyone, regardless their field of
study or computer platform they use. The specific examples we provide in eman’s current syntax
are less important but they allow us to use concrete terms. The article thus also fills the gap in eman documentation by providing some high-level overview.

Představujeme emana, nástroj pro správu velkého množství výpočetních experimentů. V průběhu let našeho výzkumu strojového překladu (MT) jsme sesbírali několik nápadů pro efektivní experimentování. Věříme, že tyto nápady jsou obecně použitelné v (počítačovém) výzkumu v libovolném oboru. Zahrnuli jsme je do emana, aby byly dostupné v prostředí příkazové řádky Unixu. Cílem článku je zvýraznit hlavní myšlenky v pozadí těchto nápadů. Doufáme, že text bude sloužit jako sbírka tipů pro správu experimentů pro každého, nezávisle na konkrétním oboru nebo počítačové platformě. Konkrétní příklady, které ukazujeme v současné syntaxi nástroje eman, jsou méně důležité, ale umožňují užití konkrétních termínů. Článek tedy zároveň vyplňuje mezeru v dokumentaci emana tím, že podává abstraktnější pohled na tento nástroj.


Joint Morphological and Syntactic Analysis for Richly Inflected Languages

Joint morphological and syntactic analysis has been proposed as a way of improving parsing accuracy for richly inflected languages. Starting from a transition-based model for joint part-of-speech tagging and dependency parsing, we explore different ways of integrating morphological  features into the model. We also investigate the use of rule-based morphological analyzers to provide hard or soft lexical constraints and the use of word clusters to tackle the sparsity of lexical features. Evaluation on five morphologically rich languages (Czech, Finnish, German, Hungarian, and Russian) shows consistent improvements in both morphological and syntactic accuracy for joint prediction over a pipeline model, with further improvements thanks to lexical constraints and word clusters. The final results
improve the state of the art in dependency parsing for all languages.

Spojená morfologická a syntaktická analýza pro jazyky s bohatou flexí je založena na datech pro několik slovanských jazyků a finštinu, a porovnána s angličtinou.

Jan Hajič
Bernd Bohnet
Joakim Nivre
Igor Boguslavsky
Richárd Farkas
Filip Ginter


Some counterexamples to the view that the general Actor (PRO-arbitrary) has no slot in the surface structure of the sentence are submitted. The reciprocal actors expressed in Czech by the prepositional case mezi + Instrumental case (among/between) are anlyzed from the point of view of their possible actor function.

Předkládají se protipříklady k běžnému tvrzení, že všeobecný konatel (PRO-arbitrary) nemůže být ve větě vyjádřen. Jde o okrajové případy recipročních konatelů vyjadřovaných v češtině předložkovým pádem mezi + Instrumentál. Zvažují se i jiné možnosti interpretace této konstrukce.


Ellipsis ( what is not present in corpora either)

The necessity to fill the surface structures of selected ellipsis by reconstruction of predicates was demonstrated by the comparison konstructions, by the ambiguous constructions introduced by the expression kromě and by the so-called substituting constructions introduces by the expression místo.

K prezentaci hloubkových syntaktických struktur vyžadujících doplnění povrchové reprezentace do vyhovujícícho formátu byly vybrány: srovnávací struktury, dvojznačné struktury uvozené výrazem kromě a tzv. konstrukce substituční (uvozeneé výrazem místo).


Application of Lexical Information in Grammar (on the data of Czech Verbs)

Slovníková informace a její použití v gramatice (na příkladu českého slovesa)

The cooperation of the grammatical component and lexical information included in the lexical entry is exemplified by the valency of verbs, grammatical diathesis and constructions with coreference.  The restrictions must be reflected in the lexical entries. Several rules for the combining of lexical and syntactical information are demonstrated.

Ve stati se ilustruje kooperace gramatického komponentu se slovníkovými údaji týkajícími se valence slovesa, jeho gramatických diatezí, požadavků na koreferenci. Ve slovníku je třeba zachytit omezení na tvorbu analyzovaných konstrukcí. Tyto požadavky se exemplifikují několika pravidly pro uplatnění slovníkových údajů při vytváření rezultativu a infinitivní konstrukce.


Requirements of the grammatical component on the lexical information in the lexicon

Požadavky gramatického komponentu na slovníkovou informaci

Trebovanija grammatičeskogo komponenta k leksičeskoj informacii v slovare

Within the  workshop The relations between grammar and lexicon the lexical restrictions on the application of some grammatical (morphological) categories to the lexicon were demonstrated by the examples of Czech passive, rezultativ and recipient constructions.

V rámci tematického bloku Vztah gramatiky a slovníku byla přednesena přednáška o lexikálních omezeních některých gramatických (morfologických) kategorií (pasiva, rezultativu, recipientu). Byl zvažován způsob jejich zachycení v explicitním popisu češtiny.

V ramkax tematičeskogo bloka Vzaimotnošenija grammatiki i slovarja byli v doklade predstavleny
ogranichenija v upotreblenii nekotorych češskich grammatičeskich (morfologičeskich) konstrukcij, napr. passivnoj, rezultativnoj i recipientnoj diatezy. Eti ograničenija dolžny byt´markirovany v slovare.


The article was devoted to the memory of Světla čmejrková, the famous Czech linguist. Her contribution to the domain of science as well as in the domain of management of science are evaluated.

Nekrolog je věnován přední české lingvistce, která pracovala jako zástupkyně ředitele Ústavu pro jazyk český, měla bohatou publikační činnost, působila zejména v oblasti výzkumu mluveného jazyka a textové lingvistiky.


The Role of Grammatical Constraints in Lexical Component in Functional Generative Description

Role gramatických omezení v lexikálním komponentu Funkčního generativního popisu

The present paper deals with selected morphological and syntactic features of Czech verbs. Working within the framework of Functional Generative Description (FGD), we demonstrate which features of lexical entries are required by the syntactic component of the description. In addition to the passive voice, traditionally described as diathesis, we briefly describe other kinds of proposed diatheses (resultative-1, resultative-2, and recipient). The constraints for their application will be present as features in the corresponding lexical entry; they will be a part of verbal paradigm in formal morphology. Regular operations within hierarchy of valency participants and their surface-syntactic positions are introduced into the grammatical component. Reciprocalization is characterized as a kind of shifting of valency complementations into the surface-syntactic position We also specify the requirements of the verbs governing the infinitive and content clauses and point out to the interplay between the governing verb and modality of the content clause.

Příspěvek se zabývá vybranými morfologickými a syntaktickými rysy českých sloves, které jsou v teoretickém rámci Funkčního generativního popisu je uváděny ve slovníkovém hesle daného slovesa. Probírány jsou slovesné diateze (kromě pasiva také dva typy rezultativní diateze a recipinentní diatezi), reciprokalizace, kontrola a modalita závislých klauzí.


On stratificational modelling of language

The contribution presents a criticism of the opinion that a multilevel language model has already exhausted the possibilites it offered and may play a limited role. The author argues that the specification of the relation between levels can be based on strict criteria taking into account the difference between linguistic meaning and extralinguistic content.

Příspěvek zaujímá kritické stanovisko k názoru, že vícerovinný popisu přirozeného jazyka již vyčerpal své možnosti a mohl by sehrát limitující úlohu, a ukazuje, že vztah mezi rovinami popisu lze vymezit na základě přísných kritérií a že při vymezení rovin je třeba brát v úvahu rozdíl mezi jazykovým významem a mimojazykovým obsahem.


Professor Ladislav Matejka (1919-2012) passed away

Profesor Ladislav Matějka (1919-2012) zemřel

A summary of the life achievements of a well-known Czech linguist and slavisist prof. L. Matejka, who was an important propagator of Czech linguistics and Czech culture in general in international community.

Zamyšlení nad dílem významného českého lingvisty a slavisty prof. L. Matějky, který byl významným propagátorem české lingvistiky i kultury vůbec v mezinárodnim měřítku.


Vilém Mathesius and functional sentence perspective, and beyond

Vilém Mathesius and funkční perspektiva větná

About a great Czech linguist Vilém Mathesius and his scientific contribution, in particular, about  his functional sentence perspective.

O velkém českém lingvistovi a jeho přispění lingvistice, zejména o jeho aktuálním členění.


Tracing salience in the Prague Dependency Treebank

Sledování aktivovanosti v Pražském závislostním korpusu

We work with the notion of the degrees of salience (activation) of the items in the stock of shared knowledge together with the representation of the dynamic development of the discourse by means of changes of these degrees.

Většina systémů počítačového zpracování přirozeného jazyka pracuje s kontextem. Tj. se znalostí slov a vztahů mezi nimim.
My pracujeme s konceptem aktivovanosti, formulovaným v rámci funkčně-generativního popisu jazyka.


The book Bitext Alignment by Jörg Tiedemann is a complete and detailed survey of numerous and diverse techniques for alignment of bitexts on various levels of granularity. It covers the full range of alignment tasks: document alignment, sentence alignment, word alignment, and tree structure alignment. The main text is divided into seven chapters (covering 124 pages) accompanied by three appendices (27 pages).

Kniha Bitext Alignment od Jörga Tiedemanna je kompletním a detailním přehlededm početných a rozličných technik pro zarovnávání paralelních textů na různých úrovních: dokumentech, větách, slovech i syntaktických strukurách.


An Analysis of Annotation of Verb-Noun Idiomatic Combinations in a Parallel Dependency Corpus

Analýza anotace idiomatických frází v paralelním korpusu

While working on valency lexicons for Czech
and English, it was necessary to define treatment
of multiword entities (MWEs) with the
verb as the central lexical unit. We
present a corpus-based study, concentrating on
multilayer specification of verbal MWEs, their
properties in Czech and English, and a comparison
between the two languages using the
parallel Czech-English Dependency Treebank
(PCEDT). This comparison revealed interesting
differences in the use of verbal MWEs in
translation (discovering that such MWEs are
actually rarely translated as MWEs, at least
between Czech and English) as well as some
inconsistencies in their annotation.

Při práci na propojení českého a anglického valenčního slovníku bylo nutno navhnout, jak zacházet s víceslovními jednotkami, jejichž základem je sloveso; bylo stanoveno jejich formální zachycení. Ve studii založené na paralelních korpusech PCEDT a PDT popisujeme, jak si tyto jednotky odpovídají v textech, jak byly anotovány v obou jazycích a porovnáváme jejich charakteristiky jak v originále, tak v překladu.

Zdeňka Urešová
Eva Fučíková
Jan Hajič
Jana Šindlerová


Adverbal objective genitive and its counterparts in nominal constructions: The case of possessives

Adverbální předmětový genitiv a jeho protějšky v nominálních konstrukcích: Případ posesiva

In the present paper, valency properties of Czech nouns derived from verbs with an object expressed by prepositionless genitive (GenAdverb) are studied. Special attention is paid to the possibility of the participant with an object function to be expressed by a possessive adjective or a possessive pronoun (Adjposs / Pronposs), when it modifies the derived noun. Usage of Adjposs / Pronposs (← GenAdverb) was verified in data of the Czech National Corpus; the form was found with eleven nouns derived from verbs by productive means (e.g. zanechání studia ‘quitting study-Gen.Sg’, i.e. ‘quitting one’s studies’ // jeho zanechání ‘it-Poss quitting’, i.e. ‘its quitting’) and with two nouns derived from verbs by non-productive means (e.g. dotyk volantu ‘touch wheel-Gen.Sg’, i.e. touch of wheel // jeho dotyk ‘it-Poss touch’, i.e. ‘its touch’). We suppose that the alternation GenAdnom // Adjposs / Pronposs (← GenAdverb) is used in Czech as an analogy to the more frequent alternation GenAdnom // Adjposs / Pronposs (← Ak).

Tato studie se zabývá valenčními vlastnostmi českých deverbativních substantiv odvozených ze sloves s předmětovým genitivem (GenAdverb). Věnuje se otázkám vztahu adverbálních vyjádření valenčních doplnění a jejich adnominálních protějšků; zvláštní pozornost je věnována možnosti vyjádření adnominálního aktantu odpovídajícího adverbálnímu předmětovému genitivu pomocí posesivního adjektiva nebo zájmena (Adjpos/Pronpos). Užívání formy Adjpos/Pronpos (← GenAdverb) bylo ověřováno na datech Českého národního korpusu: tato forma byla nalezena u jedenácti produktivně tvořených substantiv (např. zanechání studia // jeho zanechání) a u dvou neproduktivně tvořených substantiv (např. dotyk volantu // jeho dotyk). Předpokládáme, že alternace GenAdnom // Adjpos / Pronpos (← GenAdverb) je v češtině užívána analogicky k běžnější alternaci GenAdnom // Adjpos / Pronpos (← Ak).


Agents Expressed by Prepositionless Instrumental Modifying Czech Nouns Derived from Intransitive Verbs

Konatel vyjádřený bezpředložkovým instrumentálem u českých substantivffodvozených z intranzitivních sloves

The present paper aims to provide corpus-based description of Czech deverbal nouns that allow for modification by Agent expressed by prepositionless instrumental, A1(Ins). As the starting point we give frequency data of selected nouns derived from transitive verbs. Then we focus on nouns derived from intransitive verbs and show that modification by A1(Ins) is possible not only with nouns derived from verbs that can be passivized, but also with nouns the source verbs of which cannot be changed to passive. The latter issue represents the most contributive finding of the paper; it concerns especially nouns derived from reflexive verbs, both transitive and intransitive. We also improve the up-to-now description by taking into consideration not only Czech nouns derived from verbs by productive means (e.g. domlouvání ‘talking’) but also the non-productively derived ones (e.g. domluva ‘caution’), mostly left aside. Finally, the corpus material also gives an evidence for usage of theoretically ungrammatical constructions in which the second complementation (A2) is omitted on the surface and only A1(Ins) is expressed, e.g. vyhrožování zaměstnavatelem ‘threatening by the employer’, domluva strážníky ‘caution by police officers’; the corpus-based examples lead to the revision of the statement about ungrammaticality of such constructions.

Tato studie, založená na korpusovém mateiálu, popisuje česká deverbativní substantiva, která umožňují rozvití pomocí Aktora v bezpředložkovém instrumentálu, tj. A1(Ins). Jako východisko pro možné srovnání uvádíme frekvenční údaje týkající se vybraných substantiv odvozených z tranzitivních sloves. Poté se zaměřujeme na substantiva odvozená z intranzitivních sloves a ukazujeme, že rozvití pomocí A1(Ins) je možné nejen u substantiv odvozených ze sloves, která mohou být převedena do pasiva, ale také u substantiv odvozených ze sloves, která pasivizaci neumožňují. Vzhledem k tomu, že možnost vyjádření A1(Ins) u substantiv bývá s možností pasivizace základových sloves spojována, je užívání A1(Ins) u substantiv odvozených ze sloves, ktará pasivizaci neumožňují, zajímavým jevem. Týká se to především substantiv odvozených z reflexivních sloves, a to jak intranzitivních, tak tranzitivních. Studie také přispívá k dosavadnímu popisu tím, že zkoumá nejen česká produktivně tvořená deverbativní substantiva (např. domlouvání), ale rovněž substantiva neproduktivně tvořená (např. domluva), která jsou často opomíjena. Poukazuje rovněž na skutečnost, že korpusový materiál podává důkazy o užívání teoreticky negramatických konstrukcí, ve kterých je vyjádřen pouze A1(Ins), zatímco druhé doplnění A2 je povrchově vypuštěno, např. vyhrožování zaměstnavatelem, domluva strážníky; domníváme se, že nalezené korpusové doklady vedou k přehodnocení tvrzení o negramatičnosti těchto konstrukcí.


Czech nouns derived from verbs with an objective genitive: Their contribution to the theory of valency

Česká substantiva odvozená od sloves s přemětovým genitivem: Jejich přínos k teorii valence

Czech nouns derived from verbs with an objective genitive considerably contribute to the theoretical description of valency of Czech deverbal nouns. We focus on four topics, namely (i) Correspondence GENAdverb – GENAdnom?;
(ii) Double post-nominal genitives;
(iii) Possessives corresponding to an adverbal objective genitive;
(iv) Agents expressed by a prepositionless intrumental modifying nouns derived from intransitive verbs.
We used morphologically annotated subcorpora of the Czech National Corpus.

Popis valenčních vlastností substantiv odvozených od sloves s předmětovým genitivem nám umožňuje upřesnit teoretické poznatky týkající se čtyř následujících skupin jevů z oblasti teorie valence substantiv:
(i) korespondence adverbálního a adnominálního genitivu (dotknout se puku - dotknutí se puku / dotyk puku);
(ii) nominalizované struktury se dvěma aktanty ve formě bezpředložkového genitivu (kromě tradičně uváděných konstrukcí typu zbavení ženy.ADDR starostí.PAT popisujeme další typy, tříděné podle typu aktantů v základové větné struktuře, např. dotek včelky.ACT pestíku.PAT květu, a podle příslušnosti k víceslovným predikátům, např. zanechání činnosti.PAT řady.ACT klíčových hráčů);
(iii) posesivum odpovídající adverbálnímu objektu (např. zanechání studia.PAT // jeho.PAT zanechání, dotyk volantu.PAT // jeho.PAT dotyk);
(iv) konatel vyjádřený bezpředložkovým instrumentálem u substantiv odvozených z intranzitivních sloves (např. ujímání se zvířátek.PAT hodnými lidmi.ACT).
Jazykový materiál byl získán z dat morfologicky značkovaných subkorpusů ČNK.


Substantiva odvozená od sloves s předmětovým genitivem a jejich přínos k teorii valence substantiv

Czech nouns derived from verbs with an objective genitive considerably contribute to the theoretical description of valency of Czech deverbal nouns. We focus on three topics, namely (i) Possessives corresponding to an adverbal objective genitive;
(ii) Double post-nominal genitives;
(iii) Agents expressed by a prepositionless intrumental modifying nouns derived from intransitive verbs.
We used morphologically annotated subcorpora of the Czech National Corpus.

Popis valenčních vlastností substantiv odvozených od sloves s předmětovým genitivem nám umožňuje upřesnit teoretické poznatky týkající se tří následujících skupin jevů z oblasti teorie valence substantiv:
(i) posesivum odpovídající adverbálnímu objektu (např. zanechání studia.PAT // jeho.PAT zanechání, dotyk volantu.PAT // jeho.PAT dotyk);
(ii) nominalizované struktury se dvěma aktanty ve formě bezpředložkového genitivu (kromě tradičně uváděných konstrukcí typu zbavení ženy.ADDR starostí.PAT popisujeme další typy, tříděné podle typu aktantů v základové větné struktuře, např. dotek včelky.ACT pestíku.PAT květu, a podle příslušnosti k víceslovným predikátům, např. zanechání činnosti.PAT řady.ACT klíčových hráčů);
(iii) konatel vyjádřený bezpředložkovým instrumentálem u substantiv odvozených z intranzitivních sloves (např. ujímání se zvířátek.PAT hodnými lidmi.ACT).
Jazykový materiál byl získán z dat morfologicky značkovaných subkorpusů ČNK.


(Pre-)Annotation of Topic-Focus Articulation in Prague Czech-English Dependency Treebank

(Před-)anotace aktuálního členění v Pražském česko-anglickém závislostním korpusu

The objective of the present contribution is to give a survey of the annotation of information structure in the Czech part of the Prague Czech-English Dependency Treebank. We report on this first step in the process of building a parallel annotation of information structure in this corpus, and elaborate on the automatic pre-annotation procedure for the Czech part. The results of the pre-annotation are evaluated, based on the comparison of the automatic and manual annotation.

Cílem příspěvku je představit anotaci aktuálního členění v české části Pražského česko-anglického závislostního korpusu. Podáváme zprávu o tomto prvním kroku v procesu vytváření paralelní anotace aktuálního členění v tomto korpusu a podrobně popisujeme automatickou předanotaci české části. Výsledky předanotace jsou vyhodnoceny na základě srovnání automatické a ruční anotace.

Jiří Mírovský
Kateřina Rysová
Magdaléna Rysová
Eva Hajičová


Prague Dependency Treebank as a prototype for multilingual corpora

Pražský závislostní korpus jako prototyp pro vícejazyčný korpus

A keynote speech in the section Parallel slavic corpora. The speech presented annotation principles of the Prague Dependency Treebank, as well as other corpora based on these principles, incl. parallel corpora.

Keynote přednáška bloku Paralelní slavistické korpusy. Obsahem přednášky bylo představení anotačních principů Pražského závislostního korpusu a rovněž představení dalších korpusů, které tyto anotační principy využívají, včetně korpusů paralelních.


The Prague Arabic Dependency Treebank, version 1.5 (PADT 1.5) is a collection of  texts in Modern Standard Arabic, entiched with morphological and analytical (surface-syntax dependency) annotation.

Pražský závislostní korpus arabštiny, verze 1.5, je kolekce textů v moderní arabštině, obohacená o ruční morfologickou a závislostní anotaci.

Otakar Smrž
Viktor Bielický
Iveta Smržová
Petr Pajas
Zdeněk Žabokrtský
Daniel Zeman
Jakub Kráčmar
Shadi Saleh
Jan Hajič
Petr Zemánek


CzechMate: Machine Translation into Czech

Restricted web-based demo version of application of statistical machine translation from English, German, Spanish and French to Czech.

Omezená webová demoverze aplikace statistického strojového překladu z angličtiny, němčiny, španělštiny a francouzštiny do češtiny.


Accompanying website to the workshop on linguistic tools for students of Czech at Palacký University in Olomouc. Most of the time it describes data and tools provided by ÚFAL, but not solely. Sometimes it draws attention to related software created at a different institute or as a result of a common project of ÚFAL and other institutes.

Tato stránka vznikla jako doprovodný web k semináři o lingvistických nástrojích pro studenty bohemistiky na Univerzitě Palackého v Olomouci. Zabývá se především daty a nástroji poskytovanými ÚFALem, ale nejenom jimi. Občas upozorňuje i na související software vzniklý buď zcela na jiném pracovišti, nebo jako výsledek společného projektu ÚFALu s dalšími ústavy.


The relationship between a sentence in a natural language as written down and
its meaning is a very complex phenomenon. Many variations of the sentence
preserve the meaning while other superficially very small changes can distort or
completely reverse it. In order to process and produce sentences
algorithmically, we need to somehow capture the semantic identity and similarity
of sentences.

The issue has been extensively studied from a number of directions, starting
with thesauri and other lexical databases that capture synonymy of indivitual
words (most notably the WordNet \cite{wordnet}), automatic paraphrasing
of longer phrases or even sentences
(e.g.
\cite{bannard-callison-burch-2005},
\cite{kauchak-barzilay},
\cite{denkowski-lavie:2010:WMT}) or
textual entailment \cite{textual-entailment}.
We are still far away from a satisfactory solution.

The field of machine translation
makes the issue tangible in a couple of ways, most importantly within the
task of automatic MT evaluation.
Current automatic MT evaluation techniques rely on the availability of some
reference translation, i.e. the translation as produced by a human translator.
Obtaining such reference translations is relatively costly, so most datasets
provide only one reference translation, see e.g.
\cite{callisonburch-EtAl:2012:WMT}.

While there are many possible
translations of a given input sentence, only a handful of them are available as
reference translations. The sets of hypotheses considered or finally selected by
the MT system can be completely disjoint from the set of reference translations.
\cite{bojar-kos:2010:WMT} observed that only about 5--10\% of reference translations were \emph{reachable} for
Czech-to-English translation , regardless whether the system
would actually search towards them.
Relying mostly on unreachable reference translations is detrimental for MT
system development. Specifically, automatic MT evaluation methods perform worse
and consequently automatic model optimization suffers.

Occasionally there are a few more references available.
For example, in the NIST OpenMT evaluation\footnote{\url{http://www.itl.nist.gov/iad/mig/tests/mt/2006/doc/mt06eval_official_results.html}}
or in the Prague Czech-English Dependency Treebank \cite{pcedt}
there are four.
Difficult as they may be to obtain, even four references fail to provide
an adequate representation of the enormous space of correct translations.

We want to trigger discussion about how many and what sort of references
we actually need for MT, how can we obtain and use them.

Obviously the set of possible translations is exponentional in the length of the sentence.
Dreyer and Marcu \cite{dreyer-marcu} generated translation networks for the HyTER
evaluation metric; the networks provided them with a compact representation
of the large space of possible translations.
Along the same lines, we propose unification-based approach to describe the space
\cite{tsd-hyter}.
Using a Prolog-based annotation tool
and applying a 2-hour upper working limit per sentence,
our translators were able to generate tens of thousands (or more) Czech references
for each English sentence; the record figure was 19 billion translations
of one long sentence.
The way of actually using such data is an open question.
If we just take the \texttt{mteval} script and run it with 19 billion references instead of four,
we will probably not live long enough to see the results.
Randomly selected and manually checked samples from these generated translations
indicated that the translations are indeed plausible.
We used a Levenshtein-based string similarity measure to confirm diversity of the generated set.

We also measured the string similarity between system outputs and various reference translations:
those from the generated set
and also two manually post-edited system outputs.
Unsurprisingly, each of the two post-edited translations were much closer to the
original system outputs than the single reference translation that was
originally available for that test set.
However, our annotators managed to produce references which are almost
exactly as close as the post-edited translations,
even though they did not have access to them or the system outputs.

\cite{wmt2013} showed that with several references (and with the BLUE and NIST metrics)
smaller test set with multiple post-edited references
has the same level of correlation with human judgments
as a much larger test set with just one reference, created independently of MT.
In future we might further investigate that in terms of
\textit{which} system outputs to post-edit (average? good? all?)

During the past 20 years we have accummulated impressive amount of bitext and it keeps growing.
Our current conclusion is that not every bitext is equally valuable.
Diversity of translation alternatives in either language is at least as important.
So where will we be after the next 20 years?
Quite likely, the amount of bitext available will multiply accordingly.
However, we also hope that for every sentence ``pair'', the number of available translation variants
will also multiply.

Vztah mezi větou v přirozeném jazyce, tak jak je napsaná, a jejím významem je velmi složitý jev. Existuje mnoho variant téže věty, které zachovávají význam, zatímco jiné, povrchově velmi malé změny mohou význam zkreslit nebo zcela otočit. Abychom mohli věty algoritmicky zpracovávat a generovat, musíme najít způsob, jak zachytit jejich sémantickou identitu a podobnost.


A Gentle Introduction to Machine Learning in NLP using R

Úvod do strojového učení v počítačové lingvistice s použitím R

The course provides a concise introduction to principles and algorithms of machine learning in natural language processing both theoretically
and practically. We will focus on fundamental ideas in machine learning and the basic theory behind them. The principles of machine learning
will be presented in a gentle way so that students do not have to be afraid of scary mathematical formulas. We will give a brief introduction to the R system for statistical computing, which we use as a tool for practical demonstration. Students
will gain practical know-how needed to apply the machine learning techniques to new problems.
The presented methods of machine learning will be practically demonstrated on selected tasks from the field of natural language processing. Understanding these tasks will not require any extra linguistic knowledge. We will show how to master NLP tasks using the R
system and how to experiment with real data sets.

Úvodní kurz je věnován teoretickému a praktickému pohledu na základní principy a algoritmy strojového učení v počítačovém zpracování přirozeného jazyka. Posluchačům jsou představeny základy statistického systému R.


Feature Engineering in the NLI Shared Task 2013: Charles University Submission Report

Ladění atributů v soutěži NLI Shared Task 2013: zpráva týmu z Univerzity Karlovy

Our goal is to predict the ﬁrst language (L1)
of English essays’s authors with the help of
the TOEFL11 corpus where L1, prompts (topics) and proﬁciency levels are provided. Thus
we approach this task as a classiﬁcation task
employing machine learning methods. Out
of key concepts of machine learning, we focus on feature engineering. We design features across all the L1 languages not making
use of knowledge of prompt and proﬁciency
level. During system development, we experimented with various techniques for feature ﬁltering and combination optimized with respect
to the notion of mutual information and information gain. We trained four different SVM
models and combined them through majority
voting achieving accuracy 72.5%.

Naším cílem je predikovat rodný jazyk (L1) autorů anglických esejí za pomoci korpusu TOEFL11, ve kterém jsou známy jazykové úrovně autorů a témata esejí. Úlohu řešíme jako klasifikační úlohu pomocí řízených metod strojového učení. Zaměřujeme se na ladění atributů, mezi které jazykovou úroveň a témata nezahrnujeme. Atributy navrhujeme napříč jazyky L1. Experimentujeme s několika technikami pro filtrování a kombinaci atributů s ohledem na kritéria z informační teorie. Celkem jsme natrénovali čtyři modely SVM a pomocí většinového hlasování je zkombinovali do modelu dosahujícího úspěšnosti 72.5%.

Barbora Hladká
Martin Holub
Vincent Kríž


Manual tagging and parsing are obligatory parts of Czech lessons, probably the most unpopular. We implement Capek editor for iPhone and iPad (to be published at AppStore in April 2013) to make tagging and parsing cool. Annotations by school children are automatically transformed into the Prague Dependency Treebank annotation framework.

Tvaroslovné a větné rozbory jsou povinnou součástí hodin češtiny, pravděpodobně tou nejméně oblíbenou. Pro zařízení iPhone a iPad připravujeme editor Čapek (publikace na AppStore duben 2013), díky kterému by mohlo být provádění rozborů "hustý". Z akademického pohledu jsou školské rozbory základnou pro rozšíření banky dat, kterou využíváme v aplikacích počítačového zpracování přirozeného jazyka.


Annotation on the tectogrammatical level. Additions to annotation manual (with respect to annotation of PDTSC and PCEDT)

Anotace na tektogramatické rovině. Dodatky k anotátorské příručce (s ohledem na anotování PDTSC a PCEDT)

Technical report provides new annotation rules for annotation of czech text on tectogrammatical level of the Prague Dependency Treebanks. The rules supplement main annotation manual (ÚFAL/CKL TR-2005-28) and were formed with respect to annotation of PCEDT 2.0 and PDTSC 2.0.

Technická zpráva shrnuje nová anotační pravidla pro anotovaní českých textů na tektogramatické rovině Pražských závislostních korpusů, která doplňují velký anotační manuál (ÚFAL/CKL TR-2005-28). Pravidla vznikla v souvislosti s anotováním korpusů PCEDT 2.0 a PDTSC 2.0.


From PDT 2.0 to PDT 3.0 (Modifications and Complements)

Technical report describes improvement of the older scenario of PDT 2.0 that was applied in PDT 3.0. The description of changes and additions for the annotation procedure, the motivation for them, the procedure of their annotation and exemplification are given in the first part of this report. The extensions of the textual coreference, inter-sentential relations and genre classification of the texts included in PDT 3.0 are described in the other part of the report.

Technická zprava popisuje inovace, které byly provedeny ve verzi PDT 3.0 oproti verzi PDT 2.0. Vysvětluje jejich lingvistickou podstatu, zdůvodnění, pokyny pro anotaci a exemplifikaci. Její jedna část je věnována nově zavedeným nebo upraveným jevům tektogramatické roviny. V její další části jsou představeny jevy textové koreference, mezivětných vztahů, žánrové klasifikace dat a způsob jejich anotování v PDT 3.0.

Marie Mikulová
Eduard Bejček
Jiří Mírovský
Anna Nedoluzhko
Jarmila Panevová
Lucie Poláková
Pavel Straňák
Magda Ševčíková
Zdeněk Žabokrtský


Modifications and Complements of Prague Dependency Treebank (From PDT 2.0 to PDT 3.0)

Úpravy a doplňky Pražského závislostního korpusu (Od PDT 2.0 k PDT 3.0)

Technická zprava popisuje inovace, které byly provedeny ve verzi PDT 3.0 oproti verzi PDT 2.0.  Vysvětluje jejich lingvistickou podstatu, zdůvodnění, pokyny pro anotaci a exemplifikaci. Její jedna část je věnována nově zavedeným nebo upraveným jevům tektogramatické roviny. V její další části jsou představeny jevy textové koreference, mezivětných vztahů, žánrové klasifikace dat a způsob jejich anotování v PDT 3.0.


Do spoken texts differ from the written ones in valency?

Liší se mluvené a psané texty ve valenci?

In this article, we introduce the Prague Dependency Treebank of Spoken Czech.
The syntactic and semantic annotation of this corpus has led to the expansion of PDT-Vallex,
a valency lexicon of Czech verbs, which has previously been linked only to the annotation of written
texts.

V tomto článku představujeme PDTSC a jeho anotaci, která vedla k rozšíření slovníku PDT-Vallex, valenčnímu slovníku českých sloves, původně vytvořenému pro psané texty.

Marie Mikulová
Jan Štěpánek
Zdeňka Urešová


Unstructured Data: How to Describe a Natural Language?

Nestrukturovaná data:Jak popsat přirozený jazyk?

The talk focuses on basic syntactic relations, namely on dependency and word order, and on their mutual interplay. We present a formal framework that gives us a possibility of an economic and linguistically adequate description of these relations as well as their automatic processing. Finally, we shortly mention the application of the framework in language resources and NLP tools.

Přednáška se soustřeďuje na základní syntaktické vztahy, jmenovitě na závislostní relace a na slovosled, a dále na jejich vzájemnou souhru. Prezentujeme formální rámec, který nám umožňuje ekonomicky a přitom jazykově adekvátně popsat tyto vztahy a jejich automatizované zpracování. Nakonec krátce zmiňujeme využití tohoto formálního ránce v aplikacích NLP.


Describing an elusive: Syntactic relations in a natural languafe and their description.

Zachycení nezachytitelného: Syntaktické vztahy v přirozeném jazyce a jejich formální reprezentace.

The talk focuses on basic syntactic relations, dependency relationship and word order in particular, on their mutual relations, and examples of mutual interplay (including so called non-projective constructions). Then we present a formal frame allowing us to describe these relations ant their automated processing. Finally, we shortly mention various applications of the proposed framework in NLP tasks.

Přednáška se zaměří na základní syntaktické vztahy, především závislost a slovosled, na jejich vzájemné vztahy a příklady vzájemného ovlivňování (včetně tzv. neprojektivních konstrukcí). Dále představíme formální rámec, který umožňuje popis těchto vztahů a jejich automatické zpracování. V závěru bude krátce zmíněno využití tohoto rámce v jazykových zdrojích a (na nich budovaných) nástrojích NLP.


Formalization of Word-Order Shifts by Restarting Automata

K formalizaci slovosledných posunů ponocí restartovacích automatů

The phenomenon of word order freedom plays
an important role in syntactic analysis of many natural languages. This paper introduces a notion of a word order shift, an operation reflecting the degree of word order freedom of natural languages. The word order shift is an operation
based upon word order changes preserving syntactic
correctness, individual word forms, their morphological characteristics, and their surface dependency relations in a course of a stepwise simplification of a sentence, a so called analysis by reduction.
The paper provides linguistic motivation for this operation and concentrates on a formal description of the whole mechanism through a special class of automata, so called restarting automata with the shift operation enhanced with
a structured output, and their computations.
The goal of this study is to clarify the properties of computations needed to perform (enhanced) analysis by reduction for free word order languages.

Fenomén volného slovosledu hraje důležitou roli v syntaktické analýze mnoha přirozených jazyků.
Tento příspěvek zavádí pojem slovosledného posunu ('shiftu'), který odrážející stupeň volnosti slovosledu. Slovosledný posun je operace založená na slovosledných změnách zachovávajících syntaktickou správnost, jednotlivé slovní tvary, jejich morfologické charakteristiky a jejich syntaktické vztahy v průběhu tzv. redukční analýzy, tedy postupného zjednodušování věty.
Příspěvek přináší lingvistickou motivaci pro tuto operaci a zaměřuje se na formální popis celkového
mechanismu pomocí speciální třídy automatů, tzv.
restartovacich automatů s operací shift  obohacených strukturovaným výstupem strukturovaný výstup.
Cílem této studie je objasnit vlastnosti výpočtů
potřebných k provedení (rozšířené) redukční analýzy pro přirozené jazyky s volným slovosledem.


I will talk about a topic called "natural language processing" which deals with ways of getting the computer to understand human languages. I will tell you something about language corpora, different levels and methods of linguistic tagging, electronic dictionaries, methods of analysis and synthesis of natural languages, automatic translation. Everything will be shown on real examples.

Budu mluvit o tématu, kterému se říká "automatické zpracování přirozeného jazyka" a myslí se tím způsoby, jak přimět počítač, aby rozuměl nějaké lidské řeči. Povíme si něco o jazykových korpusech, různých úrovních a způsobech lingvistického značkování, elektronických slovnících, metodách analýzy a syntézy přirozeného jazyka, automatickém překladu. Vše si ukážeme na skutečných příkladech.


Special domain data mining through DBpedia on the example of Biology

Dobývání oborových dat pomocí DBpedie na příkladu biologie

Wikipedia is not only a large encyclopedia, but
lately also a source of linguistic data for various applications.
Individual language versions allow to get the parallel data in multiple languages. Inclusion of Wikipedia articles into categories can be used to filter the language data according to a domain.
In our project, we needed a large number of parallel data for training systems of machine translation in the field of biomedicine. One of the sources was Wikipedia. To select the data from the given domain we used the results of
the DBpedia project, which extracts structured information from the Wikipedia articles and makes them available to users in RDF format.
In this paper we describe the process of data extraction and the problems that we had to deal with, because the open source project like Wikipedia, to which anyone can contribute, is not very reliable concerning consistency.

Wikipedie slouží nejen jako rozsáhlá encyklopedie zasahující do mnoha odvětví, ale v poslední době stále častěji i jako zdroj jazykových dat pro nejrůznější aplikace. Jednotlivé jazykové mutace umožňují získat i paralelní data ve více jazycích. Zařazení článků wikipedie do kategorií potom může sloužit k filtrování jazykových dat.
V našem projektu se zabýváme automatickým překladem textů v oboru biologie a lékařství, proto jsme potřebovali větší množství paralelních dat. Jedním ze zdrojů byla právě wikipedie. Pro výběr dat splňujících daná kritéria – tedy dané obory v daných jazycích – jsme využili projektu Dbpedia, který ze stránek wikipedie extrahuje strukturované informace a ve formátu RDF je zpřístupňuje uživatelům.
V příspěvku popíšeme postup extrakce dat a problémy, které jsme museli řešit, neboť u otevřeného projektu jako wikipedie, do něhož může přispívat kdokoli, nelze spoléhat na konzistenci.


Intensifying Verb Prefix Patterns in Czech and Russian

Slovesné předpony se stupňujícím efektem v češtině a ruštině

In Czech and in Russian there is a set of prefixes changing the meaning of imperfective verbs always in the same manner. The change often (in Czech always) demands adding a reflexive morpheme. This feature can be used for automatic recognition of words, without the need to store them in morphological dictionaries.

V češtině a v ruštině existuje množina prefixů, které mění význam nedokonavých sloves vždy stejným způsobem. Změna často (v českém jazyce vždy) vyžaduje přidání reflexivního morfému. Tato vlastnost nedokonavých sloves může být použita pro automatické rozpoznávání slov, aniž by bylo nutné ukládat takto vzniklé tvary do morfologických slovníků.


Rule-Based Extraction of English Verb Collocates from a Dependency-Parsed Corpus

Extrakce kolokátů anglických sloves ze závislostního korpusu

We report on a rule-based procedure of extracting
and labeling English verb collocates from a dependency-parsed corpus. Instead of relying on the syntactic labels provided by the parser, we use a simple topological sequence that we fill with the extracted collocates in a prescribed
order. A more accurate syntactic labeling
will be obtained from the topological fields
by comparison of corresponding collocate
positions across the most common syntactic
alternations. So far, we have extracted and labeled verb forms and predicate complements according to their morphosyntactic structure. In the next future, we will provide the syntactic labeling of the complements.

Vytváříme systém pravidel, s jejichž pomocí značkujeme slovesa a jejich kolokáty v závislostním korpusu. Místo klasických syntaktických kategorií používáme šablonu, do níž zařazujeme nalezené kolokáty v přesně daném pořadí. Porovnáním jednotlivých pozic pro nejčastější syntaktické alternace daného slovesa získáme jeho přesnější syntaktický popis.

Silvie Cinková
Martin Holub
Ema Krejčová
Lenka Smejkalová


The paper aims at the investigation of the phenomenon of free word order. It concentrates on the relationship between (formal) dependencies and word order. The investigation is performed by means of a semiautomatic application of a method of analysis by reduction to Czech syntactically annotated data.
The freedom of word order is expressed by means of a number of necessary shifts in the process of analysis by reduction. The paper shows that this measure provides a new view of the problem, it is orthogonal to measures reflecting the word order freedom based on a number of non-projective constructions or clitics in a sentence.

Článek zkoumá jev volného slovosledu. Soustředí se na vztak mezi (formální) závislostí a slovosledem. Zkoumání je provedeno aplikací poloautomatické metody redukční analýzy na česká syntaktický anotovaná data.
Volnost slovosledu je vyjádřena pomocí počtu nutných záměn v průběhu redukční analýzy. Článek ukazuje, že tato míra je ortogonální k mírám vyjadřujícím volnost slovosledu pomocí počtu neprojektivních konstrukcí či klitik ve větě.

Vladislav Kuboň
Markéta Lopatková
Jiří Mírovský


Automatic Processing of Linguistic Data as a Feedback for Linguistic Theory

Automatické zpracování jazykových dat jako ověření jazykové teorie

The paper describes a method of identifying a set of interesting constructions in a syntactically annotated corpus of Czech (the Prague Dependency Treebank) by application of an automatic procedure
of analysis by reduction to the trees in the treebank. The procedure reveals certain linguistic phenomena that go beyond `dependency
nature'.
The paper contains discussion and analysis of individual phenomena, as well as the quantification of results of the automatic procedure on a subset of the treebank.

Článek se zabývá metodou identifikace zajímavých konstrukcí v syntakticky anotovaném korpusu češtiny (Pražském závislostním korpusu) pomocí aplikace automatické procedury redukční analýzy na stromy tohoto korpusu. Procedura odhaluje některé lingvistické jevy, které jdou za hranici "závislosti".
Článek obsahuje diskuzi a analýzu jednotlivých jevů a rovněž kvantifikuje výsledky automatické procedury na podmnožině korpusu.


Dependency corpus annotated at morphological, syntactic, and deep syntactic levels. Previous version 2.5 has been enriched by annotation of discourse relations, bridging anaphora, extended textual coreference, and genres. Morphological level has been improved and some grammatemes have been revised.

Závislostní korpus anotovaný na rovině morfologické (2 miliony slov), syntaktické (1,5 milionu slov) a sémantické (0,8 milionu slov). Oproti verzi 2.5 přibyly opravy morfologie, revize gramatémů, anotace diskurzních vztahů, asociační anafory, rozšířené textové koreference a žánrů.

Eduard Bejček
Eva Hajičová
Jan Hajič
Pavlína Jínová
Václava Kettnerová
Veronika Kolářová
Marie Mikulová
Jiří Mírovský
Anna Nedoluzhko
Jarmila Panevová
Lucie Poláková
Magda Ševčíková
Jan Štěpánek
Šárka Zikánová


Syntactic Identification of Occurrences of Multiword Expressions in Text using a Lexicon with Dependency Structures

Syntaktická identifikace výskytů víceslovných výrazů v textu s pomocí lexikonu se závislostními strukturami

We deal with syntactic identification of occurrences of multiword expression (MWE) from an existing dictionary in a text corpus. The MWEs we identify can be of arbitrary length and can be interrupted in the surface sentence. We analyse and compare three approaches based on linguistic analysis at a varying level, ranging from surface word order to deep syntax. The evaluation is conducted using two corpora: the Prague Dependency Treebank and Czech National Corpus. We use the dictionary of multiword expressions SemLex,
that was compiled by annotating the Prague Dependency Treebank and includes deep syntactic dependency trees of all MWEs.

V tomto článku se zabýváme identifikací výskytů víceslovných výrazů z existujícího slovníku v textovém korpusu. Víceslovné výrazy mohou být libovolné délky a přerušeny v povrchovém pořádku slov. Analyzujeme a porovnáváme tři různé přístupy využívající lingvistické analýza na různých rovinách.

Eduard Bejček
Pavel Straňák
Pavel Pecina


Czech adverbs with the suffix -o in theoretical description and in a syntactically annotated corpus

Česká adverbia s příponou -o v teoretickém popisu a v syntakticky anotovaném korpusu

Both an adverb with the suffix -e and an adverb with the suffix -o are derived from many adjectives in Czech. Adverbs with the latter suffix are often a component of the predicate. The predicative syntactic function has become one of the main arguments to isolate the adverbs with the suffix -o as a separate part of speech (Komárek, 1954); nevertheless, this proposal has not been widely accepted. In the present paper, a detailed analysis of the adverbs with the suffix -o is carried out on the basis of material from the Czech National Corpus. The analysis documents that solely a part of the adverbs with the suffix -o specializes in the predicative function, other adverbs with this suffix fulfill an adverbial function as well, or do not fulfill the predicative function at all. Besides the syntactic function and the lexical meaning of these adverbs, their relation to the base adjective and the impact of context is taken into consideration when discussing the representation of these adverbs within the deep-syntactic annotation of the Prague Dependency Treebank.

V příspěvku analyzujeme syntaktické funkce deadjektivních adverbií s příponou -o na základě materiálu z Českého národního korpusu. Pouze část těchto adverbií se specializuje na predikativní funkci, jiná plní kromě této funkce také funkci příslovečného určení a některá se v predikativní funkci neuplatňují vůbec. Kromě syntaktické funkce těchto adverbií zkoumáme také jejich význam a vztah k základovému adjektivu a navrhujeme, jak je reprezentovat v hloubkově syntaktické anotaci Pražského závislostního korpusu.


Deadjectival derivates in Czech as syntactic vs. lexical derivates

Deadjektivní deriváty v češtině jako deriváty syntaktické vs. lexikální

Deadjectival derivates are a representative sample of Czech derivation. On the basis of the semantic relation to their base adjectives, they can be classified into two groups: into syntactic derivates, which have the same meaning as their base adjectives but fulfill different syntactic functions (e.g. deadjectival adverbs), and lexical derivates, which share the syntactic function with the base adjectives but differ from them in meaning (e.g. diminutive adjectives). The present paper focuses on deadjectival nouns with the suffix -ost, which express a quality. Based on the analysis of data from the corpus SYN2010, we try to document that the meaning of quality is closely interconnected with the meaning of a bearer of the quality, and propose to revise Dokulil’s classification of these nouns as syntactic derivates. The classification of a derivate as a syntactic or lexical one is directly reflected in the deep-syntactic annotation of the Prague Dependency Treebank.

Slova odvozená od adjektiv představují zajímavý, reprezentativní vzorek slovotvorných derivačních procesů v češtině: patří ke slovním druhům substantiv, adjektiv, sloves a adverbií, vzájemně se liší v řadě aspektů, mimo jiné z hlediska sepjetí jejich lexikálního významu s významem slovotvorným.
V příspěvku probereme možnost třídění deadjektivních derivátů právě z hlediska jejich vztahu k základovému adjektivu, pracujeme přitom s Kuryłowiczovou (1936) koncepcí derivace syntaktické a lexikální, která je v Dokulilových slovotvorných pracích reflektována. Z klasifikace deadjektivních derivátů jako syntaktických nebo lexikálních vyvodíme přímé důsledky pro zachycení těchto slov v hloubkověsyntaktické anotaci Pražského závislostního korpusu. Syntaktické deriváty je možné reprezentovat základovým adjektivem, protože jeho odlišná syntaktická funkce je v tomto syntakticky anotovaném korpusu zachycena speciálním atributem. Oproti tomu lexikální deriváty se budou od svého základového slova lišit lexikální hodnotou.


Productivity of selected deadjectival suffixes in Czech

Produktivita vybraných deadjektivních sufixů v češtině

In the present paper, central ideas of the work on productivity by the Czech linguist Miloš Dokulil are presented and placed in the context of recent approaches to productivity. Based on material from large corpora of Czech, productivity of four Czexh suffixes (-ost, -ství/ctví, -ismus, -ita) is analyzed; it is demonstrated that productivity measures used for quantification of productivity give different results.

V příspěvku shrnujeme základní rysy Dokulilovy teorie slovotvorné produktivity a zasazujeme ji do kontextu zkoumání produktivity v posledních desetiletích. Na materiálu z velkých korpusů češtiny zkoumáme produktivitu čtyř českých sufixů (-ost, -ství/ctví, -ismus, -ita) a ukazujeme, že jednotlivé míry používané ke kvantifikaci produktivity vedou k rozdílným výsledkům.


Determining Productivity in Word-Formation: Deadjectival Suffixes in Czech

Slovotvorná produktivita: deadjektivní přípony odvozující názvy vlastností

Though the term of productivity in word-formation seems to be intuitively clear and the idea (under various terms) has been present in linguistics for centuries, there are many approaches to productivity in contemporary linguistics, which differ in several aspects.
In the talk, I briefly sketch selected issues of the study of productivity focusing on the last two or three decades, during which productivity has become one of the central topics of the research into word-formation. In this context, I refer to the main ideas of the work on productivity by Miloš Dokulil, whose word-formation theory has become a widely respected and, in fact, the only common ground of word-formation descriptions in Czech linguistics. I focus on his opposition of the so-called systemic and empirical productivity and present some suggestions on how Dokulil’s ideas could be applied to the current, corpus-based research in productivity, by analyzing the productivity of four suffixes which are used to derive names of qualities in Czech (-ost, -ství/-ctví, -ismus and -ita).

V přednášce se zaměříme na Dokulilovu teorii produktivity, která je integrální součástí jeho široce respektované slovotvorné teorie, připomeneme především jeho distinkci produktivity systémové a empirické. Při analýze přípon -ost, -ství/-ctví, -ismus a -ita, které jsou v češtině používány (mimo jiné) k odvozování názvů vlastností, se kromě jejich systémových rysů pokusíme stanovit míru produktivity také na základě frekvenčních údajů z velkých korpusových dat.


Working with the Prague Dependency Treebank

The workshop presented the Prague Dependency Treebank and basic tools that can be used to search it. Unlike more widely known Czech National Corupus, the PDT contains two layers of syntactic annotation. The theory of the Functional Generative Description upon which the treebank is built was presented, and the aspects were described where the theory and the treebank diverge.

Workshop představil Pražský závislostní korpus a základní nástroje, které lze používat k jeho prohledávání. Na rozdíl od dnes již poměrně známého Českého národního korpusu obsahuje PDT i anotace syntaktických struktur, a to hned na dvou rovinách. Seznámili jsme se s teorií funkčního generativního popisu, na jejímž základě byl korpus vybudován, a popsali jsme si aspekty, kterými se od teoretických východisek odchyluje.


Prohledávání Pražského závislostního korpusu v PML-TQ

A tutorial describing PML-TQ, a tool for searching syntactically annotated corpora. Two forms of the client interface were presented, with examples over Czech, English, and German data.

Tutoriál přibližující práci s nástrojem PML-TQ určeným pro prohledávání syntakticky anotovaných korpusů. Představeny byly dvě verze klientského rozhraní, příklady používaly data v češtině, angličtině a němčině.


This is the Alex Dialogue Systems Framework - 2013 release.

This framework is being developed by the dialogue systems group at UFAL - http://ufal.mff.cuni.cz/ - the Institute of Formal and Applied Linguistics, Faculty of Mathematics and Physics, Charles University in Prague, Czech Republic. The purpose of this work is to facilitate research into and development of spoken dialogue systems.

The main goals are: to provide baseline components need for a building spoken dialogue systems (SDSs), to provide example implementations of SDSs for several domains, to provide tools for processing dialogue system interactions logs, e.g. for audio transcription, semantic annotation, or SDSs evaluation.

Implemented features: VOIP using PJSIP 2.1 with some modifications, ASR using OpenJulius, GoogleASR or KALDI, VAD using Gaussian Mixture Models or Feed-Forward Neural Networks, SLU using a set of logistic regression classifiers for detecting dialogue acts, DM using probabilistic discriminative dialogue state tracking and handcrafted policies, NLG using template based generation possibly with efficient inflection into the correct surface form for morphologically rich languages, TTS using flite, VoiceRSS and SpeechTech, evaluation of dialogue systems using Amazon Mechanical Turk crowdsourcing platform, building acoustic models using the HTK and KALDI toolkits.

Toto je vydání Alex Dialogue Systems Framework pro rok 2013.

Tento framework je vyvýjen skupinou zabývající se výzkumem v oblasti hlasových dialogových systémů na ÚFAL - http://ufal.mff.cuni.cz/ - Ústav formální a aplikované lingvistiky, MFF, UK.

Hlavní cíle vývoje jsou: poskytnout základní komponenty pro vývoj SDS, poskytnout příklady hlasových dialogových systémů, poskytnout nástroje pro zpracopvání záznamů dialogů, například audio přepisy, sémantické anotace, nebo vyhodnocení dialogových systémů.

Implemntované vlastnosti: VOIP používající PJSIP 2.1, ASR používající OpenJulius, GoogleASR nebo KALDI, VAD používající Gaussian Mixure Models nebo Feed-Forward Neural Networks, SLU používající množinu klasifikátorů založených na logistické regresi, DM používající diskriminativní pravěpodobnostní aktualizaci stavu a ručně psané strategie řízení, NLG používající šablon s možností využití šablon založených na tektogramatických stromech pro správnou syntézu povrchové realizace, TTS používající flite, VoiceRSS nebo SpeechTech, vyhodnocení dialogových systémů používajáící Amazon Mechanical Turk, tvorba akustických modelů pomocí HTK a KALDI.

Filip Jurčíček
Ondřej Dušek
Matěj Korvas
Lukáš Žilka
Ondřej Plátek
David Marek


Automatic post-editing of phrase-based machine translation outputs

Automatická post-editace výstupů frázového strojového překladu

We present Depfix, a system for automatic post-editing of phrase-based English-to-Czech machine translation outputs, based on linguistic knowledge. First, we analyzed the types of errors that a typical machine translation system makes. Then, we created a set of rules and a statistical component that correct errors that are common or serious and can have a potential to be corrected by our approach. We use a range of natural language processing tools to provide us with analyses of the input sentences. Moreover, we reimplemented the dependency parser and adapted it in several ways to parsing of statistical machine translation outputs. We performed both automatic and manual evaluations which confirmed that our system improves the quality of the translations.

Představujeme Depfix, systém pro samočinnou post-edititaci výstupů frázových strojových překladů z angličtiny do češtiny, založený na jazykovědných znalostech. Nejprve jsme rozebrali druhy chyb, kterých se dopouští typický strojový překladač. Poté jsme vytvořili sadu pravidel a statistickou komponentu, které opravují takové chyby, které jsou běžné nebo závažné a může přicházet v úvahu jejich oprava pomocí našeho přístupu. Používáme řadu nástrojů pro zpracování přirozeného jazyka, které nám poskytují rozbor vstupních vět. Navíc jsme reimplementovali závislostní analyzátor a několika způsoby jej upravili pro provádění rozboru výstupů statistických strojových překladačů. Provedli jsme automatická i ruční vyhodnocení, která potvrdila, že kvalita překladů se zpracováním v našem systému zlepšuje.


Depfix: Automatic post-editing of phrase-based machine translation outputs

Depfix: Automatická post-editace výstupů frázového strojového překladu

Depfix is a system for automatic post-editing of phrase-based English-to-Czech machine translation outputs, based on linguistic knowledge. We analyzed the types of errors that a typical machine translation system makes, and created a set of rules and a statistical component that correct some of the errors. We use a range of natural language processing tools to provide us with analyses of the input sentences. Moreover, we reimplemented the dependency parser and adapted it in several ways to parsing of statistical machine translation outputs. We performed both automatic and manual evaluations which confirmed that our system improves the quality of the translations.

Depfix je systém pro samočinnou post-edititaci výstupů frázových strojových překladů z angličtiny do češtiny, založený na jazykovědných znalostech. Rozebrali jsme druhy chyb, kterých se dopouští typický strojový překladač, a vytvořili jsme sadu pravidel a statistickou komponentu, které opravují některé z těchto chyby. Používáme řadu nástrojů pro zpracování přirozeného jazyka, které nám poskytují rozbor vstupních vět. Navíc jsme reimplementovali závislostní parser a několika způsoby jej upravili pro provádění rozboru výstupů statistických strojových překladačů. Provedli jsme automatická i ruční vyhodnocení, která potvrdila, že kvalita překladů se zpracováním v našem systému zlepšuje.


Error Correction of PB SMT Outputs with automatic post-editing shown on English to Czech translation

Oprava chyb ve výstupech frázového statistického strojového překladu ukázaná na překladu z angličtiny do češtiny

Some things are hard for PB SMT -- negation, agreement, passives...
Automatic post-editing can often help -- a handful of simple rules might do the job very well.
NLP tools are typically useful -- tagger, parser, morphological generator; adapt them to SMT outputs if possible.

Některé veci jsou pro PB SMT obtížné -- negace, shoda, trpný rod...
Automatická post-editace může často pomoci -- i hrstka jednoduchých pravidel může fungovat velmi dobře.
NLP nástroje jsou typicky užitečné -- tagger, parser, morphologický generátor; adaptujte je pro zpracování výstupů SMT, je-li to možné.


Deepfix: Statistical Post-editing of Statistical Machine Translation Using Deep Syntactic Analysis

Deepfix: Statistická post-editace statistického strojového překladu s využitím hloubkové syntaktické analýzy

Deepfix is a statistical post-editing system for improving
the quality of statistical machine
translation outputs.
It attempts to correct errors in verb-noun valency using deep syntactic
analysis and a simple probabilistic model of valency.
On the English-to-Czech translation pair, we show that statistical post-editing of
statistical machine translation
leads to
an improvement
of the translation quality when helped by deep linguistic knowledge.

Deepfix je statistický post-editovací systém pro zlepšování
kvality výstupů statistického strojového překladu.
Pokouší se opravovat chyby ve slovesné a substantivní valenci za použití hloubkové syntactické
analýzy a jednoduchého pravděpodobnostního valenčního modelu.
Na jazykovém páru angličtina-čeština ukazujeme že, pokud je podporována hlubokou lingvistickou znalostí, statistická post-editace
statistického strojového překladu
vede ke zlepšení
kvality překladu.


Translation of "It" in a Deep Syntax Framework

Překlad anglického "it" pomocí tektogramatiky

We present a novel approach to the translation of the English personal pronoun it to Czech. We conduct a linguistic analysis on how the distinct categories of it are usually mapped to their Czech counterparts. Armed with these observations, we design a discriminative translation model of it, which is then integrated into the TectoMT deep syntax MT framework. Features in the model take advantage of rich syntactic annotation TectoMT is based on, external
tools for anaphoricity resolution, lexical co-occurrence frequencies measured on a large parallel corpus and gold coreference annotation. Even though the new model for it exhibits no improvement in terms of BLEU, manual evaluation shows that it outperforms the original solution in
8.5% sentences containing it.

Článek se věnuje překladu anglického zájmena "it" do češtiny. Navrhli jsme diskriminativní model a zapojili ho do překladu přes tektogramatickou rovinu systémem TectoMT. Výsledkem je zlepšení kvality překladu v 8.5% vět obsahujícich "it".

Michal Novák
Anna Nedoluzhko
Zdeněk Žabokrtský


Two Case Studies on Translating Pronouns in a Deep Syntax Framework

Dvě připadové studie překladu zájmen přes tektogramatickou rovinu

We focus on improving the translation of the English pronoun it and English reflexive pronouns in an English-Czech syntax-based machine translation framework. Our evaluation both from intrinsic and extrinsic perspective shows that adding specialized syntactic and coreference-related features leads to an improvement in trans-
lation quality.

Příspěvek se zaměřuje na zlepšování překladu anglického zájmena "it" a anglických reflexivních zájmen v systému strojového překladu z angličtiny do češtiny přes tektogramatickkou rovinu.

Michal Novák
Zdeněk Žabokrtský
Anna Nedoluzhko


A Trilingual Learner Corpus illustrating European Reference Levels

Trojjazyčný žákovský korpus ilustrující CEFR

Since its publication in 2001, the Common European Framework of Reference for Languages (CEFR) has gained a leading role as an instrument of reference for language teaching and certification and for the development of curricula (cf. CEFR 2001). At the same time, there is a growing concern about CEFR reference levels being insufficiently illustrated, leaving practitioners without comprehensive empirical characterizations of the relevant distinctions. This is particularly the case for languages other than English (cf. e.g. Hulstijn 2007, North 2000).
The MERLIN project addresses this demand for the first time for Czech, German and Italian by developing a didactically motivated online platform that enables CEFR users to explore authentic written learner productions that have been related to the CEFR levels in a methodologically sophisticated and rigorous way. The core of the multilingual online platform is a trilingual learner corpus relying on a cross-linguistic design and composed of roughly 2300 learner texts produced in standardized language certifications (as used by telc, DE,  UJOP-Charles University in Prague, CZ as well as UNIcert, DE) validly related to the CEFR, covering the levels A1-C1.
The aim of this paper is both to present the MERLIN project and its corpus, and to discuss its current state. In addition to providing preliminary statistics, we detail three key aspects: (1) the data collection and transcription, (2) the creation of the annotation schemata and (3) the technical design of the workflow devised to compile and query the corpus. For each of these aspects, we highlight its requirements and the means employed for the underlying tasks. We also discuss the challenges induced by the cross-linguistic nature of the project: particularities of the languages from three different families (Slavic, Germanic and Romance) have to be covered, both on a linguistic and a technical perspective.

Od publikace v roce 2011, ziskala CEFR vedoucí úlohu ve výuce a certifikaci cizích jazyků. Bohužel jednotlivé úrovně CEFR nejsou dostatečně ilustrovány. Cílem projektu Merlin je vyřešit tento problém pro češtinu, němčinu a italštinu.

Andrea Abel
Lionel Nicolas
Jirka Hana
Barbora Štindlová
Katrin Wisniewski
Detmar Meurers
Serhiy Bykh


Determining Compositionality of Word Expressions Using Various Word Space Models and Measures

Určování kompozicionality slovních výrazů pomocí různých vektorových modelů a metod

This paper presents a comparative study of 5 different types of Word Space Models (WSMs) combined with 4 different compositionality measures applied to the task of automatically determining semantic compositionality of word expressions. Many combinations of WSMs and measures have never been applied to the task before. The study follows Biemann and Giesbrecht (2011) who attempted to find a list of expressions for which the compositionality assumption – the meaning of an expression is determined by the meaning of its constituents and their combination does not hold. Our results are very promising and can be appreciated by those interested in WSMs, compositionali

Tento článek prezentuje komparativní studii 5 různých typů slovních vektorových modelů a 4 různých měr pro měření kompozicionality slovních výrazů.


Determining Compositionality of Word Expressions Using Word Space Models

Určování kompozicionality slovních výrazů pomocí vektorových modelů

This research focuses on determining semantic compositionality of word expressions using word space models (WSMs). We discuss previous works employing WSMs and present differences in the proposed approaches which include types of WSMs, corpora, preprocessing techniques, methods for determining compositionality, and evaluation testbeds. We also present results of our own approach for determining the semantic compositionality based on comparing distributional vectors of expressions and their components. The vectors were obtained by Latent Semantic Analysis (LSA) applied to the ukWaC corpus. Our results outperform those of all the participants in the Distributional Semantics and Compositionality (DISCO) 2011 shared task.

Tento článek shrnuje dosavadní modely pro určování kompozicionality slovních výrazů pomocí vektorových modelů a prezentuje náš vlastní přístup založený na latentní sémantické analýze. Experimenty jsou provedeny na testovacích datech DISCO 2011.


EnTam: Angličtina-Tamilština Paralelní Korpus

We have collected English-Tamil bilingual data from some of the publicly available websites for NLP research involving Tamil. The standard set of processing has been applied on the the raw web data before the data became available in sentence aligned English-Tamil parallel corpus suitable for various NLP tasks. The parallel corpora cover texts from bible, cinema and news domains.

Shromáždili jsme anglicky Tamil dvojjazyčných data z některé z veřejně dostupných internetových stránek pro NLP výzkum zahrnující Tamil.Standardní sada zpracování byla použita na nezpracovaná data, než webových údaje byly k dispozici ve větě vyrovnaném anglicky Tamil paralelní korpus vhodný pro různé úlohy NLP. Paralelní korpusy krycí texty z bible, kino a zpravodajských domén.

Loganathan Ramasamy
Ondřej Bojar
Zdeněk Žabokrtský


TamilTB - závislostní korpus tamilštiny, verze 1.0

TamilTB 1.0 improves over the very first release of the Tamil dependency treebank (TamilTB v0.1). The current version introduces many improvements over the orthography and morphological tagset of the data. Now, the primary data representation of the treebank uses UTF-8 encoding.

TamilTB 1.0 zlepšuje v průběhu prvního vydání Tamil závislostní korpus (TamilTB v0.1). Aktuální verze přináší řadu vylepšení oproti pravopis a morfologické tagset údajů. Nyní, primární datový reprezentace korpusu používá kódování UTF-8.


Developing Sentiment Annotator in UIMA – the Unstructured Management Architecture for Data Mining Applications

Vývoj anotátoru pro postojovou analýzu v prostředí UIMA

In this paper we present UIMA – the Unstructured
Information Management Architecture, an architecture and software framework for creating, discovering, composing and deploying a broad range of multi-modal analysis capabilities and integrating them with search technologies. We describe the elementary components of the framework and how they are deployed into more complex data mining applications. The contribution is based on our experience in work on the sentiment analysis task for IBM Content Analytics project.

V článku představujeme naši práci na rozšíření projektu IBM Content Analytics o analýzu sentimentu za využití softwaru UIMA. Popisujeme jednotlivé komponenty a jejich propojení v rámci komplexnějších dataminigových aplikací.


Comparison of Bayesian Discriminative and Generative Models for Dialogue State Tracking

In this paper, we describe two dialogue state tracking models competing in the 2012 Dialogue State Tracking Challenge (DSTC). First, we detail a novel discriminative dialogue state tracker which directly estimates slot-level beliefs using deterministic state transition probability distribution. Second, we present a generative model employing a simple dependency structure to achieve fast inference. The models are evaluated on the DSTC data, and both significantly outperform the baseline DSTC tracker.

V tomto článku Srovnání Baysovských diskriminativiních a generativních modelů pro sledování dialogového stavu. Bylo zjistěno že oba prezentované modely mají přibližně stejnou přesnost, ale diskriminativní model je zhruba 20 krát výpočetně efektivnější.

Lukáš Žilka
David Marek
Matěj Korvas
Filip Jurčíček


We present our initial steps towards a linguistic processing of texts to detect semantic relations there. Our work is an essential part of the INTLIB project whose aim is to provide a more efficient and user-friendly tool for querying textual documents other than full-text search. This tool is proposed as a general framework which can be modified and extended for particular data domains. Currently, we focus on Czech legal texts. We present the application JTagger which detects references in court decisions and the application RExtractor which extracts relations between entities from Czech laws.

Prezentace prvních kroků směrem ke lingvistickému zpracování textů pro detekci sémantických vztahů v nich. Naše práce je klíčovou součastí projektu INTLIB, kterého cílem je vytvořit efektivní a uživatelsky přívětivý nástroj pro dotazování nad textovými dokumenty, odlišný od full-textu. Tento nástroj je navrhován jako obecní framework, který lze snadno modifikovat a rozšiřovat pro další domény. Pilotní doménou projektu jsou legislativní texty. Prezentujeme aplikaci JTagger, která detekuje reference v soudních rozhodnutích a aplikaci RExtractor, která extrahuje vztahy mezi entitami v českých zákonech.


Detecting Semantic Relations in Texts and Their Integration with External Data Resources

Detekce sémantických vazeb v textech a jejich integrace s externími datovými zdroji

We present our initial steps towards a linguistic processing of texts to detect semantic relations in them. Our work is an essential part of the INTLIB project whose aim is to provide a more efficient and user-friendly tool for querying textual documents other than full-text search. This tool is proposed as a general framework which can be modified and extended for particular data domains. Currently, we focus on Czech legal texts.

Prezentujeme první kroky směrem k lingvistickému zpracování textů pro detekci sémantických vazeb. Naše práce je důležitou částí projektu INTLIB, který má za cíl vytvořit efektivnější a uživatelsky více přívětivý nástroj na dotazování v textových dokumentech než full-textové vyhledávání. Tento nástroj je navrhnut jako obecný framework, který bude možno modifikovat a rozšiřovat pro konkrétní datové domény. Aktuálně se zaměřujeme na české legislativní dokumenty.