In this book the grammatical and stylistic faults in contemporary Czech, esp. in the scientific style, are demonstrated by the broad scale of examples and they are analyzed from the point of view of lexicon, morphology, syntax and text structure.

Kniha se zabývá stylistickými a gramatickými prohřešky proti kultivovanému vyjadřování v češtině, zejména ve stylu odborném. Na množství příkladu z oblasti lexika, morfologie, syntaxe a výstavby textu ukazuje na nedopatření proti srozumitelnosti a korektnosti vyjádření, která jsou v současné češtině běžná.


Obituary and a survey of the scientific contribution of a great Americal linguist to linguistics.

Nekrolog a přehled lingvistických vědeckých příspěvků velkého amerického lingvisty.


Three dimensions of the so-called "interoperability" of annotation schemes

Tři dimenze takzvané "interoperability" anotačních schémat

The so-called interoperability is proposed to be viewed from three angles, each of which has its advantages and weak points. The application of the original interpretation of interoperability as a collaboration of components seems to be rather inspiring and has been already tested on several multilayered annotation schemes. One of the main obstacles for an adaptation of a single scenario for different languages is not only the different (typological) features of these languages but also the fact that each scenario (if well developed) has behind it a certain linguistic theory and people working with these theories have been ”born”. Obviously, obstacles concern the fact that there was a parallel development of some of the schemes, the older and more “elaborated” ones (more advanced, used for more languages etc.) are (obviously) not open to big changes. Communication or collaboration between different schemes requires, on the one hand, an explicit specification of each particular scheme, and, on the other, offers a reliable material for linguistic research and also for NLP applications. In the latter respect, the initiatives such as CoNNL shared tasks on multilingual dependency parsing or similar activities are important endeavors.

Článek zpracovává otázku interoperability anotačních schémat na základě testování tohoto problému ve víceúrovňových anotačních schématech u typologicky různých jazyků.


Legal issues in LRT development and use in LINDAT/Clarin

Právní problémy při vývoji jazykových technologií v LINDAT/CLARIN

Curent law situation with development, storage and deployment of language data and technologies

Popis současných právních problémů s jazykovými daty a jazykovými technologiemi.


Current situation and perspective of usage of persistent IDs at LINDAT/CLARIN.

Situace a možné perspektivy využívání persistentních identifikátorů (PID) v LINDAT/CLARIN.


Důvěryhodné datové služby v LINDAT/CLARIN

Presentation on building trust between the data producer, infrastructure and users.

Prezentace o ustavení a budování důvěry ve vztahu poskytovatel dat - infrastruktura - uživatel.


Presentation of development and current state of the repository for storing and sharing scientific data run by EUDAT project.

Prezentace vývoje a současného stavu repozitáře projektu EUDAT k bezpečnému ukládání a sdílení vědeckých dat.


Overview of the services provided by the LINDAT/CLARIN centre and their online demonstration.

Přehled služeb poskytovaných centrem LINDAT/CLARIN a jejich demonstrace online.

Pavel Straňák
Jozef Mišutka
Jan Hajič
Eva Hajičová


Khresmoi Query Translation Test Data 1.0

Testovací data projektu Khresmoi pro překlad vyhledávacích dotazů 1.0

This package contains data sets for development and testing of machine translation of medical search short queries between Czech, English, French, and German. The queries come from general public and medical experts.

Tento balíček obsahuje datové sady pro vývoj a testování modelů strojového překladu pro krátké vyhledávací dotazy v oblasti medicíny, a to pro čestinu, angličtinu, francouzštinu a němčinu. Dotazy obsažené v datech pochází jak od zdravotnických profesionálů, tak od laické veřejnosti.

Pavel Pecina
Ondřej Dušek
Jan Hajič
Zdeňka Urešová


Adaptation of machine translation for multilingual information retrieval in medical domain

Přizpůsobení strojového překladu pro vícejazyčné vyhledávání informací v medicínské doméně

In this work, we investigate machine translation (MT) of search queries in the context of cross-lingual information retrieval (IR) in the domain of medicine. The main focus is on MT adaptation techniques to increase translation quality, however we also explore MT adaptation to improve cross-lingual IR directly. The experiments described herein have been performed and thoroughly evaluated for MT quality on the datasets created within the Khresmoi project and for IR performance on the CLEF eHealth 2013 datasets on three language pairs: Czech–English, German–English, and French–English. The search query translation results achieved in our experiments are outstanding – our systems outperformed not only our strong baselines, but also the Google Translate and Microsoft Bing Translator in direct comparison carried out on all the language pairs. In terms of the retrieval performance on this particular test collection, a significant improvement over the baseline has been achieved only for French–English. Throughout the article, we provide discussion and details on the contribution of the state-of-the-art features and adaptation techniques under exploration and provide future research directions.

Tato práce se zabývá strojovým překladem vyhledávacích dotazů pro vícejazyčné vyhledávání informací v oblasti medicíny. Hlavní pozornost je věnována jednak adaptaci překladových technik pro zvýšení překladové kvality, ale také přímo pro zlepšení výsledků vyhledávání.

Pavel Pecina
Ondřej Dušek
Lorraine Goeuriot
Jan Hajič
Jaroslava Hlaváčová
Gareth J.F. Jones
Liadh Kelly
Johannes Leveling
David Mareček
Michal Novák
Martin Popel
Rudolf Rosa
Aleš Tamchyna
Zdeňka Urešová


Multilingual Test Sets for Machine Translation of Search Queries for Cross-Lingual Information Retrieval in the Medical Domain

Vícejazyčné testovací sady pro strojový překlad vyhledávacích dotazů pro vyhledávání informací z oboru medicíny napříč jazyky

This paper presents development and test sets for machine translation of search queries in cross-lingual information retrieval in the medical domain. The data consists of the total of 1,508 real user queries in English translated to Czech, German, and French. We describe the translation and review process involving medical professionals and present a baseline experiment where our data sets are used for tuning and evaluation of a machine translation system.

Tento článek popisuje vývojové a testovací datové sady pro strojový překlad dotazů k vyhledávání informací v oboru medicíny napříč jazyky. Data sestávají z 1508 skutečných uživatelských dotazů zadaných v angličtině a přeložených do češitny, němčiny a francouzštiny. Popisujeme proces překladu a korektur, kterého se účastnili odborníci na medicínu, a představujeme základní experiment, při kterém jsou naše datové sady použity pro ladění a evaluaci systému pro strojový překlad.

Zdeňka Urešová
Ondřej Dušek
Jan Hajič
Pavel Pecina


This paper compares Czech and English annotation using Abstract Meaning Represantation formalism.

Článek srovnává české a anglické anotace na pozadí formalismu Abstract Meaning representation.


PDT-Vallex: Czech Valency lexicon linked to treebanks

PDT-Vallex: Valenční slovník češtiny propojený se korpusy

The valency lexicon PDT-Vallex has been built in close connection with the annotation of the Prague Dependency Treebank project (PDT) and its successors (mainly the Prague Czech-English Dependency Treebank project, PCEDT). It contains over 11000 valency frames for more than 7000 verbs which occurred in the PDT or PCEDT. It is available in electronically processable format (XML) together with the aforementioned treebanks (to be viewed and edited by TrEd, the PDT/PCEDT main annotation tool), and also in more human readable form including corpus examples (see the WEBSITE link below). The main feature of the lexicon is its linking to the annotated corpora - each occurrence of each verb is linked to the appropriate valency frame with additional (generalized) information about its usage and surface morphosyntactic form alternatives.

PDT-Vallex je český valenční lexikon propojený s reálnými texty v několika korpusech s českými daty: Pražský závislostní korpus a jeho nástupci Pražský česko-anglický závislostní korpus a Pražský závislostní korpus mluvené češtiny. Obsahuje přes  11000 valenčních rámců pro více než 7000 sloves.

Zdeňka Urešová
Jan Štěpánek
Jan Hajič
Jarmila Panevová
Marie Mikulová


Verb-Noun Idiomatic Combinations in a Czech-English Dependency Corpus

This is a corpus-based study,concentrating on multilayer specification of verbal MWEs, their properties in Czech and English,and a comparison between the two languages using the parallel Czech-English Dependency Treebank.

Korpusová studie se zabývá víceúrovňovou specifikací slovesných víceslovných výrazů a jejich vlastnostmi v češtině a v angličtině. Zároveň na základě využití paralelního korpusu (PCEDT)  slovesné idiomy v obou jmenovaných jazycích porovnává.

Zdeňka Urešová
Jana Šindlerová
Eva Fučíková
Jan Hajič


Nominalized structures with two participants in post-nominal genitive

Double post-nominal genitives in Czech have been illustrated by the only type of a nominalized
structure, e.g., zbavení ženy starostí ‘relieving woman-GEN worry-GEN.PL, i.e. relieving
the woman of worries’. In this paper, we specify three other types of double post-nominal
genitive constructions and search for their frequency in the Prague Dependency Treebank and
in the Czech National Corpus. Although the constructions are rare and less acceptable we try
to show that Czech grammar system allows them. Special attention is paid to nominalizations
of support verb constructions; they can be interpreted as one lexical unit which enables them
to be used within double post-nominal genitive constructions.

Nominalizované struktury se dvěma aktanty ve formě bezpředložkového genitivu byly doposud v české odborné literatuře reprezentovány pouze jediným typem zcela přijatelných a gramatických konstrukcí, např. zbavení ženy starostí. V této studii vymezujeme tři další typy nominalizovaných struktur se dvěma aktanty v bezpředložkovém genitivu a vyhledáváme jejich frekvence v Pražském závislostním korpusu a v Českém národním korpusu. Nově vymezené struktury jsou méně přijatelné a jejich frekvence jsou velmi nízké, přesto se domníváme, že je gramatika češtiny umožňuje. Zvláštní pozornost je věnována nominalizacím verbonominálních predikátů s kategoriálním slovesem; tyto konstrukce mohou být interpretovány jako jedna lexikální jednotka, což umožňuje jejich užití v rámci nominalizovaných struktur se dvěma aktanty v bezpředložkovém genitivu.


Preferences in co-occurrence of participants modifying Czech nouns of communication

Preference v souvýskytu aktantů u českých substantiv mluvení

Czech nouns of communication can mostly be modified by three participants, Speaker, Information and Addressee. These participants can be expressed by various forms but only some of them can be combined with each other. We search for frequencies of selected combinations of participants modifying several types of nouns of communication in subcorpora of the Czech National Corpus. We compare them with frequencies of similar combinations of participants modifying a sample of nouns of exchange and provide a quantitative analysis of them. The two semantic classes considerably differ in frequencies of combinations including Agent (Speaker of nouns of communication, Posesor 1 of nouns of exchange). While Agent is deleted in almost all occurrences of nouns of exchange, it is comparably frequent as Information in occurrences of some types of nouns of communication. We confirm our hypothesis that Agent plays an important role in valency behaviour of nouns of communication.

Česká substantiva mluvení mají tři sémantické participanty, Mluvčí, Informace a Příjemce. Tyto tři participanty mohou být vyjádřeny různými formami, v různých kombinacích. V subkorpusech Českého národního korpusu zjišťujeme četnosti vybraných kombinací aktantů u pěti skupin substantiv mluvení. Srovnáváme je s četnostmi obdobných kombinací aktantů u vzorku substantiv výměny a podáváme jejich kvantitativní analýzu. Ukazujeme, že dvě zkoumané sémantické třídy se podstatně liší v četnostech kombinací zahrnujících Konatele (Mluvčího u substantiv mluvení, Posesora 1 u substantiv výměny). Zatímco u substantiv výměny je Konatel téměř vždy elidován, u substantiv mluvení je výrazně četnější, u některých typů substantiv dokonce srovnatelně častý jako participant Informace. Můžeme tedy potvrdit naši hypotézu, že nezanedbatelný výskyt Konatele (při současném vyjádření Adresátu) je charakteristickou vlastností celé skupiny substantiv mluvení.


Special valency behavior of Czech deverbal nouns

Specifické valenční chování českých deverbativních substantiv

This chapter provides an in-depth analysis of valency properties of Czech deverbal nouns. It focuses on forms of complementations they take. These can be typical, related to the source verbs, or special, without any relationship with forms of participants of the verbs related. We present an overview of special shifts in valency. Special forms of participants have an impact for syntactic behaviour of the noun and for its meaning. We argue that it is not always a shift of the meaning but sometimes only a slight nuance. Such nouns with special forms of participants require creating a new valency frame; they represent a separate category on the boundary between syntactic and lexical derivation.

Tato kapitola přináší detailní analýzu valenčních vlastností českých deverbativních substantiv. Zaměřuje se na formy valenčních doplnění; ty mohou být typické, odpovídající formám valenčních doplnění základového slovesa, nebo specifické, bez jakéhokoliv formálního vztahu k formám doplnění u základového slovesa. Přinášíme přehled specifických posunů v povrchových formách (realizacích) participantů. Specifické formy participantů mají dopad na syntaktické chování daného substantiva a na jeho význam. Ukazujeme, že se nejedná vždy o jasný významový posun, ale že někdy jde pouze o jemný významový odstín. Navrhujeme pro tato substantiva se specifickými formami participantů vytvořit nový valenční rámec; tato substantiva představují zvláštní kategorii substantiv na hranici mezi syntaktickou a lexikální derivací.


Valency of selected types of deverbal nouns in the valency lexicon PDT-Vallex

Valence vybraných typů deverbativních substantiv ve valenčním slovníku PDT-Vallex

This work provides an in-depth analysis of valency properties of Czech deverbal nouns. It focuses on the forms of complementation they take. These can be typical, related to the source verbs, or specific, without any relationship to those of the source verbs. First we summarize new findings concerning typical shifts in valency. Then we present an overview of the specific shifts in valency. Specific forms of participants have an impact on the syntactic behaviour of the noun and its meaning. We argue that it is not always a plain shift in meaning but sometimes only a slight meaning nuance. Such nouns with specific forms of participants require creating a new valency frame in the valency lexicon PDT-Vallex; they represent a separate category on the boundary between syntactic and lexical derivation.

Tato práce přináší detailní analýzu valenčních vlastností českých deverbativních substantiv. Zaměřuje se na formy valenčních doplnění; ty mohou být typické, odpovídající formám valenčních doplnění základového slovesa, nebo specifické, bez jakéhokoliv formálního vztahu k formám doplnění u základového slovesa. Nejprve shrnujeme nejnovější poznatky v oblasti typických posunů v povrchových realizacích (formách) participantů. Poté přinášíme přehled posunů specifických. Specifické formy participantů mají dopad na syntaktické chování daného substantiva a na jeho význam. Ukazujeme, že se nejedná vždy o jasný významový posun, ale že někdy jde pouze o jemný významový odstín. Navrhujeme pro tato substantiva se specifickými formami participantů vytvořit nový valenční rámec ve valenčním slovníku PDT-Vallex. Tato substantiva představují zvláštní kategorii substantiv na hranici mezi syntaktickou a lexikální derivací.


Discourse Relations in the Prague Dependency Treebank 3.0

Diskurzní vztahy v Pražském závislostním korpusu 3.0

The aim of the paper is threefold. First, it introduces the current version of the annotation tool for discourse relations in the Prague Dependency Treebank 3.0. Second, it presents the discourse relations in the treebank themselves, including new additions in comparison with the
previous release. And third, it shows how to search in the treebank, with focus on the discourse
relations.

Článek má tři cíle. Za prvé seznamuje čtenáře se současnou verzí anotačního nástroje pro diskurzní vztahy v Pražském závislostním korpusu 3.0. Za druhé představuje samotné diskurzní vztahy v tomto korpusu, včetně novinek ve srovnání s předchozím vydáním. A za třetí ukazuje, jak v tomto korpusu vyhledávat, se zaměřením na diskurzní vztahy.

Jiří Mírovský
Pavlína Jínová
Lucie Poláková


What can linguists learn from some simple statistics on annotated treebanks

Co mohou lingvisté zjistit z jednoduchých statistik na anotovaných treebancích

The goal of the present contribution is rather modest: to collect simple statistics carried out on different layers of the annotation scenario of the Prague Dependency Treebank in order to illustrate their usefulness for linguistic research, either by supporting existing hypotheses or suggesting new research questions or new explanations of the existing ones. For this purpose, we have collected the data from the already published papers on PDT (quoted at the relevant places), adding some more recent results and drawing some more general consequences relevant for Czech grammar writers.

Cíl příspěvku je poměrně skromný: sebrat jednoduché statistiky z různých rovin Pražského závislostního korpusu a na nich ukázat jejich užitečnost pro jazykový výzkum, a to jako doklad pro existující jazykové teorie nebo jako inspirace pro nové směry výzkumu či nová vysvětlení existujících otázek. Za tímto účelem jsme shromáždili data z již publikovaných článků o PDT (s odkazy na příslušných místech), přidali některé novější výsledky a vyvodili obecnější důsledky podstatné pro autory zabývající se českou gramatikou.


Lingua::Interset is a universal morphosyntactic feature set to which all tagsets of all corpora/languages can be mapped. Version 2.026 covers 64 different tagsets of 37 languages.

Lingua::Interset je univerzální sada morfosyntaktických rysů, do které je možné zobrazit všechny sady značek všech korpusů a jazyků. Verze 2.026 pokrývá 64 různých sad značek pro 37 jazyků.


HamleDT 2.0 is a collection of 30 existing treebanks harmonized into a common annotation style, the Prague Dependencies, and further transformed into Stanford Dependencies, a treebank annotation style that became popular recently. We use the newest basic Universal Stanford Dependencies, without added language-specific subtypes.

HamleDT 2.0 je sada 30 existujících treebanků (syntakticky anotovaných korpusů), harmonizovaných do jednotného anotačního stylu, tzv. Pražských závislostí, a dále transformovaných do Stanfordských závislostí, anotačního stylu, který se v poslední době stal populární. Používáme nejnovější verzi tzv. základních Universal Stanford Dependencies, bez přidaných jazykově závislých podtypů.

Daniel Zeman
David Mareček
Jan Mašek
Martin Popel
Loganathan Ramasamy
Rudolf Rosa
Jan Štěpánek
Zdeněk Žabokrtský


HamleDT: Harmonized Multi-Language Dependency Treebank

HamleDT: Harmonizovaný vícejazyčný závislostní korpus

We present HamleDT – a HArmonized Multi-LanguagE Dependency Treebank. HamleDT is a compilation of existing dependency treebanks (or dependency conversions of other treebanks), transformed so that they all conform to the same annotation style. In the present article, we provide
a thorough investigation and discussion of a number of phenomena that are comparable across languages, though their annotation in treebanks often differs. We claim that transformation procedures can be designed to automatically identify most such phenomena and convert them to a unified annotation style. This unification is beneficial both to comparative corpus linguistics
and to machine learning of syntactic parsing.

Představujeme HamleDT – Harmonizovaný vícejazyčný závislostní korpus (HArmonized Multi-LanguagE Dependency Treebank). HamleDT je sbírka existujících závislostních korpusů (nebo jiných korpusů převedených do závislostní syntaxe), transformovaných tak, aby všechny odpovídaly jednotnému anotačnímu stylu. V tomto článku představujeme podrobný rozbor řady jevů, které jsou v různých jazycích srovnatelné, jejich zachycení v korpusech se však často liší. Tvrdíme, že je možné navrhnout takové transformační procedury, které většinu zmíněných jevů automaticky rozpoznají a převedou do jednotného stylu. Tato normalizace je důležitá jak pro komparativní lingvistiku, tak pro strojové učení syntaktické analýzy.

Daniel Zeman
Ondřej Dušek
David Mareček
Martin Popel
Loganathan Ramasamy
Jan Štěpánek
Zdeněk Žabokrtský
Jan Hajič


Crowdsourcing in language classes can help Natural Language Processing

Crowdsourcing v hodinách jazyka může pomoci počítačovému zpracování přirozeného jazyka

One way of teaching grammar, namely morphology and syntax, is to visualize sentences as diagrams capturing relationships between words. Similarly, such relationships are captured in a more complex way in treebanks serving as key building stones in modern natural language processing. However, building treebanks is very time consuming, thus we have been seeking for an alternative cheaper and faster way, like crowdsourcing. The purpose of our work is to explore possibility to get sentence diagrams produced by students and teachers.
In our pilot study, the object language is Czech, where sentence diagrams are part of elementary school curriculum.

Jedním ze způsobů, jak učit gramatiku, tj. tvaroslovný a větný rozbor, je kreslit diagramy, které zachycují vztahy mezi slovy ve větě. Podobně, ale mnohem komplexněji jsou tyto vztahy zachyceny v korpusech, které představují základní stavebni kameny v počítačovém zpracování přirozeného jazyka. Ovšem budování korpusů je velmi náročná aktivita, proto hledáme alternativní levnější a rychlejší způsoby organizace anotování, jako je např. crowdsourcing. Cílem této práce je prozkoumat možnosti získávání větných rozborů od žáků a jejich učitelů. V naší pilotní studii pracujeme s češtinou a větnými rozbory vyučovanými na českých školách.


Annotation on the tectogrammatical level. Additions to annotation manual (with respect to PDTSC and PCEDT)

Anotace na tektogramatické rovině. Dodatky k anotátorské příručce (s ohledem na PDTSC a PCEDT)

Technical report provides new annotation rules for annotation of czech text on tectogrammatical level of the Prague Dependency Treebanks. The rules supplement main annotation manual (ÚFAL/CKL TR-2005-28) and were formed with respect to annotation of PCEDT 2.0 and PDTSC 2.0.

Technická zpráva shrnuje nová anotační pravidla pro anotovaní českých textů na tektogramatické rovině Pražských závislostních korpusů, která doplňují velký anotační manuál (ÚFAL/CKL TR-2005-28). Pravidla vznikla v souvislosti s anotováním korpusů PCEDT 2.0 a PDTSC 2.0.


Semantic Representation of Ellipsis in the Prague Dependency Treebanks

Významová reprezentace elipsy v Pražských závislostních korpusech

This article answers the question what is and what is not ellipsis and specifies criteria for identification of elliptical sentences. It reports on an analysis of types of ellipsis from the point of view of semantic representation of sentences. It does not deal with conditions and causes of the constitution of elliptical positions in sentences (when and why is it possible to omit something in a sentence) but it focuses exclusively on the identification of elliptical positions (if there is something omitted and what) and on their semantic representation in a treebank, specifically on their representation on the deep syntactic level of the Prague Dependency Treebanks. The theoretical frame of the approach to ellipsis presented in this article is dependency grammar.

Článek přináší odpověď na otázku, co je a co není elipsa, a stanovuje kritéria určování elips ve větě. Analýzu jednotlivých typů elips podává z pohledu významové (sémanticko-syntaktické) reprezentace vět. Nezabývá se podmínkami a příčinami vzniku elips (kdy a proč je možné něco elidovat), zaměřuje se výhradně na identifikaci eliptických míst (zda je ve větě něco elidováno a co) a na jejich významovou reprezentaci, konkrétně na jejich zachycení na tektogramatické rovině pražských závislostních korpusů.


The talk focuses on basic syntactic relations, namely dependency and word order. We will discuss their mutual relations and show their inferences (including so called non-projectivity). We will get familiar with Prague Dependency Treebank, which provide "knowledge" of Czech (and other languages) to computers and makes their automatic processing possible.

Přednáška se zaměří na základní syntaktické vztahy, především závislost a slovosled. Přiblížíme si jejich vzájemné vazby a ukážeme příklady vzájemného ovlivňování (včetně tzv. neprojektivních konstrukcí). Seznámíme se s Pražským závislostním korpusem, který zprostředkovává "znalost" češtiny i některých jiných jazyků počítačům, a tak umožňuje jejich automatické zpracování.


Přirozený jazyk a matematika:jak popsat češtinu tak, aby jí „porozuměly“ počítače?

Natural Language and Mathematics: How to describe Czech for Computers? The talk focuses on basic syntactic relations, namely dependency and word order. We will discuss their mutual relations and show their inferences (including so called non-projectivity). We will get familiar with Prague Dependency Treebank, which provide "knowledge" of Czech (and other languages) to computers and makes their automatic processing possible.

Přirozený jazyk a matematika: jak popsat češtinu tak, aby jí „porozuměly“ počítače? Přednáška se zaměří na základní syntaktické vztahy, především závislost a slovosled. Přiblížíme si jejich vzájemné vazby a ukážeme příklady vzájemného ovlivňování (včetně tzv. neprojektivních konstrukcí). Seznámíme se s Pražským závislostním korpusem, který zprostředkovává "znalost" češtiny i některých jiných jazyků počítačům, a tak umožňuje jejich automatické zpracování.


Dependencies vs. Coordination from the Point of View of Analysis by Reduction

Gramatické závislosti vs. koordinace z pohledu redukční analýzy

The article focuses on the identification of interesting phenomena in the syntactically annotated corpus (Prague Dependency Treebank) using a method of Analysis by Reduction. Investigated phenomena are enriched with coordination and apposition. The study supports and motivated formal modeling of natural languages.

Tento příspěvek se věnuje identifikaci zajímavých konstrukcí v syntakticky anotovaném korpusu (Pražském závislostním korpusu, PDT) metodou auto- matické redukční analýzy. Rozšiřujeme zkoumané konstrukce zejména o koordinační a apoziční vztahy, které mají zřetelně ne-závislostní charakter a vedou tedy k zobecnění používané redukční metody. Přinášíme klasifikaci zkoumaných konstrukcí a soustřeďujeme se na popis a analýzu jednotlivých jazykových jevů, které při zpracování působí problémy. Tato studie je motivací pro formální modelování metod zpracování přirozeného jazyka.

Markéta Lopatková
Jiří Mírovský
Vladislav Kuboň


On the Complexity of Reductions by Restarting Automata.

O složitosti redukcí pomocí restartovacích automatů

The paper provides linguistic observations as a motivation for a formal study of analysis by
reduction (AR). It concentrates on a study of the whole mechanism through a class of restarting
automata with meta-instructions using pebbles, delete, and shift operations (DS-automata). The
complexity of DS-automata is naturally measured by the number of deletions, and the number
of word order shifts used in a single meta-instruction. We study reduction languages, backward correctness preserving AR, correctness preserving AR, and show unbounded hierarchies (scales) for various classes of reduction languages by the same finite witness languages. The scales make it possible to estimate relevant complexity issues of analysis by reduction for natural languages.

Příspěvek nabízí lingvistická pozorování jako motivaci pro studium formální redukční analýzy. Využívá přitom třídu restartovacích automatů s metainstrukcemi, které pracují s "oblázky" a se dvěma operacemi - delete a shift.

Martin Plátek
Markéta Lopatková
Dana Pardubská


On Minimalism of Analysis by Reduction by Restarting Automata

O minimalismu redukční analýzy pomocí restartovacích automatů

The paper provides linguistic observations as a motivation for a formal study of an analysis by reduction. It concentrates on a study
of the whole mechanism through a class of restarting automata with meta-instructions using pebbles, with delete and shift operations (DSautomata).
Four types of (in)finite sets defined by these automata are considered as linguistically relevant: basic languages on word forms marked
with grammatical categories, proper languages on unmarked word forms, categorial languages on grammatical categories, and sets of reductions
(reduction languages). The equivalence of proper languages is considered for a weak equivalence of DS-automata, and the equivalence of reduction languages for a strong equivalence of DS-automata.
The complexity of a language is naturally measured by the number of pebbles, the number of deletions, and the number of word order shifts
used in a single reduction step. We have obtained unbounded hierarchies (scales) for all four types of classes of finite languages considered here,
as well as for Chomsky’s classes of infinite languages. The scales make it possible to estimate relevant complexity issues of analysis by reduction for natural languages.

Příspšvek se zabývá minimalismem redukční analýzy pomocí restartovacích automatů. Definují se v něm 4 třídy jazyků - základní jazyky nad slovními formami oznašenými gramatickými kategoriemi, vlastními jazyky nad slovními formami, hategoriální jazyky a jazyk redukcí. Složitost jazyků je měřena počtem "oblázků", počtem vyouštění a počtem přsunů během analýzy.

Martin Plátek
Dana Pardubská
Markéta Lopatková


Multilingual Aspects of the Khresmoi project

Multilinguální aspekty projektu Khresmoi

Evropský projekt Khresmoi vyvíjí multilinguální a multimodální vyhledávací systém v oboru biomedicíny.

The European project Khresmoi aims to develop a multilingual and multimodal search and access system  for bilomedical information and documents.


Intensity of verbal actions expressed by means of prefixes

Vyjádření intenzity slovesného děje pomocí předpon

Processing of intensified verbs (verbs with an intensifying prefix) using corpora SYN. Evaluation of the results.

Vyhledávání tzv. stupňovaných sloves, tj. sloves s intenzifikační předponou, v korpusech řady SYN. Vyhodnocení spolehlivosti intenzifikační interpretace.


The paper discusses a~set of verbal prefixes which, when added to a~verb together with a~reflexive morpheme,
change the verb's meaning always in the same manner.
The prefixes form a~sequence according to the degree of intensity with which they modify the verbal action.
We present the process of verb intensification in three Slavic languages, namely Czech, Slovak and Russian.

Příspěvek uvádí sadu slovesných předpon, které spolu s reflexním morfémem mění význam slovesa, a to vždy stejným způsobem.
Předpony tvoří posloupnost podle stupně intenzity, kterou pozměňují akci popisovanou daným slovesem.
Představujeme proces intenzifikace slovesa ve třech slovanských jazycích, a to v češtině, slovenštině a ruštině.


MCLAAS - integrated search system for multilingual archive

MCLAAS - integrovaný systém vyhledávání ve vícejazyčném audioarchívu

This software is used for multi-lingual (Czech and English) search for relevant words or short phrases in the archive of Holocaust survivors, managed by USC (University of Southern California) Shoah Foundation Institute (http://dornsife.usc.edu/vhi/), which contains more than 110,000 hours of records in 32 languages, with approximately half of these interviews is conducted in English. Czech part of the archive accounts for approximately one thousand hours. For the purposes of searching in the system MCLAAS are Czech and English speech data first processed with the appropriate speech recognition module (SEASR-CZE - see http://www.kky.zcu.cz/en/sw/SEASR-CZE or SEASR-ENG - see http://www.kky.zcu.cz/en/sw/SEASR-ENG) and then a so-called index is created, which is a machine representation of recognized utterances, which speeds up the search for a desired word or phrase. Both retrieval systems currently operate only with an index based on word representation - phonetic search will be implemented later. Each system is currently looking for occurrences of words or phrases in about 1000 hours of video. Those are all data available in the case of Czech; in English there are more than 50,000 hours, but the recognition and indexing of all this volume will require parallelization of individual processes. Cross-searching (query in English, data / interviews in English and Czech) in the system is facilitated by automatic query translation. Implementation was carried out as a special version of MTMonkey (http://ufal.mff.cuni.cz/mtmonkey).

Software slouží pro vícejazyčné (české a anglické) vyhledávání relevantních slov či krátkých frází v archivu přeživších Holocaustu, spravovaném USC (University of Southern California) Shoah Foundation Institute (http://dornsife.usc.edu/vhi/). Tento archiv obsahuje více než 110 tisíc hodin záznamů v 32 jazycích, přičemž přibližně polovina těchto rozhovorů je vedena v angličtině. Pro účely vyhledávání v systému MCLAAS jsou česká a anglická řečová data nejprve zpracována příslušným modulem rozpoznávání řeči (SEASR-CZE - viz http://www.kky.zcu.cz/cs/sw/SEASR-CZE, resp. SEASR-ENG - viz http://www.kky.zcu.cz/cs/sw/SEASR-ENG) a poté je vytvořen tzv. index, což je strojová reprezentace rozpoznaných promluv, která umožňuje co nejrychlejší vyhledání požadovaného slova či fráze. Oba vyhledávací systémy pracují momentálně pouze s indexem založeným na slovní reprezentaci – fonémové vyhledávání bude implementováno později. Každý ze systémů v současnosti hledá výskyty slov či frází zhruba v 1000 hodin videozáznamů. V případě češtiny jde o veškerá dostupná data; v angličtině je k dispozici více než 50 tisíc hodin, ale rozpoznání a zaindexování celého tohoto objemu bude vyžadovat paralelizaci jednotlivých procesů. Pro křížové vyhledávání (dotaz v češtině, data/rozhovory v angličtině a češtině) byl použit systém překladu dotazu. Implementace byla provedena jako zvláštní verze systému MTMonkey (http://ufal.mff.cuni.cz/mtmonkey).

Jan Švec
Tomáš Valenta
Petr Stanislav
Pavel Ircing
Luděk Müller
Ondřej Bojar
Aleš Tamchyna
David Mareček
Zdeněk Žabokrtský
Martin Popel
Petra Galuščáková
Jan Hajič


A Comparison of MT Methods for Closely Related Languages: a Case Study on Czech – Slovak Language Pair

Porovnání metod strojového překladu pro blízce příbuzné jazyky - případová studie pro jazykový pár čeština a slovenština

This paper describes an experiment compar-
ing results of machine translation between two
closely related languages, Czech and Slovak.
The comparison is performed by means of two
MT systems, one representing rule-based ap-
proach, the other one representing statistical
approach to the task. Both sets of results are
manually evaluated by native speakers of the
target language. The results are discussed both
from the linguistic and quantitative points of
view.

Článek rozebírá výsledky překladu z češtiny do slovenštiny pomocí dvou systémů - Google Translate a Česílko. Součástí článku je také rozbor chyb obou systémů.


Automatic Mapping Lexical Resources: A Lexical Unit as the Keystone

Automatické propojování lexikálních zdrojů: Lexikální jednotka jako úhelný kámen

This paper presents the fully automatic linking of two valency lexicons of Czech verbs: VALLEX and PDT-VALLEX. Despite the same theoretical background adopted by these lexicons and the same linguistic phenomena they focus on, the fully automatic mapping of these resouces is not straightforward.

We demonstrate that converting these lexicons into a common format represents a relatively easy part of the task whereas the automatic identification of pairs of corresponding valency frames (representing lexical units of verbs) poses difficulties. The overall achieved precision of 81% can be considered satisfactory. However, the higher number of lexical units a verb has, the lower the precision of their automatic mapping usually is. Moreover, we show that especially (i) supplementing further information on lexical units and (ii) revealing and reconciling regular discrepancies in their annotations can greatly assist in the automatic merging.

Článek popisuje plně automatické propojování dvou valenčních slovníku českých sloves: VALLEXu a PDT-Vallexu. I přes společný teoretický základ, z něhož oba vycházejí, a přes stejné jazykové jevy, na něž se zaměřují, není plně automatické propojování snadné.

Ukážeme, že konverze slovníku do společného formátu představuje tu snadnější část úlohy, kdežto automatická identifikace dvojic odpovídajících si valenčních rámců přináší obtíže.

Celkovou dosaženou přesnost 81% lze považovat za uspokojivou. Je však třeba si uvědomit, že s rostoucím počtem lexikálních jednotek slovesa klesá přesnost automatického mapování. Ukážeme, že značně pomůže, pokud (i) poskytneme doplňující informace o lexikálních jednotkách a (ii) odhalíme a sladíme pravidelné nesrovnalosti v anotaci v obou slovnících.

Eduard Bejček
Václava Kettnerová
Markéta Lopatková


What is Inside Llewyn Davis? Inner Structure of MWEs

Co je V nitru Llewyna Davise? Vnitřní struktura VV

What we demonstrate in this poster is annotation of structure of selected types of multiword named entities and how this structure relates to the syntactic structures around and inside these MWEs.

V posteru ukazujeme anotaci vnitřní struktury vybraných typů víceslovných pojmenovaných entit. Porovnáváme tuto strukturu se syntaktickou strukturou uvnitř i vně těchto VV.


Syntactic Identification of Occurrences of Multiword Expressions in Text using a Lexicon with Dependency Structures

Syntaktická identifikace výskytů víceslovných výrazů v textu s pomocí lexikonu se závislostními strukturami

We deal with syntactic identification of occurrences of multiword expression (MWE) from an existing dictionary in a text corpus. The MWEs we identify can be of arbitrary length and can be interrupted in the surface sentence. We analyse and compare three approaches based on linguistic analysis at a varying level, ranging from surface word order to deep syntax. We use the dictionary of multiword expressions SemLex, that includes deep syntactic dependency trees of its MWEs.

Práce se zabývá syntaktickou identifikací výskytů víceslovných výrazů (VV) ze slovníku v textovém korpusu.
Porovnáváme tři přístupy odlišné v hloubce lingvistické analýzy -- od povrchového pořadí slov po hloubkovou syntax.

Eduard Bejček
Pavel Straňák
Pavel Pecina


Building a database of Czech derived words

V příspěvku je popisováno budování databáze českých derivátů, pozornost je zaměřena na lingvistické aspekty tohoto procesu. V češtině je derivace nejfrekventovanějším a nejvíce produktivním slovotvorným procesem. Budovaná databáze je navržena jako lexikální síť, která sestává z lexémů (uzlů) a derivačních vztahů (hran) mezi nimi. Derivační vztahy byly generovány automaticky, ovšem za důkladné ruční kontroly.

The development of a database of Czech derived words is described, focusing on linguistic aspects of this task. In Czech, which is a Slavic language with both rich inflectional and derivational morphology, derivation is the most frequent and most productive word-formation process. The database of Czech derived words was designed as a lexical network, which consists of lexemes and derivational relations (links) between them, oriented from the base to the derived word. The derivational relations were processed automatically under a thorough manual supervision in order to ensure efficiency and consistency on the one hand and theoretical adequacy on the other.


Qualitative and non-qualitative meaning of nouns with the suffix -ost

Kvalitativní a nekvalitativní význam substantiv s příponou -ost

The present study deals with Czech deadjectival derivates with the suffix -ost. In the Czech linguistics, the suffix is described as a monofunctional suffix that derives names of qualities (e.g. sladkost `sweetness’; qualitative meaning). However, as the corpus data demonstrate that the suffix is commonly used for deriving names of bearers of quality (sladkost `sweet thing’; non-qualitative meaning) in contemporary Czech as well, we propose to consider both the names of qualities and the names of their bearers as direct deadjectival derivates with the suffix -ost. The proposal is supported by an analysis of large data from the SYN2010 corpus. The material documents that, first of all, there is a relation between the frequency of a noun with the suffix -ost and its usage in the non-qualitative meaning and, secondly, that the existence of plural forms can be interpreted as a signal that the particular noun (except for the most frequent nouns) has a non-qualitative meaning.

Článek se zabývá českými deadjektivními deriváty s příponou -ost. V české lingvistice je tento sufix popisován jako monofunkční sufix odvozující substantiva s významem kvality (př. sladkost; kvalitativní význam). Korpusová data ovšem ukazují, že jsou tato substantiva v současné češtině běžně používána také pro odvozování jmen s významem nositele vlastnosti (sladkost ve významu cukrovinka; nekvalitativní význam). Navrhujeme proto jak názvy vlastností tak názvy jejich nositelů hodnotit jako přímé deadjektivní deriváty s příponu -ost. Návrh je podložen analýzou rozsáhlého materiálu z korpusu SYN2010. Tato analýza potvrdila vztah mezi frekvencí substantiva s příponou -ost a jeho užíváním v nekvalitativním významu a také popisovanou skutečnost, že existence plurálových forem může být interpretována jako signál, že dané substantivum (s výjimkou vysoce frekventovaných jmen) má nekvalitativní význam.


Investigating word-formation productivity from corpus data: the suffixes deriving names of qualities

Zjišťování slovotvorné produktivity z korpusových dat: přípony odvozující názvy vlastností

In the “corpus age” of linguistics, the research in productivity in word-formation has focused on development of measures that enable to calculate productivity from frequency data gained from large corpora. In the contribution, we determine productivity of four suffixes that are used in names of qualities in Czech. The results obtained by respected productivity measures are compared with a tentative approach (inspired esp. by Dokulil, 1962) to determine productivity of the suffixes on the basis of their systemic features. The disparity of results based on quantitative data vs. systemic features are interpreted in favor of combining both aspects.

Pojetí produktivity a její zjišťování patří k základním otázkám slovotvorného výzkumu; s etablováním korpusů jako materiálových zdrojů lingvistické práce se výzkum produktivity stal ústředním tématem (především evropského) slovotvorného bádání. V zahraničních pracích je od 90. let 20. století diskutována možnost vyčíslit produktivitu jednotlivých formantů na základě frekvenčních údajů z korpusových dat, zásadní důležitost je přitom přikládána derivátům, které jsou v korpusových datech doloženy jediným výskytem. V příspěvku ilustrujeme problematičnost zjišťování slovotvorné produktivity z korpusových dat analýzou čtyř přípon, které v češtině vystupují jako součást názvů vlastností (zpravidla vedle jiných užití). Aplikací etablovaných kvantitativních přístupů a pokusem o důsledný rozbor systémových vlastností této sady přípon totiž dospíváme k různým výsledkům, tzn. jako nejproduktivnější jsou stanoveny různé přípony.


AdjDeriNet: Words Derived from Adjectives in Czech

AdjDeriNet: Slova odvozená od adjektiv v češtině

The lexical resource contains nearly 18 thousand adjective lexemes, which are base words for about 26 thousand lexemes of several parts of
speech; the database thus consists of 44 thousand derivationally interlinked lexemes in total. The most frequent derivatives are adverbs with the suffix -e/ě, nouns with the suffix -ost and adverbs ending in -sky/-cky. Nouns ending in -as (ex. kliďas ‘phlegmatic person’), verbs with -at (zelenat ‘to turn green’), or adjectives with the suffix -ičký (maličký ‘very small’) belong to the least frequent deadjectival derivatives in the database.

Lexikální síť AdjDeriNet zachycuje derivační vztahy mezi téměř 18 tisíci adjektivy a 26 tisíci lexémy od nich odvozenými (patřícími k různým slovním druhům); data tak obsahují celkem 44 tisíc lexémů. Nejfrekventovanějším deadjektivními deriváty jsou adverbia s příponou -e/ě, substantiva s příponou -ost a adverbia na -sky/-cky. Substantiva s příponou -as (př. kliďas), slovesa na -at (zelenat) nebo adjekiva s příponou -ičký (maličký) patří k nejméně frekventovaným derivátům v těchto datech.


In the present paper, we describe the development of the lexical network DeriNet, which captures core word-formation relations on the set of around 266 thousand Czech lexemes. The network is currently limited to derivational relations because derivation is the most frequent and most productive word-formation process in Czech. This limitation is reflected in the architecture of the network: each lexeme is allowed to be linked up with just a single base word; composition as well as combined processes (composition with derivation) are thus not included. After a brief summarization of theoretical descriptions of Czech derivation and the state of the art of NLP approaches to Czech derivation, we discuss the linguistic background of the network and introduce the formal structure of the network and the semi-automatic annotation procedure. The network was initialized with a set of lexemes whose existence was supported by corpus evidence. Derivational links were created using three sources of information: links delivered by a tool for morphological analysis, links based on an automatically discovered set of derivation rules, and on a grammar-based set of rules. Finally, we propose some research topics which could profit from the existence of such lexical network.

V příspěvku popisujeme vývoj lexikální sítě DeriNet, která zachycuje slovotvorné vztahy mezi zhruba 266 tisíci českými lexémy. Síť je v současné době omezena na procesy odvozování, které je v české slovotvorbě nejčastější a také nejproduktivnější. Toto omezení je reflektováno v architektuře sítě: každý lexém smí být spojen pouze s jedním základovým slovem; skládání a kombinované slovotvorné procesy (kompozice s derivací) nejsou do sítě zahrnuty. Po krátkém shrnutí teoretického popisu derivace v češtině a prací věnujících se české derivaci z komputačního hlediska popisujeme lingvistická rozhodnutí, ze kterých návrh sítě vychází, a následně formální strukturu sítě a poloautomatickou anotaci.


A Factored Discriminative Spoken Language Understanding for Spoken Dialogue Systems

Faktorové diskriminativní porozumění řeči pro hlasové dialogové systémy

This paper describes a factored discriminative spoken language understanding method suitable for real-time parsing of recognised speech. It is based on a set of logistic regression classifiers, which are used to map input utterances into dialogue acts. The proposed method is evaluated on a corpus of spoken utterances from the Public Transport Information (PTI) domain. In PTI, users can interact with a dialogue system on the phone to find intra- and inter-city public transport connections and ask for weather forecast in a desired city. The results show that in adverse speech recognition conditions, the statistical parser yields significantly better results compared to the baseline well-tuned handcrafted parser.

Tento článek popisuje metodu faktorového diskriminativního porozumění řeči, vhodnou pro parsování rozpoznané řeči v reálném čase. Je založena na sadě klasifikátorů logistické regrese, které se používají pro převod vstupních textů do dialogových aktů. Navrhovanou metodu evaluujeme na řečovém korpusu z domény informací o veřejné dopravě. Ta představuje soubor záznamů telefonních hovorů uživatelů dialogového systému, kteří hledají spojení městské nebo meziměstské veřejné dopravy, popř. se ptají na počasí v určitém městě. Výsledky ukazují, že za podmínek nepříznivých pro statistické rozpoznávání řeči náš statistický parser funguje lépe než základní dobře vyladěný pravidlový parser.

Filip Jurčíček
Ondřej Dušek
Ondřej Plátek


Alex: A Statistical Dialogue Systems Framework

Alex: framework statistických dialogových systémů

This paper describes the Alex Dialogue Systems Framework (ADSF).
The ADSF currently includes mature components for public telephone network connectivity, voice activity detection, automatic speech recognition, statistical spoken language understanding, and probabilistic belief tracking. The ADSF is used in a real-world deployment within the Public Transport Information (PTI) domain. In PTI, users can interact with a dialogue system on the phone to find intra- and inter-city public transport connections and ask for weather forecast in a desired city. Based on user responses, vast majority of the system users are satisfied with the system performance.

Tento článek popisuje framework dialogových systémů Alex (ADSF).
ADSF v současné době zahrnuje komponenty pro telefonii, detekci hlasu, rozpoznávání řeči, porozumění řeči a pravěpodobností sledování stavu dialogu. ADSF je používáno v reálné aplikace pro poskytování informací o veřejné dopravě, "PTI" doméně. V "PTI" doméně uživatelé komunikují s dialogovým systémem pomocí telefonu, aby získali informace o dopravních spojeních jak v MHD tak mezi městy.
Na základě uživatelských hodnocení je naprostá většina uživatelů se systémem spokojena.

Filip Jurčíček
Ondřej Dušek
Ondřej Plátek
Lukáš Žilka


IBM’s Belief Tracker: Results On Dialog State Tracking Challenge Datasets

IBM’s Belief Tracker: Výsledky na datasetu ze soutěže Dialog State Tracking Challenge

Accurate dialog state tracking is crucial for the design of an efficient spoken dialog system. Until recently, quantitative comparison of different state tracking methods was difficult. However the 2013 Dialog State Tracking Challenge (DSTC) introduced a common dataset and metrics that allow to evaluate the performance of trackers on a standardized task. In this paper we present our belief tracker based on the Hidden Information State (HIS) model with an adjusted user model component. Further, we report the results of our tracker on test3 dataset from DSTC. Our tracker is competitive with trackers submitted to DSTC, even without training it achieves the best results in L2 metrics and it performs between second and third place in accuracy. After adjusting the tracker using the provided data it outperformed the other submissions also in accuracy and yet improved in L2. Additionally we present preliminary results on another two datasets, test1 and test2, used in the DSTC. Strong performance in L2 metric means that our tracker produces well calibrated hypotheses probabilities

Přesné sledování stavu dialogu je zásadní pro návrh efektivního mluveného dialogového systému. Až do nedávné doby bylo kvantitativní srovnání různých metod sledování stavu obtížné. Soutěž sledování stavu dialogu v roce 2013 (DSTC) zavedla společou datovou a metriky, které umožňují vyhodnotit výkon různých systémů na jedné standardizované úloze. V tomto příspěvku předtsavujeme náš systém založený na modelu HIS (Hidden Information State) s upravenou komponentou uživatelského modelu. Dále uvádíme výsledky našeho trackeru na datovém souboru test3 z DSTC. Náš tracker je konkurenceschopný s trackery z DSTC, a to i bez dalšícho trénovaní. Dosahuje nejlepších výsledků v metrikách L2 a provádí přesnost mezi druhým a třetím místem. Po dotrénování systémů pomocí poskytnutých dat naše metoda překonala ostatní systémy v přesnosti a ještě zlepšila v metrice L2. Dále předkládáme předběžné výsledky o dalších dvou sadách dat test1 a test2, které byly použity v DSTC. Výsledky metrice L2 znamenají, že náš systém vytváří hypotézy s dobře kalibrovanými pravděpodobnostmi.

Rudolf Kadlec
Jindřich Libovický
Jan Macek
Jan Kleindienst


Sledování stavu dialogu založené na znalosti

Abstract:
This paper presents two discriminative knowledge-based dialog state trackers and their results on the Dialog State Tracking Challenge (DSTC) 2 and 3 datasets. The first tracker was submitted to the DSTC3 competition and scored second in the joint accuracy. The second tracker developed after the DSTC3 submission deadline gives even better results on the DSTC2 and DSTC3 datasets. It performs on par with the state of the art machine learning-based trackers while offering better interpretability. We summarize recent directions in the dialog state tracking (DST) and also discuss possible decomposition of the DST problem. Based on the results of DSTC2 and DSTC3 we analyze suitability of different techniques for each of the DST subproblems. Results of the trackers highlight the importance of Spoken Language Understanding (SLU) for the last two DSTCs.

Tento článek představuje dvě diskriminativní znalostní metody sledování stavu dialogu a jejich výsledky na datových sadách DSTC 2 a 3. První systém byl zařazen do soutěže DSTC3 a umístil se na druhém místě. Druhý tracker vyvinutý po termínu soutěze dává ještě lepší výsledky. Metoda nabízí srovnatelné výsledky jako nejlepší existující systémy a zorveň je dobře interpertovatelná. Na základě výsledků DSTC2 a DSTC3 analyzujeme vhodnost různých technik pro každý z dílčích problémů sledování stavu dialogu. Výsledky systémů ukazují důležitost sémantické analýzy (SLU) pro poslední dvě DSTC.

Rudolf Kadlec
Miroslav Vodolán
Jindřich Libovický
Jan Macek
Jan Kleindienst


I presented the Fairytale Child Chatbot to visitors of the Day of Open Doors, i.e. especially prospective students of MFF and potentially ÚFAL. The visitors had the opportunity to chat with the chatbot themselves, which many of them used and enjoyed.

Představil jsem chatbota Pohádkové dítě návštěvníkům Dne otevřených dveří, t.j. zejména možných studentů MFF a potenciálně ÚFALu. Návštěvníci měli možnost si sami popovídat s chatbotem, kterou mnoho z nich využilo a užilo si.


The manual gives instructions on installing and running Depﬁx, our open-source tool for automatic post-editing of machine translation. We cover the steps required to use Depﬁx to process your own data. The manual also contains a description of the Depﬁx pipeline, including instructions that will enable you to modify the operation of Depﬁx.

Manuál podává instrukce pro instalaci a běh Depﬁxu, našeho open-source nástroje pro automatickou post-editaci strojového překladu. V dokumentu pokrýváme kroky potřebné k užití Depﬁxu pro zpracování Vašich vlastních dat. Manuál také obsahuje popis Depﬁxové pajplajny, včetně instrukcí, které vám umožní změnit fungování Depﬁxu.


Depfix, a Tool for Automatic Rule-based Post-editing of SMT

Depfix, nástroj pro automatickou pravidlovou post-editaci SMT

We present Depfix, an open-source system for automatic post-editing of phrase-based machine translation outputs. Depfix employs a range of natural language processing tools to obtain analyses of the input sentences, and uses a set of rules to correct common or serious errors in machine translation outputs. Depfix is currently implemented only for English-to-Czech translation direction, but extending it to other languages is planned.

Představujeme Depfix -- open-souce systém pro automatickou post-editaci výstupů frázového strojového překladu. Depfix zapojuje řadu nástrojů pro automatické zpracování přirozeného jazyka, pomocí nichž získává rozbor vstupních vět, a používá sadu pravidel pro opravu závažných chyb či chyb obvyklých ve výstupech strojových překladačů. Depfix je momentálně implementován pouze pro překladový směr z angličtiny do češtiny, ale v plánu je jeho rozšíření na další jazyky.


Depfix is an open-source system for automatic post-editing of phrase-based machine translation outputs. Depfix employs a range of natural language processing tools to obtain analyses of the input sentences, and uses a set of rules to correct common or serious errors in machine translation outputs. Depfix is currently implemented only for English-to-Czech translation direction.

Depfix je open-souce systém pro automatickou post-editaci výstupů frázového strojového překladu. Depfix zapojuje řadu nástrojů pro automatické zpracování přirozeného jazyka, pomocí nichž získává rozbor vstupních vět, a používá sadu pravidel pro opravu závažných chyb či chyb obvyklých ve výstupech strojových překladačů. Depfix je momentálně implementován pouze pro překladový směr z angličtiny do češtiny.


Depfix: Automatic post-editing of phrase-based machine translation outputs

Depfix: Automatická post-editace výstupů frázového strojového překladu

Depfix je systém pro samočinnou post-edititaci výstupů frázových strojových překladů z angličtiny do češtiny, založený na jazykovědných znalostech. Nejprve jsme rozebrali druhy chyb, kterých se dopouští typický strojový překladač. Poté jsme vytvořili sadu pravidel a statistickou komponentu, které opravují takové chyby, které jsou běžné nebo závažné a může přicházet v úvahu jejich oprava pomocí našeho přístupu. Používáme řadu nástrojů pro zpracování přirozeného jazyka, které nám poskytují rozbor vstupních vět. Navíc jsme reimplementovali závislostní analyzátor a několika způsoby jej upravili pro provádění rozboru výstupů statistických strojových překladačů. Provedli jsme automatická i ruční vyhodnocení, která potvrdila, že kvalita překladů se zpracováním v našem systému zlepšuje.

Depfix is a system for automatic post-editing of phrase-based English-to-Czech machine translation outputs, based on linguistic knowledge. We analyzed the types of errors that a typical machine translation system makes, and created a set of rules and a statistical component that correct some of the errors. We use a range of natural language processing tools to provide us with analyses of the input sentences. Moreover, we reimplemented the dependency parser and adapted it in several ways to parsing of statistical machine translation outputs. We performed both automatic and manual evaluations which confirmed that our system improves the quality of the translations.


Depfix: How to do machine translation better than Google Translate

Depfix: Jak dělat strojový překlad lépe než Google Translate

A popularization talk about Statistical machine translation and Automatic post-editing for the participants of Czech Linguistics Olympics.

Popularizační přednáška pro účastníky České lingvistické olympiády. Jak funguje frázový statistický strojový překlad, jaké má problémy, a jak se dají opravovat Depfixem, systémem pro automatickou post-editaci.


Fairytale Child is a simple chatbot trying to simulate a curious child. It asks the user to tell a fairy tale, often interrupting to ask for details and clarifications. However, it remembers what it was told and tries to show it if possible.  The chatbot can communicate in Czech and in English. It analyzes the morphology of each sentence produced by the user with natural language processing tools, tries to identify potential questions to ask, and then asks one. A morphological generator is employed to generate correctly inflected sentences in Czech, so that the resulting sentences sound as natural as possible.

Pohádkové dítě je jednoduchý chatbot, simulující zvídavé dítě. Požádá uživatele, aby mu vyprávěl pohádku, ale často ho přerušuje, aby se zeptal na detaily a vysvětlení. Pamatuje si ale, co mu uživatel řekl, a snaží se to pokud možno dát najevo.  Chatbot umí komunikovat česky a anglicky. Analyzuje tvarosloví každé uživatelovy věty pomocí NLP nástrojů, pokusí se nalézt chodnou otázku, a tu pak položí. Aby tvořené české věty zněly co nejpřirozeněji, využívá se pro skloňování tvaroslovný generátor.


Fairytale Child (Pohádkové dítě) is a simple chatbot trying to simulate a
curious child. It asks the user to tell a fairy tale, often interrupting to
ask for details and clarifications. However, it remembers what it was told and
tries to show it if possible.
The chatbot can communicate in Czech and in English. It analyzes the
morphology of each sentence produced by the user with natural language
processing tools, tries to identify potential questions to ask, and then asks
one. A morphological generator is employed to generate correctly inflected
sentences in Czech, so that the resulting sentences sound as natural as possible.

Pohádkové dítě (Fairytale Child) je jednoduchý chatbot, snažící se napodobovat zvídavé dítě. Žádá uživatele, aby mu vyprávěl pohádku, a často jej přerušuje, aby se zeptal na podrobnosti či si ujasnil některé věci. Pamatuje si nicméně, co mu bylo řečeno, a snaží se to dát pokud možno najevo.
Chatbot umí komunikovat česky a anglicky. Analyzuje morfologii každé věty, kterou uživatel zadal, za pomoci nástrojů pro zpracování přirozeného jazyka, snaží se rozpoznat potenciální otázky, na které by se mohl zeptat, a poté jednu z nich uživateli položí. Ke stvoření správně vyskloňované české věty se používá morfologický generátor.


How to do machine translation better than Google Translate

Jak dělat strojový překlad lépe než Google Translate

How Google Translate works, why it doesn't use a dictionary, but uses phrases from the internet instead, what problems it has.
How it can be done in a better way, which was the topic if my diploma thesis, and why it is sometimes useful for a programmer to know Czech grammar.

Jak funguje Google Translate, proč nepoužívá slovník ale fráze z internetu, jaké má problémy.
Jak to jde dělat lépe, což řeší moje diplomová práce, a proč se programátorovi někdy hodí znát českou gramatiku.


MSTperl is a Perl reimplementation of the MST parser of Ryan McDonald, with several additional advanced functions, such as support for parallel features.

MSTperl je Perlovou reimplementací MST parseru  Ryana McDonalda, s několika pokročilými funkcemi navíc, jako je podpora pro paralelní rysy.


Presentation of the Chimera translation system, especially Moses and TectoMT systems. Individual steps, inputs and outputs, shown on a concrete example.

Představení překladového systému Chiméra, zejména systémů Moses a TectoMT. Jednotlivé kroky, vstupy a výstupy, předvedeno na konkrétním příkladu.


Snadný způsob prohlížení souborů ve formátu CoNLL ve vašem terminálu. Rychlý a textový.

A simple way of browsing CoNLL format files in your terminal. Fast and text-based.


Using a Collection of Many Treebanks for Exploring the Structure of Natural Language Sentences

Využití sbírky mnoha závislostních korpusů pro odhalování struktury vět přirozeného jazyka

There is a collection of 30 treebanks (HamleDT) and more treebanks exist, but there are about 7000 languages in the world, and it seems impractical to build treebanks for all of these. Therefore, I propose to explore the possibilities of semi-supervised parsing (probably via multisource projection). Also, I suggest generally adding more fuzziness to input features (especially morphological tags).

Existuje sbírka 30 závislostních korpusů (HamleDT) a existují i další závislostní korpusy; avšak na světě je kolem 7000 jazyků, a budovat závislostní korpus pro každý z nich se zdá být nepraktickým. Proto navrhuji prozkoumat možnosti částečně řízeného závislostního větného rozboru (pravděpodobně pomocí promítnutí z více zdrojů). Taktéž navrhuji obecně použití mlhavějších vstupních rysů (zejména tvaroslovných značek).


HamleDT 2.0: Thirty Dependency Treebanks Stanfordized

HamleDT 2.0: Třicet závislostních korpusů stanfordizováno

We present HamleDT 2.0 (HArmonized Multi-LanguagE Dependency Treebank). HamleDT 2.0 is a collection of 30 existing treebanks harmonized into a common annotation style, the Prague Dependencies, and further transformed into Stanford Dependencies, a treebank annotation style that became popular recently.

We use the newest basic Universal Stanford Dependencies, without added language-specific subtypes. We describe both of the annotation styles, including adjustments that were necessary to make, and provide details about the conversion process. We also discuss the differences between the two styles, evaluating their advantages and disadvantages, and note the effects of the differences on the conversion.

We regard the stanfordization as generally successful, although we admit several shortcomings, especially in the distinction between direct and indirect objects, that have to be addressed in future.

We release part of HamleDT 2.0 freely; we are not allowed to redistribute the whole dataset, but we do provide the conversion pipeline.

Představujeme HamleDT 2.0 (HArmonized Multi-LanguagE Dependency Treebank). HamleDT 2.0 je sbírka 30 existujících závislostních korpusů, harmonizovaných do společného anotačního stylu – Pražských závislostí – a dále transformovaných do Stanfordských závislostí – anotačního stylu, který se v nedávné době stal oblíbeným.

Používáme nejnovější základní Universal Stanford Dependencies, bez dodaných jazykově specifických subtypů. Popisujeme oba anotační styly, včetně úprav, které bylo nutné provést, a poskytujeme detaily o procesu konverze. Diskutujeme též rozdíly mezi těmito dvěma styly, vyhodnocujíce jejich výhody a nevýhody, a zmiňujeme vliv těchto rozdílů na konverzi.

Stanfordizaci obecně považujeme za úspěšnou, přestože uznáváme několik nedostatků – zejména v rozlišení přímých a nepřímých předmětů – kterým je nutné v budoucnosti věnovat pozornost.

Část HamleDT 2.0 volně zveřejňujeme; nemáme svolení k redistribuci celé datové sady, ale poskytujeme nástroje pro konverzi.

Rudolf Rosa
Jan Mašek
David Mareček
Martin Popel
Daniel Zeman
Zdeněk Žabokrtský


Cross-lingual Coreference Resolution of Pronouns

Mezijazyčné rozpoznávání koreference zájmen

This work is, to our knowledge, a first attempt at a machine learning approach to cross-lingual
coreference resolution, i.e. coreference resolution (CR) performed on a bitext. Focusing on CR of English pronouns, we leverage language differences and enrich the feature set of a standard monolingual CR system for English with features extracted from the Czech side of the bitext. Our work also includes a supervised pronoun aligner that outperforms a GIZA++ baseline in terms of both intrinsic evaluation and evaluation on CR. The final cross-lingual CR system has successfully outperformed both a monolingual CR and a cross-lingual projection system.

Tato práce je prvním pokusem o mezijazyčné rozpoznávaní koreference metodami strojového učení.


A Trilingual Learner Corpus illustrating European Reference Levels

Trojjazyčný žákovský korpus ilustrující CEFR

Since its publication in 2001, the Common European Framework of Reference for Languages (CEFR) has gained a leading role as an instrument of reference for language teaching and certification and for the development of curricula. Nonetheless, there is a growing concern about CEFR reference levels being insufficiently illustrated in terms of authentic learner data, leaving practitioners without comprehensive empirical characterizations of the relevant distinctions. This is particularly the case for languages other than English (cf. e.g. Hulstijn 2007, North 2000). The MERLIN project addresses this demand to illustrate and validate the CEFR levels for Czech, German and Italian by developing a didactically motivated online platform that enables CEFR users to explore authentic written learner productions. The core of the multilingual online platform is a trilingual learner corpus composed of roughly 200 learner texts per CEFR level, produced in standardized language certifications validly related to the CEFR, covering the levels A1-C1. The aim of this paper is to both present the MERLIN project with the motivation behind and its corpus and to discuss its current state.

Od publikace v roce 2011, ziskala CEFR vedoucí úlohu ve výuce a certifikaci cizích jazyků. Bohužel jednotlivé úrovně CEFR nejsou dostatečně ilustrovány. Cílem projektu Merlin je vyřešit tento problém pro češtinu, němčinu a italštinu.

Andrea Abel
Katrin Wisniewski
Lionel Nicolas
Adriane Boyd
Jirka Hana
Detmar Meurers


Observations and Lessons Learnt from Non Health Professionals Evaluating a Health Search Engine

Pozorování a poznatky z evaluace  vyhledávacího nástroje o zdraví určeného pro laickou veřejnost

This article presents the results of one of the stages of the user-centered evaluation conducted in a framework of the EU project Khresmoi. In a controlled environment, users were asked to perform health-related tasks using a search engine specifically developed for trustworthy online health information. Twenty seven participants from largely the Czech Republic and France took part in the evaluation. All reported overall a positive experience, while some features caused some criticism. Learning points are summed up regarding running such types of evaluations with the general public and specifically with patients.

Článek popisuje výsledky evaluace vyhledávacího nástroje vyvinutého v rámci projektu Khresmoi. Evaluace byla zaměřena na laickou veřejnost v ČR a ve Francii.

Natalia Pletneva
Zdeňka Urešová
Jean-Jacques Altman
Nicolas Postel Vinay
Patrice Degoulet
Jan Hajič
Célia Boyer


Parsing under-resourced languages: Cross-lingual transfer strategies for Indian languages

Analýze pod zdroji jazyky:  Cross-kulturní strategie přenosu pro indické  jazyky

Key to fast adaptation of language technologies for any language hinges on the availability of fundamental tools and resources such as monolingual/parallel corpora, annotated corpora, part-of-speech (POS) taggers, parsers and so on. The languages which lack those fundamental resources are often referred as under-resourced
languages.

In this thesis, we address the problem of cross-lingual dependency parsing of under-resourced languages. We apply three methodologies to induce dependency structures: (i) projecting dependencies from a resource-rich language to under-resourced languages via parallel corpus word alignment links (ii) parsing under-
resourced languages using parsers whose models are trained on treebanks of other
languages, and do not look at actual word forms, but only on POS categories. Here
we address the problem of incompatibilities in annotation styles between source side parsers and target side evaluation treebanks by harmonizing annotations to a common standard; and finally (iii) we add a new under-resourced scenario in which we use machine translated parallel corpora instead of human translated corpora for
projecting dependencies to under-resourced languages.

We apply the aforementioned methodologies to five Indian languages (ILs): Hindi, Urdu, Telugu, Bengali and Tamil (in the order of high to low availability of treebank data). To make the evaluation possible for Tamil, we develop a depen
dency treebank resource for Tamil from scratch and we use the created data in
evaluation and as a source in parsing other ILs. Finally, we list out strategies that
can be used to obtain dependency structures for target languages under different
resource-poor scenarios.

Klíč k rychlému přizpůsobení jazykových technologií pro libovolný jazyk
závisí na dostupnosti základních nástrojů a datových zdrojů, jako jsou jednojazyčné nebo paralelní korpusy, anotované korpusy, značkovače slovních druhů, syntaktické analyzátory, a podobně. Jazyky, pro něž tyto základní zdroje
neexistují, označujeme jako zdrojově chudé jazyky.

V této práci se zabýváme otázkou závislostního syntaktického rozboru zdrojově
chudých jazyků za pomoci zdrojů pro jiné jazyky. Pro nalezení závislostní struktury používáme tři postupy: (i) promítnutí závislostí ze zdrojově bohatého jazyka do zdrojově chudého jazyka za pomoci slovního zarovnání v paralelním
korpusu (ii) analýze pod-zdroji jazyků pomocí parserů, jejichž modely jsou vyškoleni na
stromových korpusů z jiných jazyků, a nedívejte se na skutečných slovních forem, ale pouze na
POS kategorie. Zde se zabýváme problémem neslučitelnosti různých anotačních stylů používaných zdrojovými analyzátory a
cílovými závislostně anotovanými korpusy používanými pro evaluaci, který řešíme
pomocí harmonizace anotací do jednotného standardu; a konečně (iii) zavádíme
nový postup, ve kterém pro promítnutí závislostí do zdrojově chudého jazyka používáme paralelní korpusy vytvořené pomocí strojového překladu namísto lidského překladu.

Výše uvedené postupy jsme použili na pět indických jazyků: hindštinu, urdštinu,
telugštinu, bengálštinu a tamilštinu (seřazeno sestupně podle dostupnosti závislostně anotovaných dat). Abychom prokázali použitelnost uvedených postupů v praxi, vyvinuli jsme závislostně anotovaný korpus pro tamilštinu, pro niž dosud žádný takový zdroj neexistoval, a takto získaná data využíváme pro evaluaci a také jako zdroj pro závislostní rozbor jiných indických jazyků. Nakonec jsme seznam se strategie, které může být použit k získání závislost struktury pro cílových jazyků pod jiný scénáře s omezenými zdroji.


Multilingual Dependency Parsing: Using Machine Translated Texts instead of Parallel Corpora

Vícejazyčný Závislost analýze: Použití stroje přeloženy texty místo Paralelní korpusy

This paper revisits the projection-based approach to dependency grammar induction task.
Traditional cross-lingual dependency induction tasks one way or the other, depend on the existence
of bitexts or target language tools such as part-of-speech (POS) taggers to obtain reasonable
parsing accuracy. In this paper, we transfer dependency parsers using only approximate
resources, i.e., machine translated bitexts instead of manually created bitexts. We do this by
obtaining the the source side of the text from a machine translation (MT) system and then apply
transfer approaches to induce parser for the target languages. We further reduce the need
for the availability of labeled target language resources by using unsupervised target tagger.
We show that our approach consistently outperforms unsupervised parsers by a bigger margin
(8.2% absolute), and results in similar performance when compared with delexicalized transfer
parsers.

Tento dokument se vrací k přístupu projekce založené na závislost gramatiky indukční úkol.
Tradiční cross-kulturní závislost indukční úkoly jeden tak či onak, závisí na existenci
z bitexts nebo cílového jazyka nástrojů, jako je část-of-speech (POS) značkovače, abychom získali přiměřenou analýze přesnosti. V tomto článku jsme se přenést závislost analyzátory pomocí pouze orientační zdroje, tj, stroje přeloženy bitexts namísto ručně vytvořených bitexts. Děláme to tak,
získání zdrojového stranu textu ze strojového překladu (MT) systém a pak použít Přenos přístupy k vyvolání analyzátor pro cílové jazyky. Dále snižují potřebu Informace o dostupnosti značených cílového jazyka zdrojů pomocí voze cílové tagger.
Ukázali jsme, že náš přístup stále překonává bez dozoru analyzátory o větší rozpětí
(8,2% absolutní), a výsledky v podobném provedení, kdy ve srovnání s delexicalized převodem
analyzátory.

Loganathan Ramasamy
David Mareček
Zdeněk Žabokrtský


Cross-lingual dependency transfer with harmonized Indian language treebanks

Cross - kulturní přenos závislost s harmonizovanými indických jazyků stromových korpusů.

One of the most important aspect of cross-lingual dependency transfer
is how different annotation styles which often underestimate the parsing accuracy are handled.
The emerging trend is that the annotation style of different language treebanks can be
harmonized into one style and the cumbersome manual transformation rules thus can be avoided.
In this paper, we use harmonized treebanks (POS tagsets and dependency structures of original
treebanks mapped to a common style)  for inducing dependencies in a cross-lingual setting.
We transfer dependencies using delexicalized parsers that use harmonized version of the original treebanks.
We apply this approach to five Indian languages (Hindi, Urdu, Telugu, Bengali and Tamil) and show that
best performance can be obtained in delexicalized parsing when the transfer takes place from Indian language (IL) to IL treebanks.

Jedním z nejdůležitějších aspektů cross-kulturní přenos závislostí
je to, jak různé anotace styly, které často podceňují přesnost syntaktické jsou zpracovány.
Novým trendem je, že styl anotace různých jazykových stromových korpusů může být
harmonizovány do jednoho stylu, a tak se lze vyhnout těžkopádné pravidla manuální transformace.
V tomto článku budeme používat harmonizované stromových korpusů (POS tagsets a závislost struktury původní
stromových korpusů mapované do společného stylu) pro vyvolání závislosti na nastavení cross-kulturní.
Nabízíme převod závislostí pomocí delexicalized analyzátory, které používají harmonizované verze původních stromových korpusů.
Tento přístup aplikovat na pět indických jazyků (Hindština, Urdu, Telugu, bengálský a Tamil) a ukazují, že
Nejlepšího výkonu lze získat delexicalized analýze, kdy dojde k přemístění z indického jazyka (IL) na IL stromových korpusů.


ShARe/CLEF eHealth Evaluation Lab 2014, Task 3: User-centred health information retrieval

ShARe/CLEF eHealth Evaluation Lab 2014, Úloha 3:  Uživatelská evaluace vyhledávání informací v oblasti zdraví

This paper presents the results of task 3 of the ShARe/CLEF eHealth Evaluation Lab 2014 focused on user-centred health information retrieval.

Tento článek prezentuje výsledky úlohy 3 z ShARe/CLEF eHealth Evaluation Lab 2014 zaměřené na
uživatelskou evaluace vyhledávání informací v oblasti zdraví

Lorraine Goeuriot
Liadh Kelly
Wei Li
João Palotti
Pavel Pecina
Guido Zuccon
Allan Hanbury
Gareth J.F. Jones
Henning Müller


Test Your Bot:: framework pro simulaci uživatelů

Test Your Bot (teyb) is a framework for testing dialog systems over the internet against a shared collection of user simulators.

Features:

Written in Django & Python & AngularJS
Web interface
Task creation
Team registration
Statistics
REST API for communication

Test Your Bot (teyb) je framework pro testování dialogových systémů přes internet proti sdíleným simulátorům uživatele.


Statistical Recognition of References in Czech Court Decisions

Statistiké rozpoznávaní referencí v českých soudních rozhodnutích

We address the task of reference detection and classification in Czech court decisions. This task is a typical named-entity recognition task where the entities are references (links) to other documents. We apply a supervised machine learning approach, namely Hidden Markov Models. A supervised methodology requires manual annotation of training data so we annotated 300 court decisions.

Prezentace aplikace JTagger, která detekuje reference v českých soudních rozhodnutích. Tento úkol chápeme jako typický úkol pro identifikaci jmenných entit, kde entity jsou reference (odkazy) na jiné dokumenty. Aplikujeme přístupy strojového učení s učitelem, konkrétně skryté Markovovy modely. Protože metody strojového učení s učitelem vyžadují manuálně anotovaná trénovací data, anotovali jsme 300 soudních rozhodnutí.


Aplikace detekuje reference v českých soudních rozhodnutích. Tento úkol chápeme jako typický úkol pro identifikaci jmenných entit, kde entity jsou reference (odkazy) na jiné dokumenty. Aplikujeme přístupy strojového učení s učitelem, konkrétně skryté Markovovy modely. Protože metody strojového učení s učitelem vyžadují manuálně anotovaná trénovací data, anotovali jsme 300 soudních rozhodnutí.


Tailored Feature Extraction for Lexical Disambiguation of English Verbs Based on Corpus Pattern Analysis

Rysy šité na míru anglickým slovesům pro automatickou lexikální disambiguaci pomocí Corpus Pattern Analysis

We give a report on a detailed study of automatic lexical disambiguation of 30 sample English verbs. We have trained and evaluate several statistical classifiers that use both morphosyntactic and semantic features to assign semantic patterns according to a pattern lexicon. Our system of semantic classification draws on the Corpus Pattern Analysis (CPA) — a novel lexicographic method that seeks to cluster verb uses according to the morpho-syntactic, lexical and semantic/pragmatic similarity of their contexts rather than their grouping according to abstract semantic definitions. In this paper we mainly concentrate on the procedures for feature extraction and feature selection. We show that features tailored to particular verbs using contextual clues given by the CPA method and explicitly described in the pattern lexicon have potential to significantly improve accuracy of supervised statistical classifiers.

Předkládáme detailní studii automatické lexikální disambiguace na pilotním vzorku třiceti anglických sloves za použití lexikonu vzorů slovesných užití (patterns), který vychází z Corpus Pattern Analysis (CPA). Tato inovátorská lexikografická metoda namísto na abstraktních definicích jednotlivých významů staví na souhře morfosyntaktické, lexikální a sémantické/pragmatické podobnosti slovesných užití. Natrénovali jsme několik statistických klasifikátorů na rozpoznávání těchto vzorů. Klasifikátory využívají jak morfosyntaktických, tak sémantických rysů. V naší studii se soustředíme na procedury pro extrakci rysů, jejich výběr a jejich evaluaci. Ukazujeme, že rysy na míru uzpůsobené jednotlivým slovesům, jež jsou implicitně obsaženy v definici každého vzoru v lexikonu, mají potenciál významně zvýšit přesnost statistických klasifikátorů s učitelem.


Data Extraction Using NLP Techniques and Its Transformation to Linked Data

Extrakce dat pomocí NLP technik a jejich transformace do Linked Data

We present a system that extracts a knowledge base from raw unstructured texts that is designed as a set of entities and their relations and represented in an ontological framework. The extraction pipeline processes input texts by linguistically-aware tools and extracts entities and relations from their syntactic representation. Consequently, the extracted data is represented according to the Linked Data principles. The system is designed both domain and language independent and provides users with data for more intelligent search than full-text search. We present our first case study on processing Czech legal texts.

Prezentujeme systém pro extrakci znalostní báze z nestrukturovaných textů. Bázy definujeme jako množinu entit a vztahů mezi nimi a reprezentujeme ji v ontologickém frameworku. Extrakční procedura zpracovává vstupní texty lingvistickými procedurami a extrahuje entity a vztahy mezi nimi z jejich syntaktické reprezentace. Následně jsou extrahované informace reprezentovány dle principů Linked Data. Systém je navržen nezávisle na doméně a jazyce textů tak, aby poskytl uživatelům inteligentnější vyhledávání než fulltextové. Prezentujeme první výsledky na českých legislativních dokumentech.

Vincent Kríž
Barbora Hladká
Martin Nečaský
Tomáš Knap


We address the task of detection and classification of references in Czech court decisions, mainly we focus on references to other court decisions and acts. We handle these references like entities in the task of Named Entity Recognition. In addition, we are interested in detection of institutions that issued documents under consideration. Attributes like the applicability of law have been studied as well. We approach the task using machine learning methods, namely HMM and Perceptron algorithm. We report F-measure over 90% for each entity. The results significantly outperform the systems published previously.

V této práci detekujeme a klasifikujeme reference v českých soudních rozhodnutích, především reference na jiné soudní rozhodnutí a zákony. Reference chápeme jako entity v úloze rozpoznávání jmenných entit. Dále se zabýváme detekcí institucí, které publikují odkazované dokumenty. Náš přístup aplikuje metody strojového učení, konkrétně používáme Markovovy modely a Perceptron. Dosahujeme úspěšnosti nad 90% F-measure pro každý typ entity. Výsledky výrazně převyšují dosud publikované systémy.

Vincent Kríž
Barbora Hladká
Martin Nečaský
Jan Dědek


Data Extraction with NLP Techniques and its Transformation to Linked Data

According to the statistics provided by the International Data Corporation, 90% of all available digital data is unstructured and its amount currently grows twice as fast as structured data. In many domains, large collections of unstructured documents form main sources of information. Their efficient browsing and querying present key aspects in many areas of human activities. The project INTLIB, an INTelligent LIBrary, assumes a collection of documents related to a particular problem domain on the input. In the first phase we extract a knowledge base from the collection using natural language processing tools. In the second phase we deal with efficient and user friendly visualization and querying the extracted knowledge. We will present our results on both legislative and environmental domain.

Podle statistik společnosti International Data Corporation, 90% všech digitálních dat je nestrukturovaných. Toto množství navyše roste dvakrát tak rychle jako množství strukturovaných dat. V mnoha doménách tvoří obrovské kolekce nestrukturovaných dokumentů hlavní zdroj informací. Jejich efektivní prohlížení a  dotazování přestavuje klíčový aspekt v mnoha oblastech lidské činnosti. Projekt INTLIB (Inteligentní knihovna) očekává na vstupu velké množství dokumentů souvisejících s určitou doménou. V první fáze jsou z dokumentů extrahována základní informace pomocí nástrojů pro zpracování přirozeného jazyka. V druhé fáze se zaoberáme efektivní a uživatelsky přívětivou vizualizací a dotazováním nad extrahovanými znalostmi. Prezentujeme naše výsledky na legislativní a enviromentální doméne.

Martin Nečaský
Barbora Hladká
Vincent Kríž


In this paper we describe the project INTLIB – an INTelligent LIBrary whose aim is to provide a more sophisticated and user-friendly tool for querying textual documents than full-text search. On the input we assume a collection of documents related to a particular problem domain (e.g., legislation, medicine, environment, etc.). In the first phase we extract from the documents a knowledge base, i.e. a set of objects and their relationships, which is based on a particular
ontology (semantics). In the second phase we deal with sophisticated and user friendly visualization and browsing (querying) of the extracted knowledge. The whole system is proposed as a general framework which can be modified and extended for particular data domains. To depict its features we use the legislation domain.

V této práci popisujeme projekt INTLIB - inteligentní knihovna, kterého císlem je vytvořit více sofistikovaný a uživatelsky přívětivější systém pro dotazování nad textovými dokumenty než full-text. Na vstupu předpokládáme kolekci dokumentů související s určitou doménou (např. legislatíva, medicína, enviromentální doména). V první fáze extrahujeme z dokumenů znalostní bázy - kolekci objektů a vztahů mezi nima. Ve druhé fáze se zaoberáme vizualizací a prohlížením extrahovaných znalostí. Celý systém je navhován jako obecní framework který může být modifikován a rozšířen na specifikované domény. V pilotní fázy projektu pracujeme s legislativní doménou.

Irena Holubová
Tomáš Knap
Vincent Kríž
Martin Nečaský
Barbora Hladká


The MERLIN corpus: Learner language and the CEFR

The MERLIN corpus is a written learner corpus for Czech, German, and Italian that has been designed to illustrate the Common European Framework of Reference for Languages (CEFR) with authentic learner data. The corpus contains 2,290 learner texts produced in standardized language certiﬁcations covering CEFR levels A1–C1. The MERLIN annotation scheme includes a wide range of language characteristics that enable research into the empirical foundations of the CEFR scales and provide language teachers, test developers, and Second Language Acquisition researchers with concrete examples of learner performance and progress across multiple proﬁciency levels. For computational linguistics, it provide a range of authentic learner data for three target languages, supporting a broadening of the scope of research in areas such as automatic proﬁciency classiﬁcation or native language identiﬁcation. The annotated corpus and related information will be freely available as a corpus resource and through a freely accessible, didactically-oriented online platform.

Korpus Merlin je žákovský korpus s psanými texty v čestině, němčině a italštině. Jeho cílem je ilustrovat úrovně CEFR autentickými daty.

Adriane Boyd
Jirka Hana
Lionel Nicolas
Detmar Meurers
Katrin Wisniewski
Andrea Abel
Karin Schöne
Barbora Štindlová
Chiara Vettori


Results of the WMT14 Metrics Shared Task

Výsledky soutěže v metrikách strojového překladu WMT14

This paper presents the results of the
WMT14 Metrics Shared Task. We asked
participants of this task to score the
outputs of the MT systems involved in
WMT14 Shared Translation Task. We col-
lected scores of 23 metrics from 12 re-
search groups. In addition to that we com-
puted scores of 6 standard metrics (BLEU,
NIST, WER, PER, TER and CDER) as
baselines. The collected scores were eval-
uated in terms of system level correlation
(how well each metric’s scores correlate
with WMT14 official manual ranking of
systems) and in terms of segment level
correlation (how often a metric agrees with
humans in comparing two translations of a
particular sentence).

Článek představuje výsledky soutěže v automatickém hodnocení kvality strojového překladu (WMT14 Metrics Shared Task). Úkolem účastníků bylo vyhodnotit kvalitu překladových systémů, které se zúčastnily překladové úlohy WMT14. Získaných 23 metrik od 12 týmů jsme pak společně se 6 základními metrikami (BLEU, NIST, WER, PER, TER a CDER) porovnali z hlediska korelace s lidským hodnocením pro celý testset i pro jednotlivé věty.


Instrument-subject alternation in a Czech-English parallel treebank

Alternace subjektu a instrumentu v česko-anglickém paralelním korpusu

In the talk, we have dealt with one type of valency complementation mismatch in a paralel Czech-English dependency treebank, the so-called Instrument-Subject Alternation. In this type of transformation, the non-core argument takes the position of the core-argument, with the decausativisation of meaning.

V příspěvku jsme se zabývali jedním typem rozdílu v zachycení valenčních struktur v českém a anglickém valenčním slovníku a paralelním česko-anglickém syntakticky anotovaném korpusu. Syntakticky jde o konstrukce, které se projevují např. v tzv. alternaci subjektu a instrumentu (Instrument-Subject Alternation) (1), alternaci subjektu a abstraktní příčiny (Abstract Cause-Subject Alternation) (2) nebo alternaci subjektu a locata (Locatum Subject Alternation) (3) (Levin, 1993). Vzhledem k hloubkové valenci jde o dvojí možnou valenční strukturaci slovesa, přičemž vnější (non-core) argument přechází do pozice vnitřního (core) argumentu, a zároveň dochází k dekauzativizaci významu, tj. odsunutí původního aktora do pozadí situační perspektivy.


Hands-on tutorial and supervision of "Emotions in language" workshop focused on different approaches to evaluation expression in both spoken and written language.

Tutoriál a vedení workshopu Emoce v jazyce, zaměřeného na zkoumání různých způsobů vyjadřování emocionality v psaném i v mluveném projevu.


Tracing Sentiments: Syntactic and Semantic Features in a Subjectivity Lexicon

Stopování sentimentu: syntaktické a sémantické rysy ve slovníku subjektivních výrazů

In this paper we present a syntactic and semantic analysis of verbal entries in the Czech subjectivity lexicon Czech SubLex 1.0 concerning their semantic and valency properties with respect to the roots and degree of subjectivity and evaluativeness. We demonstrate that evaluative verbs share certain abstract syntactic patterns with valency positions encoding the position of the source and target of evaluative stance. These patterns then roughly correspond to semantic properties of the verbs.

V příspěvku se zabýváme syntaktickou a sémantickou analýzou slovesných hesel v českém slovníku subjektivních výrazů Czech Sublex 1.0. Zabýváme se jejich sémantickými a valenčními vlastnostmi v souvislosti s jejich subjektivním a hodnotícím charakterem. Ukazujeme, že hodnotící slovesa sdílejí určité abstraktní vzorce v nichž je zdroj a cíl evaluativního stavu mapován na valenční pozice. Podobnost sloves vzhledem k těmto vzorcům odpovídá podobnosti jejich sémantických vlastností.

Jana Šindlerová
Kateřina Veselovská
Jan Hajič, jr.


Resources in Conflict: A Bilingual Valency Lexicon vs. a Bilingual Treebank vs. a Linguistic Theory

Zdroje lingvistických dat v konfliktu: vícejazyčný valenční slovník versus vícejazyčný závislostní korpus versus lingvistická teorie

In this paper, we would like to exemplify how a syntactically annotated bilingual treebank can help us in exploring and revising a
developed linguistic theory. On the material of the Prague Czech-English Dependency Treebank we observe sentences in which an
Addressee argument in one language is linked translationally to a Patient argument in the other one, and make generalizations about
the theoretical grounds of the argument non-correspondences and its relations to the valency theory beyond the annotation practice.
Exploring verbs of three semantic classes (Judgement verbs, Teaching verbs and Attempt Suasion verbs) we claim that the Functional
Generative Description argument labelling is highly dependent on the morphosyntactic realization of the individual participants, which
then results in valency frame differences. Nevertheless, most of the differences can be overcome without substantial changes to the
linguistic theory itself.

V příspěvku ukazujeme, jak syntakticky anotovaný korpus pomáhá při zkoumání aplikovatelnosti a revizích vyvinuté lingvistické teorie. Na materiálu Pražského česko-anglického závislostního koprusu zkoumáme případy, kdy se liší provázání valenčních doplnění v odpovídajících větách a hledáme důvody nekorespondence aktantových označení.

Jana Šindlerová
Zdeňka Urešová
Eva Fučíková


This paper describes an attempt to solve the problem of recognizing clauses and their mutual relationship in complex Czech sentences on the basis of limited information, namely the information obtained by morphological analysis only. The method described in this paper may be used in the future for splitting the parsing process into two phases, namely 1) Recognizing clauses and their mutual relationships; and 2) Parsing the individual clauses. This approach should be able to improve the result of parsing long complex sentences.

Článek popisuje pokus o vyřešení problému rozpoznávání klauzí a jejich vzájemných vztahů v českých souvětích na základě omezených informací, jmenovitě informací toliko získaných morfologickou analýzou. Metodu popsaná v tomto článku lze v budoucnu použít pro rozdělení procesu automatické syntaktické analýzy do dvou fází, a to 1) určení klauzí a jejich vzájemných vztahů a 2) syntaktická analýza jednotlivých klauzí. Tento přístup by měl zlepšit úspěšnost automatické syntaktické analýzy dlouhých souvětí.


Classification of language means expressing textual relations in Czech: Difference between  discourse connectives and their alternative lexicalizations

Klasifikace jazykových prostředků vyjádřujících textové vztahy v češtině: Rozdíl mezi  diskurzními konektory a jejich alternativním lexikálním vyjádřením

The paper focuses on various possibilities of expressing textual relations in Czech. This possibility is held mainly by
discourse connectives but also by their
alternatives lexicalizations like "the reason is".

Poster je zaměřen na popis možností vyjadřování textových vztahů v češtině. Textové vztahy bývají vyjadřovány zejména diskurzními konektory, ale také jejich alternativními lexikálními vyjádřeními, jako např. "důvodem je".


Czech verbs with connective function at the level of discourse in  the Prague Dependency Treebank

Česká slovesa s konektivní funkcí ve vztahu k diskurzu v Pražském závislostním korpusu

The aim of the presentation was to examine broader possibilities of expressing textual
relations, in other words which language means (apart from “classic” connectives like "and" or
"however") have an ability to signal certain relation between two units within a text.

Cílem prezentace bylo představit průzkum širších možností vyjadřování textových vztahů, resp.  představit, které jazykové prostředky (kromě "klasických" konektorů jako "a" nebo "avšak") mají schopnost signalizovat určitý vztah mezi dvěma jednotkami v textu.


Language Means Expressing Discourse Relations in Written and Spoken Czech

Jazykové prostředky vyjadřující diskurzní vztahy v psané a mluvené češtině

The presentation described results of the research on discourse connectives in broader sense based on  corpus probe (Prague Dependency Treebank; corpus DIALOG).

Prezentace představila výsledky výzkumu diskurzních konektorů v širším smyslu založeném na korpusové analýze (s využitím Pražského závislostního korpusu a korpusu DIALOG).


The Centre and Periphery of Discourse Connectives

Centrum a periferie diskurzních konektorů

The paper tries to contribute to the general definition of discourse connectives. It examines connectives in broader sense, i.e. all language expressions that have an ability to express discourse relations within a text (e.g. both conjunctions like "but", "and", "or" and expressions like "the condition for this is", "due to this situation" etc.).

Článek se zabývá definicí diskurzních konektorů v obecné rovině. Věnuje se konektorům v širším smyslu, tj. všem jazykovým prostředkům, které mají schopnost  vyjadřovat diskurzní vztah v textu (např. spojkám jako "ale", "a", "nebo", ale i vyjádřením typu "podmínkou pro to je", "kvůli této situaci" ap.).