Use of Coreference in Automatic Searching for Multiword Discourse Markers in the Prague Dependency Treebank

Využití koreference v automatickém vyhledávání víceslovných diskurzních konektorů v Pražském závislostním korpusu

The paper introduces a possibility of new research offered by a multi-dimensional annotation of the Prague Dependency Treebank. It focuses on exploitation of the annotation of coreference for the annotation of discourse relations expressed by multiword expressions. It tries to find which as-pect interlinks these linguistic areas and how we can use this interplay in automatic searching for Czech expressions like "despite this" ("navzdory tomu"), "because of this fact" ("díky této skutečnosti") functioning as multiword discourse markers.

Článek představuje možnosti využití vícevrstvé anotace Pražského závislostního korpusu. Zaměřuje se přitom na překrývání koreferenčních vztahů a diskurzních vztahů vyjádřených víceslovnými konektory. Článek se snaží prozkoumat, jaké aspekty tyto dvě jazykové oblasti spojují a jakým způsobem můžeme toto vzájemné překrývání využít při automatickém vyhledávání konektivních spojení typu "navzdory tomu", "díky této skutečnosti", která mají v textu platnost víceslovných konektorů.


Integrating a Discriminative Classifier into Phrase-based and Hierarchical Decoding

Integrace diskriminativního klasifikátoru do frázového a hierarchického dekodéru

Current state-of-the-art statistical machine translation (SMT) relies
on simple feature functions which make independence assumptions at the
level of phrases or CFG rules. However, it is well-known that
discriminative models can benefit from rich features extracted from
the source sentence context outside of the applied phrase or CFG rule,
which is available at decoding time. We present a framework for the
open-source decoder Moses that allows discriminative models over
source context to easily be trained on a large number of examples and
then be included as feature functions in decoding.

Současné přístupy ke statistickému strojovému překladu spoléhají na jednoduché rysy, které předpokládají nezávislost jednotlivých frází nebo pravidel SCFG. Přesto je obecně známo, že diskriminativní modely dokážou využít bohaté rysy extrahované z kontextu zdrojové věty mimo aktuální frázi nebo pravidlo. Tento kontext je během překladu dostupný. Představujeme framework pro open-source nástroj Moses, který umožňuje snadno trénovat a aplikovat diskriminativní modely zdrojového kontextu s využitím velkého počtu trénovacích příkladů.

Aleš Tamchyna
Fabienne Braune
Alexander Fraser
Marine Carpuat
Hal Daumé III
Chris Quirk


CUNI in WMT14: Chimera Still Awaits Bellerophon

CUNI na WMT14: Chiméra stále čeká na Bellerofonta

We present our English→Czech and
English→Hindi submissions for this
year’s WMT translation task. For
English→Czech, we build upon last year’s
CHIMERA and evaluate several setups.
English→Hindi is a new language pair for
this year. We experimented with reverse
self-training to acquire more (synthetic)
parallel data and with modeling target-side
morphology.

Představujeme naše systémy pro překlad angličtina→čeština a
angličtina→hindština, se kterými jsme se zúčastnili letošní překladové soutěže WMT. Pro směr
angličtina→čeština vycházíme z loňského systému CHIMERA a vyhodnocujeme několik nastavení.
Angličtina→hindština je letos novým jazykovým párem. Provedli jsme pokusy se zpětným
samoučením pro získání většího množství (umělých)
paralelních dat a s modelováním tvarosloví cílové strany.

Aleš Tamchyna
Martin Popel
Rudolf Rosa
Ondřej Bojar


AAI: Experiences with Making a Service Available for Users Worldwide

AAI: Zkušenosti s vytvořením celosvětové dostupné služby

Looking at the current state-of-the-art of the services and frameworks for Authentication and Authorization Infrastructure (AAI) reveals different visions and requirements by the creators and the potential users. We summarise our expectations and requirements together with our experience. The text is divided into blocks containing general guidelines and examples.

Aktuálny stav infraštruktúry umožňujúcej Autorizáciu a Autentizáciu ukazuje odlišné vnímanie požiadavkov autormi a používateľmi. Predkladáme naše skúsenosti s vytvorením služby pre užívateľov z celého sveta.


Sustainable linguistic repository built on DSpace

Udržateľný lingvistický repozitár postavený na DSpace

The presentation describes our experience with building a sustainable linguistic repository built on DSpace

Prezentácie popisuje skúsenosti a rozhodnutia s vytvorením lingvistického repozitára.


Using EUDAT B2SAFE safe replication from a DSpace digital repository

Description of EUDAT B2SAFE safe replication from a DSpace digital repository.

Použitie EUDAT B2SAFE replikácie z repozitára postavenom na DSpace vrátane implementácie


Annotations "beyond the Sentence Boundary" in the Prague Dependency Treebank

Anotace nadvětných jevů v Pražském závislostním korpusu

The talk introduces the project of large-scale manual annotation of language phenomena "beyond the sentence boundary" in Czech. It was conducted as a part of the Prague Dependency Treebank version 3.0 project and released in 2013. It provides annotations for 50k sentences of Czech journalistic text, emphasizing (1) discourse connectives and their arguments and senses, (2), textual coreference, and (3), bridging (or associative) anaphora. Together with the linguistic information already annotated earlier on the same data (morphology, surface and deep syntax, information structure), this resource is particularly useful for linguistic and NLP tasks that combine features from various levels of language description.

Přednáška představuje projekt anotace nadvětných vztahů v Pražském závislostním korpusu 3.0.


On the possibilities of a corpus-based approach to discourse phenomena

K možnostem korpusového zpracování nadvětných jevů

The present contribution is a theoretical and methodological study of the possibilities of
discourse processing by corpus methods. Despite the description complexity of phenomena
“beyond the sentence boundary”, we argue that, keeping in mind all the specific issues this
task brings along, even more ways of a systematic analysis are possible. Taking into account
various attempts of the last decade in creating discourse-annotated corpora, a reliable way to
proceed in any such analysis shows to be to distinguish among different layers of discourse
analysis (in particular between “semantic” and “pragmatic” aspects) and to stick with the language
form in opposition to classifying phenomena with no surface realization.

Tato studie je teoreticko-metodologickou
úvahou o tom, jak a do jaké míry je v současné době možné korpusově zpracovávat a značit jevy „nadvětné“, jevy textové lingvistiky.


We present the project of classification of Prague Discourse Treebank documents (Czech journalistic texts) for their genres. Our main interest lies in opening the possibility to observe how text coherence is realized in different types (in the genre sense) of language data and, in the future, in exploring the ways of using genres as a feature for multi-sentence-level language technologies. In the paper, we first describe the motivation and the concept of the genre annotation, and briefly introduce the Prague Discourse Treebank. Then, we elaborate on the process of manual annotation of genres in the treebank, from the annotators' manual work to post-annotation checks and to the inter-annotator agreement measurements. The annotated genres are subsequently analyzed together with discourse relations (already annotated in the treebank) ― we present distributions of the annotated genres and results of studying distinctions of distributions of discourse relations across the individual genres.

Článek se zabývá klasifikací žánrů v Pražském závislostním korpusu a distribucemi diskurzních vztahů v jednotlivých typech žánrů v PDT.

Lucie Poláková
Pavlína Jínová
Jiří Mírovský


Tolerant BLEU: a Submission to the WMT14 Metrics Task

Tolerantní BLEU: řešení soutěžního úkolu WTM14 Metrics Task

This paper describes a machine translation metric submitted to the WMT14 Metrics Task. It is a simple modification of the standard BLEU metric using a monolingual alignment of reference and test sentences. The alignment is computed as a minimum weighted maximum bipartite matching of the translated and the reference sentence words with respect to the relative edit distance of the word prefixes and suffixes. The aligned words are included in the n-gram precision computation with a penalty proportional to the matching distance. The proposed tBLEU metric is designed to be more tolerant to errors in inflection, which usually does not effect the understandability of a sentence, and therefore be more suitable for measuring quality of translation into morphologically richer languages.

Článek popisuje metriku pro automatickou evaluaci strojového překladu, odeslanou jako řešení soutěžního úkolu WMT14 Metrics Task. Jedná se o jednoduchou modifikaci známého BLEU skóre, která používá párování slov v testovací a referenční větě v cílovém jazyce. Počítá se vždy nejmenší párování zhledem k relativní editační vzdáleností prefixů a sufixů slov. Spárovaná slova v testovací věty jsou nahrazena slovy z referenčního překladu. Při výpočtu n-gramové přestnoti jsou pak n-gramy obsahující taková slova penalizovány proporcionálně ke vzdálenosti, podlé které se slova párovala.


Automatic Valency Derivation for Related Languages

Automatická derivace valence pro příbuzné jazyky

This paper describes an experiment combining several existing data resources (parallel corpora, valency lexicon, morphological taggers, bilingual dictionary etc.) and exploiting
them in a task of building a valency lexicon for a related language (Russian) derived from a high quality manually created valency lexicon for Czech (Vallex) containing several thousands of verbs with very rich syntactic and semantic information. The experiment is restricted only to nominal constituents in both simple and prepositional cases. The results discussed
in the second half of the paper seem to justify the method used and to encourage further experiments in this direction. The paper also discusses most frequent sources of errors.

V článku popisujeme automatické generování česko-ruských valenčních rámců (formémů) na základě Vallexu, paralelního korpusu a slovníku.


The article describes a prototype of Japanese-Czech machine translation system based on deep syntactic analysis. A required preparation step includes the collection and processing of parallel data. We circumvent the lack of directly parallel data by machine-translating the English side of our collection of Japanese-English data into Czech.

Článek popisuje prototyp japonsko-českého strojového překladače založeného
na hloubkovém větném rozboru. Tento typ strojového překladu není v~současné
době ve srovnání s~jinými metodami tolik rozšířen, věříme však, že některé jeho
aspekty jsou schopny přispět k~celkově lepší kvalitě výstupu. Nutnou součástí
našeho úkolu je i získání a zpracování potřebných paralelních dat. Jelikož
japonsko-česká paralelní data nejsou prakticky vůbec dostupná, snažili jsme se
vyzkoušet různé postupy, které by nám pomohly tento nedostatek nahradit.
Náš systém je založen na stejném principu jako anglicko-český překladač TectoMT.
V~naší práci jsme se snažili zachytit alespoň základní jazykové jevy
charakteristické pro japonštinu. Náš hloubkový systém též porovnáváme se zavedeným frázovým
modelem překladu. Navzdory počátečním očekáváním pracuje frázový překlad lépe
i při relativním nedostatku paralelních dat.


Building an Error-tagged Learner Corpus of Czech

Vytváření žákovského korpusu češtiny s chybovou anotací

The need for data about the acquisition of Czech by non-native learners prompted the compilation of the first learner corpus of Czech. After introducing its basic design and parameters, including a multi-tier manual annotation scheme and error taxonomy, we focus on the more technical aspects: transcription of hand-written source texts, process of annotation, and options for exploiting the result, together with tools used for these tasks and decisions behind the choices. To support or even substitute manual annotation we assign some error tags automatically and use automatic annotation tools (tagger, spell checker).

Potřeba dat o akvizici češtiny cizinci vedla k vytvoření prvního žákovského korpusu češtiny. Po představení jeho základního designu a parametrů, se zaměřujeme na technické aspekty: přepis ručně psaných textů, proces anotace a možnosti využití výsledků, spolu s nástroji používanými pro tyto úkoly.


The course will introduce the students to the methods of processing morphology of natural languages. It starts with a linguistic overview of morphology, discussing features of a wide variety of languages including fusional languages such as German and Czech and agglutinative such as Turkish and Esperanto. After that, a discussion of corpora, tagsets and annotation will follow. The core of the course covers supervised, unsupervised and semi-supervised methods of morphological analysis, morpheme segmentation, lexicon creation, etc. The course covers standard and well established methods (two level morphology, Porter stemmer), but also includes discussion of recent important papers, for example, Yarowsky & Wicentowski 2000, Creutz and Lagus 2007, Monson 2009, and Tepper & Xia 2010.

Kurz seznámí studenty s metodami zpracování morfologie přirozených jazyků. Začíná lingvistickým přehledem morfologie. Dále se zabývá korpusy, tagsety a anotací. Jádrem kurzu jsou supervised, unsupervised, a částečně supervised metody morfologické analýzy, morfologické segmentace, tvorba slovníků atd. Kurz zahrnuje jak standardní metody, tak diskuzi nedávných důležitých článků například Yarowsky & Wicentowski 2000, Creutz & Lagus 2007, Monson 2009 a Tepper & Xia 2010.


On Annotation of Information Structure in Corpus Prague Czech-English Dependency Treebank

K anotaci aktuálního členění větného v korpusu Prague Czech-English Dependency Treebank

The presentation demonstrated the upcoming principles of annotation of information structure in the English part of Prague Czech-English Dependency Treebank.

Prezentace představila připravované zásady anotace aktuálního členění v anglické části Pražského česko-anglického závislostního korpusu.


On Subjective Word Order on the Basis of Corpus

K subjektivnímu slovosledu na základě korpusu

Description of subjective word order in Czech, partly in German and in English.

Popis subjektivního slovosledu v češtině, okrajově v němčině a v angličtině.


On Principles of Annotation of Topic-Focus Articulation in the Prague Czech-English Dependency Treebank

K zásadám anotace aktuálního členění v Pražském česko-anglickém  závislostním korpusu

The lecture demonstrated current principles and process of annotation of topic-focus articulation in the Prague Czech-English Dependency Treebank.

Přednáška představila současné zásady a proces anotací aktuálního členění v Pražském česko-anglickém závislostním korpusu.


On Word Order and Sentence Information Structure – on the Basis of Prague Dependency Treebank

Ke slovosledu a k aktuálnímu členění na základě Pražského závislostního korpusu

The lecture presented possibilities of exploring of word order and topic-focus articulation with help of  the annotated treebank.

Přednáška představila možnosti zkoumání slovosledu a aktuálního členění větného s pomocí anotovaného závislostního korpusu.


The lecture described research on contextual boundness based on the data from the Prague Dependency Treebank. The contextual boundness of depencent clauses vs. sentence elements expressed as non-clauses, the degree of contextual boundness of individual functors or lemmas were monitored.

Přednáška popisovala výzkum kontextové zapojenosti na základě dat Pražského závislostního korpusu. Sledována byla například kontextová zapojenost závislých vět vs. větných členů vyjádřených nevětně, míra kontextové zapojenosti jednotlivých funktorů nebo lemmat.


Word Order of Contextually Non-bound Participants on Basis of the data from PDT

Povrchový slovosled kontextově nezapojených participantů na základě dat v PDT

The presentation demonstrated the tendencies in the surface word order of Czech actants and free verbal modifications in data from Prague Dependency Treebank.

Prezentace představila zjištěné tendence v povrchovém slovosledu českých aktantů a volných slovesných doplnění v datech Pražského závislostního korpusu.


The 39th Year of Olympiad in the Czech Language Has Finished

Skončil 39. ročník Olympiády v českém jazyce

The paper describes a competition in linguistics the Olympiad in the Czech language - it provides an overview of the tasks, their analysis and comment.

Článek popisuje lingvistickou soutěž Olympiáda v českém jazyce - uvádí přehled soutěžních úkolů, jejich rozbor a komentář.


A Rule-based Approach for Karmina Generation

Pravidlový přístup ke generování Karminy

We present our work in generating Karmina, an old Malay poetic form for Indonesian language. Karmina is a poem with two lines that consists of a hook (sampiran) on the first line and a message on the second line. One of the unique aspects of Karmina is in the absence of discourse relation between its hook and message. We approached the problem by generating the hooks and the messages in separate processes using predefined schemas and a manually built knowledge base. The Karminas were produced by randomly pairing the messages with the hooks, subject to the constraints imposed on the rhymes and on the structure similarity. Syllabifications were performed on the cue words of the hooks and messages to ensure the generated pairs have matching rhymes. We were able to generate a number of positive examples while still leaving room for improvement, particularly in the generation of the messages, which currently are still limited, and in filtering the negative results.

Představujeme naši práci o generování Karminy, staromalajské poetické formy indonéštiny. Karmina je báseň o dvou řádcích, kde první řádek obsahuje "háček" (sampiran) a druhá obsahuje poselství. Jedním z jedinečných rysů Karminy je chybějící diskursní vztah mezi háčkem a poselstvím. Proto generujeme háčky a poselství v oddělených procesech s využitím předdefinovaných schémat a ručně vybudované báze znalostí. Karminy byly vytvořeny náhodným párováním poselství s háčky při splnění podmínek na rýmy a strukturální podobnost.


Anotace textových jevů v Pražském závislostním korpusu

The aim of this workshop was to trigger a discussion about textual phenomena and its usage in linguistic applications. Textual phenomena are topic focus articaluation, coreference, anaphora or discourse relations.

Cílem workshopu bylo vytvořit prostor pro diskuzi o textových jevech a o využitelnosti jejich anotace v lingvistických aplikacích. Textovými jevy jsou např. aktuální členění, koreference, asociační anafora nebo mezivýpovědní významové vztahy.


Subordinators with Elaborative Meanings in Czech and English

Subordinátory s elaborativním významem v češtině a angličtině

This paper is focused on description of hypotactic
constructions (constructions with subordinating
conjunctions) with “elaborative” meanings. In dependency based linguistic literature,
they are referred to as hypotactic coordinations
or also (a subset of) false dependent clauses. The analysis makes use of syntax and discourse annotated corpora of Czech and English and thus offers an empirically grounded contrastive study of the phenomena.

Tento článek je zaměřen na popis hypotaktických
konstrukcí (konstrukce s podřadicí spojkou s "elaborativními" významy v češtině a angličtině.

Pavlína Jínová
Lucie Poláková
Jiří Mírovský


Automatic Identification of Learners’ Language Background based on their Writing in Czech

Automatická detekce jazykového pozadí nerodilého mluvčího

The goal of this study is to investigate whether learners’ written data in highly inflectional Czech can suggest a consistent set of clues for automatic identification of the learners’ L1 background. For our experiments, we use texts written by learners of Czech, which have been  automatically and manually annotated for errors. We define two classes of learners: speakers of Indo-European languages and speakers of non-Indo-European languages. We use an SVM classifier to perform the binary classification. We show that non-content based features perform well on highly inflectional data. In particular, features reflecting errors in orthography are the most useful, yielding about 89% precision and the same recall. A detailed discussion of the best performing features is provided.

Cílem této studie je zjistit zda žákovský text ve flektivním jazyce jako je čeština obsahují příznaky, pomocí kterých lze identifikovat rodný jazyk autora.

Katsiaryna Aharodnik
Marco Chang
Anna Feldman
Jirka Hana


Czech Subjectivity Lexicon: A Lexical Resource for Czech Polarity Classification

SubLex: lexikální zdroj pro klasifikaci polarity v češtině

This paper introduces Czech subjectivity lexicon – the new lexical resource for sentiment analysis in Czech. The lexicon is a dictionary of 4947 evaluative items annotated with part of speech and tagged with positive or negative polarity. We describe the method for building the basic vocabulary and the criteria for its manual refinement. Also, we suggest possible enrichment of the fundamental lexicon. We evaluate the current version of the dictionary by implementing it to the classifiers for automatic polarity detection and compare the results of both plain and supplemented system.

Článek představuje SubLex 1.0, nový lexikální zdroj pro klasifikaci polarity v češtině. Slovník SubLex obsahuje 4947 hodnotících výrazů s příslušným slovním druhem a pozitivní nebo negativní polaritou. V článku popisujeme metodologii vytváření slovníku a kritéria pro jeho ruční čištění a případné další rozšiřování. Dále testujeme spolehlivost slovníku, a sice jeho implementací v rámci již existujících klasifikátorů.


Language of emotions - emotions in language

The rise of Web 2.0 brought large quantity of texts generated by the Internet users themselves. Their contributions usually contain subjective opinions, emotions, reviews... How can we use this data? Is it possible to classify online emotions? The presentation from the area of sentiment analysis introduces methods and success rate of automatic emotion extraction with emphasis on linguistic analysis - and may also answer the question on how to buy the good egg boiler.

Rozvoj Webu 2.0 přinesl množství textů generovaných samotnými uživateli Internetu. Jejich příspěvky nezřídka obsahují subjektivní názory, emoce, hodnocení… K čemu a jak můžeme tato data použít? Je možné emoce v textu spolehlivě automaticky třídit? Příspěvek z oblasti postojové analýzy představí metody a úspěchy automatické extrakce emocí z textu s důrazem na využití detailní lingvistické analýzy – a možná vyřeší i otázku, jak vybrat ten správný vejcovar.


Sentiment analysis in forensic linguistics and stylometry

Postojová analýza ve forenzní lingvistice a stylometrii

In this paper I will introduce methods employed in current stylometry (the automatic authorship identification) and possible use of sentiment analysis in forensic linguistics, including e.g. automatic detection of suicidial tendencies on social networks (see also Pestian et al., 2012).

V anonymizovaném prostředí internetových diskusí a sociálních sítí pravidelně dochází k verbálním výpadům, které nezřídka naplňují skutkovou podstatu trestného činu (např. hanobení rasy a národa nebo pomluvy). Pachatele kybernetických útoků lze jen obtížně dohledat a jejich činy proto často zůstávají nepotrestány. O řešení tohoto problému se v posledních letech pokouší evropská forenzní lingvistika s přispěním postojové analýzy, která se v nedávné době začala rozvíjet také v tuzemsku (viz např. Veselovská, 2012).

Postojová analýza se zabývá možnostmi extrakce subjektivní informace z textu a zkoumáním takovéto informace z jazykovědného hlediska (viz Liu, 2009). Jedním z hlavních cílů postojové analýzy je detekce hodnotících výrazů, tedy slov a frází, které inherentně obsahují pozitivní nebo negativní hodnocení (viz také Wiebe et al., 2004). Povaha a frekvence těchto výrazů (zejména pak těch s negativní polaritou), pro češtinu shromážděných ve slovníku SubLex1.0 (Veselovská a Bojar, 2013), může mít zásadní vliv na odhalení nesnášenlivého textu a při existenci i krátkých referenčních pasáží také jeho autora. Úspěšnost postupu roste zejména v kombinaci s analýzou funkčních slov, která určují gramatické vztahy v souvětích, a celkového projevu pisatele, jak dokazuje například výzkum Brennana et al. (2011).

V příspěvku budou představeny metody současné stylometrie (automatické identifikace autora na základě jím vyprodukovaného textu) a možnosti uplatnění postojové analýzy ve forenzní lingvistice, včetně včasného odhalování sebevražedných tendencí nejen na sociálních sítích (viz také Pestian et al., 2012) nebo ověřování pravdivosti výpovědí žadatelů o evropský azyl (Eades, 2009).


Textual phenomena in linguistic applications

Textové jevy v lingvistických aplikacích

The aim of this workshop is to trigger a discussion about textual phenomena and its usage in linguistic applications. Textual phenomena are topic focus articaluation, coreference, anaphora or discourse relations.

Cílem workshopu je vytvořit prostor pro diskuzi o textových jevech a o využitelnosti jejich anotace v lingvistických aplikacích. Textovými jevy jsou např. aktuální členění, koreference, asociační anafora nebo mezivýpovědní významové vztahy.


Using InterCorp for creating hand-crafted rules for automatic detection of pleonastic it

Využití korpusu InterCorp při vytváření ručních pravidel pro automatickou detekci pleonastického it  a jeho českých ekvivalentů v závislostních datech

The aim of presented contribution was to improve automatic detection and control of alignment of pleonastic it and its Czech counterparts in Prague Czech-English Dependency Treebank (Hajič et al., 2011) with the help of cs-en data from parallel corpus InterCorp.

Prezentovaný výzkum měl za cíl vylepšit automatickou detekci a kontrolu správnosti zarovnání pleonastického it a jeho českých protějšků v Prague Czech-English Dependency Treebank (Hajič et al. 2011) na základě pravidel vypozorovaných porovnáváním české a anglické části paralelního korpusu InterCorp.


Czech subjectivity lexicon, i.e. a list of subjectivity clues for sentiment analysis in Czech. The list contains 4626 evaluative items (1672 positive and 2954 negative) together with their part of speech tags, polarity orientation and source information.

Český slovník hodnotících výrazů, tedy seznam hodnotících slov pro sentiment analysis v češtině. Seznam obsahuje 4626 hodnotících položek (1672 pozitivních a 2954 negativních) označkovaných morfologicky a s příslušnou orientací hodnocení.


Why Words Alone Are Not Enough: Error Analysis of Lexicon-based Polarity Classifier for Czech

Proč slova sama o sobě nestačí: chybová analýza slovníkového klasifikátoru pro klasifikaci polarity v češtině

Lexicon-based classifier is in the long term one of the main and most effective methods of polarity classification used in sentiment analy-sis, i.e. computational study of opinions, sen-timents and emotions expressed in text (see Liu, 2010). Although it achieves relatively good results also for Czech, the classifier still shows some error rate. This paper provides a detailed analysis of such errors caused both by the system and by human reviewers. The identified errors are representatives of the chal-lenges faced by the entire area of opinion min-ing. Therefore, the analysis is essential for fur-ther research in the field and serves as a basis for meaningful improvements of the system.

Slovníkový klasifikátor je z dlouhodobého hlediska jedním z nejvyužívanějších klasifikátorů v oblasti postojové analýzy. Přestože dosahuje relativně dobrých výsledků také pro češtinu, vykazuje tento klasifikátor jistou míru chybovosti. Článek nabízí detailní analýzu chyb v klasifikaci způsobených jak systémově, tak vinou recenzentů, a na základě této analýzy navrhuje další úpravy systému.


Modelování evaluativního významu v češtině

This contribution presents the first corpus-based analysis of Czech evaluative language and the first steps towards a model of evaluative meaning in Czech.
For the current study, we have used three main sources of data:
•	the newly created Czech subjectivity lexicon SubLex 1.0 (see [2])
           containing 4950 unique evaluative lemmas tagged with positive
	or negative polarity
•	the Czech National Corpus (see [1]).
•	the manually annotated evaluative data from three different domains
           (news, movie reviews and kitchen appliances reviews)
	First, we will confront selected SubLex items with the evidence in Czech National Corpus and offer a complex linguistic analysis of the obtained evaluative sentences, observing especially lexical and morphological means of expressing evaluation in the text. However, since we are aware of the fact that evaluative items are subject to the interaction with context both at the sentence level, and in a larger text span (including e.g. the influence of negation or changes in aspect), we will briefly analyze the syntactic and semantic structure of the evaluative sentences. In addition, we will introduce and examine the most common Czech evaluative idioms. To put our general findings under a more specific scrutiny, we will then explore the use of evaluation in different domain-specific corpora of evaluative sentences.
	Finally, as a result of the above mentioned analysis, we will introduce the overview of generalized structures bearing evaluative meaning in Czech.

Příspěvek je založen na první korpusové analýze vyjadřovacích prostředků českého evaluativního jazyka a je z velké části věnován modelování evaluativního významu v rámci konstrukčně-gramatického formalismu.


Stop-probability estimates computed on a large corpus improve Unsupervised Dependency Parsing

Odhady STOP-pravděpodobností počítané na velkých datech vylepšují neřízený závislostní analýzu

Even though the quality of unsupervised
dependency parsers grows, they often fail
in recognition of very basic dependencies.
In this paper, we exploit a prior knowledge
of STOP-probabilities (whether a given
word has any children in a given direction), which is obtained from a large raw
corpus using the reducibility principle. By
incorporating this knowledge into Dependency Model with Valence, we managed to
considerably outperform the state-of-the-art results in terms of average attachment
score over 20 treebanks from CoNLL 2006
and 2007 shared tasks.


Cross-language Study on Influence of Coordination Style on Dependency Parsing Performance

Studie vlivu volby reprezentace souřadných struktur na úspěšnost závislostní syntaktické analýzy

In this report we explore alternative representations of coordination structures within dependency trees and study the impact of particular solutions on performance of two selected state-of-the-art dependency parsers across a typologically diverse range of languages.

Tato technická zpráva se zabývá alternativními reprezentacemi koordinačních struktury a vlivem jednotlivých řešení na úspěšnost závislostního parsingu.

David Mareček
Martin Popel
Loganathan Ramasamy
Jan Štěpánek
Daniel Zeman
Zdeněk Žabokrtský
Jan Hajič


Towards a Truly Statistical Natural Language Generator for Spoken Dialogues

K opravdu statistickému generátoru přirozeného jazyka pro hlasové dialogy

We present an introduction to the problem of Natural Language Generation (NLG) an give a brief survey of recent advances in this field, focusing on the usage of statistical methods. Most stress is put on NLG within Spoken Dialogue Systems, but other usage areas are included as well. The paper concludes with an overview of problems posed by the development of a multilingual NLG system for a Spoken Dialogue System.

Článek uvádí do problému generovaní přirozeného jazyka a podává krátké shrnutí nedávného vývoje tohoto oboru, přičemž se zaměřuje na využití statistických metod. Největší důraz je kladen na generování jazyka v hlasových dialogových systémech, ale ostatní oblasti využití jsou také zmíněny. Článek končí přehledem problémů, je nutné vyřešit při vývoji vícejazyčného generátoru jazyka pro hlasový dialogový systém.


Robust Multilingual Statistical Morphological Generation Models

Robustní vícejazyčné statistické modely pro generování morfologie

We present a novel method of statistical morphological generation, i.e. the prediction  of  inflected  word  forms  given lemma, part-of-peech and morphological features, aimed at robustness to unseen inputs. Our system uses a trainable classifier to predict “edit scripts” that are then used to transform lemmas into inflected word forms. Suffixes of lemmas are included as features to achieve robustness.  We evaluate our system on 6 languages with a varying degree of morphological richness. The results show that the system is able to learn most morphological phenomena and generalize to unseen  inputs, producing significantly better results than a dictionary-based baseline.

Prezentujeme novou metodu statistického generování morfologie, tj. predikce konkrétní slovní formy z lemmatu, slovního druhu a morfologických kategorií, která cílí na robustnost vůči neznámým vstupům. Náš systém používá trénovatelný klasifikátor pro predici „editačních scénářů“, které posléze použije k transformaci lemmat na cílové slovní formy. Pro dosažení robustnosti jsou jako atributy pro klasifikaci použity také sufixy lemmat. Náš systém byl vyhodnocen na šesti jazycích s různým stupněm morfologické bohatosti. Výsledky ukazují, že systém je schopen se naučit většinu morfologických jevů a generalizuje na neznámé vstupy, takže dosahuje signifikatně lepších výsledků než baseline založený na slovníku.


Machine Translation with Many Manually Labeled Discourse Connectives

Počítačový překlad s ručně značenými textovými konektory

The paper presents machine translation experiments
from English to Czech with a
large amount of manually annotated discourse
connectives. The gold-standard
discourse relation annotation leads to better
translation performance in ranges of
4–60% for some ambiguous English connectives
and helps to find correct syntactical
constructs in Czech for less ambiguous
connectives. Automatic scoring confirms
the stability of the newly built discourseaware
translation systems. Error analysis
and human translation evaluation point to
the cases where the annotation was most
and where less helpful.

Příspěvek prezentuje experimenty strojového překladu
z angličtiny do češtiny s použitím
velkého množství ručně anotovaných textových konektorů.


Correspondence Seminar: Bringing Linguistics to High Schools

Korespondenční seminář: Propagace lingvistiky na středních školách

We present the concept of a correspondence seminar as a way to complement and support one-time contests, especially olympiads. We evaluate specific payoffs of this way of teaching linguistics, and compare its nature to that of a linguistics olympiad. We believe that the correspondence seminar is a great way to introduce talented high school students to linguistics.

Článek představuje koncept korespondenčního semináře jakožto prostředku, jak doplnit a podpořit jednorázové soutěže, zejména olympiády. Vyhodnocujeme jednotlivé výhody tohoto způsobu výuky lingvistiky a porovnáváme jeho charakter s charakterem lingvistické olympiády. Věříme, že korespondenční seminář je výborný způsob, jak přivést talentované středoškolské studenty k lingvistice.


In this paper, we study specific relations between uses of the same verb lexeme that stem from the changes in the linking of situational participants, valency complementations and surface syntactic positions – we refer to them as to alternations. The focus is on those types that are expressed by lexical-semantic means and result in changes in valency frames of verbs.
We present and analyze three basic types of lexicalized alternations in Czech. They may be characterized as either conversive, or non-conversive. The conversive lexicalized alternations represent the central ones in the language system and here are referred to as (i) the lexical-semantic conversions (e.g., to load hay on the truck -- to load the truck with hay). On the other hand, the non-conversive alternations are rather peripheral; we can introduce esp. (ii) the different structural expression of a single situational participant (e.g., to climb up the hill - to climb the hill) and (iii) the structural splitting of a situational participant (e.g., theme-dictum splitting for Czech verbs of communication and mental action).
Further, we propose a formal framework that allows us to represent different types of lexicalized alternations in the valency lexicon of Czech verbs, VALLEX.

V této studii se zabýváme vztahy mezi užitími téhož slovesného lexému, které jsou charakterizovány změnou v přiřazení situačních participantů a povrchových syntaktických pozic; tyto vztahy označujeme jako alternace. Tato práce se soustředí na lexikalizované alternace, které jsou vyjádřeny prostředky lexikálně-sémantickými, tj. změnou lexikální jednotky slovesa. V češtině jsou lexikalizované alternace konverzní (tzv. lexikálně-sémantické konverze, např. naložit seno na vůz -- naložit vůz senem), nebo nekonerzní (tzv. různé strukturní vyjádření téhož participantu, např. vyjít na kopec -- vyjít kopec, a strukturní rozpad situačního participantu, např. rozpad tématu a dikta). V práci představujeme zachycení těchto vztahů ve valenčním lexikonu VALLEX.


The Representation of Czech Light Verb Constructions in a Valency Lexicon

Reprezentace českých konstrukcí s tzv. lehkým slovesem ve valenčním lexikonu

Light verb constructions (LVCs) pose a serious
challenge for both theoretical and applied
linguistics as their syntactic structures
are not solely determined by verbs
alone but also by predicative nouns. In this
contribution, we introduce an initial step to
a new formal lexicographic representation
of LVCs for the valency lexicon of Czech
verbs, VALLEX.
The main idea underlying our representation
is to decompose the information on an
LVC between (i) the verbal valency frame
and (ii) the nominal valency frame. Both
deep and surface syntactic structures of
LVCs can be easily derived from the information
given in the verbal and nominal
frames by application of formal rules
as they are introduced in this contribution.

Příspěvek popisuje formální lexikografickou reprezentaci konstrukcí s tzv. lehkým slovesem. Informaci o daných konstrukcí rozdělujeme mezi valenční rámec lehkého slovesa a rámec predikativního jména. Povrchově syntaktickou realizaci (včetně morfematického vyjádření) valenčních doplnění lze snadno odvodit pomocí formálních syntaktických pravidel.


Corpus Based Identification of Czech Light Verbs

Identifikace analytických predikátů v češtině na základě korpusu

In this paper, we describe a corpus based experiment focused on the possibility of identifying Czech light verbs. The experiment had two main aims: (i) to establish the inventory of Czech light verbs entering into combinations with predicative nouns, and (ii) to verify the adopted criteria for distinguishing light usages from full usages of the given verbs. As for the inventory of light verbs, we propose and verify the hypothesis that the possibility of light usages of verbs is related to their semantic class membership rather than to their high frequency.

In the second part of the experiment, we exploited the compiled inventory of Czech verbs inclined to occur as light verbs. The criteria adopted for distinguishing light usages of a verb from its full ones were applied to selected corpus sentences with these verbs. Three annotators were asked to determine whether a verb occurrence in an extracted corpus sentence corresponds to the full or to the light usage of the given verb. The feasibility of this task has been proven by the achieved κw statistics 0.686 and by the interannotator agreement 85.3%.

As a result of this experiment, we obtained 893 verbonominal combinations of Czech light verbs and predicative nouns. These combinations will be further utilized for the lexicographic representation of these phenomena.

Článek popisuje experiment identifikující analytické predikáty v českém textu. Prvním cílem experimentu bylo vytvoření seznamu českých sloves, které umožňují vazbu s predikativními substantivy; druhým cílem bylo ověřit stanovená kritéria pro určení, zda je daný výskyt slovesa analytickým, či plnovýznamovým predikátem.

Tři anotátoři paralelně anotovali stejné věty s vybranými slovesy podle stanovených kritérií. Mezianotátorská shoda měřená váženou kappou dosáhla hodnoty 0,686.

Výsledkem experimentu je 893 verbonominálních kombinací českých analytických predikátů s predikativními substantivy.

Václava Kettnerová
Markéta Lopatková
Eduard Bejček
Anna Vernerová
Marie Podobová


A New State-of-The-Art Czech Named Entity Recognizer

Nový state-of-the-art rozpoznávač pojmenovaných entit pro češtinu

We present a new named entity recognizer for the Czech language. It reaches 82.82 F-measure on the Czech Named Entity Corpus 1.0 and significantly outperforms previously published Czech named entity recognizers. On the English CoNLL-2003 shared task, we achieved 89.16 F-measure, reaching comparable results to the English state of the art. The recognizer is based on Maximum Entropy Markov Model and a Viterbi algorithm decodes an optimal sequence labeling using probabilities estimated by a maximum entropy classifier. The classification features utilize morphological analysis, two-stage prediction, word clustering and gazetteers.

Představujeme nový rozpoznávač pojmenovaných entit pro český jazyk, který dosahuje 82.82 F-measure na korpusu Czech Named Entity Corpus 1.0 a statisticky významně překonává dříve publikované české rozpoznávače pojmenovaných entit. Na anglické úloze CoNLL-2003 shared task dosahuje 89.16 F-measure. Tento výsledek je srovnatelný s anglickými současnými výsledky. Rozpoznávač je založen na maximum entropy markovském modelu a optimální sekvence pojmenovaných entit je dosaženo globálním dekódováním Viterbiho algoritmem pomocí pravděpodobností odhadnutých maximum entropy klasifikátorem. Klasifikátor využívá morfologickou analýzu, dvojúrovňovou predikci, clusterizaci slov a gazetteers.


Korpus pojmenovaných entit v češtině, verze 2.0

A new version of the Czech corpus with manually annotated named entities, classified using a rich hierarchy of types.

Nová verze ručně anotovaného korpusu zaměřeného na pojmenované entity.

Jana Straková
Milan Straka
Magda Ševčíková
Zdeněk Žabokrtský


Improvements to Syntax-based Machine Translation using Ensemble Dependency Parsers

Zlepšení strojového překladu s využitím kombinace závislostních syntaktických analyzátorů

Dependency parsers are almost ubiqui-
tously evaluated on their accuracy scores,
these scores say nothing of the complex-
ity and usefulness of the resulting struc-
tures. The structures may have more com-
plexity due to their coordination structure
or attachment rules. As dependency parses
are basic structures in which other systems
are built upon, it would seem more reason-
able to judge these parsers down the NLP
pipeline.
We show results from 7 individual parsers,
including dependency and constituent
parsers, and 3 ensemble parsing tech-
niques with their overall effect on a Ma-
chine Translation system, Treex, for En-
glish to Czech translation. We show that
parsers’ UAS scores are more correlated
to the NIST evaluation metric than to the
BLEU Metric, however we see increases
in both metrics.

Závislostní syntaktické analyzátor jsou většinou vyhodnocovány pomocí podílu správně zavěšených hran, to ale nevypovídá přesně o závažnosti a důsledcích jednotlivých chyb pro reálné aplikace. V tomto článku popisujeme úspěšnost sedmi analyzátorů a tří jejich kombinací z hlediska jejich vlivu na kvalitu strojového překladu využívajícího hloubkovou syntax.


WMT annotations are described in the paper Improvements to Syntax-based Machine Translation using Ensemble Dependency Parsers presented at The Second Workshop on Hybrid Approaches to Translation (HyTra) at ACL 2013. The annotations are done on the analytically layer of the Czech to English Data set from the Workshop on Machine Translation 2012 data.

The main purpose of this data set is to give researchers gold level dependency annotations for a data set that contains a gold level translations. This should allow researchers to analyze dependency annotations effect on machine translation.

Závislostní anotace anglických vět z datové sady WMT 2012 (vzniklé pro Workshop in Machine Translation) je popsána v článku Improvements to Syntax-based Machine Translation using Ensemble Dependency Parsers presented at The Second Workshop on Hybrid Approaches to Translation (HyTra) at ACL 2013. Anotace byly provedeny podle pravidel analytické roviny Pražského závislostního korpusu.


CUni Multilingual Matrix in the WMT 2013 Shared Task

Vícejazyčná matice UK ve společné úloze WMT 2013

We describe our experiments with phrase-based machine translation for the WMT 2013 Shared Task. We trained one system for 18 translation directions between English or Czech on one side and English, Czech, German, Spanish, French or Russian on the other side. We describe a set of results with different training data sizes and subsets. For the pairs containing Russian, we describe a set of independent experiments with slightly different
translation models.

Popisujeme naše pokusy s frázovým strojovým překladem pro společnou úlohu WMT 2013. Natrénovali jsme jeden systém pro 18 překladových směrů mezi angličtinou nebo češtinou na jedné straně a angličtinou, češtinou, němčinou, španělštinou, francouzštinou nebo ruštinou na straně druhé. Popisujeme sadu výsledků s různými velikostmi trénovacích dat. Pro páry obsahující ruštinu navíc popisujeme sadu nezávislých pokusů s lehce odlišnými překladovými modely.


Exploiting Maching Learning for Automatic Semantic Feature Assignment

Využití strojového učení pro automatické přiřazování sémantických rysů

In this paper we experiment with supervised machine learning techniques for the task of assigning semantic categories to nouns in Czech. The experiments work with 16 semantic categories  based on available manually annotated data.  The paper compares two possible approaches - one based on the contextual information,  the other based upon morphological properties  - we are trying to automatically extract final segments  of lemmas which might carry semantic information. The central problem of this research is finding the features for machine learning  that produce better results for relatively small training data size.

Článek popisuje experimenty s přiřazováníém sémantických kategorií českým podstatným jménům pomocí metod strojového učení.

Karel Bílek
Natalia Klyueva
Vladislav Kuboň


Multimedia Information Seeking through Search and Hyperlinking

Prezeranie multimediálnych informácií pomocou vyhľadávania a prepájania

Searching for relevant webpages and following hyperlinks to related content is a widely accepted and effective approach to information seeking on the textual web. Existing work on multimedia information retrieval has focused on search for individual relevant items or on content linking without specific attention to search results. We describe our research exploring integrated multimodal search and hyperlinking for multimedia data. Our investigation is based on the MediaEval 2012 Search and Hyperlinking task. This includes a known-item search task using the Blip10000 internet video collection, where automatically created hyperlinks link each relevant item to related items within the collection. The search test queries and link assessment for this task was generated using the Amazon Mechanical Turk crowdsourcing platform. Our investigation examines a range of alternative methods which seek to address the challenges of search and hyperlinking using multimodal approaches. The results of our experiments are used to propose a research agenda for developing effective techniques for search and hyperlinking of multimedia content.

Vyhľadávanie relevantných webových stránok a využívanie odkazov na relevantný obsah je rozšírený a efektívny prístup k vyhľadávaniu informácií. Existujúce práce, ktoré sa zaoberajú vyhľadávaním informácií v multimédiách sú však zamerané buď na vyhľadávanie jednotlivých relevantných položiek alebo na prepájanie obsahu bez toho aby sa zaoberali vyhľadávaním. V našej práci popisujeme prepojenie multimodálneho vyhľadávania a následné prepojenie multimediálnych dát. Experimenty sú založené na Search and Hyperlinking tasku organizovanom v rámci MediaEval 2012 Benchmarku.

Maria Eskevich
Gareth J.F. Jones
Robin Aly
Roeland Ordelman
Shu Chen
Danish Nadeem
Camille Guinaudeau
Guillaume Gravier
Pascale Sébillot
Tom De Nies
Pedro Debevere
Rik Van de Walle
Petra Galuščáková
Pavel Pecina
Martha A. Larson


Segmentation strategies for passage retrieval in audio-visual documents

Využitie segmentácie pri passage retrieval v audio-vizuálnych dokumentoch

The importance of Information Retrieval (IR) in audio-visual recordings has been increasing with steeply growing numbers of audio-visual documents available on-line. Compared to traditional IR methods, this task requires specific techniques, such as Passage Retrieval which can accelerate the search process by retrieving the exact relevant passage of a recording instead of the full document. In Passage Retrieval, full recordings are divided into shorter segments which serve as individual documents for the further IR setup. This technique also allows normalizing document length and applying positional information. It was shown that it can even improve retrieval results.

In this work, we examine two general strategies for Passage Retrieval: blind segmentation into overlapping regular-length passages and segmentation into variable-length passages based on semantics of their content.

Time-based segmentation was already shown to improve retrieval of textual documents and  audio-visual recordings. Our experiments performed on the test collection used in the Search subtask of the Search and Hyperlinking Task in MediaEval Benchmarking 2012 confirm those findings and show that parameters (segment length and shift) tuning for a specific test collection can further improve the results. Our best results on this collection were achieved by using 45-second long segments with 15-second shifts.

Semantic-based segmentation can be divided into three types: similarity-based (producing segments with high intra-similarity and low inter-similarity), lexical-chain-based (producing segments with frequent lexically connected words), and feature-based (combining various features which signalize a segment break in a machine-learning setting). In this work, we mainly focus on feature-based segmentation which allows exploiting various features from all modalities of the data (including segment length) in a single trainable model and produces segments which can eventually overlap.

Our preliminary results show that even simple semantic-based segmentation outperforms regular segmentation. Our model is a decision tree incorporating the following features: shot segments, output of TextTiling algorithm, cue words (well, thanks, so, I, now), sentence breaks, and the length of the silence after the previous word. In terms of the MASP measure, the relative improvement over regular segmentation is more than 19%.

Dôležitosť vyhľadávania v audio-vizuálnych nahrávkach kvôli prudko rastúcemu počtu audio-vizuálnych nahrávok dostupných on-line v súčasnosti stúpa. V porovnaní s tradičným IR metódami vyžaduje táto úloha špeciálne techniky ako je napríklad passage retrieval, ktorý môže urýchliť celý proces vyhľadávania tak, že je vyhľadaný presný relevantný úsek nahrávky namiesto celého dokumentu. Pri využití passage retrievalu sú nahrávky rozdelené na kratšie segmenty. V tejto práci porovnávame dva prístupy využité v passage retrieval: segmentáciu na prekrývajúce sa úseky rovnakej dĺžky a segmentáciu na rôzne dlhé úseky na základe sémantiky.


CUNI at MediaEval 2013 Search and Hyperlinking Task

CUNI na MediaEval 2013, Search and Hyperlinking Task

We describe our approach to the Search Subtask of the Search and Hyperlinking Task at MediaEval 2013. We experiment with various methods for segmentation of the recordings into shorter segments which are then used in a standard
retrieval setup to search for relevant passages. We use regular segmentation into equilong segments and experiment with machine-learning based segmentation expanding our approach to Similar Segments in Social Spech Task.

V článku popisujeme prístup, ktorý sme použili v
Search Subtasku v úlohe Search and Hyperlinking vrácmi Benchmarku MediaEval 2013. Popisujeme rôzne prístupy k segmentácii nahrávok na menšie úseky, ktoré sú potom využité pri štandardnom vyhľadávaní. Na segmentáciu používame rozdelenie na krátke úseky rovnakej dĺžky a tiež metódy strojového učenia, založené na našom riešení použitom v úlohe Similar Segments in Social Speech.


CUNI at MediaEval 2013 Similar Segments in Social Speech Task

CUNI na MediaEval 2013 Similar Segments in Social Speech Task

We describe our experiments for the Similar Segments in Social Speech Task at MediaEval 2013 Benchmark. We mainly focus on segmentation of the recordings into shorter passages on which we apply standard retrieval techniques. We experiment with machine-learning-based segmentation employing textual (word n-grams, tag n-grams, letter cases, lexical cohesion, etc.) and prosodic features (silence) and compare the results with those obtained by regular segmentation.

V článku popisujeme naše experimenty vrámci úlohy Similar Segments in Social Speech v Benchmarku MediaEval 2013. Zameriavame sa najmä na segmentáciu nahrávok na kratšie úseky, na ktoré aplikujeme štandardné metódy vyhľadávania. Ďalej popisujeme naše pokusy so segmentáciou založenou na technikách strojového učenia, pričom využívame textové (n-gramy slov, n-gramy tagov, veľké písmená, lexikálnu konzistentnosť, ...) a prozodické vlastnosti (dĺžka ticha).


PhraseFix: Statistical Post-Editing of TectoMT

PhraseFix: Štatistická posteditácia systému TectoMT

We present two English-to-Czech systems that took part in the WMT 2013 shared task: TectoMT and PhraseFix. The former is a deep-syntactic transfer-based system, the latter is a more-or-less standard statistical post-editing (SPE) applied on top of TectoMT. In a brief survey, we put SPE in context with other system combination techniques and evaluate SPE vs. another simple system combination technique: using synthetic parallel data from TectoMT to train a statistical MT system (SMT). We confirm that PhraseFix (SPE) improves the output of TectoMT, and we use this to analyze errors in TectoMT. However, we also show that extending data for SMT is more effective.

V práci popisujeme dva anglicko-české prekladové systémy, ktoré boli odoslané do WMT 2013 shared tasku: TectoMT a PhraseFix. TectoMT je systém založený na syntaktickom preklade, PhraseFix používa štatistickú posteditáciu (SPE), ktorá je aplikovaná na výstup systému TectoMT. V krátkom prehľade porovnáme SPE a ďalšie techniky kombinácie prekladových systémov - použijeme dáta, ktoré vznikli prekladom pomocou systému TectoMT, aby sme natrénovali štatistický prekladový systém (SMT). V práci ďalej potvrdíme hypotézu, že PhraseFix (SPE) zlepšuje výsledky TectoMT, zároveň však ukážeme, ze pridanie trénovacích dát do SMT je napriek tomu stále efektívnejšie.

Petra Galuščáková
Martin Popel
Ondřej Bojar


Dressing up the woman of sticks: the delightful ambiguities of Czech machine translation

Oblékání ženy holí: nádherné víceznačnosti českého strojového překladu

An interview on machine translation and a new book that introduces the field to the Czech reader.

Rozhovor pro anglické vysílání Radia Praha o strojovém překladu a nové knížce, která jej přibližuje českému čtenáři.


New archive of oral history interviews in the Malach Center

Nový archiv nahrávek rozhovorů v Centru vizuální historie Malach

Refugee Voices is a groundbreaking Holocaust testimony collection of 150 filmed interviews with Jewish survivors and refugees from Nazism who rebuilt their lives in Great Britain. It was commissioned by the Association of Jewish Refugees (AJR), with Dr Anthony Grenville and Dr Bea Lewkowicz directing the project. The archive is available at the Malach Centre since February 2013. The collection consists of more than 450 hours of film and forms an invaluable resource for academics, researchers, educationalists and others with a professional interest in the field of refugee, migration and Holocaust studies. The collection has been designed precisely with the requirements of scholars and other professionals in mind. All interviews have been fully transcribed and catalogued enabling a researcher to be able to see an interview and then to read a transcript of the words spoken in it, or vice versa. For ease of reference, both the films and the transcripts are time-coded, making it possible to locate specific passages with a minimum of effort. Accompanying the collection is a comprehensive database, containing an index of the interviews and details of the interviewees and their life stories. The interviews have been catalogued with 44 separate categories.

Archiv Hlasy uprchlíků (Refugee Voices) je sbírkou svědectví o holocaustu obsahující 150 filmových interview s židovskými přeživšími a uprchlíky před nacismem, kteří začali nový život ve Velké Británii. Archiv byl vytvořen Asociací židovských uprchlíků (Association of Jewish Refugees – AJR) v letech 2003–2007. Projekt vedli Dr. Anthony Grenville a Dr. Bea Lewkowicz. Kompletní archiv a přidružené databáze jsou od února 2013 dostupné v CVH Malach. Sbírka sestává z více než 450 hodin filmového materiálu a je neocenitelným zdrojem pro akademiky, výzkumníky, vzdělávací pracovníky a další zájemce o studium migrace nebo holocaustu. Archiv byl od samého počátku vytvářen s ohledem na potřeby a požadavky akademiků a dalších profesionálů. Všechny rozhovory jsou katalogizovány a v plném rozsahu přepsány. Aby bylo umožněno snadné odkazování na konkrétní pasáže interview, jsou přepisy i nahrávky opatřeny časovým kódem, díky čemuž je možné s minimálním úsilím najít specifické úseky rozhovorů. Součástí archivu je rozsáhlá databáze obsahující seznam rozhovorů s podrobnostmi o narátorech a jejich životních příbězích. Interview byla katalogizována prostřednictvím 44 samostatných kategorií.


Visual History Archive in the Social Scientific Research: Some remarks and experiences from the user's perspective

Archiv vizuální historie ve společenskovědním výzkumu: Několik poznámek a zkušeností z uživatelské perspektivy

USC Shoah Foundation's Visual History Archive (VHA) contains almost 52,000 interviews with Holocaust survivors and witnesses. Although the interviews are focused mostly on the World War II era, they were conducted as the narrators' complete life stories. VHA can therefore be effectively used in different scientific fields apart from historiography, e.g. economics, law, medicine, literature, anthropology or sociology. I will reflect on my user experience with the VHA during the ongoing sociological research, which is a crucial part of my dissertation thesis. On one hand, it is clear that the VHA user interface already provides very effective facilities for the identification and analysis of the relevant interviews and segments. On the other hand, however, there are still some serious technical limitations for this kind of research practice.

Archiv vizuální historie USC Shoah Foundation (VHA) obsahuje více než 52 000 interview s přeživšími a svědky holocaustu. Vzhledem k povaze dat je archiv využíván nejen v historickém bádání, ale také dalších oborech jako je ekonomie, právo, medicína, literatura, antropologie či sociologie. V příspěvku reflektuji svou uživatelskou zkušenost s archivním rozhraním v rámci probíhajícího sociologického výzkumu, jenž tvoří součást mé disertační práce. Ukazuji, že stávající uživatelské rozhraní VHA lze sice pro podobné účely efektivně využít, ale zároveň před badatele klade různé problémy a překážky.


Annual Meeting of the Malach Centre for Visual History - January 28, 2013

Výroční setkání Centra vizuální historie Malach - 28. 1. 2013

Report from the third annual meeting of the Malach Centre for Visual History.

Zpráva ze slavnostního setkání ke 3. výročí založení CVH Malach, které se konalo 28. ledna 2013.


Towards Automatic Detection of Applicable Diatheses

Automatická detekce aplikovatelných diatezí

The valency behavior (argument structure) of lexical items  is so varied that it cannot be described by general rules and must be captured in lexicons separately for each lexical item.
For verbs, lexicons typically describe only unmarked usage (the active form), while natural languages allow for certain regular changes in the number, type and/or realization of complementations (e.g. passivization).
Thanks to their regularity, such changes may be described in a separate rule component of the lexicon;
however, they are typically seen in many but not all verbs and their applicability to a given lexical unit (verb meaning) is not predictable from its valency alone.
In this paper, we describe our initial experiments with using a large morphologically annotated corpus of Czech for determining which diatheses are applicable to a given lexical unit.

Valenční lexikony typicky zachycují pouze bezpříznakové užití slovesa (aktivum), zatímco přirozený jazyk umožňuje řadu pravidelných změn v počtu, typu a/nebo povrchové formě valenčních doplnění (např. při pasivizaci).
Vzhledem k jejich pravidelnosti je výhodné tyto změny zachytit v pravidlové komponentě slovníku.
Jednotlivé změny typicky nacházíme u některých, ale ne u všech slovníkových jednotek (rámců), a proto je nutné u každého rámce uvést, která pravidla na něj lze aplikovat.
Ve článku popisujeme třífázový přístup k určení, které diateze lze aplikovat na daný slovesný význam.


MERLIN: An Online Trilingual Learner Corpus Empirically Grounding the European Reference Levels in Authentic Learner

Merlin: Tříjazyčný žákovský korpus empiricky zakotvující CEFR v autentických datech

Since its publication in 2001, the Common European Framework of Reference for Languages (CEFR) has gained a leading role as an instrument of reference for language teaching and certification. Nonetheless, there is a growing concern about CEFR levels being insufficiently illustrated in terms of authentic learner data. Such concern grows even stronger when considering languages other than English (cf., e.g., Hulstijn 2007, North 2000). In this paper, we present the MERLIN project that addresses this need by illustrating and validating the CEFR levels for Czech, German, and Italian. To achieve its goal, we are developing a didactically motivated online platform to enable CEFR users to explore authentic written learner productions that have been related in a methodologically sophisticated and rigorous way to the CEFR levels. By making a significant number of learner productions freely accessible and easily searchable in a form that is richly annotated with linguistic characteristics and learner error types, the platform will assist teachers, learners, test developers, textbook authors, teacher trainers, and educational policy makers in developing a more comprehensive conceptualization of CEFR levels based on authentic learner data.

In the first, methodology-oriented part of this paper, we explain how the learner textual data were collected, re-rated, transcribed, double-checked and prepared for additional manual and automatic processing. We then illustrate the indicators we built to analyze L2 productions. Indicators were derived through (a) linguistic analyses of the performance samples, (b) the operationalization of the CEFR scale descriptors, (c) the study of relevant literature on SLA and language testing, (d) textbook analyses and (e) a questionnaire study. This study allowed us to devise a harmonized annotation schema taking into account both common and language-specific features (e.g., gender/article in German, reflexive possessive pronouns in Czech, pronoun particles in Italian).

In the second, application-oriented part, we explain how, by offering a large corpus of freely accessible empirical material, the project helps provide a fine-grained characterization of the CEFR levels and how it serves language teaching and learning. MERLIN thereby aims at responding to the suggestions of the Council of Europe itself, which solicits the development of supplementary tools for illustrating the CEFR levels (http://purl.org/net/CEFR-Goullier.doc). Furthermore, we explain how the platform enables the targeted users to retrieve authentic information about the relationship of the CEFR levels to a wide spectrum of well-defined, user-need-oriented L2 challenges. MERLIN users, such as teacher or learners, can thus compare their students’ or their own performances and get a clearer picture of their strengths and weaknesses.

In the third, research-oriented part, we situate MERLIN with regards to two current topics in Second Language Acquisition: validation of CEFR scales and natural language processing for learner language

Korpus Merlin je žákovský korpus s psanými texty v čestině, němčině a italštině. Jeho cílem je ilustrovat úrovně CEFR autentickými daty. Článek popisuje metodologii tvorby korpusu (sběr dat, transkripci, anotaci, ověření kvality, atd.), možnosti jeho použití při validaci CEFR.

Katrin Wisniewski
Karin Schöne
Lionel Nicolas
Chiara Vettori
Adriane Boyd
Detmar Meurers
Andrea Abel
Jirka Hana


Khresmoi - multilingual semantic search of medical text and images

Khresmoi - multilinguální sémantické vyhledávání medicínských textů a obrázků

The Khresmoi project is developing a multilingual multimodal search and access system for medical and health information and documents. This scientific demonstration presents the current state of the Khresmoi integrated system, which includes components for text and image annotation, semantic search, search by image similarity and machine translation. The flexibility in adapting the system to varying requirements for different types of medical information search is demonstrated through two instantiations of the system, one aimed at medical professionals in general and the second aimed at radiologists. The key innovations of the Khresmoi system are the integration of multiple software components in a flexible scalable medical search system, the use of annotation cycles including manual correction to improve semantic search, and the possibility to do large scale visual similarity search on 2D and 3D (CT, MR) medical images.

Projekt Khresmoi vyvýjí multilinguální a multimodální vyhledávací a přístupový systém pro medicínské a zdravotní informace a dokumenty.

Niraj Aswani
Thomas Beckers
Erich Birngruber
Célia Boyer
Andreas Burner
Jakub Bystroň
Khalid Choukri
Sarah Cruchet
Hamish Cunningham
Jan Dědek
Ljiljana Dolamic
René Donner
Sebastian Dungs
Ivan Eggel
Antonio Foncubierta
Norbert Fuhr
Adam Funk
Alba García Seco de Herrera
Arnaud Gaudinat
Georgi Georgiev
Julien Gobeill
Lorraine Goeuriot
Paz Gomez
Mark A. Greenwood
Manfred Gschwandtner
Allan Hanbury
Jan Hajič
Jaroslava Hlaváčová
Markus Holzer
Gareth J.F. Jones
Blanca Jordán
Matthias Jordan
Klemens Kaderk
Franz Kainberger
Liadh Kelly
Sascha Kriewel
Marlene Kritz
Georg Langs
Nolan Lawson
Dimitrios Markonis
Iván Martínez
Vassil Momtchev
Alexandre Masselot
Hélène Mazo
Henning Müller
Pavel Pecina
Konstantin Pentchev
Deyan Peychev
Natalia Pletneva
Diana Pottecher
Angus Roberts
Patrick Ruch
Matthias Samwald
Priscille Schneller
Veronika Stefanov
Miguel Angel Tinte
Zdeňka Urešová
Alejandro Vargas
Dina Vishnyakova


Khresmoi Professional: Multilingual Semantic Search for Medical Professionals

Khresmoi Professional: Vícejazyčné sémantické vyhledávání pro medicínské odborníky

There is increasing interest in and need for innovative solutions to medical search. In this paper we present the EU-funded Khresmoi medical search and access system, currently in year 3 of 4 of development across 12 partners. The Khresmoi system uses a component-based architecture housed in the cloud to allow for the development of several innovative applications to support target users' medical information needs. The Khresmoi search systems based on this architecture have been designed to support the multilingual and multimodal information needs of three target groups: the general public, general practitioners and consultant radiologists. In this paper we focus on the presentation of the systems to support the latter two groups using semantic, multilingual text and image-based (including 2D and 3D radiology images) search.

V dnešní době stoupá zájem a potřeba inovativních řešení pro medicínské vyhledávání. V tomto článku představujeme systém Khresmoi pro medicínské vyhledávání a získávání informací, podporovaný Evropskou unií, na kterém se podílí dvanáct partnerů a který je momentálně ve třetím roce vývoje ze čtyř. Systém Khresmoi používá architekturu založenou na komponentách a provozovanou v cloudu, tak aby umožňovala vývoj několika inovativních aplikací, uspokojujících medicínské informační potřeby cílových uživatelů. Vyhledávací systémy Khresmoi založené na této architektuře byly navrženy tak, aby podporovaly vícejazyčné a víceúčelové informační potřeby tří cílových skupin: všeobecné veřejnosti, praktických lékařů a radiologů. V tomto článku se zaměřujeme na představení systémů pro praktické lékaře a radiology s využitím sémantického vyhledávání, vícejazyčného textového vyhledávání a vyhledávání založeného na obrázcích (zahrnujícího 2D a 3D radiologické obrázky).

Niraj Aswani
Thomas Beckers
Erich Birngruber
Célia Boyer
Andreas Burner
Jakub Bystroň
Khalid Choukri
Sarah Cruchet
Hamish Cunningham
Jan Dědek
Ljiljana Dolamic
René Donner
Ondřej Dušek
Sebastian Dungs
Ivan Eggel
Antonio Foncubierta
Norbert Fuhr
Adam Funk
Alba García Seco de Herrera
Arnaud Gaudinat
Georgi Georgiev
Julien Gobeill
Lorraine Goeuriot
Paz Gomez
Mark A. Greenwood
Manfred Gschwandtner
Allan Hanbury
Jan Hajič
Jaroslava Hlaváčová
Markus Holzer
Gareth J.F. Jones
Blanca Jordán
Matthias Jordan
Klemens Kaderk
Franz Kainberger
Liadh Kelly
Sascha Kriewel
Marlene Kritz
Georg Langs
Nolan Lawson
Johannes Leveling
David Mareček
Dimitrios Markonis
Iván Martínez
Vassil Momtchev
Alexandre Masselot
Hélène Mazo
Henning Müller
Michal Novák
Johann Petrak
João Palotti
Pavel Pecina
Konstantin Pentchev
Deyan Peychev
Natalia Pletneva
Martin Popel
Diana Pottecher
Angus Roberts
Rudolf Rosa
Patrick Ruch
Alexander Sachs
Matthias Samwald
Priscille Schneller
Veronika Stefanov
Aleš Tamchyna
Miguel Angel Tinte
Zdeňka Urešová
Alejandro Vargas
Dina Vishnyakova


Generic noun phrases and annotation of coreference and bridging  relations in the Prague Dependency Treebank

Generické jmenné fráze a anotace koreference a asociační anafory v PDT

This paper discusses the problem of annotation
of  coreference  relations  with  generic
expressions in a large scale corpus. We present
and  analyze  some  existing  theories  of
genericity,  compare  them  to  the  approaches  to generics  that  are  used  in  the  state-of-the-art coreference  annotation  guidelines  and  discuss how  coreference  of  generic  expressions  is processed  in  the  manual  annotation  of  the Prague  Dependency  Treebank.  After  analyzing some  typical  problematic  issues  we  propose some  partial  solutions  that  can  be  used  to enhance  the  quality  and  consistency  of  the annotation

V tomto článku se analyzují problémy anotace generických jmenných frází ve velkém jazykovém  korpusu. Podává se přehled existujících teorií referencí generických NP, tyto teorie se pak srovnávají s přístupy k generickým NP v aplikačních projektech a se situací v anotací koreference v různých korpusech. Po představení anotace generických NP v Pražském závoslostním korpusu se rozebírají typické problematické situace a obecné potíže a nabízí se některá řešení vylepšující kvalitu anotace.


Annotators’ Certainty and Disagreements in Coreference and Bridging Annotation in Prague Dependency Treebank

Anotátorská jistota a neshoda v anotaci koreference a asociační anafory v Pražském závislostním korpusu

We present the results of the coreference and bridging annotation in the Prague Dependency Treebank 2.0. The annotation is carried out on dependency trees (on the tectogrammatical layer). We describe the inter-annotator agreement measurement, classify and analyse the most common types of annotators’ disagreement. On two selected long texts,  we asked the annotators to mark the degree of certainty they have in some most problematic points; we compare the results to the inter-annotator agreement measurement.

Představujeme výsledky anotace koreference a asociační anafory v Pražském závislostním korpusu 2.0. Anotace byla provedena na závislostních stromech tektogramatické roviny. Popisujeme měření mezianotátorksé shody a klasifikujeme a analyzujeme nejčastější typy anotátorské neshody. Na dvou vybraných delších textech jsme požádali anotátory o značení jistoty jejich rozhodnutí; tuto jistotu porovnáváme s výsledky měření mezianotátorské shody.


How Dependency Trees and Tectogrammatics Help Annotating Coreference and Bridging Relations in Prague Dependency Treebank

Jak závislostní stromy a tektogramatika pomáhají anotaci koreference a asociační anafory v Pražském závislostním korpusu

We explore the benefits of dependency trees and tectogrammatical structure used in the Prague Dependency Treebank for annotating language phenomena that cross the sentence boundary, namely coreference and bridging relations. We present the benefits of dependency trees such as the detailed processing of ellipses, syntactic decisions for coordination and apposition structures that make possible coding coreference relations in cases that are not so easy when annotating on the raw texts.

Zkoumáme výhody závislostních stromů a tektogramatických struktur použitých v Pražském závislostním korpusu pro anotaci jazykových jevů překračujících hranici věty, jmenovitě koreference a asociační anafory. Uvádíme výhody závislostních stromů jako podrobné zpracování elips, syntaktické řešení koordinace a apozice umožňující značkování koreference v případech, které jsou přímo na textu složitější.


A Coreferentially annotated Corpus and Anaphora Resolution for Czech

The paper presents an overview of a finished project focused on annotation of grammatical, pronominal and extended nominal coreference and
bridging relations in the Prague Dependency Treebank (PDT 2.0). We give an overview of existing similar projects and their interests and compare them with our project. We describe the annotation scheme and the typology of coreferential and bridging relations and give the statistics of these types in the annotated corpus. Further we give the final results of the interannotator agreement with some explanations. We also briefly present the anaphora resolution experiments trained on the coreferentially annotated corpus and the future plans.

Představujeme ukončený projekt anotace koreference a asociační anafory na Pražském závislostním korpusu. Korpus obsahuje ruční anotace textové  koreference včetně koreference jmenných frází a tzv. bridging anafory, to vše na 50k větách korpusu. Také podáváme stručný popis automatických experimentů na těchto datech.

Anna Nedoluzhko
Jiří Mírovský
Michal Novák


Lexical Paraphrasing for Improvement of MT Evaluation

Zpřesňování hodnocení strojového překladu pomocí lexikálních parafrází

In this paper, we discuss the possibility of making the automatic evaluation of machine translation (MT) more accurate by targeted paraphrasing. The most common automatic metric for MT evaluation BLEU disregards synonymous phrases and word order variants. One way how to alleviate this drawback is to transform the reference translation into a one that is closer to the MT output and keeps its original meaning. We start with a basic algorithm for lexical substitution and discuss extending the process with word order changes and grammar checking.

Standardní metrika pro hodnocení strojového překladu BLEU nebere v úvahu synonymii mezi referenční větou a překladem. Tuto nevýhodu zkoušíme zmírnit cíleným parafrázováním referenční věty. Nově vzniklá věta by si tak zachovává význam a správnost původní referenční věty a současně je bližší strojovému překladu.


This is the PyKaldi - release 2013.

This code include modification of the gmm-lat-gen-faster decoder so that it can be used for online decoding. The modification based on a light weight modification to the original code by subclassing the main decoder class and adding online processing of input, including LDA+MLLT transforamtions.

In addtition, this code includes a Python wrapper so that the decoder can be used from any python application.

Toto je vydání PyKaldi pro rok 2013 - verze 1.0.

Tento kód obsahuje modifikace gmm-lat-gen-faster dekodéru, které umožňují jeho použití v úloze rozpoznávání mluvené řeči v reálném čase. Změny jsou založeny na povrchové modifikaci původního kódu pomocí dědění z původního dekodéru a přidání online zpracování vstupu včetně LDA+MLLT transformací.

Navíc, tento kód obsahuje Python knihovnu takže samotný dekodér může být použit z libovolného programu napsaného v Python programovacím jazyku.


Increasing the quality and quantity of source language data for unsupervised cross-lingual POS tagging.

Zlepšování kvality a kvantity dat ve zdrojovém jazyce pro neřízené morfologické značkování

Bilingual corpora offer a promising bridge between resource-rich and resource-poor languages, enabling the development of natural language processing systems for the latter. English is often selected as the resource-rich language, but another choice might give better performance. In this paper, we consider the task of unsupervised cross-lingual POS tagging, and construct a model that predicts the best source language for a given target language. In experiments on 9 languages, this model improves on using a single fixed source language. We then show that further improvements can be made by combining information from multiple source languages.

Tento článek se zabývá neřízenou metodu pro morfologické značkování, založené na projekci morfologické informace v paralelních datech a konstrukci prediktivního modelu pro optimální výběr zdrojového jazyka.

Thành Long Dương
Steven Bird
Paul Cook
Pavel Pecina


Simpler unsupervised POS tagging with bilingual projections

Jodnodušší neřízené morfologické značkování pomocí bilinguální projekce

We present an unsupervised approach to part-of-speech tagging based on projections of tags in a word-aligned bilingual parallel corpus. In contrast to the existing state-of-the-art approach of Das and Petrov, we have developed a substantially simpler method by automatically identifying “good” training sentences from the parallel corpus and applying self-training. In experimental results on eight languages, our method achieves state-of-the-art results.

Tento článek popisuje neřízenou metodu pro morfologické značkování založenou na projekci značek v bilinguálním paralelním korpusu. Ve srovnání s existujícími metodami je tato metoda jednodušší a rychlejší, vybírá spolehlivější trénovací příklady využívá tzv. selftraining.


A popularizing talk on computational linguistics and machine translation given at Science Café in Kladno.

Popularizační přednáška o počítačové lingvistice a strojovém překladu na tzv. Science Café v Kladně.


A brief description of our machine translation system that performed better than Google Translate in an English-to-Czech translation task.

Seznámení zájemců o studium informatiky s naším překladovým systémem, který v soutěži při překladu do češtiny dopadl lépe než Google Translate.


A brief introduction to UFAL research presented at the seminar TMC organized by CESNET, with the focus on possible shared interests and future collaboration.

Stručné seznámení účastníků Semináře TMC pořádaného CESNETem s výzkumem na naší katedře s důrazem na potenciální styčné body pro budoucí spolupráce.


Corpora and translation models for the company Lingea

Korpusy a překladové modely pro společnost Lingea

A customized delivery of the corpora CzEng and PCEDT and English<->Czech translation models for the MT system Moses on request of the company Lingea. As part of the delivery, we also provided a running setup on Lingea's machines.

Dodávka korpusů CzEng a PCEDT a překladových modelů pro systém Moses pro překlad mezi angličtinou a češtinou podle zadání společnosti Lingea. Součástí dodávky bylo zprovoznění překladového systémů na počítačích objednatele.


Chimera – Three Heads for English-to-Czech Translation

Chimera – tři hlavy pro anglicko-český strojový překlad

This paper describes our WMT submissions CU-BOJAR and CU-DEPFIX, the latter
dubbed "chimera" because it combines on three diverse approaches: TectoMT, a system
with transfer at the deep syntactic level of representation, factored
phrase-based translation using Moses, and finally automatic rule-based correction
of frequent grammatical and meaning errors.
We do not use any off-the-shelf system-combination method.

Článek popisuje naše příspěvky na WMT, systémy CU-BOJAR a CU-DEPFIX, později nazvaný "chiméra", protože kombinuje tři rozdílné přístupy: TectoMT, systém s transferem na úrovni hloubkové syntaxe, faktorový frázový překlad pomocí nástroje Moses, a konečně automatický pravidlový korektor častých gramatických a významových chyb. Nepoužíváme žádnou standardní metodu systémové kombinace.


Findings of the 2013 Workshop on Statistical Machine Translation

Výsledky Workshopu o statistickém strojovém překladu v roce 2013

We present the results of the WMT13 shared tasks, which included a translation task, a task for run-time estimation of machine translation quality, and an unofficial metrics task. This year, 143 machine translation systems were submitted to the ten translation tasks from 23 institutions. An additional 6 anonymized systems were included, and were then evaluated both automatically and manually, in our largest manual evaluation to date. The quality estimation task had four subtasks, with a total of 14 teams, submitting 55 entries.

Představujeme výsledky společných úloh z workshopu WMT: strojový překlad a odhad kvality překladu. Úloha metrik strojového překladu je prezentována v samostatném článku.
Letos se překladové soutěže účastnilo 143 systémů z celkem 23 institucí. Dalších 6 anonymních systémů jsme do hodnocení přidali sami. Ruční i automatické hodnocení výstupů bylo provedeno v dosud největším rozsahu. Úloha odhadu kvality překladu měla čtyři části a celkem se jí účastnilo 55 příspěvků od 14 týmů.

Ondřej Bojar
Christian Buck
Chris Callison-Burch
Christian Federmann
Barry Haddow
Philipp Koehn
Christof Monz
Matt Post
Radu Soricut
Lucia Specia


Scratching the Surface of Possible Translations

One of the key obstacles in automatic evaluation of machine translation systems is the reliance on a few (typically just one) human-made reference translations to which the system output is compared. We propose a method of capturing millions of possible translations and implement a tool for translators to specify them using a compact representation. We evaluate this new type of reference set by edit distance and correlation to human judgements of translation quality.

Jedna z hlavních obtíží při automatickém vyhodnocování strojového překladu je závislost na několika (typicky na jediném) lidských referenčních překladech, se kterými se výstup překladového systému srovnává. Navrhujeme metodu, jak zachytit milióny možných překladů, a implementujeme nástroj, s jehož pomocí mohou překladatelé takové překlady popsat v kompaktní reprezentaci. Vyhodnocujeme takto vzniklou novou referenční sadu s použitím editační vzdálenosti a korelace s lidským hodnocením kvality překladu.

Ondřej Bojar
Matouš Macháček
Aleš Tamchyna
Daniel Zeman


The Design of Eman, an Experiment Manager

Návrh Emana, nástroje pro správu experimentů

We present eman, a tool for managing large numbers of computational experiments. Over
the years of our research in machine translation (MT), we have collected a couple of ideas for
efficient experimenting. We believe these ideas are generally applicable in (computational)
research of any field. We incorporated them into eman in order to make them available in a
command-line Unix environment.
The aim of this article is to highlight the core of the many ideas. We hope the text can serve
as a collection of experiment management tips and tricks for anyone, regardless their field of
study or computer platform they use. The specific examples we provide in eman’s current syntax
are less important but they allow us to use concrete terms. The article thus also fills the gap in eman documentation by providing some high-level overview.

Představujeme emana, nástroj pro správu velkého množství výpočetních experimentů. V průběhu let našeho výzkumu strojového překladu (MT) jsme sesbírali několik nápadů pro efektivní experimentování. Věříme, že tyto nápady jsou obecně použitelné v (počítačovém) výzkumu v libovolném oboru. Zahrnuli jsme je do emana, aby byly dostupné v prostředí příkazové řádky Unixu. Cílem článku je zvýraznit hlavní myšlenky v pozadí těchto nápadů. Doufáme, že text bude sloužit jako sbírka tipů pro správu experimentů pro každého, nezávisle na konkrétním oboru nebo počítačové platformě. Konkrétní příklady, které ukazujeme v současné syntaxi nástroje eman, jsou méně důležité, ale umožňují užití konkrétních termínů. Článek tedy zároveň vyplňuje mezeru v dokumentaci emana tím, že podává abstraktnější pohled na tento nástroj.


Joint Morphological and Syntactic Analysis for Richly Inflected Languages

Joint morphological and syntactic analysis has been proposed as a way of improving parsing accuracy for richly inflected languages. Starting from a transition-based model for joint part-of-speech tagging and dependency parsing, we explore different ways of integrating morphological  features into the model. We also investigate the use of rule-based morphological analyzers to provide hard or soft lexical constraints and the use of word clusters to tackle the sparsity of lexical features. Evaluation on five morphologically rich languages (Czech, Finnish, German, Hungarian, and Russian) shows consistent improvements in both morphological and syntactic accuracy for joint prediction over a pipeline model, with further improvements thanks to lexical constraints and word clusters. The final results
improve the state of the art in dependency parsing for all languages.

Spojená morfologická a syntaktická analýza pro jazyky s bohatou flexí je založena na datech pro několik slovanských jazyků a finštinu, a porovnána s angličtinou.

Jan Hajič
Bernd Bohnet
Joakim Nivre
Igor Boguslavsky
Richárd Farkas
Filip Ginter


Some counterexamples to the view that the general Actor (PRO-arbitrary) has no slot in the surface structure of the sentence are submitted. The reciprocal actors expressed in Czech by the prepositional case mezi + Instrumental case (among/between) are anlyzed from the point of view of their possible actor function.

Předkládají se protipříklady k běžnému tvrzení, že všeobecný konatel (PRO-arbitrary) nemůže být ve větě vyjádřen. Jde o okrajové případy recipročních konatelů vyjadřovaných v češtině předložkovým pádem mezi + Instrumentál. Zvažují se i jiné možnosti interpretace této konstrukce.


Ellipsis ( what is not present in corpora either)

The necessity to fill the surface structures of selected ellipsis by reconstruction of predicates was demonstrated by the comparison konstructions, by the ambiguous constructions introduced by the expression kromě and by the so-called substituting constructions introduces by the expression místo.

K prezentaci hloubkových syntaktických struktur vyžadujících doplnění povrchové reprezentace do vyhovujícícho formátu byly vybrány: srovnávací struktury, dvojznačné struktury uvozené výrazem kromě a tzv. konstrukce substituční (uvozeneé výrazem místo).


Application of Lexical Information in Grammar (on the data of Czech Verbs)

Slovníková informace a její použití v gramatice (na příkladu českého slovesa)

The cooperation of the grammatical component and lexical information included in the lexical entry is exemplified by the valency of verbs, grammatical diathesis and constructions with coreference.  The restrictions must be reflected in the lexical entries. Several rules for the combining of lexical and syntactical information are demonstrated.

Ve stati se ilustruje kooperace gramatického komponentu se slovníkovými údaji týkajícími se valence slovesa, jeho gramatických diatezí, požadavků na koreferenci. Ve slovníku je třeba zachytit omezení na tvorbu analyzovaných konstrukcí. Tyto požadavky se exemplifikují několika pravidly pro uplatnění slovníkových údajů při vytváření rezultativu a infinitivní konstrukce.


Requirements of the grammatical component on the lexical information in the lexicon

Požadavky gramatického komponentu na slovníkovou informaci

Trebovanija grammatičeskogo komponenta k leksičeskoj informacii v slovare

Within the  workshop The relations between grammar and lexicon the lexical restrictions on the application of some grammatical (morphological) categories to the lexicon were demonstrated by the examples of Czech passive, rezultativ and recipient constructions.

V rámci tematického bloku Vztah gramatiky a slovníku byla přednesena přednáška o lexikálních omezeních některých gramatických (morfologických) kategorií (pasiva, rezultativu, recipientu). Byl zvažován způsob jejich zachycení v explicitním popisu češtiny.

V ramkax tematičeskogo bloka Vzaimotnošenija grammatiki i slovarja byli v doklade predstavleny
ogranichenija v upotreblenii nekotorych češskich grammatičeskich (morfologičeskich) konstrukcij, napr. passivnoj, rezultativnoj i recipientnoj diatezy. Eti ograničenija dolžny byt´markirovany v slovare.


The article was devoted to the memory of Světla čmejrková, the famous Czech linguist. Her contribution to the domain of science as well as in the domain of management of science are evaluated.

Nekrolog je věnován přední české lingvistce, která pracovala jako zástupkyně ředitele Ústavu pro jazyk český, měla bohatou publikační činnost, působila zejména v oblasti výzkumu mluveného jazyka a textové lingvistiky.


The Role of Grammatical Constraints in Lexical Component in Functional Generative Description

Role gramatických omezení v lexikálním komponentu Funkčního generativního popisu

The present paper deals with selected morphological and syntactic features of Czech verbs. Working within the framework of Functional Generative Description (FGD), we demonstrate which features of lexical entries are required by the syntactic component of the description. In addition to the passive voice, traditionally described as diathesis, we briefly describe other kinds of proposed diatheses (resultative-1, resultative-2, and recipient). The constraints for their application will be present as features in the corresponding lexical entry; they will be a part of verbal paradigm in formal morphology. Regular operations within hierarchy of valency participants and their surface-syntactic positions are introduced into the grammatical component. Reciprocalization is characterized as a kind of shifting of valency complementations into the surface-syntactic position We also specify the requirements of the verbs governing the infinitive and content clauses and point out to the interplay between the governing verb and modality of the content clause.

Příspěvek se zabývá vybranými morfologickými a syntaktickými rysy českých sloves, které jsou v teoretickém rámci Funkčního generativního popisu je uváděny ve slovníkovém hesle daného slovesa. Probírány jsou slovesné diateze (kromě pasiva také dva typy rezultativní diateze a recipinentní diatezi), reciprokalizace, kontrola a modalita závislých klauzí.


On stratificational modelling of language

The contribution presents a criticism of the opinion that a multilevel language model has already exhausted the possibilites it offered and may play a limited role. The author argues that the specification of the relation between levels can be based on strict criteria taking into account the difference between linguistic meaning and extralinguistic content.

Příspěvek zaujímá kritické stanovisko k názoru, že vícerovinný popisu přirozeného jazyka již vyčerpal své možnosti a mohl by sehrát limitující úlohu, a ukazuje, že vztah mezi rovinami popisu lze vymezit na základě přísných kritérií a že při vymezení rovin je třeba brát v úvahu rozdíl mezi jazykovým významem a mimojazykovým obsahem.


Professor Ladislav Matejka (1919-2012) passed away

Profesor Ladislav Matějka (1919-2012) zemřel

A summary of the life achievements of a well-known Czech linguist and slavisist prof. L. Matejka, who was an important propagator of Czech linguistics and Czech culture in general in international community.

Zamyšlení nad dílem významného českého lingvisty a slavisty prof. L. Matějky, který byl významným propagátorem české lingvistiky i kultury vůbec v mezinárodnim měřítku.


Vilém Mathesius and functional sentence perspective, and beyond

Vilém Mathesius and funkční perspektiva větná

About a great Czech linguist Vilém Mathesius and his scientific contribution, in particular, about  his functional sentence perspective.

O velkém českém lingvistovi a jeho přispění lingvistice, zejména o jeho aktuálním členění.


Tracing salience in the Prague Dependency Treebank

Sledování aktivovanosti v Pražském závislostním korpusu

We work with the notion of the degrees of salience (activation) of the items in the stock of shared knowledge together with the representation of the dynamic development of the discourse by means of changes of these degrees.

Většina systémů počítačového zpracování přirozeného jazyka pracuje s kontextem. Tj. se znalostí slov a vztahů mezi nimim.
My pracujeme s konceptem aktivovanosti, formulovaným v rámci funkčně-generativního popisu jazyka.


The book Bitext Alignment by Jörg Tiedemann is a complete and detailed survey of numerous and diverse techniques for alignment of bitexts on various levels of granularity. It covers the full range of alignment tasks: document alignment, sentence alignment, word alignment, and tree structure alignment. The main text is divided into seven chapters (covering 124 pages) accompanied by three appendices (27 pages).

Kniha Bitext Alignment od Jörga Tiedemanna je kompletním a detailním přehlededm početných a rozličných technik pro zarovnávání paralelních textů na různých úrovních: dokumentech, větách, slovech i syntaktických strukurách.


An Analysis of Annotation of Verb-Noun Idiomatic Combinations in a Parallel Dependency Corpus

Analýza anotace idiomatických frází v paralelním korpusu

While working on valency lexicons for Czech
and English, it was necessary to define treatment
of multiword entities (MWEs) with the
verb as the central lexical unit. We
present a corpus-based study, concentrating on
multilayer specification of verbal MWEs, their
properties in Czech and English, and a comparison
between the two languages using the
parallel Czech-English Dependency Treebank
(PCEDT). This comparison revealed interesting
differences in the use of verbal MWEs in
translation (discovering that such MWEs are
actually rarely translated as MWEs, at least
between Czech and English) as well as some
inconsistencies in their annotation.

Při práci na propojení českého a anglického valenčního slovníku bylo nutno navhnout, jak zacházet s víceslovními jednotkami, jejichž základem je sloveso; bylo stanoveno jejich formální zachycení. Ve studii založené na paralelních korpusech PCEDT a PDT popisujeme, jak si tyto jednotky odpovídají v textech, jak byly anotovány v obou jazycích a porovnáváme jejich charakteristiky jak v originále, tak v překladu.

Zdeňka Urešová
Eva Fučíková
Jan Hajič
Jana Šindlerová


Adverbal objective genitive and its counterparts in nominal constructions: The case of possessives

Adverbální předmětový genitiv a jeho protějšky v nominálních konstrukcích: Případ posesiva

In the present paper, valency properties of Czech nouns derived from verbs with an object expressed by prepositionless genitive (GenAdverb) are studied. Special attention is paid to the possibility of the participant with an object function to be expressed by a possessive adjective or a possessive pronoun (Adjposs / Pronposs), when it modifies the derived noun. Usage of Adjposs / Pronposs (← GenAdverb) was verified in data of the Czech National Corpus; the form was found with eleven nouns derived from verbs by productive means (e.g. zanechání studia ‘quitting study-Gen.Sg’, i.e. ‘quitting one’s studies’ // jeho zanechání ‘it-Poss quitting’, i.e. ‘its quitting’) and with two nouns derived from verbs by non-productive means (e.g. dotyk volantu ‘touch wheel-Gen.Sg’, i.e. touch of wheel // jeho dotyk ‘it-Poss touch’, i.e. ‘its touch’). We suppose that the alternation GenAdnom // Adjposs / Pronposs (← GenAdverb) is used in Czech as an analogy to the more frequent alternation GenAdnom // Adjposs / Pronposs (← Ak).

Tato studie se zabývá valenčními vlastnostmi českých deverbativních substantiv odvozených ze sloves s předmětovým genitivem (GenAdverb). Věnuje se otázkám vztahu adverbálních vyjádření valenčních doplnění a jejich adnominálních protějšků; zvláštní pozornost je věnována možnosti vyjádření adnominálního aktantu odpovídajícího adverbálnímu předmětovému genitivu pomocí posesivního adjektiva nebo zájmena (Adjpos/Pronpos). Užívání formy Adjpos/Pronpos (← GenAdverb) bylo ověřováno na datech Českého národního korpusu: tato forma byla nalezena u jedenácti produktivně tvořených substantiv (např. zanechání studia // jeho zanechání) a u dvou neproduktivně tvořených substantiv (např. dotyk volantu // jeho dotyk). Předpokládáme, že alternace GenAdnom // Adjpos / Pronpos (← GenAdverb) je v češtině užívána analogicky k běžnější alternaci GenAdnom // Adjpos / Pronpos (← Ak).