A Richly Annotated, Multilingual Parallel Corpus for Hybrid Machine Translation

Bohatě anotovaný mnohojazyčný paralelní korpus pro hybridní strojový překlad

In recent years, machine translation (MT) research has focused on investigating how hybrid machine translation as well as system
combination approaches can be designed so that the resulting hybrid translations show an improvement over the individual “component”
translations. As a ﬁrst step towards achieving this objective we have developed a parallel corpus with source text and the corresponding
translation output from a number of machine translation engines, annotated with metadata information, capturing aspects of the
translation process performed by the different MT systems. This corpus aims to serve as a basic resource for further research on
whether hybrid machine translation algorithms and system combination techniques can beneﬁt from additional (linguistically motivated,
decoding, and runtime) information provided by the different systems involved. In this paper, we describe the annotated corpus we have
created. We provide an overview on the component MT systems and the XLIFF-based annotation format we have developed. We also
report on ﬁrst experiments with the ML4HMT corpus data.

V posledních letech se výzkum v oblasti strojového překladu zaměřil na hybridní strojový překlad a kombinaci překladových systémů za účelem vylepšení překladové kvality. Jako první krok ke splnění tohoto cíle jsme vytvořili paralelní korpus vět přeložených několika různými systémy opatřenými různými metadaty a anotacemi získanými při překladu.

Eleftherios Avramidis
Marta R. Costa-Jussà
Christian Federmann
Pavel Pecina
Josef van Genabith


Data-Driven Methods for Spoken Language Understanding

Metody porozumění mluvené řeči založené na učení z dat

This chapter described data-driven methods suitable for development of spoken language understanding components in dialogue systems.

Tato kapitola popisuje metody učení z dat vhodné pro vývoj systémů porozumění mluvené řeči pro dialogové systémy.


Automatic polarity classification systems for Czech

Systémy pro automatickou klasifikaci polarity v češtině

In this talk I present work towards building a reliable polarity classifiers based on Czech data. I will describe a method for annotating Czech evaluative structures and introduce a standard unigram-based Naive Bayes classifier together with the lexicon-based classifier, both trained on three different types of data. Also, I will analyze existing results for both manual and automatic annotation.

Joint work with Jan Hajič, jr. and Jana Šindlerová.

V příspěvku představím kroky vedoucí k spolehlivým klasifikátorům polarity založeným na českých datech. Popíšu metodologické základy anotování českých struktur a unigramové klasifikátory trénované na třech druzích dat. Rovněž zanalyzuji existující výsledky pro manuální i automatickou anotaci.


International conference on dependency linguistics Depling 2011 in Barcelona

Mezinárodní konference závislostní lingvistiky Depling 2011 v Barceloně

Report on the first international conference in dependency grammar and reflexion of its current state.

Reportáž z první mezinárodní konference v závislostní lingvistice spojená se zamyšlením nad jejím současným stavem.


Sentence-Level Sentiment Analysis in Czech

Postojová analýza na úrovni věty v češtině

This paper presents initial research in the area of sentiment analysis in Czech. We will describe a method for annotating Czech evaluative structures and analyze existing results for both manual and automatic annotation of the plain text data which represents the basis for further subjectivity clues learning.

V článku je prezentována počáteční fáze výzkumu postojové analýzy v češtině: metoda anotování evaluativních struktur a první výsledky manuální i automatické anotace.


Using Czech-English Parallel Corpora in Automatic Identification of It

Využití česko-anglických paralelních dat při automatické identifikaci "it"

In this paper we have two goals. First, we want to present a part of the annotation scheme of the recently released Prague Czech-English Dependency Treebank 2.0 related to the annotation of personal pronoun it on the tectogrammatical layer of sentence representation. Second, we introduce experiments with the automatic identification of English personal pronoun it and its Czech counterpart. We design sets of tree-oriented rules and on the English side we combine them with the state-of-the-art statistical system that altogether results in an improvement of the identification. Furthermore, we design and successfully apply rules, which exploit information from the other language.

Tento článek má dvojí cíl: jednak chceme prezentovat tu část anotačního schématu nedávno vydaného korpusu PCEDT2.0, která je spjata s anotací anglického zájmene “it” na tektogramatické rovině, jednak představujeme experimenty týkající se automatické identifikace anglického “it” a jeho českého protějšku. Navrhli jsme soubor pravidel pro stromové struktury, která v rámci anglické části korpusu kombinujeme se současnými statistickými systémy, což v důsledku vede ke zlepšení automatické detekce. Mimoto jsme také navrhli a úspěšně aplikovali pravidla, která využívají informace z paralelních českých struktur.

Kateřina Veselovská
Giang Linh Nguy
Michal Novák


Creating annotated resources for polarity classification in Czech

Vytváření anotovaných zdrojů pro klasifikaci polarity v češtině

This paper presents the first steps towards reliable polarity classification based on Czech data. We describe a method for annotating Czech evaluative structures and build a standard unigram-based Naive Bayes classifier on three different types of annotated texts. Furthermore, we analyze existing results for both manual and automatic annotation, some of which are promising and close to the state-of-the-art performance, see Cui(2006).

Článek popisuje první kroky vedoucí ke spolehlivé automatické klasifikaci větné polarity v češtině. Objasňujeme metodu anotace českých evaluativních struktur a trénování základního bayesovského klasifikátoru na třech typech dat, včetně analýzy dosažených výsledků, z nichž některé jsou srovnatelné s výsledky, jichž bylo dosud docíleno v oblasti postojové analýzy jako takové (viz např. Cui, 2006).

Kateřina Veselovská
Jan Hajič, jr.
Jana Šindlerová


Unsupervised dependency parsing is an alternative approach to identifying relations
between words in a sentence. It does not require any annotated treebank, it
is independent of language theory and universal across languages. However, so far
quite low parsing quality is its main disadvantage.
This thesis discusses some previous works and introduces a novel approach to
unsupervised parsing. Our dependency model consists of four submodels: (i) edge
model, which controls the distribution of governor-dependent pairs, (ii) fertility
model, which controls the number of node's dependents, (iii) distance model, which
controls the length of the dependency edges, and (iv) reducibility model. The reducibility
model is based on a hypothesis that words that can be removed from a
sentence without violating its grammaticality are leaves in the dependency tree.
Induction of the dependency structures is done using Gibbs sampling method.
We introduce a sampling algorithm that keeps the dependency trees projective,
which is a very valuable constraint.
In our experiments across 30 languages, we discuss the results of various settings
of our models. Our method outperforms the previously reported results on a
majority of the test languages.

Nerízená závislostní analýza je alternativní zpusob urcování vztahu mezi slovy ve vete. Nepotrebuje žádný anotovaný závislostní korpus, je nezávislý na jazykové teorii a univerzální pro velké množství jazyku. Jeho nevýhodou je ale zatím relativne nízká úspešnost.
V této práci diskutujeme nekteré predchozí práce a predstavujeme novou metodu nerízenéhé analýzy.
Náš závislostní model se skládá ze ctyr podmodelu: (i) hranový model, který rídí rozdelení dvojic rídících a závislých clenu, (ii) model plodnosti, který rídí pocet clenu závislých na uzlu, (iii) model vzdálenosti, který rídí délku závislostních hran a (iv) model vypustitelnosti. Tento model je založen na
predpokladu, že slovau která se mohou z vety vypustit, aniž by se porušila její gramaticnost jsou v závislostním slove listy.
Odvození závislostních struktur provádíme pomocí Gibbsova vzorkovace. Predstavujeme vzorkovací
algoritmus, který zachovovává projektivitu závislostních stromu, cože je velmi užitecnou vlastností. V našich experimentech na 30 jazycích srovnáváme výsledky pro ruzné parametry modelu.
Naše metoda prekonávvá dríve publikované výsledky pro vetšinu zkoumaných jazyku.


Exploiting Reducibility in Unsupervised Dependency Parsing

Využití vypustitelnosti v neřízeném závislostním parsingu

Predstavujeme novy pristup k nerizenemu zavislostnimu parsingu zalozenemu na mire vypustitelnosti jednotlivych sekvenci slov.

The possibility of deleting a word from a sentence without violating its syntactic correctness belongs to traditionally known manifes
tations of syntactic dependency. We introduce
a novel unsupervised parsing approach that is
based on a new n-gram reducibility measure.
We perform experiments across 18 languages
available in CoNLL data and we show that
our approach achieves better accuracy for the
majority of the languages then previously reported results.


Unsupervised Dependency Parsing using Reducibility and Fertility features

Neřízený závislostní parsing využívající vlastnost vypustitelnosti a fertility

Popis systemu nerizeneho zavislostniho parsingu zalozeneho na Gibbsove samplingu. Novy pristup predstavuje vlastnosti vypusttelnsti a fertility.

This paper describes a system for unsuper-
vised dependency parsing based on Gibbs
sampling algorithm. The novel approach in-
troduces a fertility model and reducibility
model, which assumes that dependent words
can be removed from a sentence without vio-
lating its syntactic correctness.


Formemes in English-Czech Deep Syntactic MT

Formémy v anglicko-českém hloubkově syntaktickém strojovém překladu

One of the most notable recent improvements of the TectoMT English-to-Czech translation is a systematic and theoretically supported revision of formemes—the annotation of morpho-syntactic features of content words in deep dependency syntactic structures based on the Prague tectogrammatics theory. Our modifications aim at reducing data sparsity, increasing consistency across languages and widening the usage area of this markup. Formemes can be used not only in MT, but in various other NLP tasks.

Jedním z nejvýznamnějších nedávných vylepšení anglicko-českého překladače TectoMT je systematická a teoreticky podložená revize formémů. Formémy jsou anotací mofo-synaktických rysů plnovýznamových slov v hloubkově syntaktické závislostní syntaxi založené na tektogramatice. Naše úpravy měly za cíl snížit řídkost dat, zvýšit konzistenci anotace napříč jazyky a otevřít nové oblasti využití formémů. Formémy jsou využívány ve strojovém překladu i v dalších úlohách zpracování přirozeného jazyka.

Ondřej Dušek
Zdeněk Žabokrtský
Martin Popel
Martin Majliš
Michal Novák
David Mareček


Lexical-semantic Conversions in a Valency Lexicon

Lexikálně-sémantické konverze ve valenčním slovníku

In this thesis, we provide an adequate lexicographic representation of lexicalsemantic
conversion. Under the term lexical-semantic conversion, the relation between
semantically similar syntactic structures which are based on separate lexical units of the
same verb lexeme is understood. These relations are associated with various changes in
valency structure of verbs – they may involve a number of valency complementations, their
type, obligatoriness as well as morphemic forms. These changes arise from differences in
the mapping of situational participants onto valency complementations. On the basis of
semantic and syntactic analysis of two types of Czech lexical-semantic conversions, the
locative conversion and the conversion Bearer of action-Location, we propose to represent
lexical units creating syntactic variants in the relation of lexical semantic conversion by
separate valency frames stored in the data component of the lexicon. The special attribute
-conv whose value is a type of lexical-semantic conversion is assigned to relevant valency
frames. Then the rule component of the lexicon consists of general rules determining
changes in the correspondence between situational participants and valency
complementations. This proposal is primarily designed for the valency lexicon of Czech
verbs, VALLEX. However, we suppose that this representation can be applied in other
lexical resources as well.

V disertační práci podáváme návrh reprezentace lexikálně-sémantických konverzí
ve valenčním lexikonu. Lexikálně-sémantické konverze chápeme jako vztahy mezi
sémanticky blízkými syntaktickými konstrukcemi tvořenými odlišnými lexikálními
jednotkami lexematicky totožného slovesa. Tyto vztahy jsou spojeny se změnami
ve valenční struktuře slovesa, které vyplývají ze změn ve vzájemném přiřazení situačních
participantů a valenčních doplnění. Tyto změny mohou zasahovat počet, typ valenčních
doplnění, jejich obligatornost i morfematickou formu. Na základě sémantické a syntaktické
analýzy dvou typů lexikálně-sémantické konverze, lokativní konverze a konverze Nositel
děje-Místo, navrhujeme, aby lexikálním jednotkám vytvářejícím syntaktické varianty
ve vztahu lexikálně-sémantické konverze v datové části lexikonu odpovídaly odlišné
valenční rámce propojené atributem -conv, jehož hodnotou bude typ lexikálně-sémantické
konverze. Součástí pravidlové komponenty valenčního lexikonu pak budou pravidla
určující změny ve vzájemné korespondenci situačních participantů a valenčních doplnění.
Ačkoli reprezentaci lexikálně-sémantické konverze primárně navrhujeme pro účely popisu
valence českých sloves ve valenčním slovníku VALLEX, předpokládáme, že poznatky
uváděné v této práci mohou být využity při popisu tohoto typu vztahu i v dalších
lexikálních zdrojích.


The Syntactic Constructions Bess are swarming in the garden – The garden is swarming with bees

Syntaktické konstrukce typu Včely se hemží na zahradě – Zahrada se hemží včelami

In this paper, we focus on the relation between Czech syntactic constructions Bees are swarming in the garden –- The garden is swarming with bees. We refer to
this relation as a lexical-semantic conversion. This lexical-semantic conversion is associated with changes in the correspondence between two situational participants –- Bearer
of action and Location –- and valency complementations. These changes result in
a permutation of these participants which affects the prominent surface syntactic position
of subject. We demonstrate that whereas the first syntactic variant refers to a simple action, the latter expresses rather a state arising from this simple action. In the latter case,
the participant Location is usually holistically interpreted. We assume that the holistic ef-
fect of this participant follows from the fact that a state is generally attributed to
each participant expressed in the subject position as a whole. Furthermore, syntactic variants with formal subject “to” and subjectless constructions (usually conceived as formal
paraphrases of the pairs of the observed constructions) are discussed. Finally,
a lexicographic representation of these syntactic structures is presented

V příspěvku jsme se zabývali syntaktickými konstrukcemi typu Včely se hemží na zahradě –- Zahrada se hemží včelami, které chápeme jako
specifický typ lexikálně-sémantické konverze, u níž dochází ke změnám
v korespondenci dvou situačních participantů (s rolí Nositel děje a Místo)
a valenčních doplnění. Tyto změny mají za následek změny v povrchově syntaktické realizaci daných participantů, které zasahují prominentní pozici subjektu,
v níž je jednou vyjádřen Nositel děje (Včely se hemží na zahradě) a podruhé Místo (Zahrada se hemží včelami). Zatímco prvně zmíněná syntaktická varianta vyjadřuje neakční elementární děj, druhá varianta označuje procesuálně pojatý
stav. Předpokládáme potom, že holistická interpretace participantu Místo
ve druhé syntaktické variantě vyplývá přímo ze stavového významu dané konstrukce. Dále příspěvek pojednává o bezpomětových konstrukcích a konstrukcích
s formálním subjektem to, které vytvářejí formální paralelu k probíraným konstrukcím. Na závěr předkládáme možnou lexikografickou reprezentaci lexikálně-sémantické konverze daného typu, v níž informaci přerozdělujeme mezi
datovou a pravidlovou část lexikonu.


The Rule-Based Approach to Czech Grammaticalized Alternations

Pravidlový přístup k českým gramatikalizovaným alternacím

Under the term grammaticalized alternations, we understand changes in valency frames of verbs corresponding to different surface syntactic structures of the same lexical unit of a verb. Czech grammaticalized alternations are expressed either (i) by morphological means (diatheses),
or (ii) by syntactic means (reciprocity). These changes are limited to changes in morphemic form(s) of valency complementations; moreover,
they are regular enough to be captured by formal syntactic rules.
In this paper a representation of Czech grammaticalized alternations and their possible combination is proposed for the valency lexicon of Czech verbs, VALLEX.

Termínem gramatické alternace označujeme změny ve valenční stuktuře sloves, které odpovídají rozdílným povrchově syntaktickým strukturám tvořeným jedinou lexikální jednotkou slovesa. České gramatikalizované alternace jsou vyjadřovány buď (i) morfologickými prostředky (diateze), nebo (ii) prostředky převážně syntaktickými (reciprocita). Změny ve valenčním rámci slovesa jsou v tomto případě omezeny na změny v morfematické realizaci valenčních doplnění, které jsou natolik pravidelné, že mohou být zachyceny formálními syntaktickými pravidly.

Václava Kettnerová
Markéta Lopatková
Zdeňka Urešová


Mapping Semantic Information from FrameNet onto VALLEX

Obohacení VALLEXu o sémantické informace z FrameNetu

In this article, we introduce a project aimed at enhancing a valency lexicon of Czech verbs
with semantic information. For this purpose, we make use of FrameNet, a semantically ori-
ented lexical resource. At the present stage, semantic frames from FrameNet have been mapped
to eight groups of verbs with various semantic and syntactic properties. The feasibility of this
task has been verified by the achieved inter-annotator agreement measured on two semantically
and syntactically different groups of verbs –- verbs of communication and exchange (85.9% and
78.5%, respectively). Based on the upper level semantic frames from the relation of ‘Inheritance’
built in FrameNet, the verbs of these eight groups have been classified into more coherent se-
mantic classes. Moreover, frame elements from these upper level semantic frames have been
assigned to valency complementations of the verbs of the listed groups as semantic roles. As
in case of semantic frames, the achieved interannotator agreement concerning assigning frame
elements measured on verbs of communication and exchange has been promising (95.6% and
91.2%, respectively).

As a result, 1 270 lexical units pertaining to the verbs of communication, mental action,
psych verbs, social interaction, verbs of exchange, motion, transport and location (2 129 Czech
verbs in total if perfective and imperfective verbs being counted separately) have been classified
into syntactically and semantically coherent classes and their valency complementations have
been characterized by semantic roles adopted from the FrameNet lexical database.

V tomto článku popisujeme projekt zaměřený na obohacení valenčního lexikonu českých sloves, VALLEX, o sémantické informace z FrameNetu. V tomto projektu bylo celkem osm skupin českých sloves anotováno sémantickými rámci z FrameNetu. Na základě sémantických rámců z horních pater relace dědičnosti byla tato slovesa rozdělena do koherentních sémantických tříd. Valenčním doplněním daných sloves byly dále přiděleny elementy sémantických rámců z horních pater relace dědičnosti jako sémantické role.

Václava Kettnerová
Markéta Lopatková
Eduard Bejček


The Syntax-Semantics Interface of Czech Verbs in the Valency Lexicon

Jazykové jevy na pomezí syntaxe a sémantiky ve valenčním lexikonu

In this paper, alternation based model of the valency lexicon of Czech verbs, VALLEX, is described.  Two types of alternations (changes in valency frames of verbs) are distinguished on the basis of used linguistic means: (i) grammaticalized alternations and (ii) lexicalized alternations. Both grammaticalized and lexicalized alternations are either conversive, or non-conversive. While grammaticalized alternations relate different surface syntactic structures of a single lexical unit of a verb, lexicalized alternations relate separate lexical units. For the purpose of the representation of alternations, we divide the lexicon into data and rule components. In the data part, each lexical unit is characterized by a single valency frame and by applicable alternations. In the rule part, two types of rules are contained: (i) syntactic rules describing grammaticalized alternations and (ii) general rules determining changes in the linking of situational participants with valency complementations typical of lexicalized alternations.

V tomto příspěvku přinášíme popis alternačního modelu valenčního lexikonu českých sloves, VALLEX. V práci rozlišujeme celkem dva základní typy alternací (změn ve valenční struktuře sloves): (i) gramatikalizované a (ii) lexikalizované alternace. Jak gramatikalizované, tak lexikalizované alternace mohou být konverzní či nekonverzní povahy. Zatímco gramatikalizované alternace spojují rozdílné povrchové strukturace téže lexikální jednotky, lexikalizované alternace charakterizují syntaktické struktury tvořené rozdílnými lexikálními jednotkami. Pro účely reprezentace alternací rozdělujeme lexikon na datovou a pravidlovou část. V datové části je každá lexikální jednotka reprezentována jedním valenčním rámcem. Pravidlová část obsahuje dva typy pravidel: (i) formální syntaktická pravidla zachycující gramatikalizované alternace a (ii) obecná pravidla určující změny v korespondenci participantů a valenčních doplnění typické pro lexikalizované alternace.


Optimisation for POMDP-Based Spoken Dialogue Systems

This chapter presents current knowledge about statistical dialogue systems based on POMDP model of interaction with human users. The chapter introduces basic concepts of POMDP and suggest appropriate methods for implementation it the context of dialogue systems.

Tato kapitola prezentuje současné poznatky v oblasti vývoje statistických dialogových systému založených na POMDP modelu řízení komunikace s uživatelem. Postupně jsou vysvětleny základy POMDP a vhodné metody pro implementaci v oblasti dialogových systémů.

Milica Gašić
Filip Jurčíček
Blaise Thomson
Steve Young


TrTok: A Fast and Trainable Tokenizer for Natural Languages

TrTok: Rychlý a trénovatelný tokenizér pro přirozené jazyky

We present a universal data-driven tool for segmenting and tokenizing text. The presented
tokenizer lets the user define where token and sentence boundaries should be considered.
These instances are then judged by a classifier which is trained from provided tokenized data.
The features passed to the classifier are also defined by the user making, e.g., the inclusion
of abbreviation lists trivial. This level of customizability makes the tokenizer a versatile tool
which we show is capable of sentence detection in English text as well as word segmentation
in Chinese text. In the case of English sentence detection, the system outperforms previous
methods. The software is available as an open-source project on GitHub

Představujeme univerzální nástroj pro segmentaci a tokenizaci textů, který uživateli dovoluje nadefinovat potenciální hranice vět a slov a na základě trénovacích dat se naučí hranice hledat.


Building parallel corpora through social network gaming

Budování paralelních korpusů pomocí her na sociálních sítích

Building training data is labor-intensive and presents a major obstacle to the advancement of Natural Language Processing (NLP)
systems. A prime use of NLP technologies has been toward the construction machine translation systems. The most common form of
machine translation systems are phrase based systems that require extensive training data. Building this training data is both expensive
and error prone. Emerging technologies, such as social networks and serious games, offer a unique opportunity to change how we
construct training data. These serious games, or games with a purpose, have been constructed for sentence segmentation, image labeling,
and co-reference resolution. These games work on three levels: They provide entertainment to the players, the reinforce information
the player might be learning, and they provide data to researchers. Most of these systems while well intended and well developed, have
lacked participation.
We present, a set of linguistically based games that aim to construct parallel corpora for a multitude of languages and allow players to
start learning and improving their own vocabulary in these languages. As of the first release of the games, GlobeOtter is available on
Facebook as a social network game. The release of this game is meant to change the default position in the field, from creating games
that only linguists play, to releasing linguistic games on a platform that has a natural user base and ability to grow.

Příprava trénovacích dat je pracná a představuje hlavní překážku ve vývoji zpracování přirozeného jazyka (NLP). Mezi hlavní aplikace NLP patří strojový překlad, který se v současnosti opírá o dostupnost velkého množství dat. Sestavování těchto dat je finančně náročné a současně náchylné k chybám. Nově se objevující technologie jako sociální sítě a "seriózní" hry nabízejí jedinečnou příležitost změnit způsob přípravy trénovacích dat. Hry s účelem byly zkonstruovány pro větnou segmentaci, značkování obrázků a rozpoznávání koreference. Tyto hry fungují na třech úrovních: poskytují zábavu hráčům, hráči se při nich učí a současně poskytují data pro výzkum. Většina těchto systémů se potýká s nedostatkem účastníků. V tomto článku předkládáme sadu lingvisticky orientovaných her zaměřených na sestrojení paralelního korpusu pro několik jazyků a umožňujících hráčům zlepšení jejich slovní zásoby v těchto jazycích. První zveřejněná verze GlobeOtter je dostupná na Facebooku. Jedním z cílů je zde získat dostatečné množství hráčů i mimo řady lingvistů.


Indonesian Dependency Treebank: Annotation and Parsing

Závislostní korpus indonésštiny: anotace a parsing

We also show ensemble dependency parsing and self training approaches applicable to under-resourced languages using our manually annotated dependency structures. We show that for an under-resourced language, the use of tuning data for a meta classifier is more effective than using it as additional training data for individual parsers. This meta-classifier creates an ensemble dependency parser and increases the dependency accuracy by 4.92% on average and 1.99% over the best individual models on average. As the data sizes grow for the the under-resourced language a meta classifier can easily adapt. To the best of our knowledge this is the first full implementation of a dependency parser for Indonesian. Using self-training in combination with our Ensemble SVM Parser we show additional improvement. Using this parsing model we plan on expanding the size of the corpus by using a semi-supervised approach by applying the parser and correcting the errors, reducing the amount of annotation time needed.

Článek ukazuje závislostní analýzu s využitím kombinace parseru a self-trainingu pro jazyky s malým množstvím jazykových dat. Ověřili jsme, že pro jazyk s malým množstvím dat je využití ladicích dat pro meta-klasifikátor efektivnější než jejich přidání do zbývajících trénovacích dat jednotlivých analyzátorů. Tento mete-klasifikátor vytváří kombinovaný závislostní parse a zvyšuje úspěšnost analýzy v průměru o 4.92% a o 1.99% ve srovnání s jednotlivým nejlepším systémem. Meta-klasifikátor se může přizpůsobit rostoucím dostupným datům. Využitím self-trainingu společně s kombinací několika parseru vzniká další zlepšení.

Nathan David Green
Septina Dian Larasati
Zdeněk Žabokrtský


Ensemble Parsing and its Effect on Machine Translation

Kombinace syntaktických analyzátorů a její vliv na strojový překlad

The focus of much of dependency parsing is on creating new modeling techniques and examining new feature sets for existing dependency models. Often these new models are lucky to achieve equivalent results with the current state of
the art results and often perform worse. These approaches are for languages that are often resource-rich and have ample training data available for dependency parsing. For this reason, the accuracy scores are often quite high. This, by its very nature, makes it quite difficult to create a significantly large increase in the current state-of-the-art. Research in this area is often concerned with small accuracy changes or very specific localized changes, such as increasing accuracy of a particular linguistic construction. With so many modeling techniques available to languages with large resources the problem exists on how to exploit the current techniques with the use of combination, or ensemble, techniques along with this plethora of data.

Dependency parsers are almost ubiquitously evaluated on their accuracy scores, these scores say nothing of the complexity and usefulness of the resulting structures. The structures may have more complexity due to the depth of their co-
ordination or noun phrases. As dependency parses are basic structures in which other systems are built upon, it would seem more reasonable to judge these parsers down the NLP pipeline. The types of parsing errors that cause significant
problems in other NLP applications is currently an unknown.

Fokus hodně závislostní analýzy se na vytváření nových modelovacích technik a zkoumání nových funkcí sady pro stávající závislost modelů. Často jsou tyto nové modely mají to štěstí, aby dosahovaly rovnocenných výsledků s aktuálním stavem
že umělecké výsledky a často vedou hůř. Tyto přístupy jsou pro jazyky, které jsou často zdrojem bohaté a mají dostatek tréninková data k dispozici pro závislost rozebrat. Z tohoto důvodu, přesnost výsledky jsou často dosti vysoká. To, ze své podstaty, je to docela obtížné vytvořit výrazně velký nárůst v současném state-of-the-art. Výzkum v této oblasti se často zabývá malými změnami přesnosti nebo velmi specifickým lokalizovaných změn, jako je zvýšení přesnosti a zejména jazykovou konstrukci. S tolika technik modelování jsou k dispozici pro jazyky s velkým zdroji problém existuje o tom, jak využít stávající techniky s použitím kombinace, nebo souborem, techniky spolu s tímto množstvím dat.

Závislost analyzátory jsou téměř všude se vyskytující hodnoceny na jejich přesnost výsledků, tyto výsledky nemluvě o složitosti a užitečnosti výsledných struktur. Tyto struktury mohou mít větší složitost vzhledem k hloubce jejich co-
koordinační nebo podstatné jméno věty. Jako závislost analyzuje jsou základní struktury, ve kterých jsou ostatní systémy postavené na, by se zdálo rozumné posouzení těchto parserů dolů potrubí NLP. Typy parsování chyb, které způsobují významné
problémy v jiných aplikacích NLP je v současné době znám.


Hybrid Combination of Constituency and Dependency Trees into an Ensemble Dependency Parser

Hybridní kombinace složkových a závislostních stromů v kombinačním parseru

Dependency parsing has made many advancements in recent years, in particular for English. There are a few dependency parsers that achieve comparable accuracy scores with each other but with very different types of errors. This paper examines creating a new dependency structure through ensemble learning using a hybrid of the outputs of various parsers. We combine all tree outputs into a weighted edge graph, using 4 weighting mechanisms. The weighted edge graph is the input into our ensemble system and is a hybrid of very different parsing techniques (constituent parsers, transition-based dependency parsers, and a graph-based parser). From this graph we take a maximum spanning tree. We examine the new dependency structure in terms of accuracy and errors on individual part-of-speech values.

The results indicate that using a greater number of more varied parsers will improve accuracy results. The combined ensemble system, using 5 parsers based on 3 different parsing techniques, achieves an accuracy score of 92.58%, beating all single parsers on the Wall Street Journal section 23 test set. Additionally, the ensemble system reduces the average relative error on selected POS tags by 9.82%.

V posledních letech dosáhla závislostní syntaktická analýza podstatného zlepšení, zejména pro angličtnu. Existuje několik závislostních analyzátorů, které dosahují srovnatelné úspěšnosti, přičemž produkují různé typy chyb. Tento článek se zabývá vytvářením nové závislostní struktury složením výstupů různých analyzátorů. Všechny výstupy sloučíme do váženého grafu, který je vstupem pro kombinační systém založený na algoritmu
minimální kostry orientovaného grafu.

Výsledná kombinace založená na pěti různých analyzátorech dosahuje úspěšnosti 92,58 %, čímž překonává všechny jednotlivé analyzátory.


Using an SVM Ensemble System for Improved Tamil Dependency Parsing

Klasifikace pomocí SVM v kombinačním závislostním analyzátoru tamilštiny

Dependency parsing has been shown to improve NLP systems in certain languages and in many cases helps achieve state of the art results in NLP applications, in particular applications for free word order languages. Morphologically rich languages are often short on training data or require much higher amounts of training data due to the increased size of their lexicon. This paper examines a new approach for addressing morphologically rich languages with little training data to start.

Using Tamil as our test language, we create 9 dependency parse models with a limited amount of training data. Using these models we train an SVM classifier using only the model agreements as features. We use this SVM classifier on an edge by edge decision to form an ensemble parse tree. Using only model agreements as features allows this method to remain language independent and applicable to a wide range of morphologically rich languages.

We show a statistically significant 5.44% improvement over the average dependency model and a statistically significant 0.52% improvement over the best individual system.

Závislostní syntaktická analýza pomáhá některým aplikacím z oblasti zpracování přirozeného jazyka dosáhnout vyšší úspěšnosti, zejména pokud jde o jazyky s relativně volným slovosledem. Pro morfologicky bohaté jazyky typicky existuje jen malé množství trénovacích dat, přičemž kvůli větší velikosti slovníku by jich naopak bylo potřeba více. Tento článek se zabývá novými přístupy pro analýzu morfologicky bohatých jazyků s malým množstvím dat.

Testovacím jazykem je v našich experimentech tamilština. Vytvořili jsme 9 modelů pro závislostní syntaktickou analýzu, které byly natrénovány na malém množství dat. S využitím těchto modelů jsme natrénovali klasifikátor SVM, který jako rysy používá pouze informaci o shodě jednotlivých analyzátorů, díky čemuž lze tento přístup považovat za jazykově nezávislý.

Experimentálně jsme prokázali statisticky signifikantní zlepšení 5,44 % oproti průměrnému modelu a statisticky signifikantní zlepšení 0,52 % oproti nejlepšímu jednotlivému systému.

Nathan David Green
Loganathan Ramasamy
Zdeněk Žabokrtský


Application of Topic Segmentation in Audiovisual Information Retrieval

Využitie tématickej segmentácie pri vyhľadávaní v audiovizuálnych dátach

Segmentation into topically coherent segments is one of the crucial points in information retrieval (IR). Suitable segmentation may improve the results of IR system and help users to find relevant passages faster. Segmentation is especially important in audiovisual recordings, in which the navigation is difficult. We present several methods used for topic segmentation, based on textual, audio and visual information. The proposition of our approach to topic segmentation based on the fusion of audio and visual data is presented in the article.

Segmentácia na tématicky koherentné úseky je dôležitou súčasťou vyhľadávania informácií. Vhodná segmentácia môže zlepšiť výsledky vyhľadávania a pomôcť užívateľom pri rýchlejšom hľadaní relevantného úseku. Segmentácia je zvlášť dôležitá pri audiovizuálnych nahrávkach, v ktorých je navigácia zvlášť zložitá. V článku popisujeme niekoľko prístupov ku tématickej segmentácii, založených na textovej, zvukovej a vizuálnej informácii. V článku je tiež prezentovaný náš návrh prístupu k tématickej segmentácii, založený na fúzii zvukových a vizuálnych dát.


Czech-Slovak parallel corpus consisting of several freely available corpora. Corpus is given in both plaintext format and with an automatic morphological annotation.

Česko-slovenský paralelný korpus, vytvorený z voľne dostupných zdrojov. Korpus je prístupný v textovom formáte a s morfologickou anotáciou.

Petra Galuščáková
Radovan Garabík
Ondřej Bojar


English-Slovak parallel corpus consisting of several freely available corpora. Corpus is given in both in plaintext format and with an automatic morphological annotation

Anglicko-slovenský paralelný korpus, vytvorený z voľne dostupných zdrojov. Korpus je prístupný v textovom formáte a s morfologickou anotáciou.


Improving SMT by Using Parallel Data of a Closely Related Language

Vylepšenie štatistického automatického prekladu pomocou paralelných dát blízkych jazykov

The amount of training data in statistical machine translation is critical for translation quality. In this paper, we demonstrate how to increase translation quality for one language pair by bringing in parallel data from a closely related language. In particular, we improve en→sk translation using a large Czech–English
parallel corpus and a shallow (rule-based) MT system for cs→sk. Several setup options are explored in order to identify the best possible configuration.

Množstvo trénovacích dát je pre kvalitu štatistického strojového prekladu rozhodujúce. V článku popisujeme, akým spôsobom je možné zlepšiť kvalitu prekladu pre daný jazykový pár pomocou využitia paralelných dát v príbuznom jazyku. Konkrétne sme vylepšili en→sk preklad pomocou využitia veľkého česko-anglického paralelného korpusu a cs→sk prekladového systému založeného na pravidlách. Preskúmaných je niekoľko možností konfigurácie použitých systémov.


Manually Classified Errors in Czech-Slovak Translation

Ručne klasifikované chyby v česko-slovenskom preklade

Outputs of five Czech-Slovak machine translation systems  (Česílko, Česílko 2, Google Translate and Moses with different settings) for first 50 sentences of WMT 2010 testing set. The translations were manually processed and the errors were marked and classified according to the scheme by Vilar et al. (David Vilar, Jia Xu, Luis Fernando D’Haro, Hermann Ney: Error Analysis of Statistical Machine Translation Output, Proceedings of LREC-2006, 2006)

Automatický preklad z češtiny do slovenčiny pre prvých 50 viet testovacej sady WMT 2010 pomocou piatich prekladových systémov (Česílko, Česílko 2, Google Translate a Moses s rôznymi nastaveniami). V prekladoch boli ručne označené chyby, ktoré boli ďalej klasifikované podľa schémy danej v článku (David Vilar, Jia Xu, Luis Fernando D’Haro, Hermann Ney: Error Analysis of Statistical Machine Translation Output, Proceedings of LREC-2006, 2006).


Manually Classified Errors in English-Slovak Translation

Ručne klasifikované chyby v anglicko-slovenskom preklade

Outputs of three English-Slovak machine translation systems for 50 sentences randomly selected from WMT 2011 test set. The translations were manually processed and the errors were marked and classified according to the scheme by Vilar et al. (David Vilar, Jia Xu, Luis Fernando D’Haro, Hermann Ney: Error Analysis of Statistical Machine Translation Output, Proceedings of LREC-2006, 2006)

Automatický preklad z angličtiny do slovenčiny 50 viet náhodne vybraných z testovacej sady WMT 2011 pomocou troch prekladových systémov. V prekladoch boli ručne označené chyby, ktoré boli ďalej klasifikované podľa schémy danej v článku (David Vilar, Jia Xu, Luis Fernando D’Haro, Hermann Ney: Error Analysis of Statistical Machine Translation Output, Proceedings of LREC-2006, 2006).


Testovacia sada WMT 2011 preložená do slovenčiny

WMT 2011 Workshop testing set manually translated from Czech and English into Slovak.

Testovacia sada z workshopu WMT 2011 manuálne preložená z češtiny a angličtiny do slovenčiny.


CUNI at MediaEval 2012 Search and Hyperlinking Task

CUNI na MediaEvale 2012, Search and Hyperlinking Task

The paper describes the Charles University setup used in the Search and Hyperlinking task of the MediaEval 2012 Multimedia Benchmark. We applied the Terrier retrieval system to the automatic transcriptions of the video recordings segmented into shorter parts and searched for those relevant to given queries. Two strategies were applied for segmentation of the recordings: one based on regular segmentation according to time and the second based on semantic segmentation by the TextTiling algorithm. The best results were achieved by the Hiemstra and TF-IDF models on the LIMSI transcripts and various segmentation.

Článok popisuje postup, ktorý sme použili v úlohe Search and Hyperlinking  v MediaEval 2012 Multimedia Benchmark. Pri riešení bol použitý systém Terrier, ktorý bol aplikovaný na automatické prepisy video nahrávok. Nahrávky boli segmentované na menšie časti, ktoré boli ďalej prehľadané. Pri segmentácii boli použité dva prístupy: jeden založený na pravidelnej segmentácii podľa času a druhý založený na sémantickej segmentácii pomocou algoritmu TextTiling. Najlepší výsledok bol dosiahnutý pomocou pravidelnej segmentácie, pomocou modelov Hiemstra a TF-IDF na prepisoch LIMSI.


Penalty Functions for Evaluation Measures of Unsegmented Speech Retrieval

Penalizačné funkcie v metrikách na vyhodnocovanie vyhľadávania v hovorenej reči

This paper deals with evaluation of information retrieval from unsegmented speech. We focus on Mean Generalized Average Precision, the evaluation measure widely used for unsegmented speech retrieval. This measure is designed to allow certain tolerance in matching
retrieval results (starting points of relevant segments) against a gold standard relevance assessment. It employs a Penalty Function which evaluates non-exact matches in the retrieval results based on their distance from the beginnings of their nearest true relevant segments. However, the choice of the Penalty Function is usually ad-hoc and does not necessary reﬂect users’ perception of the speech retrieval quality. We perform a lab test to study satisfaction of users of a speech retrieval system to empirically estimate the optimal shape of the Penalty Function.

Článok sa zaoberá vyhodnocovaním vyhľadávania v nesegmentovanej hovorenej reči. Zameriavame sa na metriku Mean Generalized Average precision, ktorá sa vyhodnocovanie vyhľadávania v reči často využíva. Táto metrika je navrhnutá tak, aby tolerovala určitú odchýlku medzi automaticky vyhľadanými výsledkami (začiatočnými bodmi relevantných segmentov) a  ručne označenými výsledkami. Na tento účel používa metrika penalizačnú funkciu, ktorá určuje kvalitu vyhľadaných úsekov na základe ich vzdialenosti ku najbližšiemu začiatku ručne označeného relevantného úseku. Výber penalizačnej funkcie však nemusí zodpovedať kvalite vyhľadávania z pohľadu užívateľa. V článku popisujeme užívateľskú štúdiu, ktorou sme skúmali spokojnosť užívateľa pri vyhľadávaní informácií. Na základe výsledkov sme navrhli optimálnu penalizačnú funkciu.

Petra Galuščáková
Pavel Pecina
Jan Hajič


A Dataset Comparison for an Indonesian-English Statistical Machine Translation System

(Not yet available. English version repeated)
In this paper, we study the effect of incorporating morphological information on an Indonesian (id) to English (en) Statistical Machine Translation (SMT) system as part of a preprocessing module. The linguistic phenomenon that is being addressed here is Indonesian cliticized words. The approach is to transform the text by separating the correct clitics from a cliticized word to simplify the word alignment. We also study the effect of applying the preprocessing on different SMT systems trained on different kinds of text, such as spoken language text. The system is built using the state-of-the-art SMT tool, MOSES. The Indonesian morphological information is provided by MorphInd. Overall the preprocessing improves the translation quality, especially for the Indonesian spoken language text, where it gains 1.78 BLEU score points of increase.


IDENTIC Corpus: Morphologically Enriched Indonesian-English Parallel Corpus

IDENTIC Corpus: Indonésko-anglický paralelní korpus obohacený o morfologii

This paper describes the creation process of an Indonesian-English parallel corpus (IDENTIC). The corpus contains 45,000 sentences collected from different sources in different genres. Several manual text preprocessing tasks, such as alignment and spelling correction, are applied to the corpus to assure its quality. We also apply language specific text processing such as tokenization on both sides and clitic normalization on the Indonesian side. The corpus is available in two different formats: ‘plain’, stored in text format and ‘morphologically enriched’, stored in CoNLL format. Some parts of the corpus are publicly available at the IDENTIC homepage.


Improving Word Alignment by Exploiting Adapted Word Similarity

(Not yet available. English version repeated)
This paper presents a method to improve a word alignment model in a phrase-based Statistical Machine Translation system for a low resourced language using a string similarity approach. Our method captures similar words that can be seen as semi-monolingual across languages, such as numbers, named entities, and adapted/loan words. We use several string similarity metrics to measure the monolinguality of the words, such as Longest Common Subsequence Ratio (LCSR), Minimum Edit Distance Ratio (MEDR), and we also use a modified BLEU Score (modBLEU).
Our approach is to add intersecting alignment points for word pairs that are orthographically similar, before applying a word alignment heuristic, to generate a better word alignment.
We demonstrate this approach on Indonesian-to-English translation task, where the languages share many similar words that are poorly aligned given a limited training data.
This approach gives a statistically significant improvement by up to 0.66 in terms of BLEU score.


Towards an Indonesian-English SMT System: A Case Study of an Under-Studied and Under-Resourced Language, Indonesian

(Not yet available. English version repeated)
This paper describes a work on preparing an Indonesian-English Statistical Machine Translation (SMT) System. It includes the creation of Indonesian morphological analyzer, MorphInd, and the composing of an Indonesian-English parallel corpus, IDENTIC. We build an SMT system using the state-of-the-art phrase-based SMT system, MOSES. We show several scenarios where the morphological tool is used to incorporate morphological information in the SMT system trained with the composed parallel corpus.


V článku popisujeme, jak jsme zlepšili značkování slovních druhů pro urdštinu pomocí kombinace dostupných taggerů a dostupných ručně značkovaných dat. V prvním kroku sjednocujeme sady značek užívané v jednotlivých zdrojích. Dále náš vlastní tagger natrénovaný na dostupných datech funguje výrazně lépe než dostupné nástroje. A konečně tento výsledek je možné ještě mírně zlepšit za použití návrhů od ostatních taggerů.

In this paper, we focus on improving part-of-speech (POS) tagging for Urdu by using existing tools and data for the language. In our experiments, we use Humayoun’s morphological
analyzer, the POS tagging module of an Urdu Shallow Parser and our own SVM Tool tagger trained on CRULP manually annotated data. We convert the output of the taggers
to a common format and more importantly unify their tagsets. On an independent test
set, our tagger outperforms the other tools by far. We gain some further improvement
by implementing a voting strategy that allows us to consider not only our tagger but also
include suggestions by the other tools. The ﬁnal tagger reaches the accuracy of 87.98%.


Videotaped Witness Testimonies from the USC Shoah Foundation Institute's Visual History Archive as Educational Resource

Vzdělávací využití videozáznamů rozhovorů s pamětníky z Archivu vizuální historie Institutu USC Shoah Foundation

Witness testimonies are unsubstitutable and very important addition to the classic lessons of history and other subjects in primary and secondary education. The testimony allows a personalization of the „great history“, students can easily identify with a specific person and his/her experience, and it brings emotions into the educational process, which demonstrably improves its efficiency. However, the day will come, that there will be no more witnesses alive for certain historical events. It is thus necessary to explore and create new alternatives, that could – at least partially – substitute the presence of an eye-witness in the future classroom. The USC Shoah Foundation Institute Visual History Archive is a unique collection of almost 52 000 testimonies of the Holocaust survivors and witnesses, conducted in 56 countries and 32 languages during the late 90's (over 1 000 interviews are in Czech and Slovak language). The Visual History Archive provides complex tools for users to identify whole testimonies of relevance, as well as specific segments within testimonies that relate to their area of interest. Prague is currently one of five European cities with full access to the on-line licensed archive content from the Malach Visual History Centre at the Faculty of Mathematics and Physics of the Charles University. Real-time work with the archive is a valuable part of educational process as well, developing student's independence and critical thinking in context. This is a main purpose of the new educational portal IWitness, which is also going to be presented at the conference.

Svědectví pamětníka je nezastupitelným a velice hodnotným doplňkem běžné výuky dějepisu a dalších předmětů na 2. stupni ZŠ i na různých typech středních škol. Svědectví umožňuje personalizaci „velké historie“, žáci a studenti se s konkrétním člověkem a jeho prožitky mohou lépe identifikovat, do vzdělávacího procesu vstupují emoce, což prokazatelně zvyšuje jeho účinnost. Nevyhnutelně se však blíží doba, kdy už nebude možné zvát pamětníky přímo do škol a dalších institucí – už dnes zbývá jen velice málo lidí, kteří v dospělém věku prožili 2. světovou válku a události s ní spjaté. Je tedy třeba zjišťovat možnosti a metody alternativních postupů, které mohou alespoň částečně přítomnost živého pamětníka ve třídě v budoucnu nahradit. Archiv vizuální historie Institutu USC Shoah Foundation je unikátní sbírkou takřka 52 000 audiovizuálních záznamů rozhovorů s pamětníky a přeživšími holocaustu, které byly natočeny během 2. poloviny 90. let v 56 zemích a 32 jazycích (v češtině a slovenštině je přes 1 000 rozhovorů). Archiv je možno prohledávat pomocí propracovaného uživatelského rozhraní: uživatelé mohou najít konkrétní úseky svědectví podle svého zájmu díky tezauru 55 000 hierarchicky uspořádaných klíčových slov, témat, událostí, jmen osob, míst atd. Praha je jedním z pěti evropských měst, kde se lze k obsahu licencovaného archivu připojit, a to z počítačů v Centru vizuální historie Malach při Matematicko-fyzikální fakultě Univerzity Karlovy. Také práce s podobným on-line archivem v reálném čase je dalším specifickým vzdělávacím postupem, který u žáků rozvíjí samostatnost, myšlení v souvislostech a kritický přístup k pramenům a informačním zdrojům. Za tímto účelem vznikl také nový edukační portál IWitness, který bude v příspěvku rovněž představen.


Khresmoi: Multimodal Multilingual Medical Information Search

Khresmoi: Multimodální a multilingvální hledání medicínských informací

Khresmoi is a European Integrated Project developing a multilingual multimodal search and access system for medical and health information and documents. It addresses the challenges of searching through huge amounts of medical data, including general medical information available on the internet, as well as radiology data in hospital archives. It is developing novel semantic search and visual search techniques for the medical domain. At the MIE Village of the
Future, Khresmoi proposes to have two interactive demonstrations of the system under development, as well as an overview oral presentation and potentially some poster presentations.

Khresmoi je integrační projekt financovaný Evropskou Unií, který se zabývá multilingválním a multimodálním vyhledávání v medicínských datech.

Niraj Aswani
Thomas Beckers
Erich Birngruber
Célia Boyer
Andreas Burner
Jakub Bystroň
Khalid Choukri
Sarah Cruchet
Hamish Cunningham
Jan Dědek
Ljiljana Dolamic
René Donner
Sebastian Dungs
Ivan Eggel
Antonio Foncubierta
Norbert Fuhr
Adam Funk
Alba García Seco de Herrera
Arnaud Gaudinat
Georgi Georgiev
Julien Gobeill
Lorraine Goeuriot
Paz Gomez
Mark A. Greenwood
Manfred Gschwandtner
Allan Hanbury
Jan Hajič
Jaroslava Hlaváčová
Markus Holzer
Gareth J.F. Jones
Blanca Jordán
Matthias Jordan
Klemens Kaderk
Franz Kainberger
Liadh Kelly
Sascha Mriewel
Marlene Kritz
Georg Langs
Nolan Lawson
Dimitrios Markonis
Iván Martínez
Vassil Momtchev
Alexandre Masselot
Hélène Mazo
Henning Müller
Pavel Pecina
Konstantin Pentchev
Deyan Peychev
Natalia Pletneva
Diana Pottecher
Angus Roberts
Patrick Ruch
Matthias Samwald
Priscille Schneller
Veronika Stefanov
Miguel Angel Tinte
Zdeňka Urešová
Alejandro Vargas
Dina Vishnyakova


Improved Spelling Error Detection and Correction for Arabic

Vylepšená detekce a korekce pravopisných chyb v arabštině

A spelling error detection and correction application is based on three main components: a
dictionary (or reference word list), an error model and a language model. While most of the
attention in the literature has been directed to the language model, we show how improvements in
any of the three components can lead to significant cumulative improvements in the overall
performance of the system. We develop our dictionary of 9.3 million fully inflected Arabic words
from a morphological transducer and a large corpus, cross validated and manually revised. We
improve the error model by analysing error types and creating an edit distance re-ranker. We also
improve the language model by analysing the level of noise in different sources of data and
selecting the right subset to train the system on. Testing and evaluation experiments show that
our system significantly outperforms Microsoft Word 2010, OpenOffice Ayaspell and Google
Document.

Systémy pro detekci a korekci pravopisných chyb jsou obvykle založeny na třech komponentách: slovníku, chybovém modelu a jazykovém modelu. Zatímco většina ostatních prací se zaměřuje především na jazykový model, v této práci se ukazujeme, že vylepšení jakékoliv z těchto komponent může vést k významnému zlešení celého systému.

Mohammed Attia
Pavel Pecina
Younes Samih
Khaled Shaalan
Josef van Genabith


Rule-based Machine Translation between Indonesian and Malaysian

(Not yet available. English version repeated)
We describe the development of a bidirectional rule-based machine translation system between Indonesian and Malaysian (id-ms), two closely related Austronesian languages natively spoken by approximately 35 million people. The system is based on the re-use of free and publicly available resources, such as the Apertium machine translation platform and Wikipedia articles. We also present our approaches to overcome the data scarcity problems in both languages by exploiting the morphology similarities between the two.}

Raymond Hendy Susanto
Septina Dian Larasati
Francis M. Tyers


Korektor – A System for Contextual Spell-checking and Diacritics Completion

Korektor – systém pro kontextovou kontrolu pravopisu a doplňování diakritiky

We present Korektor – a flexible and powerful purely statistical text correction tool for Czech that goes beyond a traditional spell checker. We use a combination of several language models and an error model to offer the best ordering of correction proposals and also to find errors that cannot be detected by simple spell checkers, namely spelling errors that happen to be homographs of existing word forms. Our system works also without any adaptation as a diacritics generator with the best reported results for Czech text. The design of Korektor contains no language-specific parts other than trained statistical models, which makes it highly suitable to be trained for other languages with available resources. The evaluation demonstrates that the system is a state-of-the-art tool for Czech, both as a spell checker and as a diacritics generator. We also show that these functions combine into a potential aid in the error annotation of a learner corpus of Czech.

Představujeme Korektor – flexibilní statistický nástroj pro opravu českých textů, jehož schopnosti přesahují tradiční nástroje pro kontrolu pravopisu. Korektor využívá kombinace jazykových modelů a chybového modelu jak k tomu, aby setřídil pořadí nabízených náhrad pro neznámé slovo podle pravděpodobnosti výskytu na daném místě v textu, tak také, aby nalezl i překlepy, které se nahodile shodují s existujícím českým slovním tvarem. Prostou náhradou chybového modelu náš pracuje Korektor také jako systém pro doplnění diakritiky („oháčkování textu“) s nejvyšší publikovanou úspěšností. Systém neobsahuje žádné významné jazykově specifické komponenty s výjimkou natrénovaných statistických modelů. Je tedy možné jej snadno natrénovat i pro jiné jazyky. Ukážeme, jakých zlepšení náš systém dosahuje v porovnání se stávajícími českými korektory pravopisu i systémy pro doplnění diakritiky. Ukážeme také, že kombinace těchto schopností pomáhá při anotaci chyb v korpusu češtiny jako druhého jazyka.

Michal Richter
Pavel Straňák
Alexandr Rosen


An up-to-date broad study of various approaches of machine translation and translation evaluation techniques, highlighting their advantages and disadvantages. The book is written in Czech and also primarily focuses on aspects of Czech, documenting that Czech is not only interestingly complex but it is also well supplied with linguistic tools and data.

Knížka přináší aktuální souborný popis problematiky strojového překladu, různých přístupů k němu a jejich výhod a nevýhod a zabírá se i otázkami vyhodnocování kvality překladu. Čeština jako podkladový jazyk potvrzuje svou vynikající roli: pro podchycení českých jazykových jevů je zapotřebí bohaté teorie, přitom je pro ale češtinu dostatek nástrojů a anotovaných i neanotovaných textových dat.


A talk on machine translation and a deliberation on the progress and regress it can lead to.

Přednáška o strojovém překladu spojená se zamyšlením, k jaké regeneraci či degeneraci díky překladu spějeme.


An introduction to the task of machine translation, current methods and their inherent limitations for those interested in computer science.

Seznámení zájemců o informatiku s úlohou strojového překladu, současnými metodami a jejich omezeními.


This is short article describing the field of machine translation to a broad audience.

Stručný článek představuje problematiku strojového překladu širšímu publiku.


Can machine translation do the homework for you?

Udělá za vás strojový překlad domácí úkol?

An introduction to machine translation for high school students and their teachers.

Seznámení studentů středních škol a jejich pedagogů s problematikou strojového překladu.


Manually ranked outputs of Czech-Slovak translations

Manuálne ohodnotené česko-slovenské preklady

Data from three sources (part of Acquis, WMT test set and sentences selected from the set of books) translated by 5 machine translation systems (Česílko, Česílko 2, Google Translate and Moses with different settings) from Czech to Slovak and evaluated by three annotators. The translations were manually ordered according to their quality.

Dáta z troch zdrojov (časť korpusu Acquis, časť testovacej sady z WMT a vety vybrané z kníh) automaticky preložené pomocou piatich systémov (Česílko, Česílko 2, Google Translate a Moses s rôznymi nastaveniami) z češtiny do slovenčiny a ohodnotené troma anotátormi. Preklady boli ručne zoradené podľa ich kvality.


Probes in a Taxonomy of Factored Phrase-Based Models

Sondy v taxonomii faktorových modelů frázového překladu

We introduce a taxonomy of factored phrase based
translation scenarios and conduct a
range of experiments in this taxonomy. We
point out several common pitfalls when designing
factored setups. The paper also describes
our WMT12 submissions CU-BOJAR
and CU-POOR-COMB.

Představujeme taxonomii pro faktorové modely frázového překladu a provádíme sérii experimentů s konfiguracemi z navržené taxonomie. Odhalujeme přitom řadu chyb v návrhu překladových modelů, jichž je vhodné se vyvarovat. Článek slouží rovněž jako popis našich systémů CU-BOJAR a CU-POOR-COMB v soutěži WMT12.


Towards a Predicate-Argument Evaluation for MT

K predikátově-argumentovému vyhodnocování strojového překladu

HMEANT (Lo and Wu, 2011a) is a manual MT evaluation technique that focuses on
predicate-argument structure of the sentence.
We relate HMEANT to an established lin-
guistic theory, highlighting the possibilities of
reusing existing knowledge and resources for
interpreting and automating HMEANT. We
apply HMEANT to a new language, Czech
in particular, by evaluating a set of English-
to-Czech MT systems. HMEANT proves to
correlate with manual rankings at the sentence
level better than a range of automatic met-
rics. However, the main contribution of this
paper is the identification of several issues
of HMEANT annotation and our proposal on
how to resolve them.

HMEANT (Lo, Wu, 2011) je technika ručního hodnocení kvality strojového překladu založená na predikátově-argumentové struktuře věty. V článku dáváme HMEANT do souvislosti se zavedeným Funkčním generativním popisem a současně poprvé aplikujeme HMEANT na jiný jazyk než angličtinu, konkrétně na češtinu.


Scientific Report on Rich Tree-Based SMT

Technická zpráva o bohatém stromovém statistickém strojovém překladu

The final technical report on rich tree-based translation for the EuroMatrixPlus project.

Závěrečná technická zpráva grantu EuroMatrixPlus popisující strojový překlad prostřednictvím stromových struktur s bohatou anotací.

Ondřej Bojar
Mauro Cettolo
Silvie Cinková
Philipp Koehn
Miroslav Týnovský
Zdeněk Žabokrtský


CzEng 1.0 is an updated release of our Czech-English parallel corpus, freely
available for non-commercial research or educational purposes. In this
release, we approximately doubled
the corpus size, reaching 15 million sentence
pairs (about 200 million tokens per language). More importantly, we carefully
filtered the data to reduce the amount of non-matching sentence pairs.
CzEng 1.0 is automatically aligned at the level of sentences as well as words.
We provide not only the plain text representation, but also automatic
morphological tags, surface syntactic as well as deep syntactic dependency parse
trees and automatic co-reference links in both English and Czech.
This paper describes key properties of the released resource including the
distribution of text domains,
the corpus data formats, and a toolkit to handle the provided rich annotation. We also
summarize the procedure of the rich annotation (incl. co-reference
resolution) and of the automatic filtering. Finally, we provide some suggestions
on exploiting such an automatically annotated sentence-parallel corpus.

CzEng 1.0 je aktualizovaná verze česko-anglického paralelního korpusu, volně použitelného pro nekomerční použití. Oproti předchozí verzi je velikost korpusu dvojnásobně zvětšena na 15 milionů větných párů (řádově 200 milionů slov pro každý jazyk). Data jsou pečlivě profiltrována, aby se omezil výskyt neodpovídajících si větných párů apod. CzEng 1.0 je automaticky zarovnán po větách i po slovech. Krom čistě textové verze dáváme k dispozici anotaci korpusu na několika rovinách: morfologické, větně členské (analytické, povrchová závislostní syntax) a tektogramatické (hloubková syntax). Obsažena je také automatická anotace koreference pro oba jazyky.

Ondřej Bojar
Zdeněk Žabokrtský
Ondřej Dušek
Petra Galuščáková
Martin Majliš
David Mareček
Jiří Maršík
Michal Novák
Martin Popel
Aleš Tamchyna


Additional German-Czech reference translations of the WMT'11 test set

Dodatečné německo-české referenční překlady testovacích dat WMT'11

Additional three Czech reference translations of the whole WMT 2011 data set (http://www.statmt.org/wmt11/test.tgz), translated from the German originals. Original segmentation of the WMT 2011 data is preserved.

Tři přídavné české referenční překlady celé datové sady WMT 2011 (http://www.statmt.org/wmt11/test.tgz), přeložené z němčiny. Původní segmentace dat z WMT 2011 byla zachována.

Ondřej Bojar
Daniel Zeman
Ondřej Dušek
Jana Břečková
Hana Farkačová
Pavel Grošpic
Kristýna Kačenová
Eva Knechtlová
Anna Koubová
Jana Lukavská
Petra Nováková
Jana Petrdlíková


This white paper presents the state of language technology support for the Czech language. It is a part of a series that analyses the available language resources and technologies for 30 European languages.

Bílá kniha prezentuje stav podpory jazykových technologií pro češtinu. Je částí série, která analyzuje dostupné jayzkové zdroje pro 30 evropských jazyků.

Ondřej Bojar
Silvie Cinková
Jan Hajič
Barbora Hladká
Vladislav Kuboň
Jiří Mírovský
Jarmila Panevová
Nino Peterek
Johanka Spoustová
Zdeněk Žabokrtský


Eman (“experimental manager”) is a software tool capable of maintaining large networks of mutually interconnected experiment processing large datasets, typically on a computational cluster. Eman was developed as an infrastructure for statistical machine translation but it can be used for other tasks as well.

Eman („experimentální manažer“) je softwarový nástroj, který umožňuje řídit rozsáhlé soubory vzájemně provázaných experimentů, při kterých se zpracovávají velké datové soubory, typicky na výpočetním clusteru. Byl vyvinut jako infrastruktura pro statistický strojový překlad, ale uplatní se i v jiných úlohách.


Wild Experimenting in Machine Translation

Divoké experimentování se strojovým překladem

A tutorial on conducting a very broad range of experiments (for MT in particular).

Návod, jak provádět širokou sérii experimentů (se zaměřením na strojový překlad).


Linguistics at the Faculty of Mathematics and Physics?

Lingvistika na Matematicko-fyzikální fakultě?

UFAL is a department well disposed to both linguistics and machine learning. It's well disposed to statistics as well because statistics is a key part of machine learning.

ÚFAL je pracovištěm, které je přátelsky nakloněné jak lingvistice, tak strojovému učení. Protože statistika je klíčovým pojmem strojového učení, je ÚFAL přátelsky spřízněn i se statistikou.

Jan Hajič
Barbora Vidová Hladká
Jarmila Panevová


Announcing Prague Czech-English Dependency Treebank 2.0

Ohlašujeme Pražský česko-anglický závislostní korpus 2.0

We introduce a substantial update of the Prague Czech-English Dependency Treebank, a parallel corpus manually annotated at the deep
syntactic layer of linguistic representation. The English part consists of the Wall Street Journal (WSJ) section of the Penn Treebank.
The Czech part was translated from the English source sentence by sentence. This paper gives a high level overview of the underlying
linguistic theory (the so-called tectogrammatical annotation) with some details of the most important features like valency annotation,
ellipsis reconstruction or coreference.

Představujeme významnou aktualizaci Pražského česko-anglického závistostního korpusu (PCEDT), paralelního korpusu, který je ručně anotován na hloubkové syntaktické rovině.

Jan Hajič
Eva Hajičová
Jarmila Panevová
Petr Sgall
Ondřej Bojar
Silvie Cinková
Eva Fučíková
Marie Mikulová
Petr Pajas
Jan Popelka
Jiří Semecký
Jana Šindlerová
Jan Štěpánek
Josef Toman
Zdeňka Urešová
Zdeněk Žabokrtský


Coordination vs. determination (Form or meaning?)

Koordinace vs. determinace (Forma nebo význam?)

The question about boundaries of so-called "hypotactical coordination" is discussed in connection with three types of constructions: (i) asociative constructions vs simple conjunctions, (ii) so-called "false" subordinated clauses, (iii) constructions introduced by the expressions "místo" (instead), "kromě" (beside/with exception).

V příspěvku se klade otázka, zda jsme oprávněni u typů (i) - (iii) mluvit o asymetrickém vztahu "hypotaktické koordinace". Jde o typy (i) asociativ vs slučovací koordinace, (ii) tzv. nepravé věty vedlejší, (iii) konstrukce uvozené výrazy "místo, kromě, mimo". Dochází se k názoru, že na hypotaktickou koordinaci kandiduje část příkladů typu (a).


Světová slavistika utrpěla citelné ztráty

These obituaries are devoted to couple of famouse linguists, first of all Slavists: prof. Rudolf Růžička from the University of Leipzig (1920-2011) and to prof. Milka Ivic, professor of the University in Novi Sad and Institute of Serbian Language in Beograd (1923-2011).

Jde o nekrology věnované prof. Rudolfu Růžičkovi z Univerzity v Lipsku, předním představiteli teoretické a formální lingvistiky v Německu (1920-2011) a prof. Milce Ivicové z Univerzity v Nověm Sadu a z Institutu srbského jazky SAVU v Bělehradě (1923-2011).


On Assymetry of the Deep and Surface Representation of the Sentence

Asymetrie mezi hloubkovou a povrchovou reprezentací věty (na příkladu dvou typů českých příslovečných určení)

Ассиметрии между глубинным и поверхностным преставлением предложения (на примере двух типов обстоятельств в чешском языке)

The Czech constructions of comparison and the constructions introduced by kromě/mimo are analyzed. For their deep structure it is necessary to expand them into the embedded predication, which is considered to be a grammaticalized ellipsis. The two new syntactic relations are introduced (ADDIT - an addition, EXC - an exception). They are connected with the ambiguity of kromě constructions.

Ve stati se analyzují české konstrukce srovnávací a konstrukce uvedené výrazy kromě/mimo. Navrhuje se jejich hloubková (tektogramatická) reprezentace rozvinutá v zapuštěnou predikaci a označovaná jako gramatikalizovaná elipsa. Zavádí se dva nové syntaktické vztahy (adice - ADDIT a výjimka - EXC) související s víceznačností konstrukcí s kromě.

В статье анализируются чешские обстоятельства сравнения и обстоятельства введенные выражениями kromě (mimo). Предлагается их глубинное представление в виде вставленной предикации, считаемой грамматикализованным эллипсисом. Вводятся два новыцх типа синтактических связей (ADDIT и EXC).


Two views on the Development of the Czech Post-War Syntactic Research

Dva pohledy na vývoj českého poválečného syntaktického myšlení

The metodological approaches used in Czech syntactic research since the 40-ies of the last century are analyzed. The Daneš´s Two-Level Valency Syntax and Sgall´s Functional Generative Description are evaluated as most comprehensive models in the Czech syntax.

V článku se hodnotí metodologické směry užívané v české syntaxi od 40. let minulého století. Jako nejvlivnější modely se hodnotí Danešova Dvourovinná valenční syntax a Sgallův Funkční generativní popis.


Syntactic annotation of transcriptions in the Czech Academic Corpus: Then and now

Syntaktická anotace přepisů mluvené řeči z Českého akademického korpusu: tehdy a nyní

Corpus annotation plays an important role in linguistic analysis and computa-tional processing of both written and spoken language. Syntactic annotation of spoken texts becomes clearly a topic of considerable interest nowadays, driven by the desire to improve auto-matic speech recognition systems by incorporating syntax in the language models, or to build language under-standing applications.

Korpusová anotace je důležitou součástí lingvistické analýzy a počítačového zpracování jazyka. Tento článek se zabývá problémy spojenými se syntaktickou anotací mluvených textů na pozadí syntaktické anotace ČAKu.


Conversion of Copenhagen Dependency Treebank into Treex

Převod Kodaňského závislostního korpusu do systému Treexu

I would like to present my recent efforts on converting the Copenhagen Dependency Treebank (CDT) data into Treex. CDT is a multilingual treebank developed at CBS. Treex is a multi-purpose Natural Language Processing software framework developed at Charles University in Prague. Treex is used in a number of projects aimed at building language data resources as well as at developing NLP applications such as Machine Translation systems.

The talk will have two parts. In the first part I will give an overview of the conversion procedure, with focus on pecularities of CDT that made the conversion a challenging task. In the second part I will show how the CDT data in the new format can be browsed and further processed.

V přednášce představím software, který jsem vyvinul pro převod Kodaňského závislostního korpusu (CDT) do systému Treex. CDT je vícejazyčný korpus vyvinutý v Copenhagen Business School. Treex je multilinguální softwarový systém vyvinutý na Karlově univerzitě v Praze. Treex se používá mimo jiné pro vývoj systémů strojového překladu.

Přednáška bude mít dvě části. V první představím konverzní proceduru. Ve druhé části předvedu možné způsoby, jak s daty v novém formátu pracovat.


Machine Translation using Dependency Trees

Strojový překlad s využitím závislostních stromů

Předložená práce je zaměřená na využití stromových syntaktických struktur jakožto reprezentace věty přirozeného jazyka v experimentálním systému pro anglicko-český strojový překlad.

The present work focuses on using tree-shaped syntactic structures as an intermediate sentence representation in an experimental English-Czech machine translation system.


Tailored Feature Extraction for Lexical Disambiguation of English Verbs Based on Corpus Pattern Analysis

Rysy šité na míru anglickým sloves°um pro automatickou lexikální disambiguaci pomocí Corpus Pattern Analysis

We give a report on a detailed study of automatic lexical disambiguation of 30 sample English
verbs. We have trained and evaluate several statistical classifiers that use both morphosyntactic
and semantic features to assign semantic patterns according to a pattern lexicon.
Our system of semantic classification draws on the Corpus Pattern Analysis (CPA) — a novel
lexicographic method that seeks to cluster verb uses according to the morpho-syntactic, lexical
and semantic/pragmatic similarity of their contexts rather than their grouping according to
abstract semantic definitions. In this paper we mainly concentrate on the procedures for feature
extraction and feature selection. We show that features tailored to particular verbs using
contextual clues given by the CPA method and explicitly described in the pattern lexicon have
potential to significantly improve accuracy of supervised statistical classifiers.

Předkládáme detailní studii automatické lexikální disambiguace na pilotním vzorku
třiceti anglických sloves za použití lexikonu vzorů slovesných užití (patterns), který vychází
z Corpus Pattern Analysis (CPA). Tato inovátorská lexikografická metoda namísto na
abstraktních definicích jednotlivých významů staví na souhře morfosyntaktické, lexikální a
sémantické/pragmatické podobnosti slovesných užití. Natrénovali jsme několik statistických
klasifikátorů na rozpoznávání těchto vzorů. Klasifikátory využívají jak morfosyntaktických,
tak sémantických rysů. V naší studii se soustředíme na procedury pro extrakci rysů, jejich
výběr a jejich evaluaci. Ukazujeme, že rysy na míru uzpůsobené jednotlivým slovesům, jež
jsou implicitně obsaženy v definici každého vzoru v lexikonu, mají potenciál významně zvýšit
přesnost statistických klasifikátorů s učitelem.

Martin Holub
Vincent Kríž
Silvie Cinková
Eckhard Bick


Analysis of different approaches to the concept and the description of hierarchy of element from the point of view of topic-focus articulation.

Rozbor různých přístupů k pojetí a popisu stupňovitosti z hlediska aktuálního členění.


The Functional Generative Description as a functionally motivated  formal model of language

Funkční generativní popis jako funkčně motivovaný formalní model jazyka

The article is about main principles of the explicit description of language based on dependency syntax.

Hlavní principy explicitního pražského závislostního modelu jazyka postupující od funkce k formě.


Topic-Focus revisited (Through the eyes of the Prague Dependency Treebank)

Znovu k aktuálnímu členění (Očima Pražského závislostního korpusu)?

A comparison of two theoretical approaches to the information structure and the application of the Praguian approach in an annotated corpus of Czech.

Srovnání dvou teoretických přístupů k aktuálnímu členění a uplatnění pražského přistupu v anotovaném počítačovém korpusu češtiny.


Vilém Mathesius and  Functional Sentence Perspective, and beyond

Vilém Mathesius a aktuální členění, a související otázky

A comparison of different Praguian approaches to information structure, from Vilem Mathesius up today.

Srovnání přístupu k aktuálnímu členění v české lingvistice, od základní práce Mathesiovy až po práce současné.


What we have learned from complex annotation of topic-focus articulation  in a large Czech corpus

Co jsme se naučili z anotace aktuálního členění ve velkém českém korpusu.

Linguistic issues that had to be analyzed and resolved during the annotation of information structure in the Prague Dependency Treebank.

Článek shrnuje lingvistické problémy, na které jsme narazili a které řešili anotátoři při anotování informační struktury ve větách Pražského závislostního korpusu.


From the roots to the trees: A story of annotated corpora of Czech

Od kořenů ke stromům: příběh anotovaných korpusů češtiny

Academic corpus of the Czech language created in the Institute of Czech Language belongs to the first annotated corpora of natural languages ever in existence. This activity was one of the stimuli for the development of the richly annotated corpus of the Prague Dependency Treebank.

Akademický korpus češtiny zpracovaný v ÚJČ AV byl jedním z prvních anotovaných počítačových korpusů přirozeného jazyka, a to na rovině morfosyntaktické. Odtud vedla cesta k bohatě anotovanému Pražskému závislostnímu korpusu.


Dspace Modifications for Clarin Compatible (EPIC) Handle Service

Úpravy Dspace pro služby Handle kompatibilní s Clarinem (EPIC)

This software is a modification and configuration of Dspace 1.6 that allows Clarin centres that employ Dspace as their repository software to use Clarin recommended Handle Service from EPIC Consortium within Dspace.

Tento software je modifikací a konfigurací Dspace 1.6, která umožňuje centrům Clarin, která používají Dspace jako svůj software pro repozitáře, využít službu Handle od konzorcia EPIC, doporučenou Clarinem, v rámci Dspace.


Domain Adaptation of Statistical Machine Translation using Web-Crawled Resources: a Case Study

Doménová adaptace statistického strojového překladu s pomocí dat získaných z webu: případová studie

We tackle the problem of domain adaptation of Statistical Machine Translation by exploiting domain-specific data acquired by domain-focused web-crawling. We design and evaluate a procedure for automatic acquisition of monolingual and parallel data and their exploitation for training, tuning, and testing in a phrase-based Statistical Machine Translation system. We present a strategy for using such resources depending on their availability and quantity supported by results of a large-scale evaluation on the domains of Natural Environment and Labour Legislation and two language pairs: English--French, English--Greek. The average observed increase of BLEU is substantial at 49.5% relative.

V této práci se zabýváme doménovou adaptací statistického strojového překladu s využitím dat automaticky stažených z internetu. Experimenty jsou provedeny na doménách životního prostředí a pracovní legislativy.

Pavel Pecina
Antonio Toral
Vassilis Papavassiliou
Prokopis Prokopidis
Josef Genabith


Simple and Effective Parameter Tuning for Domain Adaptation of Statistical Machine Translation

Jednoduchá a efektivní optimalizace parametrů pro doménovou adaptaci statistického strojového překladu

Current state-of-the-art Statistical Machine Translation systems are based on log-linear models
that combine a set of feature functions to score translation hypotheses during decoding. The
models are parametrized by a vector of weights usually optimized on a set of sentences and
their reference translations, called development data. In this paper, we explore a (common
and industry relevant) scenario where a system trained and tuned on general domain data
needs to be adapted to a specific domain for which no or only very limited in-domain bilingual
data is available. It turns out that such systems can be adapted successfully by re-tuning model
parameters using surprisingly small amounts of parallel in-domain data, by cross-tuning or no
tuning at all. We show in detail how and why this is effective, compare the approaches and
effort involved. We also study the effect of system hyperparameters (such as maximum phrase
length and development data size) and their optimal values in this scenario.

Současné systémy statistického strojového překladu jsou založeny na logaritmicko-lineárních modelech, které pro hodnocení překladových hypotéz ve fázi dekódování kombinují sadu příznakových funkcí. Tyto modely jsou parametrizovány vektorem vah, které se optimalizují na tzv. vývojových datech, tj. množině vět a jejich referenčních překladů. V tomto článku se zabýváme (častou a pro průmyslové nasazení relevantní) situací, kdy je třeba překladový systém natrénovaný na datech z obecné domény adaptovat na nějakou specifickou doménu, pro kterou jsou k dispozici paralelní data jen ve velice omezeném (či žádném) množství. Ukazujeme, že takové systémy mohou být vhodně adaptovány pomocí optimalizace parametrů za použití jen překvapivě malého množství paralelních doménově-specifických dat nebo tzv. křížovou optimalizací. Možností je také nepoužití optimalizace vůbec. Jednotlivé přístupy analyzujeme a porovnáváme jejich cekovou náročnost. Dále se zabýváme analýzou systémových hyperparametrů (např. maximální délkou frází a velikostí vývojových dat) a jejich optimalizací.

Pavel Pecina
Antonio Toral
Josef van Genabith


In our contribution, we relate the development of a richly annotated corpus and a computational valency dictionary. Our valency dictionary has been created as a “byproduct” of the annotation of the Prague Dependency Treebank (PDT) but it became an important resource for further linguistic research as well as for computational processing of the Czech language.

Tento příspěvek se zabývá vztahem korpusu a valenčního slovníku. Slovník vznikl jako vedlejší produkt anotace Pražského závislostního korpusu, stal se důležitým zdrojem jak pro další lingvistický výzkum, tak pro počítačové zpracování češtiny.


Valency of nouns derived from verbs with an object expressed by Genitive

Valence dějových substantiv odvozených od sloves s předmětovým genitivem

In the present paper, adnominal counterparts of adverbal objects expressed by prepositionless Genitive (Gen; e.g. obávat se čeho ‘to-be-afraid of-sth’, dotázat se koho ‘to-ask of-sb’) are studied. The intention was to find out if Czech nouns derived from verbs by non-productive means can be modified by Patient (PAT) or Addressee (ADDR) expressed by Gen as well; neither other papers nor valency dictionaries mention this form of the participants. It has turned out that several nouns modified by PAT expressed by Gen can rarely be found in the corpus (e.g. CNC SYN2005, cf. odvaha spolupráce ‘courage of-cooperation’, jeho dotek puku ‘his touch of-the-puck’; other forms of PAT, i.e. prepositional groups, sometimes also infinitive or an embedded objective clause, are more frequent). Factors that influence possibility or impossibility to be modified by PAT or ADDR expressed by Gen are typically connected with the type of the semantic group the noun belongs to (cf. the difference between nouns denoting “positive” vs. “negative” mental state or dispositions, e.g. naděje úspěchu ‘hope of-success’ vs. *obava následků ‘fear of-consequences’, or the tendency to avoid syntactic homonymy of Actor (ACT) and ADDR expressed by Gen, which is typical of nouns of saying, cf. dotaz kamaráda.ACT vs. *dotaz kamaráda.ADDR ‘question of-the-friend’).

Příspěvek se věnuje valenčním vlastnostem českých neproduktivně tvořených (dějových) substantiv odvozených od sloves s předmětovým genitivem. Prvotní motivací bylo zjistit, zda si tato substantiva (např. obava, dotaz, dotek) uchovávají původní adverbální genitivní vazbu, tj. GenAdnom (← GenAdverb). Valenční slovníky ani odborná literatura tuto vazbu u daných substantiv neuvádějí. V subkorpusech ČNK se u některých substantiv vyskytuje, např. naděje úspěchu, jeho dotek puku; vedle ostatních forem daného participantu (např. předložkových skupin) se jedná spíše o okrajovou možnost vyjádření. Za možností / nemožností užití GenAdnom (← GenAdverb) u dějových substantiv stojí různorodé faktory, související patrně především s příslušností daných substantiv k určité sémantické skupině, příp. podskupině (srov. pozitivní vs. negativní duševní stavy, např. odvaha spolupráce vs. *obava zkoušky, snaha vyhnout se strukturní homonymii u substantiv mluvení, např. *dotaz kamaráda.ADDR vs. dotaz kamaráda.ACT).


Dialogy.Org system is a software tool designed primarily to support the creation and sharing of annotated audio-visual data by linguistic community. The software tool allows editing and searching in the transcripts of audio-visual recordings of dialogues. The dynamic web application provides access for registered users to the digitised archive. Playing and exploring of selected parts is possible in the web browser.

Systém Dialogy.Org je softwarový nástroj určený především k podpoře vytváření a sdílení anotovaných audio-video dat lingvistickou komunitou. Dialogy.Org umožňuje formou webového rozhraní editaci a vyhledávání v přepisech audio-visuálních nahrávek dialogů. Vyhledané úseky textu je možné přehrávat a analyzovat pomocí webového prohlížeče.


Does Tectogrammatics Help the Annotation of Discourse?

Pomáhá tektogramatika při anotaci diskurzních vztahů?

In the following paper, we discuss and evaluate the benefits that deep syntactic trees
(tectogrammatics) and all the rich annotation of the Prague Dependency Treebank bring to the
process of annotating the discourse structure, i.e. discourse relations, connectives and their
arguments. The decision to annotate discourse structure directly on the trees contrasts with the
majority of similarly aimed projects, usually based on the annotation of linear texts. Our basic
assumption is that some syntactic features of a sentence analysis correspond to certain discourselevel
features. Hence, we use some properties of the dependency-based large-scale treebank of
Czech to help establish an independent annotation layer of discourse. The question that we
answer in the paper is how much did we gain by employing this approach.

V tomto příspěvku hodnotíme přínos, který představují syntacticko-sémantické stromy
(tektogramatická rovina anotace) a celá bohatá anotace Pražského závislostního korpusu pro
anotaci diskurzní struktury textu, tedy pro anotaci diskurzních vztahů, jejich konektorů a
argumentů. Rozhodnutím anotovat diskurzní strukturu přímo na stromech se náš přístup liší od
většiny podobně zaměřených projektů, které jsou obvykle založeny na anotaci lineárního textu.
Naším základním předpokladem je, že některé syntaktické rysy větné analýzy odpovídají jistým
rysům z roviny diskurzní struktury. Proto využíváme některé vlastnosti rozsáhlého závislostního
korpusu češtiny k ustanovení nezávislé diskurzní anotační vrstvy. V tomto příspěvku
odpovídáme na otázku, jaké výhody tento přístup přináší.

Jiří Mírovský
Pavlína Jínová
Lucie Poláková


CUNI: Feature Selection and Error Analysis of a Transition-Based Parser

CUNI: Výběr rysů a analýza chyb parseru založeného na přechodech

The paper describes our system used for dependency parsing of Hindi data during the shared task at Coling 2012.

Příspěvek popisuje systém použitý pro závislostní syntaktickou analýzu hindských dat v rámci soutěže na Colingu 2012.


Data Issues of the Multilingual Translation Matrix

Otázka dat ve vícejazyčné překladové matici

We describe our experiments with phrase-based machine translation for the WMT 2012 Shared Task. We trained one system for 14 translation directions between English or Czech on one side and English, Czech, German, Spanish or French on the other side. We describe a set of results with different training data sizes and subsets.

Popisujeme naše pokusy s frázovým strojovým překladem pro soutěž WMT 2012. Natrénovali jsme jeden systém pro 14 překladových párů mezi angličtinou nebo češtinou na jedné straně a angličtinou, češtinou, němčinou, španělštinou nebo francouzštinou na druhé straně. Popisujeme sadu výsledků s různými velikostmi trénovacích dat a jejich podmnožin.


Vícejazyčný statistický strojový překlad: data, data, data…

Observations from this year's experiments at ÚFAL for the WMT shared translation task.

Postřehy z letošních pokusů na ÚFALu v rámci mezinárodní soutěže ve strojovém překladu.


We propose HamleDT – HArmonized Multi-LanguagE Dependency Treebank. HamleDT is a compilation of existing dependency treebanks (or dependency conversions of other treebanks), transformed so that they all conform to the same annotation style. While the license terms prevent us from directly redistributing the corpora, most of them are easily acquirable for research purposes. What we provide instead is the software that normalizes tree structures in the data obtained by the user from their original providers.

Představujeme HamleDT – harmonizovaný mnohojazyčný závislostní korpus. HamleDT je kolekce existujících závislostních korpusů (nebo do závislostí převedených jiných syntakticky anotovaných korpusů), transformovaných tak, aby odpovídaly jednotnému anotačnímu stylu. Licenční podmínky nám nedovolují dále šířit samotné korpusy, většina z nich je ovšem pro vědecké účely snadno dostupná a my nabízíme software, který tato data převede do normalizované podoby.

Daniel Zeman
David Mareček
Martin Popel
Loganathan Ramasamy
Jan Štěpánek
Zdeněk Žabokrtský
Jan Hajič


The organizers of the annual Workshop on Machine Translation (WMT) prepare and distribute parallel corpora that can be used to train systems for the shared tasks. Two core types of corpora are the News Commentary corpus and the Europarl corpus. Both are available in several language pairs, always between English and another European language: cs-en, de-en, es-en and fr-en. The corpora are not multi-parallel. They come from the same source and there is significant overlap but still some sentences are translated to only a subset of the languages. The bi-parallel subsets do not all have the same number of sentence pairs. Such corpora cannot be directly used to train a system for e.g. de-cs (German-Czech). However, we can use English as a pivot language. If we identify the intersection of the English parts of cs-en and de-en, we can take the non-English counterparts of the overlapping English sentences to create a de-cs parallel corpus. That is what this software does.

Organizátoři každoročního Semináře o strojovém překladu (WMT) připravují a šíří paralelní korpusy, které lze použít při trénování systémů pro soutěžní úlohy. Mezi hlavní typy korpusů patří korpusy News Commentary a Europarl. Oba jsou k dispozici v několika jazykových párech, vždy mezi angličtinou a dalším evropským jazykem: cs-en, de-en, es-en a fr-en. Tyto korpusy nejsou paralelní přes více než dva jazyky. Pocházejí ze stejného zdroje a významně se překrývají, přesto však jsou některé věty přeloženy jen do některých jazyků. Dvojjazyčné paralelní podmnožiny nemají všechny stejný počet párů vět. Takové korpusy nemůžeme přímo nasadit při trénování systému pro např. de-cs (němčina-čeština). Můžeme nicméně použít angličtinu jako pivotní jazyk. Pokud rozpoznáme průnik anglických částí cs-en a de-en, můžeme použít jejich neanglické protějšky a vytvořit z nich paralelní korpus de-cs. Tuto úlohu plní tento software.


The Valency Lexicon of Czech Verbs, Version 2.6 (VALLEX 2.6), is a collection of linguistically annotated data and documentation, resulting from an attempt at formal description of valency frames of Czech verbs. VALLEX 2.6 has been developed at the Institute of Formal and Applied Linguistics, Faculty of Mathematics and Physics, Charles University, Prague.

VALLEX 2.6 provides information on the valency structure (combinatorial potential) of verbs in their particular senses. VALLEX 2.6 is a successor of VALLEX 1.0, extended in both theoretical and quantitative aspects (including corpus evidence).

Valenční slovník českých sloves VALLEX, verze 2.6
obsahující přibližně 2730 záznamů o lexémech pokrývajících cca. 6460 lexikálních jednotek (významů). Slovník je volně k dispozici pro účely výzkumu. Nová verze slovníku je - oproti starší verzi - kvalitativně i kvantitativně obohacena (zejm. jsou pro vybraná slovesa doplněny korpusové příkladů).

Markéta Lopatková
Václava Kettnerová
Eduard Bejček
Karolína Skwarska
Zdeněk Žabokrtský


Annotation of sentence structure: Capturing the relationship between clauses in Czech sentences

Anotace větné struktury: Vztahy mezi klauzemi v českém souvětí

The focus of this article is on the creation of a collection of sentences manually annotated with respect to their sentence structure. We show that the concept of linear segments—linguistically motivated units, which may be easily detected automatically—serves as a good basis for the identification of clauses in Czech. The segment annotation captures such relationships as subordination, coordination, apposition and parenthesis; based on segmentation charts, individual clauses forming a complex sentence are identified. The annotation of a sentence
structure enriches a dependency-based framework with explicit syntactic information on relations among complex units like clauses. We have gathered a collection of 3,444 sentences from the Prague Dependency Treebank, which were annotated
with respect to their sentence structure (these sentences comprise 10,746 segments forming 6,341 clauses). The main purpose of the project is to gain a development data—promising results for Czech NLP tools (as a dependency parser or a machine translation system for related languages) that adopt an idea of clause segmentation have been already reported. The collection of sentences with annotated sentence structure provides the possibility of further improvement of such tools.

Článek se soustřeďuje na popis kolekce vět, u kterých byla ručně analyzována větná struktura. Ukazuje, že koncept založený na lineárních segmentech, které lze snadno automaticky detekovat, slouží jako dobrý základ pro identifikaci klauzí v češtině. Anotace segmentů zahrnuje takové jevy jako je závislost kauzí, jejich koordinace, apozice či parenteze.
Anotace větné struktury doplňuje závislostní přístup k popisu jazyka o explicitní informaci o vztazích mezi klauzemi.

Markéta Lopatková
Petr Homola
Natalia Klyueva


Presentations to high school students within the "Day of professions". The aim was to introduce students to mathematical linguistics as an interesting field, and generally promote the study of natural sciences.

Popularizační prezentace pro studenty gymnázia Na Zatlance v rámci Dne profesí. Cílem bylo přiblížit studentům matematickou lingvistiku jako zajímavý obor a obecně propagovat studium přírodních věd.


Example of regular patterns of word formation in the automatic processing of Czech and Russian

Příklad pravidelných slovotvorných vzorců  v automatickém zpracování češtiny a ruštiny

There is a set of prefixes in Czech as well as in Russian, which, added to imperfective verbs together with a reflexive pronoun, change the meaning of the verb in the same manner. This feature is so regular that could help automatically recognize words without using morphological dictionaries.

V češtině i v ruštině existuje množina předpon, jejichž připojením k nedokonavému slovesu a přidáním zvratného zájmena pozměníme význam původního slovesa vždy téměř stejným způsobem. Toho lze využít při automatickém rozpoznávání slovních tvarů, aniž by bylo třeba je ukládat do morfologických slovníků.


Maintaining consistency of monolingual verb entries with interannotator agreement

Udržování konzistence jednojazyčných slovesných hesel pomocí mezianotátorské shody

There is no objectively correct way to create a monolingual entry of a polysemous verb. By structuring a verb into readings, we impose our conception onto lexicon users, no matter how big a corpus we use in support. How do we make sure that our structuring is intelligible for others?

We are performing an experiment with the validation of the fully corpus-based Pattern Dictionary of English Verbs (Hanks & Pustejovsky, 2005), created according to the lexical theory Corpus Pattern Analysis (CPA). The lexicon is interlinked with a large corpus, in which several hundred randomly selected concordances of each processed verb are manually annotated with numbers of their corresponding lexicon readings (“patterns”). It would be interesting to prove (or falsify) the leading assumption of CPA that, given the patterns are based on a large corpus, individual introspection has been minimized and most people can agree on this particular semantic structuring. We have encoded the guidelines for assigning concordances to patterns and hired annotators to annotate random samples of verbs cotained in the lexicon. Apart from measuring the interannotator agreement, we analyze and adjudicate the disagreements. The outcome is offered to the lexicographer as feedback. The lexicographer revises his entries and the agreement can be measured againg on a different random sample to test whether or not the revision has brought an improvement of the interannotator agreement score. A high interannotator agreement suggests that lexicon users are likely to find a pattern corresponding to a random verb use of which they seek explanation. A low agreement score gives a warning that there are patterns missing or vague.

We focus on machine-learning applications, but we believe that this procedure is of interest even for quality management in human lexicography.

Článek se věnuje problematice sémantické analýzy sloves a lexikálnímu popisu sloves se zřetelem k vytvoření trénovacích dat pro automatický sémantický analyzátor. Vychází z metody Corpus Pattern Analysis a zkoumá její uplatnění v lexikálním popisu sloves pro účely NLP pomocí měření mezianotátorské shody.

Silvie Cinková
Lenka Smejkalová
Anna Vernerová
Jonáš Thál
Martin Holub