Specificity of the number of nouns in Czech and its annotation in Prague Dependency Treebank

Specifičnost čísla v češtině a jeho anotace v Pražském závislostním korpusu

The paper focuses on the way how the grammatical category of number of nouns will be
annotated in the forthcoming version of Prague Dependency Treebank (PDT 3.0), concentrating
on the peculiarities beyond the regular opposition of singular and plural. A new semantic
feature closely related to the category of number (so-called pair/group meaning) was introduced.
Nouns such as ruce ‘hands’ or klíče ‘keys’ refer with their plural forms to a pair or to a
typical group even more often than to a larger amount of single entities. Since pairs or groups
can be referred to with most Czech concrete nouns, the pair/group meaning is considered as a
grammaticalized meaning of nouns in Czech. In the present paper, manual annotation of the
pair/group meaning is described, which was carried out on the data of Prague Dependency
Treebank. A comparison with a sample annotation of data from Prague Dependency Treebank
of Spoken Czech has demonstrated that the pair/group meaning is both more frequent and
more easily distinguishable in the spoken than in the written data.

Článek se zabývá zachycením gramatické kategorie čísla v připravované verzi Pražského závislostního korpusu (PDT 3.0). Představen je nový sémantický rys úzce související s kategorií čísla (tzv. souborový význam) a jeho anotace v datech PDT.

Magda Ševčíková
Jarmila Panevová
Lenka Smejkalová


Utilization of Anaphora in Machine Translation

Majority of present machine translation systems do not address the retaining of text coherency, they translate just isolated sentences. On the other hand, the authors of anaphora resolvers rarely integrate these tools into more complex scenarios, e.g. the task of machine translation. We propose the ways how machine translation systems can utilize the knowledge of anaphoric relations both in the source as well as in the target language in order to improve the quality of
translation. Specifically, we present how to incorporate anaphora resolution into the process of English to Czech translation using the TectoMT system.

Příspěvek navrhuje způsoby, jakými využít znalost o anaforických vztazích při automatickém překladu z angličtiny do češtiny.


Resolving Noun Phrase Coreference in Czech

Vyšetřování koreference substantivních frází v češtině

In this work, we present first results on noun phrase coreference resolution on Czech data. As the data resource for our experiments, we employed yet unfinished and unpublished extension of Prague Dependency Treebank 2.0, which captures noun phrase coreference and bridging relations. Incompleteness of the data influenced one of our motivations – to aid annotators with automatic pre-annotation of the data. Although we introduced several novel tree features and tried different machine learning approaches, results on a growing amount of data shows that the selected feature set and learning methods are not able to sufficiently exploit the data.

Práca prezentuje první výsledky rozpoznávání koreference substantivních frází v češtině.


We built corpus containing 106 languages from texts available on the Wikipedia and on the Internet. The W2C Wiki Corpus contains 8.5 GB of text and the W2C Web Corpus contains 54.7 GB of text. The software part contains tools for distributed crawling and processing of web pages.

Vytvořili jsme korpus se 106 jazyky z wikipedie a webových stránek. W2C Wiki Corpus obsahuje 8.5 GB textu a W2C Web Corpus obsahuje 54.7 GB textu. Součástí je také software pro distribuované stahování a zpracovávání webových stránek.


W2C is a collection of software and data. The software part radically facilitates creating a new text corpora for a given language, using text materials freely available on the Internet. A special attention was given to components for filtering that allow to keep the material quality very high. The data part contains corpora for more than 100 languages, with around 10 million words in each. This language data resource can be used especially by researchers specialized at developing multilingual technologies.

W2C je kolekce software a dat. Softwarová část slouží k vytvoření rozsáhlého textového korpusu pro zvolený jazyk. Využívány jsou textové materiály volně dostupné na WWW. Významnou částí jsou komponenty pro filtrování dat, které umožní odstranit materiál s nízkou kvalitou. Datová část obsahuje již vytvořené jazykové korpusy pro více než 100 jazyků, pro každý z nich ve velikosti přibližně 10 milionů slov. Tento zdroj jazykových dat usnadní řadě pracovišť vývoj multilinguálních technologií.


TamilTB - An Effort Towards Building a Treebank for Tamil

TamilTB - budování závislostního korpusu pro tamilštinu

This talk is aimed at presenting our ongoing effort to build a PDT style dependency treebank for Tamil language. The talk will outline the annotation scheme and annotation at morphological and surface syntax layers. Various issues such as ambiguous structures, NP compounding, coordination phenomena and clitics with respect to the treebank annotation will be discussed. Our ultimate goal in this project is to develop a feature rich parsing framework for Tamil, thus we also present the results we obtained in automatic parsing (rule based & corpus based) using the developed resources. Some problematic issues in Tamil parsing will also be discussed.

Tato diskuse je zaměřena na prezentaci naší neustálé snahy o vybudování PDT styl závislostní korpus pro Tamil jazyk. Přednáška nastíní anotace programu a anotací na morfologické a povrchové vrstvy syntax. Různé otázky, jako jsou nejednoznačné konstrukce, NP směsí, koordinace jevů a clitics s ohledem na anotace korpus se bude diskutovat. Naším konečným cílem tohoto projektu je vyvinout nabitý funkcemi analýzy rámce pro Tamil, tak my také prezentovat výsledky jsme získali v automatické analýzy (norma na základě a na základě souboru) pomocí vyvinuté prostředky. Některé problematické otázky v analýze Tamil se bude rovněž projednávat.


TamilTB: An Effort Towards Building a Dependency Treebank for Tamil

TamilTB: Snaha vybudovat závislostní korpus pro tamilštinu

Annotated corpora such as treebanks are important for the development
of parsers, language applications as well as understanding of the language itself.
Only very few languages possess these scarce resources. In this paper, we describe
our effort in syntactically annotating a small corpora (600 sentences) of Tamil
language. Our annotation is similar to Prague Dependency Treebank (PDT 2.0)
and consists of 2 levels or layers: (i) morphological layer (m-layer) and (ii) analytical
layer (a-layer). For both the layers, we introduce annotation schemes i.e. positional
tagging for m-layer and dependency relations (and how dependency structures
should be drawn) for a-layers. Finally, we evaluate our corpora in the tagging and
parsing task using well known taggers and parsers and discuss some general issues
in annotation for Tamil language.

Anotovaná korpusy jako treebanks jsou důležité pro rozvoj
analyzátorů, jazyk aplikace, stejně jako znalost jazyka.
Jen velmi málo jazyků, mají tyto omezené zdroje. V tomto příspěvku popisujeme
naše eort v syntakticky anotace malé korpusy (600 vět) tamilského
jazyk. Naše poznámka je podobný Pražský závislostní korpus (PDT 2.0)
a skládá se ze 2 úrovní nebo vrstev: (i) morfologické vrstvy (m-layer) a (ii) analytické
vrstva (vrstvy). Pro obě vrstvy, jsme zavedli anotace programů, tj. polohy
Tagging pro m-vrstvě a vztahy závislosti (a jak závislost struktury
by měla být vypracována) pro vrstev. Nakonec jsme se zhodnotit naše korpusy v označování a
analýze úlohy pomocí známých značkovače a analyzátory a diskutovat některé obecné otázky
V anotaci na Tamil jazyce.


Tamil dependency parsing: results using rule based and corpus based approaches

Závislostní parser pro tamilštinu: výsledky pravidlového a korpusového přístupu

Very few attempts have been reported in the literature on dependency parsing for Tamil. In this paper, we report results obtained for Tamil dependency parsing with rule-based and corpus-based approaches. We designed annotation scheme partially based on Prague Dependency Treebank (PDT) and manually annotated Tamil data (about 3000 words) with dependency relations. For corpus-based approach, we used two well known parsers MaltParser and MSTParser, and for the rule-based approach, we implemented series of linguistic rules (for resolving coordination, complementation, predicate identification and so on) to build dependency structure for Tamil sentences. Our initial results show that, both rule-based and corpus-based approaches achieved the accuracy of more than 74% for the unlabeled task and more than 65% for the labeled tasks. Rule-based parsing accuracy dropped considerably when the input was tagged automatically.

Lze nalézt jen velice málo informací o syntaktické analýze tamilštiny. V tomto článku popisujeme prvotní experimenty zaměřené na syntaktickou analýzu tamilštiny na základě pravidel a s pomocí korpusu. Anotační schéma bylo odvozeno od Pražského závislostního treebanku, proběhla ruční anotace cca 3000 slov. Pro analýzu založenou na korpusu používáme MST parser a Malt parser. Pro pravidlový přístup jsme implementovali řadu gramatických pravidel. V obou přístupech překročila úspěšnost analýzy 74%.


Tamil Dependency Treebank (TamilTB) - 0.1 Annotation Manual

Tamilský závislostní korpus (TamilTB) - Anotační manuál (verze 0.1)

Tamil Dependency Treebank (TamilTB)  is
an attempt to develop a syntactically annotated corpora for Tamil. TamilTB
contains 600 sentences enriched with manual annotation of morphology and
dependency syntax in the style of Prague Dependency Treebank. TamilTB
has been created at the Institute of Formal and Applied Linguistics, Charles
University in Prague. This report serves the purpose of how the annotation has been done at morphological level and syntactic level. Annotation scheme has been elaborately discussed with examples.

Tamilský závislostní treebank (TamilTB) je
pokusem vytvořit syntakticky anotovaný korpus pro tamilštinu. TamilTB
obsahuje 600 vět obohacených o ruční morfologickou anotaci a
závislostní syntax ve stylu Pražského závislostního korpusu (PDT). TamilTB
byl vytvořen v Ústavu formální a aplikované lingvistiky, Univerzity Karlovy v Praze. Anotační pravidla jsou podrobně popsána a ilustrována příklady.


TamilTB is a first published syntactically annotated corpus of Tamil. TamilTB will allow a more rapid development of language technologies for Tamil (especially parsing and morphological analysis).

TamilTB je první zveřejněný syntakticky anotovaný korpus tamilštiny, který umožní rozvoj jazykových technologií (zejména morfologické analýzy a parsingu) pro tento jazyk.


eppex: Epochal Phrase Table Extraction for Statistical Machine Translation

eppex: Epochální extrakce frázových tabulek pro statistický strojový překlad

We present a tool that extracts phrase pairs from a word-aligned parallel corpus and filters
them on the fly based on a user-defined frequency threshold. The bulk of phrase pairs to be
scored is much reduced, making the whole phrase table construction process faster with no
significant harm to the ultimate phrase table quality as measured by BLEU. Technically, our
tool is an alternative to the extract component of the phrase-extract toolkit bundled with Moses
SMT software and covers some of the functionality of sigfilter.

Představujeme nástroj pro extrakci překladových párů z korpusu zarovnaného po slovech. Nástroj již během extrakce málo četné páry ignoruje a šetří tak čas následného zpracování a diskový prostor.


Named Entities from Wikipedia for Machine Translation

Pojmenované entity z Wikipedie ve strojovém překladu

In this paper we present our attempt to improve machine translation of named entities by using Wikipedia. We recognize named entities based on categories of English Wikipedia articles, extract their potential translations from corresponding Czech articles and incorporate them into a statistical machine translation system as translation options. Our results show a decrease of translation quality in terms of automatic metrics but positive results from human annotators. We conclude that this approach can lead to many errors in translation and therefore should always be combined with the standard statistical translation model and weighted appropriately.

V článku představujeme pokus o zlepšení strojového překladu pojmenovaných entit s využitím Wikipedie. Pojmenované entity rozpoznáváme na základě kategorií anglických článků Wikipedie, následně extrahujeme jejich potenciální překlady z odpovídajících českých článků a přidáváme je jako nové možnosti překladu do statistického systému pro strojový překlad. Automatická metrika kvality překladu značí její zhoršení, avšak podle ruční anotace se naše překlady jeví jako lepší. Docházíme k závěru, že tento přístup vede v řadě chyb v překladu a měl by být proto vždy kombinován se standardním statistickým překladovým modelem. Měla by mu také být přiřazena přiměřená váha.

Ondřej Hálek
Rudolf Rosa
Aleš Tamchyna
Ondřej Bojar


Multilevel annotation of a Czech learner corpus

Víceúrovňová anotace českého žákovského korpusu

The paper describes a learner corpus of Czech, compiled from short essays written by students of Czech as a second or foreign language. We discuss the project’s background assumptions, the process of text acquisition, transcription and mark-up,
and finally focus on the annotation scheme, consisting of multiple interlinked levels to
cope with a wide range of error types present in the input. Manual annotation is complemented by automatic error identification wherever possible and morphosyntactic tags for all word forms both in the emended and the original text. The annotation schema is tested on a doubly-annotated sample of approx. 10,000 words with fair inter-annotator agreement results.

Článek popisuje žákovský korpus češtiny, který je kompilací krátkých prací napsaných studenty češtiny jako druhého jazyka. Věnujeme se pozadí projektu, základním požadavkům, procesu sběru textů, přepisu a anotaci. Anotace spočívá v několika vzájemně propojených rovinách, které zachycujou široké spektrum druhů chyb v textu. Ruční anotace je doplněna automatickou identifikací některých chyb. Navíc původní i opravený text je otegován morfologickými značkami. Anotační schéma je otestováno na vzorku o velikosti cca 10.000 slov oanotovaném dvěma nezávislými skupinami anotátorů s vyhovující iaa.

Svatava Škodová
Barbora Štindlová
Jirka Hana
Alexandr Rosen


We propose a method of automatic identification of various error types in machine translation output. The approach is mostly based on monolingual word alignment of the hypothesis and the reference translation. In addition to common lexical errors misplaced words are also detected.
A comparison to manually classified MT errors is presented. Our error classification is inspired by that of Vilar et al. (2006), although distinguishing some of their categories is beyond the reach of the current version of our system.

Navrhujeme metodu pro automatickou identifikaci různých typů chyb ve výstupu strojového překladu. Přístup je převážně založen na jednojazyčném slovním zarovnání hypotézy a referenčního překladu. Kromě běžných lexikálních chyb se zjišťují také chyby slovosledu. Předkládáme srovnání s ručně klasifikovanými chybami MT. Naše klasifikace je inspirovaná klasifikací Vilara et al. (2006), přestože rozlišení některých jejich kategorií přesahuje možnosti současné verze našeho systému.

Mark Fishel
Ondřej Bojar
Daniel Zeman
Jan Berka


Quiz-Based Evaluation of Machine Translation

Vyhodnocování strojového překladu pomocí otázek

This paper proposes a new method of manual evaluation for statistical machine translation,
the so-called quiz-based evaluation, estimating whether people are able to extract information
from machine-translated texts reliably. We apply the method to two commercial and two experimental
MT systems that participated in WMT 2010 in English-to-Czech translation. We
report inter-annotator agreement for the evaluation as well as the outcomes of the individual
systems. The quiz-based evaluation suggests rather different ranking of the systems compared
to the WMT 2010 manual and automatic metrics. We also see that overall, MT quality is becoming
acceptable for obtaining information from the text: about 80% of questions can be answered
correctly given only machine-translated text.

Článek navrhuje novou metodu ručního vyhodnocování kvality překladu, tzv. evaluaci pomocí otázek.


Approximating a Deep-Syntactic Metric for MT Evaluation and Tuning

Aproximace hloubkově-syntaktické metriky pro vyhodnocování a optimalizaci strojového překladu

SemPOS is an automatic metric of machine
translation quality for Czech and English focused
on content words. It correlates well
with human judgments but it is computationally
costly and hard to adapt to other languages
because it relies on a deep-syntactic
analysis of the system output and the reference.
To remedy this, we attempt at approximating
SemPOS using only tagger output and
a few heuristics. At a little expense in correlation
to human judgments, we can evaluate
MT systems much faster. Additionally, we describe
our submission to the Tunable Metrics
Task in WMT11.

SemPOS je automatická metrika kvality strojového překladu založená na hloubkové syntaxi. Poměrně dobře koreluje s lidským hodnocením, ale je výpočetně drahá. V příspěvku zkoumáme její odlehčené verze a zapojujeme je i do iterativní optimalizace překladového modelu.


Problematic relations in the PDT annotation: Explication and Cause

Problematické vztahy v anotaci PDT: Explikace a příčina

The presentation disscused the possibilities of of dictinction of explicative and causal relations for the purposes of discourse annotation.

Příspěvek se zabýval možnostmi rozlišení explikativních a příčinných vztahů pro potřeby anotace diskurzu.


As the title suggests, our paper deals with web discussion fora, whose
content can be considered to be a special type of comparable corpora. We
discuss the potential of this vast amount of data available now on the
World Wide Web nearly for every language, regarding both general and common
topics as well as the most obscure and specific ones. To illustrate our
ideas, we propose a case study of seven wedding discussion fora in five
languages.

Článek popisuje, kterak lze využít potenciálu webových diskusních fór coby porovnatelných korpusů.


Russian tagger developed on top of the resource-light tagger (Hana et al 2004). Available either as part of the Morph system or as a simple model for the TnT tagger.

Ruský tagger vyvinutý nad minimálním taggerem (Hana et al 2004).


Translating prepositions from Czech into Russian: challenges for the Machine Translation

Překlad předložek z češtiny do ruštiny: výzva pro strojový překlad

In this article we explore differences in preposition usage in Czech and Russian languages and how the Machine Translation (MT) system between the languages deals with prepositions. We focus on the errors that occur in preposition phrases. Our study involves research on a parallel corpus for theoretical evidence and analysis of the output of the rule-based Machine
Translation (RBMT) system for closely related languages Česílko and the Statistical MT (SMT) system Joshua from Czech into Russian.

V článku popisujeme jak překlad předložek ovlivňuje kvalitu strojového překladu a navrhujeme způsob jeho vylepšení.


English to Czech machine translation as it is implemented in the TectoMT system consists of three phases: analysis, transfer and synthesis. The system uses tectogrammatical (deep-syntactic dependency) trees as the transfer medium. Each phase is divided into so-called blocks, which are processing units that solve linguistically interpretable tasks (e.g., statistical part-of-speech tagging or rule-based reordering of clitics). I will shortly introduce the linguistic layers of language description which are used for the translation and I will describe basic concepts of the NLP framework Treex in which the MT system is implemented. I will explain the whole translation process by step by step examples. After showing statistics on translation errors and their sources, I will describe recent improvements of the system. One of the most helpful improvements was the utilization of Maximum Entropy rich-feature translation models and Hidden Markov Tree Models in the transfer phase of translation, which is interpretable as labeling nodes of dependency trees. The translation results are evaluated using both automatic metric BLEU and human judgments from the WMT 2011 evaluation. Discussion on the manual evaluation (and meta evaluation) of MT is welcomed. For those interested in the Treex framework, I have another talk as well as a hands-on tutorial.

Strojový překlad z angličtiny do češtiny implementovaný v systému TectoMT sestává ze tří fází: analýzy, transferu a syntézy. Transfer se provádí na tektogramatické rovině upravené pro účely překladu. Každá fáze je rozčleněna do bloků, které řeší konkrétní lingvisticky interpretovatelný úkol (např. přiřazení morfologických značek statistickým taggerem, či přesun klitik podle ručně psaných pravidel). Systém TectoMT je navržen modulárně - bloky je možné zaměňovat za alternativní implementace a také využít i pro jiné aplikace než strojový překlad. Přednáška představí základní průběh celého překladu a zaměří se na popis vylepšení, která byla provedena v posledním roce, zejména: (a) využití tektogramatického jazykového modelu a Hidden Markov Tree Models, (b) nový systém slovníků natrénovaných na paralelním korpusu CzEng pomocí metody Maximum Entropy. Volitelným dodatkem je interaktivní tutoriál o platformě Treex.


Influence of Parser Choice on Dependency-Based MT

Vliv volby parseru na kvalitu závislostního strojového překladu

Accuracy of dependency parsers is one of the key factors limiting the quality of dependency-based machine translation. This paper deals with the influence of various dependency parsing approaches (and also different training data size) on the overall performance of an English-to-Czech dependency-based statistical translation system implemented in the Treex framework. We also study the relationship between parsing accuracy in terms of unlabeled attachment score and machine translation quality in terms of BLEU.

Úspěšnost závislostních parserů je jedním z hlavních faktorů, které určují kvalitu závislostního strojového překladu. Tento článek zkoumá vliv různých přístupů k závislostnímu parsingu (a také různých velikostí trénovacích dat) na výslednou kvalitu anglicko-českého statistického překladového systému implementovaného ve frameworku Treex. Článek též rozebírá vztah mezi intrinsickou evaluací parsingu (UAS) a extrinsickou (BLEU).

Martin Popel
David Mareček
Nathan David Green
Zdeněk Žabokrtský


Flexible Error Annotation Tool (feat) is an environment for layered error annotation of learners corpora.

Feat je prostředí pro víceúrovňovou chybovou anotaci studenských korpusů.


Lexical Annotation Workbench (LAW) is an integrated environment for morphological annotation. It supports simple morphological annotation, integration and comparison of different annotations of the same text, serching for particular word, tag etc. This version adds several new input filters, adds tagset support (guided tag entry, tag help), and fixes many bugs.

Lexical Annotation Workbench (LAW) je IDE pro morfologickou anotaci. Umožňuje prostou anotaci, slučování a porovnáná různých anotací téhož textu, vyhledávání, atd. Tato verze přidává několik vstupních filtrů, podporu tagsetů (vkládání tagů, nápověda pro tagy, atd), and opravuje mnoho chyb.


Morph - system for morphological analysis and tagging, including supporting tools for corpus conversion, evaluation, etc.

Morph - systém pro morfologickou analýzu a značkování, včetně podpůrných nástrojů pro konverzi korpusů, evaluaci, atd.


Korpus studentů češtiny s chybovou anotací

The  paper  describes  a  learner  corpus  of Czech, currently under development.  The corpus  captures  Czech  as  used  by  non-native speakers.  We discuss its structure, the layered annotation of errors and the annotation process.

Článek popisuje studentský korpus češtiny. Korpus zachycuje češtinu používanou nerodilými mluvčími. Popisujeme jeho strukturu, více-úrovňovou chybovou anotaci a proces anotace.

Jirka Hana
Alexandr Rosen
Svatava Škodová
Barbora Štindlová


Fusional languages have rich inflection. As a consequence, tagsets capturing their morphological features are necessarily large. A natural way to make a tagset manageable is to use a structured system. In this paper, we present a positional tagset for describing morphological properties of Russian. The tagset was inspired by the Czech positional system (Hajic 2004). We have used preliminary versions of this tagset in our previous work (e.g., Hana et al. (2004, 2006); Feldman (2006); Feldman and Hana (2010)). Here, we both systematize and extend these preliminary versions (by adding information about animacy, aspect and reflexivity); give a more detailed description of the tagset and provide comparisons with the Czech system.

Flektivní jazyky mají bohaté skloňování, takže tagsety popisující jejich morfologické vlasnosti musí být nutně velké. Pro takové tagsety je vhodné použít strukturované tagy. V tomto článku popisujeme poziční tagset zachycující morfologii ruštiny. Vychází z Českého pozičního tagsetu (Hajič 2004) a rozvíjí předběžnou verzi tohoto tagsetu, kterou jsme používali v naší dosavadní práci (např. Hana et al. (2004, 2006); Feldman (2006); Feldman and Hana (2010)). Zde jednak prezentujeme systematičtější a úplnejší verzi (přidali jsme informaci o životnosti, vidu a zvratnosti) a jednak ho podrobněji popisujeme a srovnáváme s Českým pozičním tagsetem.


Challenges of Cheap Resource Creation for Morphological Tagging

Úskalí levné tvorby zdrojů pro morfologické značkování

We  describe  the  challenges  of  resource creation  for  a  resource-light  system  for morphological  tagging  of  fusional  languages (Feldman and Hana, 2010).   The constraints on resources (time, expertise, and money) introduce challenges that are not present in development of morphological tools and corpora in the usual, resource intensive way.

V článku popisujeme problémy tvorby zdrojů pro resource-light tagger flektivních jazyků (Feldman and Hana, 2010). Omezení dostupných zdrojů (čas, odbornost a finance) s sebou přinášejí problémy, které se nevyskytují při tvorbě zdrojů tradičním způsobem.


Resource-light morphological analysis of highly inflective language

Morfologická analýza flektivních jazyků nenáročná na zdroje

This course lays out the linguistic and computational foundations of morphological analysis and tagging of highly inflected languages, with an emphasis on resource-light analysis and tagging of fusional languages.

Kurz vysvětluje lingvistické a komputační základy morfologické analýzy a značkování flektivních jazyků. Důraz je kladen na analýzu a značkování nenaročné na zdroje.


Russian morphologically annotated corpus

Corpus containing circa 6000 words from Orwel's 1984; manually annotated using Russian positional tagset

Korpus obsahující cca 6000 slov z Orwelova 1984, ručně označkovaný pomocí ruského pozičního tagsetu


How Free is the "Free Czech Word Order"? (On the Word Order of the Czech and German Utterance)

Jak volný je "volný český slovosled"? (O slovosledu české a německé výpovědi)

Comparison of a part of system ordering in Czech and German sentence (word order of free verbal modifications).

Srovnání části systémového uspořádání v české a německé větě (slovosled volných slovesných doplnění).


Valency as a Word-Order Factor - How Far It Influences Czech and German Word Order

Valence jako slovosledný faktor - jak dalece ovlivňuje slovosled české a německé výpovědi

Review of system ordering of the free verbal modifications on data from the Prague Dependency Treebank.

Přezkoumání systémového uspořádání volných slovesných doplnění na datech z Pražského závislostního korpusu.


An Older Czech Text Corpus for Linguistic Purposes

Korpus starších českých textů a jeho využití pro lingvistické účely

Presentation of the corpus of older Czech texts and its use for linguistic purposes - for studying the so-called system ordering.

Prezentace představuje korpus starších českých textů a jeho využití k lingvistickým účelům - ke zkoumání tzv. systémového uspořádání.


Dependency Parsing as a Sequence Labeling Task

Závislostní parsing coby úkol sekvenčního značkování

The aim of this paper is to explore the feasibility of solving the
dependency parsing problem using sequence labeling tools. We introduce an
algorithm to transform a dependency tree into a tag sequence suitable for
a sequence labeling algorithm and evaluate several parameter settings on the
standard treebank data. We focus mainly on Czech, as a high-inflective
free-word-order language, which is not so easy to parse using traditional
techniques, but we also test our approach on English for comparison.

Náplní tohoto článku je ověřit možnost řešit úkol závislostního parsingu pomocí nástrojů pro sekvenční značkování. Uvádíme algoritmus pro převod závislostních stromů na značky vhodné pro algoritmus sekvenčního značkování a vyhodnocujeme několik nastavení parametrů na standardních datech z treebanku.


Large corpora are essential to modern methods of computational linguistics
and natural language processing. In this paper, we describe an ongoing
project whose aim is to build a largest corpus of Czech texts. We are
building the corpus from Czech Internet web pages, using (and, if needed,
developing) advanced downloading, cleaning and automatic linguistic
processing tools. Our concern is to keep the whole process language
independent and thus applicable also for building web corpora of other
languages. In the paper, we briefly describe the crawling, cleaning, and
part-of-speech tagging procedures. Using a prototype corpus, we provide a
comparison with a current corpora (in particular, SYN2005, part of the
Czech National Corpora). We analyse part-of-speech tag distribution, OOV
word ratio, average sentence length and Spearman rank correlation
coefficient of the distance of ranks of 500 most frequent words. Our
results show that our prototype corpus is now quite homogenous. The
challenging task is to find a way to decrease the homogeneity of the text
while keeping the high quality of the data.

Velké korpusy jsou základem pro moderní metody počítačové lingvistiky. V tomto článku popisujeme probíhající projekt, jehož cílem je vytvořit největší korpus českých textů.

Drahomíra Spoustová
Miroslav Spousta
Pavel Pecina


The Constituent Negation and Ways to Express it in Contemporary Czech

Členská negace a způsob jejího vyjadřování v současné češtině

The thesis is focused on constituent negation and ways of its expressing in contemporary Czech, or more precisely in Czech National Corpus (SYN2005) and Prague Dependency Treebank (version 2.0). In most of the Czech linguistic handbooks, constituent negation was treated as such a negation that does not operate on predicate. The author offers a new definition of constituent negation in Czech, based on data research and study of relevant literature concerning syntactic negation. Further, the author proposes a formalization of the structure of constituent negation within the framework of construction grammar and she also explores the possibility to express the findings in PDT.

Keywords: constituent negation, adversative coordination, Construction Grammar, Functional Generative Description, Prague Dependency Treebank

Tato práce je věnována problematice členské negace a způsobům jejího vyjadřování v současné češtině, respektive v datech Českého národního korpusu (SYN2005) a Pražského závislostního korpusu (verze 2.0). Za členskou negaci byla dosud ve většině českých příruček považována taková negace, která neoperuje na predikátu. Autorka na základě analýzy dat a studia české i zahraniční odborné literatury týkající se syntaktické negace definuje nové vymezení členské negace v češtině, navrhuje formalismy pro zaznamenání struktur se členskou negací v systému konstrukční gramatiky a zkoumá možnosti zachycování tohoto jevu v PDT.

Klíčová slova: členská negace, adverzativní koordinace, konstrukční gramatika, funkční generativní popis, Pražský závislostní korpus


Maximum Entropy Translation Model in Dependency-Based MT Framework

Maximum Entropy překladový model v rámci závislostního strojového překladu

Maximum Entropy Principle has been
used successfully in various NLP tasks. In
this paper we propose a forward translation
model consisting of a set of maximum
entropy classifiers: a separate classifier
is trained for each (sufficiently frequent)
source-side lemma. In this way
the estimates of translation probabilities
can be sensitive to a large number of features
derived from the source sentence (including
non-local features, features making
use of sentence syntactic structure,
etc.). When integrated into English-to-
Czech dependency-based translation scenario
implemented in the TectoMT framework,
the new translation model significantly
outperforms the baseline model
(MLE) in terms of BLEU. The performance
is further boosted in a configuration
inspired by Hidden Tree Markov Models
which combines the maximum entropy
translation model with the target-language
dependency tree model.

Článek navrhuje přímý (forward) překladový model sestávající z množiny maximum entropy klasifikátorů: pro každé (dostatečně časté) zdrojové lemma je natrénován jeden klasifikátor. Tímto způsobem mohou být překladové pravděpodobnosti modelovány s ohledem na mnoho rysů (features) ze zdrojové věty, včetně nelokálních rysů využívajících syntaxe věty. Po zapojení do anglicko-českého překladového systému TectoMT bylo dosaženo signifikantního zlepšení oproti původnímu (baseline) překladovému modelu - měřeno metrikou BLEU.

David Mareček
Martin Popel
Zdeněk Žabokrtský


In this contribution, we demonstrate the description of semantic diatheses on the example of Czech locative semantic diathesis. We distinguish semantic diatheses from grammatical diatheses as two types of  changes in valency structure of verbs. Semantic diatheses are  characterized by the changes in mapping of situational participants and valency complementations. Changes in valency structure of verbs associated with semantic diatheses vary even within one type of diathesis so that they cannot be described by formal syntactic rules. For the purpose of the description of semantic diatheses, we propose to set separate valency frames corresponding to the members of semantic diatheses and to capture the relevant changes in valency structure by general lexical rules based on an appropriate formal representation of meaning of verb based on predicate decomposition (usually called lexical-conceptual structure).

V tomto příspěvku ukazujeme na příkladu lokativní sémantické diateze možnosti lexikografického popisu sémantických diatezí. Odlišujeme sémantické diateze od gramatických diatezí. Sémantické diateze charakterizují změny v korespondenci situačních participantů a valenčních doplnění, které vedou k takovým změnám ve valenční struktuře sloves, které se liší i v rámci jednoho typu diateze. Sémantické diateze navrhujeme zachycovat pomocí oddělených valenčních rámců propojených určitým typem sémantické diateze. Změny ve valenční struktuře spojené se sémantickými diatezemi jsou pak zachyceny pomocí lexikálních pravidel vycházejících z lexikálně sémantické reprezentace sloves založené na predikátové dekompozici (tzv. lexikálně-konceptuálních strukturách).


Representation of Changes in Valency Structure of Verbs in the Valency Lexicon of Czech Verbs

Reprezentace změn ve valenční struktuře sloves ve Valenčním slovníku českých sloves

In this paper, we deal with some changes in valency structure of Czech verbs from a lexicographic point of view. As a first step,
two parts of verbal meaning are stipulated: situational and structural meaning. These two parts of meaning constitute complex meaning structure of verbs. On the basis of three types of asymmetry in the correspondence between
components of situational and structural meaning, we distinguish three typologically different
changes in valency structure of Czech verbs. We propose a method of their description in the valency lexicon of Czech verbs, VALLEX. We show that two of them can be described by lexical rules stored in the grammar component of the lexicon whereas the third one can be treated in a special attribute in the data component of the lexicon.

V tomto příspěvku se zabýváme vybranými změnami ve valenční struktuře českých sloves z pohledu lexikografie. Nejprve vymezujeme dva typy slovesného významu, situační a strukturní význam, které společně tvoří komplexní významovou strukturu slovesa. Na základě tří typů asymetrie v korespondenci mezi komponentami situačního a strukturního významu vyčleňujeme tři typy změn ve valenční struktuře českých sloves a navrhujeme jejich zachycení ve valenčním slovníku VALLEX.


The Representation of Diatheses in the Valency Lexicon of Czech Verbs

Reprezentace diatezí ve valenčním slovníku českých sloves

In the present paper, we deal with diatheses in Czech from a lexicographic point of view. We propose a method of their description in
the valency lexicon of Czech verbs VALLEX. We distinguish grammatical and semantic diatheses as two typologically different changes in verbal
valency structure. In case of grammatical diatheses, these changes are regular enough to be described by formal syntactic rules. In contrast, the changes in valency structure of verbs associated with semantic diatheses vary even within one type of diathesis. Thus for the latter type, we propose to set separate valency frames corresponding to their members and to capture the changes in verbal valency structure by lexical rules based on an adequate lexical-semantic representation of verb meaning.

V tomto článku se zabýváme diatezemi v češtině z hlediska lexikografa. Navrhujeme metodu jejich popisu ve slovníku českých sloves VALLEX. Rozlišujeme dva typy diatezí, gramatické a sémantické, jako dvě typologicky odlišné typy změn ve valenční struktuře sloves.


When Informatics Meets Neuroscience: Software and Statistics for Human Brain Imaging

Když informatika spolupracuje s neurovědou: Software a statistika pro zobrazování lidského mozku

Human language as one of the most complex systems has fascinated scientists
from various fields for decades. Whether we consider language from a point of
view of a classical linguistics, psychology, computational linguistics,
medicine or neurolinguistics, it keeps bringing up questions such as "How do we
actually comprehend language in our brain?"

The most interesting achievements often result from a joined effort of multiple
scientific fields. In this paper, we will explore how statistics and
informatics contributed to human brain neuroimaging and how this answered some
of the linguistic questions about human brain.

The purpose of this paper is not to survey these achievements in detail, but
rather to offer a comprehensive coverage of methods and techniques on the
border of neuroimaging and informatics. To achieve this, we will touch on some
of the basic and advanced methods for neuroimaging techniques, ranging from
fundamental statistical analysis with the General Linear Model, Bayesian
analysis methods to multivariate pattern classification, in the light of
neurolinguistic research.

Jazyk jako jeden z nejsložitějších systémů fascinoval vědce různých oborů po desetiletí. Ať už popisujeme jazyk z pohledu klasické lingvistiky, psychologie, komputační lingvistiky, medicíny nebo neurolingvistiky, stále se objevují otázky jako "Jak vlastně používáme a chápeme jazyk na úrovni našeho mozku?"

Nejzajímavější výsledky často vznikají ze spojeného úsilí několika vědeckých odvětví. V tomto článku ukážeme, jak statistika a informatika přispívají k zvládnutí zobrazení lidského mozku a jak tento pokrok zodpověděl některé z lingvistických otázek o lidském mozku.

Účelem tohoto článku není podat podrobný přehled o těchto výsledcích, ale spíše nabídnout srozumitelnou rešerši metod a technik na hranici neurověd a informatiky. Abychom tohoto cíle dosáhli, krátce se dotkneme základních a pokročilých metod zobrazování lidského mozku, od základní statistické analýzy a obecného lineárního modelu, přes bayesovské analýzy, až po rozpoznávání vzoru, a to z pohledu neurolingvistiky.


Czech Information Retrieval with Syntax-based Language Models

České vyhledávání informací  za použití syntaktických jazykových modelů

In this paper, we deal with information retrieval approach based on language model paradigm, which has been intensively investigated in recent years. We propose, implement, and evaluate an enrichment of language model employing syntactic dependency information acquired automatically from both documents and queries. By testing our model on the Czech test collection from Cross Language Evaluation Forum 2007 Ad-Hoc track, we show positive contribution of using dependency syntax in this context.
I

Článek se zabývá vyhledávání informací v češtině za použití syntaktických jazykových modelů.


Chronicle: on the fifth Corpus Linguistic Conference, held every other year in Great Britain

Kronika: o pátém ročníku konference Corpus Linguistics, pořádané jednou za dva roky ve Velké Británii.


Annotation of Discourse Relations at the Institute of Formal and Applied Linguistics

Anotace mezivýpovědních textových vztahů na Ústavu formální a aplikované lingvistiky MFF UK

Short introduction of the discourse annotation project at the Institute of Formal and Applied Linguistics

Jedním z projektů, které PDT 2.0 obohatí o novou vrstvu lingvistického popisu, je projekt anotace mezivýpovědních textových vztahů. Cílem tohoto projektu je zachytit sémantickou výstavbu textu (ve světovém lingvistickém povědomí „discourse structure“), zejména pak sémantické vztahy mezi jednotlivými výpověďmi.


Prefix and Suffix Automatic Recognition Using Affisix Tool

Automatické rozpoznávání předpon a přípon s pomocí nástroje Affisix

The article deals with automatic word segmentation. Several methods are presented which were implemented within the tool Affisix.

Článek se zabývá problematikou segmentace slov. Ukáže, k čemu lze znalosti o segmentaci slov použít, a popíše několik metod pro automatickou segmentaci slov. Závěrem představí open source nástroj Affisix implementující představené metody.


Full Valency. Verb Valency without Distinguishing Complements and Adjuncts

Plná valence. Slovesná valence bez rozlišení typu doplnění

The aim of the article is to introduce a new approach to verb valency analysis. This approach – full valency – observes properties of verbs which occur solely in actual language usage. The term ‘full valency’ means that all arguments, without distinguishing complements (obligatory arguments governed by the verb) and adjuncts (optional arguments directly dependent on the predicate verb), are taken into account. Because of an expectation that full valency reflects some mechanism which governs verb behaviour in a language, hypotheses concerning (1) the distribution of full valency frames, (2) the relationship between the number of valency frames and the frequency of the verb, and (3) the relationship between the number of valency frames and verb length were tested empirically. To test the hypotheses, a Czech syntactically annotated corpus – the Prague Dependency Treebank – was used.

Článek představuje nový pohled na valenci sloves, kdy se zkoumají vlastnosti sloves v rámci jejich skutečného užití. Termín "plná valence"  značí, že jsou uvažována všechna doplnění bez rozlišení obligatornosti. Jelikož lze očekávt, že plná valence odráží určité mechanismy, které řídí chování sloves v jazyce, jsou v článku testovány tři hypotézy: distribuce plných valenčních rámců, vztah mezi počtem rámců a frekvencí výskytu slovesa a vztah mezi počtem valenčních rámců a délkou slovesa. K otestování těchto hypotéz je užit Pražský závislostní korpus.


Studie strojového překladu mezi indonézštinou a malajštinou

The article describes issues encountered in the first implementation of an MT system between Indonesian and Malaysian.

článek se zabývá problémy implementace systému automatického překladu mezi indonézštinou a malajštinou pomocí systému Apertium


Statistical Machine Translation between Languages with Significant Word Order Difference

Statistický strojový překlad mezi jazyky s výrazně odlišným slovosledem

One of the difficulties statistical machine translation (SMT) systems face are differences in word order. When translating from a language with rather fixed SVO word order such as English, to a language where the preferred word order is dramatically different (such as the SOV order of Urdu, Hindi, Korean, ...), the system has to learn long-distance reordering of the words.

Jednou z obtíží, kterým čelí systémy statistického strojového překladu (SMT), jsou rozdíly ve slovosledu. Při překladu z jazyka, jako je angličtina, s pevným slovosledem typu SVO, do jazyka, jehož upřednostňovaný slovosled se dramaticky liší (např. slovosled typu SOV v urdštině, hindštině, korejštině, ...) se systém musí naučit přeuspořádávat slova a fráze na velkou vzdálenost v rámci celé věty.


UMC005: Anglicko-urdský paralelní korpus

English-Urdu Parallel Corpus serves training of statistical machine translation between these two languages. It consists of four parts: 1. English-Urdu part of the EMILLE corpus; 2. texts from the Wall Street Journal (Penn Treebank); 3. translations of the Quran; 4. translations of the Bible. Parallel data that existed before (EMILLE) have been completely and newly manually cleaned, corrected alignment and many sentences on the Urdu side.

Anglicko-urdský paralelní korpus slouží k trénování statistického strojového překladu mezi těmito dvěma jazyky. Skládá se ze čtyř částí: 1. Anglo-urdská část korpusu EMILLE; 2. texty z Wall Street Journalu (Penn Treebank); 3. překlady Koránu; 4. překlady Bible. Paralelní data, která existovala dříve (EMILLE) byla kompletně a nově ručně vyčištěna, opraveno zarovnání i řada vět na urdské straně.


On the Prague functional approach. In: Travaux linguistiques de Prague /3, pp. 291-297, 1968, reprinted

O pražském funkčním přístupu. V: Travaux linguistiques de Prague /3, pp. 291-297, 1968, přetištěno

Selected works of Pavel Novák (1932-2007) is the first standalone publication of the scientific papers by Czech linguist, Bohemist and Albanist who bound his research to the Faculty of Arts of the Charles University in Prague. His stimulating thoughts keep leading us to non-trivial thinking about language and linguistics.

Výbor z díla Pavla Nováka (1932–2007) představuje vůbec první samostatné vydání vědeckých příspěvků českého jazykovědce – obecného lingvisty, bohemisty a albanisty, který spojil své odborné působení především s Filozofickou fakultou Univerzity Karlovy. Jeho podnětné myšlenky stále otevírají cesty k netriviálnímu uvažování o jazyce a jazykovědě, avšak dnes jsou čtenářům spíše neznámé, protože jsou rozesety po různých časopisech a sbornících nebo zůstaly ukryty v těžko dostupných výzkumných zprávách. Hlavním cílem knihy je tak umožnit současnému a budoucímu českému jazykovědnému publiku poznávat osobitý naturel lingvistického myšlení Pavla Nováka. Výbor je koncipován jako průřezový, editoři J. Křivan, J. Januška a J. Chromý do něj vybrali texty z různých tematických oblastí (metodologie lingvistiky, jazykový význam, pády, teorie syntaxe, dějiny novodobé české jazykovědy, popularizační články o jazyce aj.), s důrazem na ty příspěvky, které stále vynikají svojí aktuálností. Kniha je uvedena studiemi doc. Z. Starého, prof. J. Kořenského, prof. P. Sgalla a průvodním komentářem hlavního editora J. Křivana. Součástí výboru je rovněž Novákův životopis a nově sestavená bibliografie.


Exodus – Exploring SMT for EU Institutions

In this paper, we describe Exodus, a joint
pilot project of the European Commission’s
Directorate-General for Translation (DGT)
and the European Parliament’s Directorate-
General for Translation (DG TRAD) which
explores the potential of deploying new ap-
proaches to machine translation in European
institutions. We have participated in the
English-to-French track of this year’s WMT10
shared translation task using a system trained
on data previously extracted from large in-
house translation memories.

V tomto článku popisujeme Exodus, společný pilotní projekt generálního ředitelství pro překlad Evropské komise a generálního ředitelství pro překlad Evropského parlamentu, který zkoumá možnosti využití nových směrů strojového překladu v evropských institucích. Zúčastnili jsme se letošní soutěže WMT10 v překladu z angličtiny do francouzštiny s použitím trénovacích dat získaných z překladových pamětí institucí.


Coreferential Relationships in Text – Comparative Analysis of Annotated Data

Koreferenční vztahy v textu – srovnávací analýza anotovaných dat

Кореферентные отношения в тексте – сравнительный анализ размеченных данных

The research is based on a developing project that aims to annotate nominal coreference and bridging anaphora in the syntactically annotated corpus of Czech texts, PDT 2.0. In the process of annotating coreferential and bridging relations it became evident that the relatively low inter-annotator agreement is, to a large extent, due to the fact that a text may have a variety of legitimate objective interpretations, rather than the annotators’ mistakes or carelessness. A classification of discrepancy types and possible causes of emergence thereof is presented. Typical examples of multiple interpretations of coreferencial and bridging relations in a text are given.

Výzkum na základě probíhajícího projektu anotace rozšířené textové koreference a asociační anafory na PDT 2.0. V článku se rozebírají problematické případy a předkládá se typologie neshod mezi anotátory.

Данная работа опирается на находящийся в разработке проект разметки именной кореференции и ассоциативной анафоры на материале синтаксически аннотированного корпуса чешских текстов PDT 2.0. В ходе работы над разметкой кореференции выяснилось, что относительно низкое соответствие между разметчиками объясняется не столько их ошибками и невнимательностью, сколько объективной неоднозначностью интерпретации текста. В докладе приводится классификация типов и возможных причин несоответветствий и рассматриваются некоторые типовые примеры множественности интерпретаций кореферентных отношений в тексте.

Анна Юрьевна Недолужко


Mapping between Dependency Structures and Compositional Semantic Representations.

Mapování mezi závislostní reprezentací a reprezentací založenou na kompozicionální sémantice

This paper investigates the mapping between two semantic formalisms, namely the tectogrammatical layer of the Prague Dependency
Treebank 2.0 (PDT) and (Robust) Minimal Recursion Semantics ((R)MRS). It is a first attempt to relate the dependency-based annotation
scheme of PDT to a compositional semantics approach like (R)MRS. A mapping algorithm that converts PDT trees to (R)MRS structures
is developed, associating (R)MRSs to each node on the dependency tree. Furthermore, composition rules are formulated and the relation
between dependency in PDT and semantic heads in (R)MRS is analyzed. It turns out that structure and dependencies, morphological
categories and some coreferences can be preserved in the target structures. Moreover, valency and free modifications are distinguished
using the valency dictionary of PDT as an additional resource. The validation results show that systematically correct underspecified
target representations can be obtained by a rule-based mapping approach, which is an indicator that (R)MRS is indeed robust in relation
to the formal representation of Czech data. This finding is novel, as Czech, with its free word order and rich morphology, is typologically
different than languages analyzed with (R)MRS to date.

Tento příspěvek zkoumá mapováné mezi dvěma sémantickými reprezentacemi, jmenovitě tektogramatickou rovinou Pražského závislostního korpusu (PDT) a (Robustní) Sémantikou minimální rekurze ((R)MRS). Jde o první pokus porovnat závislostní anotační schéma PDT a přístup založený na kompozicionální sémantice. Příspěvek představuje algoritmus pro konverzi PDT stromů do (R)MRS struktur.

Max Jakob
Markéta Lopatková
Valia Kordoni


A brief introduction to the task of machine translation. Two rather different approaches to MT are described and empirically compared.

Seznámení s úlohou strojového překladu, její atraktivitou i problémy. Představení dvou velmi odlišných přístupů k překladu a jejich empirické porovnání.


Kombinace systému strojového překladu z angličtiny do češtiny

The results of two-month stay devoted to the combination of machine translation outputs when translating to Czech.

Prezentace výsledků dvouměsíční stáže zaměřené na kombinaci systémů strojového překladu do češtiny.


An introduction to machine translation for the participants of seminar led by Lucie Mladová.

Přednáška pro frekventanty semináře Lucie Mladové.


Syntax a bohaté tvarosloví ve strojovém překladu

The talk describes in detail the issues specific to English-to-Czech MT: sentence syntax and target-side rich morphology.

Přednáška podrobně představuje problémy strojového překladu specifické pro překlad z angličtiny do češtiny: otázky větného rozboru a bohaté morfologie na cílové straně.


An interview about approaches to machine translation and its current and coming potence.

Rozhovor o přístupech ke strojovému překladu a jeho současných i budoucích možnostech.


Evaluating Utility of Data Sources in a Large Parallel Czech-English Corpus CzEng 0.9

Vyhodnocení přínosu jednotlivých zdrojů dat ve velkém paralelním česko-anglickém korpusu CzEng

CzEng 0.9 is the third release of a large parallel corpus of Czech and English. For the current release, CzEng was extended by significant
amount of texts from various types of sources, including parallel web pages, electronically available books and subtitles. This paper
describes and evaluates filtering techniques employed in the process in order to avoid misaligned or otherwise damaged parallel sentences
in the collection. We estimate the precision and recall of two sets of filters. The first set was used to process the data before their inclusion
into CzEng. The filters from the second set were newly created to improve the filtering process for future releases of CzEng. Given the
overall amount and variance of sources of the data, our experiments illustrate the utility of parallel data sources with respect to extractable
parallel segments. As a similar behaviour can be expected for other language pairs, our results can be interpreted as guidelines indicating
which sources should other researchers exploit first.

CzEng 0.9 je třetí vydání velkého paralelního korpusu. V tomto vydání byl rozšířen o velké množství textů z různých typů zdrojů. Příspěvek popisuje a vyhodnocuje metody čištění paralelních dat a nabízí tak pohled na přínos jednotlivých typů zdrojů.

Ondřej Bojar
Adam Liška
Zdeněk Žabokrtský


A part of CzEng 0.9 corpus data released for the company AppTek.

Část dat z korpusu CzEng 0.9 pro využití společností AppTek v jejích překladových systémech.

Ondřej Bojar
Zdeněk Žabokrtský
Jan Hajič


Data Issues in English-to-Hindi Machine Translation

Problémy s daty při strojovém překladu z angličtiny do hindštiny

Statistical machine translation to morphologically richer languages is a challenging task and more so if the source and target languages differ in word order. Current
state-of-the-art MT systems thus deliver mediocre results. Adding more parallel data often helps improve the results; if it doesn't, it may be caused by various problems such as different domains, bad alignment or noise in the new data.
In this paper we evaluate the English-to-Hindi MT task from this data perspective. We discuss several available parallel data sources and provide cross-evaluation results on their combinations using two freely available
statistical MT systems. Together with the error analysis, we also present a new tool
for viewing aligned corpora, which makes it easier to detect difficult parts in the data even for a developer not speaking the target
language.

Statistický strojový překlad do morfologicky bohatších jazyků je obtížná úloha, a to tím více, jestliže se zdrojový a cílový jazyk liší pořádkem slov. Nejlepší současné systémy proto neprodukují optimální výsledky. Mnohdy pomůže přidat paralelní data; pokud to nepomůže, může to být způsobeno různými problémy jako rozdílné domény, špatné párování slov nebo šum v nových datech. V tomto článku vyhodnocujeme úlohu strojového překladu z angličtiny do hindštiny z této datové perspektivy. Probíráme několik existujících zdrojů paralelních dat a poskytujeme výsledky křížových testů nad kombinacemi korpusů s použitím dvou volně dostupných statistických překladových systémů. Spolu s analýzou chyb také prezentujeme nový nástroj pro prohlížení spárovaných korpusů, díky čemuž je snadnější objevit problematické či obtížné pasáže v textech i pro vývojáře, který neovládá cílový jazyk překladu.


A corpus of Hindi texts from the web suitable for language modelling: segmented into sentences and tokenized.

Korpus hindských textů z webu vhodný k jazykovému modelování: segmentovaný na věty a tokenizovaný.


UMC002: Anglicko-hindský paralelní korpus

English-Hindi parallel corpus collected from several sources. Tokenized and sentence-aligned.

Anglicko-hindský paralelní korpus sestavený z několika zdrojů, tokenizovaný a zarovnaný po větách.

Ondřej Bojar
Pavel Straňák
Daniel Zeman
Gaurav Jain
Om Prakash Damani


Building a Bilingual ValLex Using Treebank Token Alignment: First Observations

Budování dvojjazyčného valenčního slovníku zarovnáváním uzlů v závislostním korpusu: První pozorování

In this paper we explore the potential and limitations of a concept of building a bilingual valency lexicon based on the alignment of nodes
in a parallel treebank. Our aim is to build an electronic Czech<->English Valency Lexicon by collecting equivalences from bilingual
treebank data and storing them in two already existing electronic valency lexicons, PDT-VALLEX and Engvallex. For this task a special
annotation interface has been built upon the TrEd editor, allowing quick and easy collecting of frame equivalences in either of the source
lexicons. The issues questioning the annotation practice encountered during the first months of annotation include limitations of technical
character, theory-dependent limitations and limitations concerning the achievable degree of quality of human annotation. The issues of
special interest for both linguists and MT specialists involved in the project include linguistically motivated non-balance between the
frame equivalents, either in number or in type of valency participants. The first phases of annotation so far attest the assumption that
there is a unique correspondence between the functors of the translation-equivalent frames. Also, hardly any linguistically significant
non-balance between the frames has been found, which is partly promising considering the linguistic theory used and partly caused by
little stylistic variety of the annotated corpus texts.

V příspěvku studujeme potenciál a omezení nápadu budovat dvojjazyčný valenční slovník pomocí zarovnávání uzlů v paralelním závislostním korpusu.


2010 Failures in English-Czech Phrase-Based MT

2010 neúspěchů v anglicko-českém frázovém překladu

The paper describes our experiments with
English-Czech machine translation for
WMT10 in 2010. Focusing primarily
on the translation to Czech, our additions
to the standard Moses phrase-based MT
pipeline include two-step translation to
overcome target-side data sparseness and
optimization towards SemPOS, a metric
better suited for evaluating Czech. Unfortunately,
none of the approaches bring a
significant improvement over our standard
setup.

Příspěvek popisuje naše pokusy s anglicko-českým překladem pro soutěž WMT10: dvoukrokový překlad a optimalizaci na SemPOS.


Tackling Sparse Data Issue in Machine Translation Evaluation

K problému řídkých dat při vyhodnocování kvalitz strojového překladu

We illustrate and explain problems of
n-grams-based machine translation (MT)
metrics (e.g. BLEU) when applied to
morphologically rich languages such as
Czech. A novel metric SemPOS based
on the deep-syntactic representation of the
sentence tackles the issue and retains the
performance for translation to English as
well.

Ilustrujeme a vysvětlujeme problémy n-gramových metrik strojového překladu (např. BLEU), když jsou použity na jazyky s bohatou morfologií, jako je čeština. Nová metrika SemPOS problém omezuje a účinná je i angličtinu.


Czech-English-Russian corpus UMC001 released for the company AppTek.

Česko-anglicko-ruský korpus UMC001 pro využití společností AppTek v jejích překladových systémech.


The Czech Companion demonstrates that recent advances in Czech language: Automatic Speech Recognition (ASR), Natural Language Understanding (NLU), Natural Language Generation (NLG) and Text to Speech (TTS) synthesis can be combined with existing dialogue management (DM) techniques to build a dialogue system for natural-sounding dialogue. Certain components specifically developed in the Companions project surpassed the best existing results, as measured by the standard quantitative metrics used in the field (e.g., Czech and English full POS and morphological taggers, etc.).

Senior Companion CZ kombinuje v jedné aplikaci poslední výsledky výzkumu v českém jazyce v oblasti: Automatické rozpoznávání řeči (ASR), Pochopení přirozeného jazyka (NLU), Generování přirozeného jazyka (NLG) a Text-to-Speech (TTS),
a magement dialogu (DM) pro přirozený dialog s člověkem. Některé součásti, speciálně vyvinuté v projektu Senior Companion CZ předčí nejlépší stávající výsledky, měřeno standardními kvantitativními metrikami používanými v této vědní oblasti (např. POS, morfologické taggery, atd.).

Jan Hajič
Pavel Ircing
Jan Romportl
Jan Ptáček
Silvie Cinková


"To Be a Bearer of Good News is Pleasant for me" (A few remarks on infinitive constructions)

"Být posel dobrých zpráv je mi příjemné" (Několik poznámek k infinitivním konstrukcím)

P. Karlík's criteria for the distinction between raising and control constructions, and between monoclausal and biclausal constructions are tested on selecte Cyech examples where the infinitive fills the function of surface subject.

Ve stati se analyzují české konstrukce s infinitivem ve funkci subjektu (typy Je příjemné poslouchat hudbu a Vadilo mu jít na koncert) a konfrontují se s Karlíkovými kritérii pro zjištění, zda jde o konstrukce typu "raising" nebo "control" popř. o konstrukce monoklauzální nebo biklauzální.


Functional onomatology and functional syntax (How František Daneš develops Mathesius' work)

Kategorie pojmenovávací a usouvztažňovací (Jak František Daneš rozvíjí Viléma Mathesia)

Daneš's approach to Mathesius' principles of functional onomatolgy and functional syntax is used for the description of the procedure of senetence generation in Functional generative description. All three principles used there are exemplified by the simple Czech sentence.

Ve stati se analyzuje Danešovo pojetí Mathesiova učení o funkční onomatologii a funkční syntaxi. Na jednoduchém českém příkladu se ukazuje, jak jsou ve Funkčním generativním popisu aplikovány všechny tři principy rozvíjené Danešem (jazykové pojmenování, usouvztažnění pomocí kategoríí syntakticky závisle proměnných a nezávislých).


On the relation between cognitive content and linguistic meaning

Ke vztahu kognitivního obsahu a jazykového významu

The necessity to distinguish between ontological (cognitive, extralinguistic) content and linguistic (‚literal’) meaning has its sources in European structural linguistics. The present contribution cannot be aimed at the solution of these non-trivial distinctions; we only present some Czech examples as a challenge for consideration, which we believe to be useful for the determination of this boundary. Despite of these problems, we are convinced that without keeping the distinction between linguistic meaning and cognitive content during the analysis of language data the description of the language system is impossible.

Nutnost rozlišovat mezi ontologickým obsahem a jazykovým významem je zakotvena v evropské strukturní lingvistice. Příspěvek si neklade za cíl dospět k řešení této netriviální distinkce. Navzdory řadě problémů, které zmiňujeme, jsme ovšem přesvědčeni, že lingvistická analýza není bez zachování této distinkce možná.


On Resultative Constructions (first of all) in Czech

O kategorii rezul'tativa (prezhde vsego) v cheshskom jazyke

On the plenary session within the Annual Meeting of the Committee of the Grammatical Structure of Slavonic Languages and the conference about Serbian Syntax the contribution analyzing the character of grammatical diathesis with the stress on resultative one was presented. Their morfological and syntactic features were discussed.

V plenárním referátu na zasedání Komise pro gramatickou stavbu slovanských jazyků
a Syntaxi srbštiny byl přednesen příspěvek o povaze gramatických diatezí. Z nich byla soustředěna pozornost na diatezi rezulatativní a její vlastnosti morfologické a syntaktické.


Významné životní jubileum Adely Rechziegelové

In the connection of the life anniversary of Dr. Adela Rechziegelová her achievements within Czech linguistcs at home and especially abroad (in Netherlands, where she has lived for a long time) are reminded.

Stať v rubrice  Kronika připomíná životní jubileum doc. dr. Adely Rechziegelové a její zásluhy o českou bohemistiku doma a zejména za jejího dlouholetého působení v Holandsku.


A Few Czech Additions to Nedjalkov's Typology of Reciprocals and Reflexives

Několik poznámek o češině k Nedjalkovově typologii reciprok a reflexiv

The features of Czech reciprocals are compared with their typological markers given by Nedjalkov. There are similar ambiguities between reflexives and reciprocs in Czech as in other languages, however with the different preferences. The occurence of "reciprocal" adverbs in Czech is different from French and Bulagarian. So-called "local" reciprocals are marginaly in Czech.

V článku se porovnávají české reciproční konstrukce s jednotlivými charakteristikami, které z hlediska typologie jazyků s různou strukturou podává V. P. Nedjalkov. Konstatuje se, že homonymie mezi reflexivitou a reciprocitou je češtině rovněž vlastní, preference se řídí jinými principy. Shledávají se rysy odlišné od polštiny, porovnává se užití recipročních adverbií v češtině s francouzštinou a bulharštinou. "Lokální" reciproka jsou v češtině okrajová.


Annotation of Morphological Meanings of Verbs Revisited

Revize anotace morfologických významů sloves

Meanings of morphological categories are an indispensable component of representation of sentence semantics. In the Prague Dependency
Treebank 2.0, sentence semantics is represented as a dependency tree consisting of labeled nodes and edges. Meanings of
morphological categories are captured as attributes of tree nodes; these attributes are called grammatemes. The present paper focuses on
morphological meanings of verbs, i.e. on meanings of the morphological category of tense, mood, aspect etc. After several introductory
remarks, seven verbal grammatemes used in the PDT 2.0 annotation scenario are briefly introduced. After that, each of the grammatemes
is examined. Three verbal grammatemes of the original set were included in the new set without changes, one of the grammatemes was
extended, and three of them were substituted for three new ones. The revised grammateme set is to be included in the forthcoming version
of PDT (tentatively called PDT 3.0). Rules for automatic and manual assignment of the revised grammatemes are further discussed in
the paper.

Významy morfologických kategorií jsou nepostradatelnou součástí popisu větného významu. V Pražském závislostním korpusu 2.0 (PDT 2.0) je význam věty zachycován jako závislostní struktura sestávající z ohodnocených uzlů a hran. Významy morfologických kategorií jsou zachycovány v atributech těchto uzlů, v tzv. gramatémech. V příspěvku představujeme revizi slovesných gramatémů, revidovaná sada gramatémů bude použita při anotaci nové verze Pražského závislostního korpusu, verze PDT 3.0.


Revision of morphological grammatemes for Prague Dependency Treebank 3.0

Revize morfologických gramatémů pro Pražský závislostní korpus 3.0

In the present talk the revision of so-called grammatemes is introduced. Grammatemes are attributes of nodes of tectorammatical trees, in these attributes the meaning of morphological categories, such as tense or number, are captured. The revised set of grammatemes will be incorporated in the new version of Prague Dependency Treebank PDT 3.0.

Připravovaný Pražský závislostní korpus 3.0 (PDT 3.0) se bude od stávající verze tohoto korpusu
PDT 2.0 lišit jednak objemem anotovaných dat, jednak změnami v anotačním schématu. V přednášce představíme změny týkající se morfologických gramatémů. Morfologické gramatémy jsou atributy uzlů tektogramatického stromu, v těchto atributech jsou zachyceny významy sémanticky relevantních morfologických kategorií (např. kategorie substantivního čísla a slovesného způsobu). Podrobně popíšeme probíhající revizi slovesných gramatémů: zejména výsledky teoretického výzkumu slovesných diatezí a slovesného způsobu a promítnutí těchto výsledků do tektogramatické anotace. Naznačíme rovněž navrhované změny v zachycování kategorie čísla substantiv.


Usefulness of electronic language corpora and their annotation

Užitečnost jazykových elektronických korpusu a jejich anotování

The talk deals with electronic language corpora and their usage, especially within linguistic research. Special attention is paid to Prague Dependency Treebank, its structure, annotation process and versions (PDT 1.0, 2.0), changes proposed for the new version (PDT 3.0) will be introduced.

Přednáška se zabývá elektronickýmmi jazykovými korpusy a jejich využitím, zejména pro lingvistickou práci. Zvláštní pozornost bude věnována Pražskému závislostnímu korpusu (PDT), představíme jeho strukturu, proces anotace a publikované verze (PDT 1.0, 2.0), zmíněny budou rovněž změny chystané pro další verzi tohoto korpusu PDT 3.0.


Od syntaktických korpusů ke strojovému překladu

The presented work is composed of two parts.
In the first part we discuss one of the possible
approaches to using the annotation scheme of the Prague Dependency Treebank for the task of Machine Translation (MT), and demonstrate it in detail within our highly modular transfer-based MT
system called TectoMT.

The second part of the work consists of a  sample
of our publications, representing our research work from 2000 to 2009. Each article is accompanied with short comments on its context from a present day perspective. The articles
are classified into four thematic groups: nnotating Prague Dependency Treebank,
Parsing and Transformations of Syntactic Trees, Verb Valency, and Machine Translation.

The two parts naturally connect at numerous points, since most of the topics tackled in the second part---be it sentence analysis or synthesis, coreference resolution, etc.---have their obvious places in the mosaic of the translation process and are now in some way implemented in the TectoMT system
described in the first part.

Předložená práce se skládá ze dvou částí. První část popisuje jeden z možných přístupů ke strojovému překladu, a sice překlad s využitím tektogramatické roviny jako roviny transferu. Druhá část je souborem vybraných článků autora z let 2000-2009.


TectoMT - An Open-source Framework for Natural Language Processing

TectoMT - otevřený systém pro zpracování přirozených jazyků

I will introduce TectoMT, which is a highly modular NLP (Natural Language Processing) software system implemented in Perl programming language under Linux. It is primarily aimed at Machine Translation, making use of the
ideas and technology created during the Prague Dependency Treebank project. At the same time, it is also hoped to significantly facilitate
and accelerate development of software solutions of many other NLP tasks, especially due to re-usability of the numerous integrated processing
modules (such as taggers, parsers, or named-entity recognizers), which are all equipped with uniform object-oriented interfaces.

Přednáška je věnována TectoMT, vysoce modulárnímu systému pro zpracovávání textů v přirozeném jazyce. Systém je implementován v Perlu. Primárně ja zaměřen na strojový překlad, využívá k tomu teoretický rámec a softwarové nástroje Pražského závislostního korpusu.


Machine Translation Research in the Center of Computational Linguistics, MFF UK

Výzkum strojového překladu v Centru komputační lingvistiky MFF UK

I work as a researcher in the Institute of Formal and Applied Linguistics, Charles University in Prague. After graduating at the Faculty of Electrical Engineering in 2001, I started my PhD study, which I have finished in 2005. Now I work here as an assistant professor.

Pracuji jako výzkumný pracovník v Ústavu formální a aplikované lingvistiky (ÚFAL) Matematicko-fyzikální fakulty UK. Po absolvování Elektrotechnické fakulty ČVUT jsem tu v roce 2001 nastoupil na doktorské studium a dokončil jsem ho v roce 2005, nyní zde působím jako odborný asistent. Polovina mého úvazku je krytá projektem LC536 – Centrum komputační lingvistiky (2005–2010).


TectoMT is a multi-purpose open-source NLP framework. It allows for fast and efficient development of NLP applications by exploiting a wide range of software modules already integrated in TectoMT, such as tools for sentence segmentation, tokenization, morphological analysis, POS tagging, shallow and deep syntax parsing, named entity recognition, anaphora resolution, tree-to-tree translation, natural language generation, word-level alignment of parallel corpora, and other tasks.

TectoMT je systém, který umožňuje rychlý a efektivní vývoj NLP aplikací. Využívá široké spektrum softwarových modulů, které jsou již integrovány do TectoMT, např. nástroje pro segmentaci textu na věty, tokenizaci, morfologickou analýzu a disambiguaci (tagging), parsing (povrchový i hloubkový), rozpoznávání pojmenovaných entit, rozpoznávání anafory, strojový překlad stromových struktur, generování vět z hloubkových struktur, slovní zarovnávání paralelních korpusů atd.


English to Czech machine translation as it is implemented in the TectoMT system consists of three phases: analysis, transfer and synthesis. The system uses tectogrammatical (deep-syntactic dependency) trees as the transfer medium.

Strojový překlad z angličtiny do češtiny implementovaný v systému TectoMT sestává ze tří fází: analýzy, transferu a syntézy. Pro transfer se využívají tektogramatické stromy.


Markéta Lopatková – Zdeněk Žabokrtský – Václava Kettnerová: Valenční slovník českých sloves. Praha: Karolinum, 2008, 381pp.

Markéta Lopatková – Zdeněk Žabokrtský – Václava Kettnerová: Valenční slovník českých sloves. Praha: Karolinum, 2008, 381s.

The article reviews the valency dictionary of Czech verbs by authors from the Charles University in Prague, published two years ago by Karolinum.

Článek obsahuje recenzi valenčního slovníku českých sloves autorů z Univerzity Karlovy v Praze, který před dvěma lety vydalo nakladatelství Karolinum.


Selected works of Pavel Novák (1932-2007) is the first standalone publication of the scientific papers by Czech linguist, Bohemist and Albanist who bound his research to the Faculty of Arts of the Charles University in Prague.

Výbor z díla doc. Pavla Nováka (1932–2007) představuje vůbec první samostatné vydání vědeckých příspěvků českého jazykovědce – obecného lingvisty, bohemisty a albanisty, který spojil své odborné působení především s Filozofickou fakultou Univerzity Karlovy. Jeho podnětné myšlenky stále otevírají cesty k netriviálnímu uvažování o jazyce a jazykovědě, avšak dnes jsou čtenářům spíše neznámé, protože jsou rozesety po různých časopisech a sbornících nebo zůstaly ukryty v těžko dostupných výzkumných zprávách. Hlavním cílem knihy je tak umožnit současnému a budoucímu českému jazykovědnému publiku poznávat osobitý naturel lingvistického myšlení Pavla Nováka. Výbor je koncipován jako průřezový, editoři J. Křivan, J. Januška a J. Chromý do něj vybrali texty z různých tematických oblastí (metodologie lingvistiky, jazykový význam, pády, teorie syntaxe, dějiny novodobé české jazykovědy, popularizační články o jazyce aj.), s důrazem na ty příspěvky, které stále vynikají svojí aktuálností. Kniha je uvedena studiemi doc. Z. Starého, prof. J. Kořenského, prof. P. Sgalla a průvodním komentářem hlavního editora J. Křivana. Součástí výboru je rovněž Novákův životopis a nově sestavená bibliografie.


Instead of a discussion between linguists themselves, especially between adversaries and supporters of the standing remnants and consequences of purism, many specialists in Czech prefer to turn to speakers of Czech, reproaching them for their continuing usage of language varieties that have not been acknowledged as “literary” by the monopolistic codification. A long continuation of discussions among linguists thus will be needed to overcome the post-purist dilemma concerning Standard Czech. Conditions for a transition from the present majority approach based on traditions concerning French and German to an approach closer to that proper to Anglo-Saxon linguistics are strengthened by the existence of large text corpora, with which it is possible to get better knowledge of the actual usage of morphemic and other forms. The intuition of speakers, underlying their linguistic behaviour, should be distinguished from intuition of linguists, which served as the starting point of description of Czech up to the middle of the 20th century and was then overcome by approaches based on research. Hypercorrection stems in the differences between actual usage and codification, and it is important to distinguish between hypercorrect expressions and those that came into existence as hypercorrect, but have already penetrated into the Standard norm, or into its large borderland.

Namísto diskuse mezi lingvisty samotnými, zvláště mezi odpůrci a zastánci pozůstatků jazykového purismu, mnozí odborníci na češtinu se stále raději obracejí k českým mluvčím a odrazují je od používání jazykových variant, které nebyly monopolní kodifikací uznány za „spisovné“.


The present Grammar of Current Czech by authors working at various institutes of the Charles University is the first attempt in almost fifteen years to concisely and comprehensibly describe our mother tongue. The grammar is split into two volumes and Volume 1 includes information on phonetics, vocabulary, morphology, stylistics and the writing system (Volume 2 will be devoted to sentence syntax).

Předkládaná Mluvnice současné češtiny autorů působících na různých ústavech Univerzity Karlovy je po téměř patnácti letech novým pokusem o stručný a srozumitelný popis našeho mateřského jazyka. Mluvnice je koncipována jako dvoudílná, přičemž první díl zahrnuje poučení mj. o zvukové stránce jazyka, slovní zásobě, slovotvorbě, tvarosloví, stylistice a psací soustavě (druhý díl pak bude věnován větné skladbě).


The author lost his father and most of his relatives in the time of the German occupation, and spent the last six months of that time in the concentration camp of Postoloprty.

Autor přišel v dobách německé okupace o otce a o většinu svých příbuzných a strávil posledních šest měsíců války v koncentračním táboře v Postoloprtech.


The usage of language as a creative process. The Prague School and the empirical functionalism: Danešian inspirations. Sentence melody in Czech from the point of view of the current research. Phonetic and phonological aspects of the Czech intonation. Marking of parents in the Czech language environment. The Czech morphological system of the 21st century in databases. Language, its usage and function for a church service. Component analysis of predicate and hierarchization of proposition. Interpretation of negative pronouns in Czech. Topic development in academic and narrative text. The future of Czech and the language standard around us and in us. On the contemporary speech culture.

Sborník příspěvků. Z obsahu: Užívání jazyka jako kreativní proces. Pražská škola a empirický funkcionalismus: danešovské inspirace. Větná melodie v češtině v pohledu současného výzkumu. Fonetická a fonologická hlediska při zkoumání české intonace. Označování rodičů v českojazyčném prostředí. Český slovotvorný systém 21.století v databázích. Jazyk, jeho užívání a funkce při bohoslužbě. Komponentová analýza predikátu a hiearchizace propozice. Interpretace negativních zájmen v češtině. Rozvíjení tématu v akademickém a narativním textu. Perspektivy češtiny a spisovnost kolem nás i v nás. K řečové kultuře současnosti.


Rhematizers belong to a specific class of particles that have a special function in the information structure of the sentence, but it is argued that in spite of the name of this class, they are not necessarily indicators of the focus.

Rematizátory jsou zvláštní třídou částic, které mají svou specifickou roli v informační struktuře věty. Nejsou však nutné indikátory jejiho rématu či ohniska.


Three questions for Petr Karlík (and Three Nuts for Cinderella)

Tři otázky pro Petra Karlíka (a tři oříšky pro Popelku)

Three open questions are formulated .concerning (i) the minimalist account of the semantic relevance of the topic-focus articulation, (ii) the minimalist account of the distinction between meaning and content, and (iii) how to represent  in corpus annotation syntactic ambiguities.

Autorka upozorňuje na tři otevřené problémy, především z hlediska minimalistické teorie, a to popis sémantické relevance aktuálního členění, rozdíl mezi významem


In the chapter, we focus on treebank annotation – the definition of treebanks, their properties, examples of existing treebanks, their relation to linguistic theory and the process of annotation and quality control. We also refer the application of treebanks, and specifically discuss searching for linguistic information in them.

V kapitole se zabýváme anotací treebanků - jejich definicí, vlastnostmi, příklady existujících treebanků, jejich vztahem k lingvistické teorii a procesem anotace a kontroly kvality. Věnujeme se také použití treebanků, zvláště pojednáváme o vyhledávání lingvistické informace v treebancích.

Eva Hajičová
Anne Abeillé
Jan Hajič
Jiří Mírovský
Zdeňka Urešová


Annotation of Multiword Expressions in The Prague Dependency Treebank

Anotace víceslovných výrazů v Pražském závislostním korpusu

This thesis explores annotation of multiword expressions in the Prague Dependency Treebank 2.0. We explain, what we understand as multiword expressions (MWEs), review the state of PDT 2.0 with respect to MWEs and present our annotation. We describe the data format developed for the annotation, the annotation tool, and other software developed to allow for visualisation and searching of the data. We also present the annotation lexicon SemLex and analysis of the annotation.

Tato práce se zabývá anotací víceslovných výrazů v Pražském závislostním korpusu 2.0. Popisuje datovou reprezentaci vyvinutou pro anotaci i anotační nástroj a další software vyvinutý pro anotaci i vizualizaci a prohledávání anotovaných dat. Práce také popisuje anotační slovník obsahující víceslovné výrazy nalezené v datech a zabývá se i analýzou anotací z hlediska kvality a efektivity.


Representing Layered and Structured Data in the CoNLL-ST Format

Reprezentace strukturovaných dat o více rovinách ve formátu CoNLL-ST

In this paper, we investigate the CoNLL Shared Task format, its properties and possibility of its use for complex annotations. We argue that, perhaps despite the original intent, it is one of the most important current formats for syntactically annotated data.
We show the limits of the CoNLL-ST data format in its current form and propose several simple enhancements that push those limits further and make the format more robust and future proof. We analyse several different linguistic
annotations as examples of varying complexity and show how they can be efficiently stored in the CoNLL-ST format.

Článek zkoumá datový formát CoNLL ST, jeho vlastnosti a možnosti jeho použití pro komplexní anotace. Tvrdíme, že CoNLL ST se možná navzdory původnímu záměru stal jedním z nejdůležitějších formátů syntakticky anotovaných dat současnosti. Ukazujeme meze tohoto formátu v jeho současné podobě a navrhujeme několik jednoduchých rozšíření, která je posunují dále a činí ho robustnějším a použitelnějším v budoucnosti. Analyzujeme několik lingvistických anotací různé složitosti jako příklady a ukazujeme, jak mohou být účinně reprezentovány ve formátu CoNLL ST.


Lexical Association Measures and Collocation Extraction

Lexikální asociační míry a extrakce kolokací

We present an extensive empirical evaluation of collocation extraction methods based on lexical association measures and their combination. The experiments are performed on three sets of collocation candidates extracted from the Prague Dependency Treebank with manual morphosyntactic annotation and from the Czech National Corpus with automatically assigned lemmas and part-of-speech tags. The collocation candidates were manually labeled as collocational or non-collocational. The evaluation is based on measuring the quality of ranking the candidates according to their chance to form collocations. Performance of the methods is compared by precision-recall curves and mean average precision scores. The work is focused on two-word (bigram) collocations only. We experiment with bigrams extracted from sentence dependency structure as well as from surface word order. Further, we study the effect of corpus size on the performance of the individual methods and their combination.

Tato práce je věnovaná empirické studii lexikálních asociačních měr a jejich aplikaci v úloze automatické extrakce kolokací. Experimenty byly provedeny na třech referenčních datových množinách: závislostních bigramech z ručně anotovaného Pražského závislostního korpusu, povrchové bigramy ze stejného korpusu a instancích prvků předchozí množiny z Českého národního korpusu opatřeného automatickou lemmatizací a morfologickým značkováním. Kolokační kandidáti v referenčních  množinách byli manuálně anotováni jako kolokace nebo nekolokace. Použité evaluační schéma je založeno na měření kvality seřazení kolokačních kandidátů dle jejich pravděpodobnosti tvořit kolokaci. Metody jsou porovnány pomocí precision-recall křivek a hodnot mean average precision, které jsou převzaty  z oboru vyhledávání informací. Provedeny byly i testy signifikance výsledků. Dále je zkoumána možnost kombinování lexikálních asociačních měr a presentovány výsledky několika kombinačních metod, jejichž použití vedlo k výraznému zlepšení úspěšnosti řešení této úlohy. Dále je v práci navržen algoritmus významně redukující složitost použitých kombinačních modelů.


PDT-Vallex: a slightly different valency lexicon

PDT-Vallex - trochu jiný valenční slovník

The Prague Dependency Treebank (PDT) contains as its integral part a valency lexicon called PDT-Vallex. PDT-Vallex lists all the verbs that occur in the PDT and it also distinguishes their senses. A valency frame is formally described for each sense. This valency frame includes a list of verb complementations and their required surface form(s), for obligatory as well as optional arguments.

Valence je důležitou součástí PZK. Je zachycena ve slovníku, jenž obsahuje všechna slovesa, která se v korpusu vyskytla. Valenční rámec je popsán z formálního hlediska, obsahuje obligatorní volná doplnění a obligatorní a fakultativní argumenty.


Valency of deverbal nouns in Czech (with a special regard to nouns with a participant in dative)

Valence deverbativních substantiv v češtině (na materiálu substantiv s dativní valencí)

The monograph deals with valency properties of deverbal nouns in Czech. After an overview of Czech and foreign approaches to the valency of nouns and a summary of current knowledge concerning some special issues of valency of Czech deverbal nouns, we present results consisting of our analysis of syntactically and semantically compact groups of deverbal nouns as well as theoretical conclusions following from the examined language material. We have focused our attention on Czech deverbal nouns that can be modified by a participant expressed by prepositionless dative. Such nouns were searched for in two Czech electronic corpora, Czech National Corpus (CNC) and Prague Dependency Treebank (PDT). The obtained occurrences were manually sorted and analysed and their valency behaviour is described within the theoretical framework of the Functional Generative Description (FGD).

Tato práce je souborem detailních studií věnovaných syntakticky nebo sémanticky uceleným skupinám českých deverbativních substantiv (zejména substantiv s dativní valencí). Opírá se o bohatý korpusový materiál. Problematiku valence deverbativních substantiv představuje jako pružný mechanismus, který na jedné straně funguje na základě v systému pevně zakotvených a jasně stanovených primárních obecných principů, na druhé straně je ovšak ovlivněn několika různorodými principy sekundárními, umožňujícími rozličné nové, od slovesa nezděděné formy valenčních doplnění. Jako teoretický rámec pro popis valenčních vlastností zkoumaných substantiv byl zvolen funkční generativní popis.


A software tool allowing editing and searching in the transcripts of audio-visual recordings of dialogues. The dynamic web application provides access for registered users to the digitised archive. Playing and exploring of selected parts is possible in the web browser.

Softwarový nástroj zprostředkující formou webového rozhraní editaci a vyhledávání v přepisech audio-visuálních nahrávek dialogů. Vyhledané úseky textu je možné přehrávat a analyzovat pomocí webového prohlížeče.


We present a tool for annotation of semantic inter-sentential discourse relations on the tectogrammatical layer of the Prague Dependency Treebank (PDT). We present the way of helping the annotators by several useful features implemented in the annotation tool, such as a possibility to combine surface and deep syntactic representation of sentences during the annotation, a possibility to define, display and connect arbitrary groups of nodes, a clause-based compact depiction of trees, etc. For studying differences among parallel annotations, the tool offers a simultaneous depiction of parallel annotations of the data.

Představujeme nástroj pro anotaci sémantických mezivětných vztahů na tektogramatické rovině Pražského závislostního korpusu (PDT). Uvádíme vlastnosti nástroje, které pomáhají anotátorům, jako jsou možnost kombinace anotace na větách a na reprezentaci hloubkové syntaxe, možnost definovat, zobrazit a spojovat libovolné skupiny uzlů, dále kompaktní zobrazení stromů po klauzích apod. Pro studium rozdílů v paralelních anotací nástroj poskytuje současné zobrazení paralelních anotací jedněch dat více anotátory.

Jiří Mírovský
Lucie Mladová
Zdeněk Žabokrtský


Connective-Based Measuring of the Inter-Annotator Agreement in the Annotation of Discourse in PDT

Měření mezianotátorské shody v anotaci diskurzu v PDT založené na konektorech

We present several ways of measuring the inter-annotator agreement in the ongoing annotation of semantic inter-sentential discourse relations in the Prague Dependency Treebank (PDT). Two ways have been employed to overcome limitations of measuring the agreement on the exact location of the start/end points of the relations. Both methods – skipping one tree level in the start/end nodes, and the connective-based measure – are focused on a recognition of the existence and of the type of the relations, rather than on fixing the exact positions of the start/end points of the connecting arrows.

Uvádíme několik způsobů měření mezianotátorské shody v probíhající anotaci sémantických mezivětných diskurzních vztahů v Pražském závislostním korpusu (PDT). Jsou použity dva způsoby pro překonání nevýhod měření shody na přesné pozici počátečních a koncových bodů vztahů. Obě metody - přeskočení jedné úrovně stromu v počátečním či koncovém uzlu a míra založená na konektorech - jsou zaměřený spíše na rozpoznání existence vztahu a jeho typu než na přesnou pozici počátečních a koncových bodů spojujících šipek.

Jiří Mírovský
Lucie Mladová
Šárka Zikánová


Annotation Tool for Extended Textual Coreference and Bridging Anaphora

Anotační nástroj pro rozšířenou textovou koreferenci a bridging anaforu

We present an annotation tool for the extended textual coreference and the bridging anaphora in the Prague Dependency Treebank 2.0. We describe the way of helping the annotators by several useful features implemented in the annotation tool, such as a possibility to combine surface and deep syntactic representation of sentences during the annotation, an automatic maintaining of the coreferential chain, underlining candidates for antecedents, etc. For studying differences among parallel annotations, the tool offers a simultaneous depiction of several annotations of the same data.

Představujeme anotační nástroj pro rozšířenou textovou koreferenci a bridging anaforu v Pražském závislostním korpusu 2.0. Popisujeme způsob pomoci anotátorům pomocí několika praktických vlastností implementovaných v anotačním nástroji, jako jsou možnost kombinovat povrchovou a hloubkovou syntaktickou reprezentaci vět během anotace, automatické zachovávání koreferenčního řetězce, podtrhávání kandidátů pro antecedent apod.. Pro studium rozdílů v paralelních anotacích nabízí nástroj současné zobrazení několika anotací jedněch dat.

Jiří Mírovský
Petr Pajas
Anna Nedoluzhko


The Other Arabic Treebank: Prague Dependencies and Functions

Jiný arabský treebank: pražské závislosti a funkce

The words in the title of this chapter seem to like each other to a surprising extent. Not only are the notions of dependency and function central to many modern linguistic theories and ‘inherent’ to computer science and logic. Their connection to the study of the Arabic language and its meaning is interesting, too.

Slova v nadpisu této kapitoly jako by k sobě překvapivě dobře pasovala. Nejen že závislost a funkce jsou ústřední pojmy mnoha moderních lingvistických teorií a že jsou ‚inherentní‘ v informatice a logice. Neméně zajímavý je i jejich vztah ke studiu arabského jazyka a jeho významu.


ElixirFM is a high-level implementation of Functional Arabic Morphology documented at http://elixir-fm.wiki.sourceforge.net/. The core of ElixirFM is written in Haskell, while interfaces in Perl support lexicon editing and other interactions.
- extended and improved lexicon
- improved analysis of word sequences
- improved user interface
- improved API

ElixirFM je vysokoúrovňová implementace Funkční arabské morfologie zdokumentovaná na http://elixir-fm.wiki.sourceforge.net/. Jádro ElixirFM je napsáno v Haskellu, zatímco rozhraní v Perlu podporuje údržbu slovníku a další interakce.
- rozšířený a zdokonalený slovník
- zdokonalená analýza sekvencí slov
- zdokonalené uživatelské rozhraní
- zdokonalené API


Addicter stands for Automatic Detection and DIsplay of Common Translation ERrors. It is a set of tools (mostly scripts written in Perl) that help with error analysis for machine translation.

Addicter je zkratka za Automatic Detection and DIsplay of Common Translation ERrors. Je to soubor nástrojů (především skriptů napsaných v Perlu), které pomáhají s analýzou chyb strojového překladu.


Obtížné problémy při konverzi sady značek

Part-of-speech or morphological tags are important means of annotation in a vast number of corpora. However, different sets of tags are used in different corpora, even for the same language. Tagset conversion is difficult, and solutions tend to be tailored to a particular pair of tagsets. We discuss Interset, a universal approach that makes the conversion tools reusable. While some morphosyntactic categories are clearly defined and easily ported from one tagset to another, there are also phenomena that are difficult to deal with because of overlapping concepts. In the present paper we focus on some of such problems, discuss their coverage in selected tagsets and propose solutions to unify the respective tagsets' approaches.

Morfologické značky jsou důležitým prostředkem anotace ve velkém množství korpusů. V různých korpusech, dokonce i pro tentýž jazyk, se však používají různé sady značek. Konverze sad značek je obtížná a řešení bývají ušitá na míru konkrétní dvojici sad. V článku probíráme Interset, univerzální metodu, díky které se dají převodní nástroje používat opakovaně. Zatímco některé mluvnické kategorie jsou jasně definované a dají se snadno přenášet z jedné sady do druhé, existují také jevy, které je těžké zachytit kvůli překrývajícím se konceptům. Zaměřujeme se na některé takové problémy, probíráme jejich výskyt ve vybraných sadách značek a navrhujeme řešení, která sjednotí přístupy jednotlivých sad.


Hierarchical Phrase-Based MT at the Charles University for the WMT 2010 Shared Task

Hierarchický frázový strojový překlad na Univerzitě Karlově v soutěži WMT 2010

We describe our experiments with hierarchical
phrase-based machine translation
for WMT 2010 Shared Task. We provide
a detailed description of our configuration
and data so the results are replicable. For
English-to-Czech translation, we experiment
with several datasets of various sizes
and with various preprocessing sequences.
For the other 7 translation directions, we
just present the baseline results.

Popisujeme naše pokusy s hierarchickým frázovým strojovým překladem v soutěži WMT 2010. Poskytujeme podrobný popis našich dat a konfigurace, aby bylo možné naše výsledky zopakovat. U překladu z angličtiny do češtiny jsme experimentovali s několika různě velkými soubory dat a s různými způsoby předzpracování. U zbývajících 7 směrů překladu předkládáme pouze výchozí výsledky.


MD-make (multidimensional make) is a tool that enables processing of data files in many dimensions such as languages, domains, preprocessing styles, alternative processing programs, development/evaluation data etc.

MD-make (multidimenzionální make) je nástroj, který umožňuje zpracování datových souborů v mnoha rozměrech jako jazyky, domény, způsoby předzpracování, alternativní zpracovatelské programy, vývojová/vyhodnocovací data atd.


Morphological Stickers for Annotation of Check

Samolepky pro morfologické anotace Check

By 2040, the ACL conference proceedings shall be machine translated into 20 languages from the original Chinese. (Kevin Knight)

V roce 2040, musí být ACL sborníku stroje přeloženy do 20 jazyků z původního čínského. (Kevin Knight)


Tagzplorer is a tool for exploring annotated corpora, summarization of POS and morphological tagsets, finding example occurrences and their easy visualization using hypertext.

Tagzplorer je nástroj pro průzkum anotovaných korpusů, sumarizaci morfologických značek, dohledávání příkladů výskytů a jejich snadnou vizualizaci pomocí hypertextu.