ufal/bilingual-abstracts-corpus huggingface dataset:
The Coding Scheme for Annotating Extended Nominal Coreference and Bridging Anaphora in the Prague Dependency Treebank
Schéma pro anotaci rozšířené textové koreference a bridging anafory v Pražském závislostním korpusu
Year: 2009
Authors: Anna Nedoluzhko, Jiří Mírovský, Petr Pajas

Abstract (English):
The present paper outlines an ongoing project of annotation of the extended nominal coreference and the bridging anaphora in the Prague Dependency Treebank. We describe the annotation scheme with respect to the linguistic classification of coreferential and bridging relations and focus also on details of the annotation process from the technical point of view. We present methods of helping the annotators – by a pre-annotation and by several useful features implemented in the annotation tool. Our method of the inter-annotator agreement is focused on the improvement of the annotation guidelines; we present results of three subsequent measurements of the agreement.

Abstract (Czech):
Představujeme probíhající projekt anotace rozšířené jmenné koreference a bridging anafory v Pražském závislostním korpusu. Popisujeme anotační schéma s přihlédnutím k jazykové klasifikaci koreferenčních a bridging vztahů a zaměřujeme se rovněž na podrobnosti průběhu anotace z technického hlediska. Představujeme metody usnadnění anotace - pomocí předanotace a několika praktických pomůcek implementovaných v anotačním nástroji. Naše metoda měření mezianotátorské shody je zaměřena na zdokonalení anotačních instrukcí; uvádíme výsledky tří měření této shody.
Extended Coreferential Relations and Bridging Anaphora in the Prague Dependency Treebank
Vztahy rozšířené koreference a bridging anafory v Pražském závislostním korpusu
Year: 2009
Authors: Anna Nedoluzhko, Jiří Mírovský, Radek Ocelák, Jiří Pergler

Abstract (English):
The present paper outlines the coding scheme for annotating extended nominal coreference and bridging relations in the Prague Dependency Treebank. We compare our annotation scheme to the existing ones with respect to the language to which the scheme is applied. We identify the annotation principles and demonstrate their application to the large-scale annotation of Czech texts. We further present our classification of coreferential relations and bridging relations types and discuss some problematic aspects in this area. An automatic pre-annotation and some helpful features of the annotation tool, such as maintaining coreferential chain, underlining candidates for antecedents, etc. are presented and discussed. Statistical evaluation is performed on the already annotated part of the Prague Dependency Treebank. We also present the first results of the inter-annotator agreement measurement and explain the most frequent cases of disagreement.

Abstract (Czech):
Článek popisuje anotační schéma rozšířené jmenné koreference a bridging anafory v Pražském závislostním korpusu. Porovnáváme náš přístup s již existujícími přístupy ve vztahu k jazyku, pro který je to které schéma použito. Jmenujeme anotační principy a ukazujeme jejich aplikaci na rozsáhlou anotaci českých textů. Dále uvádíme vlastní rozdělení typů koreferenčních a bridging vztahů a věnujeme se některým problematickým otázkám této oblasti. Popisujeme rovněž automatickou předanotaci a několik pomocných vlastností anotačního nástroje, jako je zachovávání koreferenčních řetězců, zvýrazňování kandidátů pro antecedenty apod. Uvádíme řadu statistických údajů získaných na doposud anotované části Pražského závislostního korpusu. Rovněž přinášíme první výsledky měření mezianotátorské shody a objasňujeme nejčastější případy neshody.
Syntax in methods for information retrieval
Využití syntaxe v metodách pro vyhledávání informací
Year: 2009
Authors: Jana Kravalová

Abstract (English):
In the last years, application of language modeling in infor-
mation retrieval has been studied quite extensively. Although language models
of any type can be used with this approach, only traditional n-gram models
based on surface word order have been employed and described in published
experiments (often only unigram language models). The goal of this thesis is
to design, implement, and evaluate (on Czech data) a method which would
extend a language model with syntactic information, automatically obtained
from documents and queries. We attempt to incorporate syntactic information
into language models and experimentally compare this approach with uni-
gram and bigram model based on surface word order. We also empirically
compare methods for smoothing, stemming and lemmatization, eﬀectiveness
of using stopwords and pseudo relevance feedback. We perform a detailed ana-
lysis of these retrieval methods and describe their performance in detail.

Abstract (Czech):
V posledních letech výzkumu v oblasti vyhledávání informací je
věnována značná pozornost metodám založeným na jazykovém modelování.
I přesto, že tento přístup dovoluje použití libovolného jazykového modelu,
většina publikovaných experimentů byla prováděna s klasickým n-gramovým
modelem (mnohdy pouze s unigramovým modelem). Cílem diplomové práce
je navrhnout, implementovat a vyhodnotit (na českých datech) metodu, která
by pravděpodobnostní model obohatila o použití syntaktické informace získané
automaticky (strojově) z dokumentů i dotazů. V předkládané práci se pokusíme
vhodným způsobem zavést syntaktickou informaci do jazykových modelů a ex-
perimentálně srovnáme navržený přístup s výsledky unigramového a bigramo-
vého povrchového modelu. Kromě využití syntaktické informace se zaměříme
také na vliv vyhlazování, stemmingu, lemmatizace, použití stopwords a me-
tody rozšiřování dotazů – pseudo relevance feedback. Provedeme také detailní
analýzu použitých systémů vyhledávání informace a podrobně popíšeme jejich
vlastnosti.
Czech Named Entity Corpus and SVM-based Recognizer
Český korpus pojmenovaných entit a jejich rozpoznávač
Year: 2009
Authors: Jana Kravalová, Zdeněk Žabokrtský

Abstract (English):
This paper deals with recognition of named entities in Czech texts. We present a recently released corpus of Czech sentences with manually annotated named entities, in which a rich two-level classification scheme was used.  There are around 6000 sentences in the corpus with roughly 33000 marked named entity instances. We use the data for training and evaluating a named entity recognizer based on Support Vector Machine classification technique. The presented  recognizer outperforms the results previously reported for NE recognition in Czech.

Abstract (Czech):
Tento článek se zabývá rozpoznáváním pojmenovaných
entit v českých textech. Popisuje nový korpus s ručně značkovanými entitami ve dvouúrovňovém anotačním schématu. Data byla použita pro trénování rozpoznávače pojmenovaných entit, který je založen na klasifikátoru SVM.
Czech Named Entity Corpus 1.0
Czech Named Entity Corpus 1.0
Year: 2009
Authors: Jana Kravalová, Magda Ševčíková, Zdeněk Žabokrtský

Abstract (English):
The Czech Named Entity Corpus 1.0 is the first publicly available corpus providing a large body of manually annotated named entities in Czech sentences, including a fine-grained classification.

Abstract (Czech):
Czech Named Entity Corpus 1.0 je první veřejně přístupný korpus českých vět, v nichž byly ručně vyznačeny a klasifikovány pojmenované entity (nejčastěji se jedná o vlastní jména).
Bad News, NLP Hacking and Feature Fishing
Špatné zprávy, triky NLP a hledání rysů
Year: 2009
Authors: Ondřej Bojar

Abstract (English):
Bad news about the utility of deep syntax in MT so far, ideas on adding more features to shallow MT systems.

Abstract (Czech):
Špatné zprávy o dosavadní užitečnosti hloubkového rozboru pro MT, nápady rysů, jimiž by se dal obohatit mělký překlad.
Exploiting Linguistic Data in Machine Translation
Využití lingvistických dat ve strojovém překladu
Year: 2009
Authors: Ondřej Bojar

Abstract (English):
This study explores the mutual relationship between linguistic theories, data
and applications. We focus on one particular theory, Functional Generative
Description (FGD), one particular type of linguistic data, namely valency
dictionaries and one particular application: machine translation (MT) from
English to Czech.

First, we examine methods for automatic extraction of verb valency dictionaries
based on corpus data. We propose an automatic metric for estimating how much
lexicographers' labour was saved and evaluate various frame extraction
techniques using this metric.

Second, we design and implement an MT system with transfer at
various layers of language description, as defined in the framework of FGD. We
primarily focus on the tectogrammatical (deep syntactic) layer.

Third, we leave the framework of FGD and experiment with a rather direct,
phrase-based MT system. Comparing various setups of the system and
specifically treating target-side morphological coherence, we are
able to significantly improve MT quality and out-perform a commercial MT
system within a pre-defined text domain.

The concluding chapter provides a broader perspective on the utility of lexicons
in various applications, highlighting the successful features.

Abstract (Czech):
Studie se zabývá vzájemným vztahem mezi lingvistickými teoriemi, daty a aplikacemi. Soustředuje se přitom na jednu konkrétní teorii, teorii Funkčního generativního popisu, jeden konkrétní typ dat, totiž slovesné valenční rámce, a jednu konkrétní aplikaci: strojový překlad z angličtiny do češtiny.
How MT is Done
Jak se dělá strojový překlad
Year: 2009
Authors: Ondřej Bojar

Abstract (English):
A quick introduction to problems of machine translation for the participants of Pralinka corespondence series.

Abstract (Czech):
Popularizační seminář pro korespondenční seminář Pralinka na téma strojového překladu.
Manually Flagged Errors in WMT09 Test Set
Ručně vyznačené chyby v testovacích větách WMT09
Year: 2009
Authors: Ondřej Bojar

Abstract (English):
A collection of outputs of 4 machine translation systems. Errors in the output are manually flagged and classified.

Abstract (Czech):
Korpus výstupů čtyř systémů strojového překladu s ručně vyznačenými chybami a klasifikací chyb.
QuickJudge
QuickJudge
Year: 2009
Authors: Ondřej Bojar

Abstract (English):
QuickJudge is a tiny tool to simplify the process of manual judging of string segments (e.g. sentences in machine translation output) of one or more competing systems.

Abstract (Czech):
QuickJudge je minimalistický nástroj pro rychlé a pohodlné ruční hodnocení libovolných řádkově-orientovaných výstupů. Primárně byl vyvinut pro účely hodnocení kvality srovnáním či počítáním chyb ve výstupech jednoho či více systémů strojového překladu.
Machine Translation at UFAL
Strojový překlad na ÚFALu
Year: 2009
Authors: Ondřej Bojar

Abstract (English):
A talk for students of the subject Nástroje pro strojový překlad on fully automatic machine translation systems.

Abstract (Czech):
Přednáška pro studenty předmětu Nástroje pro strojový překlad o problematice systémů plně automatického překladu.
TectoMT for Plaintext Freaks
TectoMT pro vyznavače prostého textu
Year: 2009
Authors: Ondřej Bojar

Abstract (English):
A quick introduction to the automatic rich annotation workflow using TectoMT -- while avoiding rich formats whenever possible.

Abstract (Czech):
Stručný úvod k automatické bohaté anotaci pomocí TectoMT s cílem vyhýbat se bohatým datovým formátům, jak je to jen možné.
Trainable Tokenizer
Trénovatelný tokenizér
Year: 2009
Authors: Ondřej Bojar

Abstract (English):
Trainable Tokenizer is able to tokenize and segment most languages based on supplied configuration and sample data. The tokenizer is not aimed e.g. for Chinese with no explicit delimitation of words.

Abstract (Czech):
Trénovatelný tokenizér je schopen tokenizovat a segmentovat většinu jazyků na základě dodané konfigurace a ukázkových dat. Není určen pro jazyky bez jasně odlišených slov, jako je např. čínština.
English-Czech MT in 2008
Anglicko-český překlad
Year: 2009
Authors: Ondřej Bojar, David Mareček, Václav Novák, Martin Popel, Jan Ptáček, Jan Rouš, Zdeněk Žabokrtský

Abstract (English):
We describe two systems for English-to-Czech machine translation that took part
in the WMT09 translation task. One of the systems is a tuned phrase-based system
and the other one is based on a linguistically motivated
analysis-transfer-synthesis approach.

Abstract (Czech):
Popisujeme dva systémy strojového překladu z angličtiny do češtiny užité při soutěži WMT09.
Evaluation of Tree Transfer System
Vyhodnocení systému pro převod stromů
Year: 2009
Authors: Ondřej Bojar, Miroslav Týnovský

Abstract (English):
Final technical report on deep syntactic transfer for the EuroMatrix Project.

Abstract (Czech):
Závěrečná zpráva o hloubkově-syntaktickém transferu pro projekt EuroMatrix.
The Prague Bulletin of Mathematical Linguistics: Special Issue on Open Source Machine Translation Tools
The Prague Bulletin of Mathematical Linguistics: Special Issue on Open Source Machine Translation Tools
Year: 2009
Authors: Ondřej Bojar, Jan Hajič

Abstract (English):
A special issue of the PBML journal focussed on open-source tools for machine translation, as presented during MT Marathon 2009.

Abstract (Czech):
Zvláštní vydání časopisu PBML zaměřené na volně šiřitelné nástroje pro strojový překlad. Vydání bylo sestaveno u příležitosti týdenního kurzu MT Marathon 2009.
CzEng 0.9, Building a Large Czech-English Automatic Parallel Treebank
CzEng 0.9, česko-anglický paralelní syntakticky anotovaný korpus
Year: 2009
Authors: Ondřej Bojar, Zdeněk Žabokrtský

Abstract (English):
We describe our ongoing efforts in collecting a Czech-English parallel corpus CzEng.
The paper provides full details on the current
version~0.9 and focuses on its new features: (1) data from new sources were added, most importantly a few hundred electronically available books, technical documentation and also some parallel web pages, (2) the full corpus has been automatically annotated up to the tectogrammatical layer (surface and deep syntactic analysis), (3) sentence segmentation has been refined, and (4) several heuristic filters to improve corpus quality were implemented. In total, we provide a sentence-aligned automatic parallel treebank of 8.0 million sentences, 93 English and  82 Czech words. CzEng~0.9 is freely available for non-commercial research purposes.

Abstract (Czech):
Popisujeme práce na paralelním česko-anglickém korpusu CzEng pro jeho třetí vydání (verze 0.9). V aktuální verzi korpus obsahuje 8.0 mil. paralelních vět (93 mil. anglických slov a 82 mil. českých slov).
CzEng 0.9
CzEng 0.9
Year: 2009
Authors: Ondřej Bojar, Zdeněk Žabokrtský, Miroslav Janíček, Václav Klimeš, Jana Kravalová, David Mareček, Václav Novák, Martin Popel, Jan Ptáček

Abstract (English):
CzEng 0.9 is the third release of a sentence-parallel Czech-English corpus compiled at the Institute of Formal and Applied Linguistics (ÚFAL) freely available for non-commercial and research purposes.

CzEng 0.9 contains 8.0 million parallel sentences (93 million English and 82 million Czech tokens) from seven different types of sources automatically annotated at surface and deep (a- and t-) layers of syntactic representation.

Abstract (Czech):
CzEng 0.9 je třetí vydání paralelního česko-anglického korpusu. V aktuální verzi korpus obsahuje 8.0 mil. paralelních vět (93 mil. anglických slov a 82 mil. českých slov).
English-Hindi Translation – Obtaining Mediocre Results with Bad Data and Fancy Models
Překlad z angličtiny do hindštiny – získávání průměrných výsledků s mizernými daty a propracovanými modely
Year: 2009
Authors: Ondřej Bojar, Pavel Straňák, Daniel Zeman, Gaurav Jain, Michal Hrušecký, Michal Richter, Jan Hajič

Abstract (English):
We describe our attempt to improve on previous English to Hindi machine translation results, using two open-source phrase-based MT systems: Moses and Joshua. We use several approaches to morphological tagging: from automatic word classes, through stem-suffix segmentation, to a
POS tagger. We also experiment with factored language models. We evaluate various combinations of training data sets and other existing English-Hindi resources. To our knowledge, the BLEU score we obtained is currently the best published result for the IIIT-TIDES dataset.

Abstract (Czech):
Popisujeme naši snahu zlepšit dřívější výsledky strojového překladu z angličtiny do hindštiny. Využíváme dva frázové open-source systémy: Moses a Joshua. Testujeme několik přístupů k morfologickému značkování: od automatických slovních tříd přes segmentaci na kmen a sufix až k POS taggeru. Experimentujeme také s faktorizovanými jazykovými modely. Vyhodnocujeme různé kombinace trénovacích dat a dalších existujících anglicko-hindských jazykových zdrojů. Pokud je nám známo, BLEU skóre, kterého jsme dosáhli, je v současnosti nejlepší publikovaný výsledek na testovacích datech IIIT-TIDES.
Czech-English Manual Word Alignments
Česko-anglické ruční zarovnání po slovech
Year: 2009
Authors: Ondřej Bojar, Magdalena Prokopová

Abstract (English):
Czech-English 515 parallel sentences, manually aligned at the word level, as used by Bojar and Prokopová in paper at LREC 2006. We release the data in 2009.

Abstract (Czech):
Česko-anglických 515 vět, jak byly ručně zarovnány po slovech a použity v publikaci Bojar, Prokopová. LREC 2006. Data zveřejňujeme až v roce 2009.
The CoNLL-2009 Shared Task: Syntactic and Semantic Dependencies in Multiple Languages
Společná úloha CoNLL-2009: Syntaktické a sémantické závislosti v různých jazycích
Year: 2009
Authors: Jan Hajič, Massimiliano Ciaramita, Richard Johansson, Daisuke Kawahara, Maria Antònia Martí, Lluís Màrquez, Adam Meyers, Joakim Nivre, Sebastian Padó, Jan Štěpánek, Pavel Straňák, Mihai Surdeanu, Nianwen Xue, Yi Zhang

Abstract (English):
For the 11th straight year, the Conference
on Computational Natural Language Learn-
ing has been accompanied by a shared task
whose purpose is to promote natural language
processing applications and evaluate them in
a standard setting. In 2009, the shared task
was dedicated to the joint parsing of syntac-
tic and semantic dependencies in multiple lan-
guages. This shared task combines the shared
tasks of the previous five years under a unique
dependency-based formalism similar to the
2008 task. In this paper, we define the shared
task, describe how the data sets were created
and show their quantitative properties, report
the results and summarize the approaches of
the participating systems.

Abstract (Czech):
Jedenáctý rok v řadě je konference CoNLL doprovázena společnou úlohou, jejímž úkolem je podpořit aplikace na zpracování přirozeného jazyka a ohodnotit je za standardních podmínek. V roce 2009 byla úloha zasvěcena spojenému parsingu syntaktických a sémantických závislostí v několika jazycích. Úloha kombinuje zadání z předchozích pěti let v jedinečném závislostním formalizmu podobném úloze z roku 2008. V tomto článku definujeme společnou úlohu, popisujeme, jak byly vytvářeny sady dat a jaké jsou jejich kvantitativní vlastnosti, oznamujeme výsledky a shrnujeme přístupy soutěžících systémů.
CoNNL 2009 Shared Task Czech Development Set
CoNLL 2009 Shared Task Czech Development Set
Year: 2009
Authors: Jan Hajič, Pavel Straňák, Jan Štěpánek

Abstract (English):
Czech testing (development and evaluation) data for CoNLL 2009 Shared Task. The data are generated from PDT 2.0. LDC2009E35B

Abstract (Czech):
Česká testovací (dev i eval) data pro CoNLL 2009 Shared Task. Data jsou vygenerována z PDT 2.0.
LDC2009E35B
CoNNL 2009 Shared Task Czech Training Set
CoNLL 2009 Shared Task Czech Training Set
Year: 2009
Authors: Jan Hajič, Pavel Straňák, Jan Štěpánek

Abstract (English):
Czech training data for CoNLL Shared Task. The data are generated from PDT 2.0. LDC catalog number: LDC2009E34B

Abstract (Czech):
Česká trénovací data pro CoNLL 2009 Shared Task. Data jsou vygenerována z PDT 2.0. LDC2009E34B
CoNNL 2009 Shared Task Czech Trial Set
CoNLL 2009 Shared Task Czech Trial Set
Year: 2009
Authors: Jan Hajič, Pavel Straňák, Jan Štěpánek

Abstract (English):
Czech sample data for CoNLL 2009 Shared Task. The data are generated from PDT 2.0.
LDC2009E32B

Abstract (Czech):
Česká ukázková data pro CoNLL 2009 Shared Task. Data jsou vygenerována z PDT 2.0.
LDC2009E32B
Prague Dependency Treebank of Spoken Language - Czech
PDTSL - Prague Dependency Treebank of Spoken Language - Czech
Year: 2009
Authors: Jan Hajič, Marie Mikulová, Martina Otradovcová, Petr Pajas, Nino Peterek, Pavel Češka, Miroslav Spousta

Abstract (English):
The project of speech reconstruction of Czech and English has been started at UFAL together with the PIRE project in 2005, and has gradually grown from ideas to (first) annotation specification, annotation software and actual annotation. It is part of the Prague Dependency Treebank family of annotated corpus resources and tools, to which it adds the spoken language layer(s).

Abstract (Czech):
Projekt rekonstrukce mluvené řeči (pro češtinu a angličtinu) začal na pracovišti UFAL současně s projektem PIRE v roce 2005 a postupně se rozvinul z prvních návrhů k vytvoření software, anotačních manuálů a samotné anotaci dat. PDTSL je součástí korpusů a zdrojů kolem Pražského závislostního korpusu, ke kterému přidává úroveň mluveného jazyka.
Prague Dependency Treebank of Spoken Language - English
Pražský závislostní korpus mluveného jazyka - angličtina
Year: 2009
Authors: Jan Hajič, Silvie Cinková, Petra Mičková, Petr Pajas, Nino Peterek, Miroslav Spousta

Abstract (English):
This release contains the manual speech reconstruction annotation of about 260k tokens of the NAP corpus. The NAP corpus is a corpus of dialogs over personal photograph collections, recorded for the Companions project.

Abstract (Czech):
Jedná se o data z anglického dialogového korpusu NAP, který vznikl v rámci projektu Companions. Jsou to rozhovory nad fotografiemi. Na tomto korpusu byla prováděna ruční anotace tzv. speech reconstruction, rekonstrukce mluvené řeči.
Prague English Dependency Treebank 1.0
Pražský anglický závislostní korpus
Year: 2009
Authors: Jan Hajič, Silvie Cinková, Kristýna Čermáková, Lucie Mladová, Anja Nedolužko, Petr Pajas, Jiří Semecký, Jana Šindlerová, Josef Toman, Kristýna Tomšů, Matěj Korvas, Magdaléna Rysová, Kateřina Veselovská, Zdeněk Žabokrtský

Abstract (English):
This CD presents part of the Prague English Dependency Treebank (PEDT). PEDT is the manual tectogrammatical (syntactico-semantic) annotation of texts from the Wall Street Journal - Penn Treebank III. The present CD (PEDT 1.0) comprises approx. 10,000 annotated and checked trees, which is about 20% of the original WSJ-PTB. The following components are included:

    * manually annotated data, integrated valency lexicon Engvallex
    * the valency lexicon Engvallex in printable form (latest revision: January 2009)
    * the ready-to-install package of the tree editor/viewer TREd
    * documentation
    * specification of the annotation format (Prague Markup Language)

Abstract (Czech):
Na CD se nachází 10 000 manuálně tektogramaticky anotovaných vět z Penn Treebanku, editor a dokumentace.
On Honorification in Czech (The Czech polite forms - theory and corpus data)
Honorifika v češtině (České vykání - teorie a korpusová data)
Year: 2009
Authors: Jarmila Panevová

Abstract (English):
The author claims that the Czech polite forms (so-called „vykání“) for addressing the 2nd person should  be undestood as a legitimate part of the Czech conjugation paradigm. If we address a single person in a polite way, some Czech analytical verb forms exhibit „hybrid“ agreement (auxiliaries are in plural, while participle form is in singular). However, the paradigm for singular and plural polite forms is not symmetrical. The question, whether 2nd person plural polite forms are ambiguous (between  the polite meaning and 2nd plural non-polite), or whether the semantic distinction „polite – non-polite“ is neutralized in plural, is open for further discussion.

Abstract (Czech):
V článku je navrženo zařazení české 2. osoby zdvořilé (vykání) jako paradigmatické kategorie českého slovesa, protože v některých tvarech vykazuje zvláštní shodu. Klade se otázka, zda v plurálu, kde se formální rozdíl neprojevuje, jde o homonymii nebo o neutralizaci. Na korpusových datech se zkoumají ukazatelé zdvořilostní formy.