Models, Similarity, and Topics of Texts (PhD thesis)

Modely, podobnost a témata textů (doktorská disertace)

In the thesis we focus mainly on the area of document models, document
similarity and topics, and related things.
We first analyze what information can be extracted from natural
language texts using automatic linguistic processing. Then we try to
directly and explicitly capture the topics of the texts in the
document models for this information seems to be of critical
importance. We view a text collection as a graph and try to discover
topics in the text collection as a specific subgraphs.
We also developed some model data that capture the human understanding
about document similarity and topics. The data is used for tests and
for learning parameters.

Dizertace je zaměřena na problematiku modelování dokumentů, podobnosti dokumentů, témat dokumentů a souvisejících věcí. Nejprve analyzujeme, jaký druh informací může být z dokumentů extrahován s použitím automatických method lingvistické analýzy. Dále je dizertace zaměřena na explicitní identifikaci témat textů v modelech dokumentů. Specifická témata se hledají jako podgrafy v grafy celé kolekce textových dokumentů.


Review of Peter Jackson and Isabelle Moulinier: Natural Language Processing for Online Applications: Text Retrieval, Extraction and Categorization

Recenze Peter Jackson a Isabelle Moulinier: Zpracování přirozeného jazyka pro on-line aplikace: vyhledávání, extrakce a kategorizace textů

This book covers the emerging technologies of document retrieval, information extraction, and text categorization in a way which highlights commonalities in terms of both general principles and practical issues.

Kniha pokrývá nové technologie z oblasti zpracování přirozeného jazyka. Zaměřuje se na vyhledánání informací, automatickou extrakci informací z textu a klasifikaci textů podle tématu.


Edward Göbbel: Syntactic and focus-structural aspects of triadic constructions

Edward Göbbel: Syntaktické a ohniskově-strukturální aspekty triadických konstrukcí

A review of a monograph the author of which presents its proposalw to
represent the information structure of the sentence based on triadic
structures.

Recenze monografie, v níž autor prezentuje svůj návrh na reprezentaci
informatické struktury věty na základě triadických struktur.


Harvesting the fruit from Treebanks: Information structure and the stock of shared knowledge

Sklizeň plodů treebanků: Aktuální členění a zásobárna sdílených znalostí

Annotated corpora are discussed from the viewpoint of their contribution to linguistic theories.

Přínos anotovaných jazykových korpusů pro lingvistické studium aktuálního členění.


The process of translation is viewed from the point of view of understanding and a representation of meaning is argued for.

Proces překladu je nahlížen z hlediska porozumění; je navržen možný přístup k reprezentaci významu textu.


What Golem was not yet able to do (and what e-Golem should learn)

Co Golem ještě neuměl (a co by se e-Golem měl naučit)

An analysis of several linguistic issues that must be taken into account in any automatic natural language understanding system.

Rozbor jazykových problémů, které je třeba řešit pro automatické porozumění textů v přirozeném jazyce.


Written and spoken language: The case of ambiguities

Psaný a mluvený jazyk: Případ nejednoznačností

Language is characterized by several types of asymmetries, one of the most important is the case of homonymy, which can be found both in spoken and in written languge.

Vztah mezi mluveným a psaných jazykem z hlediska jazykové víceznačnosti.


Corpus Evidence of Contextual Boundness and Focus

Doklady kontextové zapojenosti a ohniska z korpusu

A computational implementation of the algorithm for determination of topic
and focus on the basis of the primary marker of contextual boundness.

Počítačové ověření algoritmu pro určení základu a ohniska výpovědi na
základě primárniho příznaku kontextoveho zapojeni.

Eva Hajičová
Jiří Havelka
Kateřina Veselá


The position of information structure in the core of language

Postavení informační struktury v centru jazyka

The status of the representation of topic/focu articulation in the overall
underlying representation of the structure of the sentence.

Postavení aktuálního členění věty v popisu hloubkové (podkladové)struktury jazyka.


A Generic XML-Based Format for Structured Linguistic Annotation and Its Application to Prague Dependency Treebank 2.0

Obecný formát pro strukturovanou lingvistickou anotaci založený na XML a jeho využití v Pražském závislostním korpusu 2.0

In the first part of this technical report we describe our approach to design
        a new data format, based on XML (Extensible Markup Language)
            and aimed to provide a better and unifying alternative to
            various legacy data formats used in various areas of
            corpus linguistics and specifically in the field of
            structured annotation.
            We introduce the first version of the format, called Prague
            Markup Language (PML). This version has already been employed as
            the main data format for the upcoming Prague Dependency
            Treebank 2.0 (PDT).
Finally we outline our ideas and proposals for further improvement of
            PML, based on our current experience with using and
            processing data in PML format in the PDT 2.0 project.

            The second part of the technical report contains the state-of-the-art
            specification of PML.

Technická zpráva popisuje design nového datového formátu založeného na XML, který má zajistit lepší  interoperabilitu a nahradit rozličné starší datové formáty používané v různých oblastech            korpusové lingvistiky se strukturovanou anotací.
Zpráva představuje první verzi formátu pod názvem Prague Markup Language (PML) a to včetně aktuální verze technické specifikace.


Review of Leonard Talmy: Toward a Cognitive Semantics, Volume I, Concept Structuring Systems

Recenze: Leonard Talmy: Toward a Cognitive Semantics, Volume I, Concept Structuring Systems

Leonard Talmy sums up his work in the field of semantics (which he identifies with cognitive linguistics) in the last 30 years. Though it may seem redundant, he uses the attribute 'cognitive' in connection with 'semantics' to emphasize the concern for the conceptual structures as they are formed in a person's mind and also his phenomenological approach. The book Toward a Cognitive Semantics consists of two volumes. In the volume under review the idea of general concept-structuring systems in language and of their relationships to other perception systems is put forward, whereupon the analyzes of three such systems are provided. The volume is divided into four parts: Foundations of Conceptual Structuring in Language, Configurational Structure, Attention, Force and Causation.

Leonard Talmy shrnuje jeho práci v oblasti sémantiky (kterou ztotožňuje s kognitivní lingvistika) v posledních 30 let. Ačkoli se to může zdát zbytečné, když používá atribut 'kognitivní' v souvislosti s 'sémantiky' zdůraznit zájem o pojmové struktury, neboť se tvoří v lidském myšlení a také jeho fenomenologický přístup. Ke knize Kognitivní sémantika se skládá ze dvou svazků. Objemu v rámci přezkumu myšlenku obecného pojmu-struktury systémů v jazyce a jejich vztahy k jiným systémům vnímání je předložit, načež analyzuje tři takové systémy jsou poskytovány. Objem je rozdělen do čtyř částí: Základy Koncepční Strukturování v jazyce, Configurational struktura, pozornost, síly a jejich příčin.


An Extensive Empirical Study of Collocation Extraction Methods

Rozsáhlá empirická studie metod pro extrakci kolokací

This paper presents a status quo of an
ongoing research study of collocations –
an essential linguistic phenomenon having
a wide spectrum of applications in
the field of natural language processing.
The core of the work is an empirical evaluation
of a comprehensive list of automatic
collocation extraction methods using
precision-recall measures and a proposal
of a new approach integrating multiple
basic methods and statistical classification.
We demonstrate that combining
multiple independent techniques leads to
a significant performance improvement in
comparisonwith individual basic methods.

Empirická studie popisující současný stav výzkumu metod pro extrakci kolokací.


Language Modeling for Speech Recognition of Czech (PhD thesis)

Jazykové modelování pro rozpoznávání řeči v češtině (doktorská disertace)

Main problem of language modeling encountered in Czech is enormous vocabulary growth caused by great number of different word forms derived from one word (lemma).

Hlavní problém jazykového modelování v češtině je enormní velikost slovníku způsobená velkým množstvím různých slovních tvarů odvozených z jednoho slova (lemmatu).


Automatic transcription of Czech, Russian, and Slovak Spontaneous Speech in the MALACH Project

Automatický přepis české, ruské a slovenské spontánní řeči v projektu MALACH

This paper describes the building of LVCSR systems for recognition of spontaneous speech of Czech, Russian, and Slovak witnesses of the Holocaust in the MALACH project. Manual transcripts as one of the main sources for language modeling were automatically „normalized” using standardized lexicon, which brought about 2 to 3% reduction of the word error rate. The subsequent interpolation of such LMs with models built from an additional collection (consisting of topically selected sentences from general text corpora) resulted into an additional improvement of performance of up to 3%.

Článek popisuje vytváření LVCSR systému pro rozpoznávání spontánní promluvy českých, ruských a slovenských svědků holokaustu v projektu MALACH. Ruční transkripce byly použity jako hlavní zdroj pro jazykové modelování a normalizovány s použitím standardního slovníku, což přineslo 2-3% snížení chybovosti. Následná interpolace s tématicky podobnými větami automaticky vybranými z obecného korpusu přinesla další zlepšení o 3%.

Josef Psutka
Pavel Ircing
Josef V. Psutka
Jan Hajič
William Byrne
Jiří Mírovský


Valence deverbativních substantiv v češtině (PhD thesis)

The present Doctoral Thesis deals with valency properties of deverbal nouns in Czech. After an overview of Czech and foreign approaches to the valency of nouns and a summary of current knowledge concerning some special issues of valency of Czech deverbal nouns, we present results consisting of our analysis of syntactically and semantically compact groups of deverbal nouns as well as theoretical conclusions following from the examined language material. We have focused our attention on Czech deverbal nouns that can be modified by a participant expressed by prepositionless dative. Such nouns were searched for in two Czech electronic corpora, Czech National Corpus (CNC) and Prague Dependency Treebank (PDT). The obtained occurrences were manually sorted and analysed and their valency behaviour is described within the theoretical framework of the Functional Generative Description (FGD).

Disertace se zabývá problematikou valence deverbativních substantiv v češtině. Úvodní oddíly jsou věnovány přehledu zahraničních i českých přístupů k otázkám valence substantiv a shrnutí dosavadních poznatků týkajících se některých vybraných problémů v oblasti valence českých deverbativních substantiv (zejména vztahu mezi povrchovým vyjádřením valenčních doplnění deverbativních substantiv a formou odpovídajících valenčních doplnění u příslušného základového slovesa). Vlastní výsledky zkoumání jsou představeny jednak v podobě detailních studií věnovaných syntakticky nebo sémanticky uceleným skupinám deverbativních substantiv (zejména substantiv s dativní valencí), jednak v podobě teoretických závěrů vyplývajících z prozkoumaného jazykového materiálu. Jazykový materiál byl čerpán ze dvou českých elektronických korpusů, Českého národního korpusu a Pražského závislostního korpusu. Jako teoretický rámec pro popis valenčních vlastností zkoumaných substantiv byl zvolen funkční generativní popis.


Valency of selected groups of different types of deverbal nouns from the quantitative point of view

Valence vybraných skupin verbálních a dějových substantiv z pohledu čísel

The book of abstracts was published at the conference in 2005. A book with full papers was published 2 years later: GRAMATIKA A KORPUS, GRAMAR & CORPORA 2005, editors František Štícha and Josef Šimandl, ISBN 80-86496-32-5, 304 pages, 31 texts, publisher Ústav pro jazyk český (Institute of the Czech Language).

Studying valency properties of nouns derived from verbs that can also be modified by a valency complementation expressed by prepositionless dative, we focused on two distinct semantic classes, i.e. nouns of giving and nouns of saying.

Sborník anotací vyšel už při konferenci v roce 2005. Kniha s úplnými články vyšla až o 2 roky později: GRAMATIKA A KORPUS, GRAMAR & CORPORA 2005, editoři František Štícha a Josef Šimandl, ISBN 80-86496-32-5, 304 stran, 31 textů, vydavatel Ústav pro jazyk český.

Tento příspěvek se zaměřuje na porovnání valenčního chování dvou skupin deverbativních substantiv odvozených od sloves s dativní valencí, a to substantiv dávání a substantiv mluvení.


Full Tagging of Real Data Using Memory-Based Learning

Úplné značkování reálných dat s použitím učení založeného na paměti

The memory-based learning belongs to so-called lazy methods of generalization. The training data are only stored in the memory and during the testing, the most similar examples are retrieved. We use this method for the morphological disambiguation of Czech and show the first results.

Učení založené na paměti (memory-based learning) patří k tzv. líným (lazy) metodám generalizace. Trénovací data jsou pouze zapamatována a během testování se mezi nimi hledají co nejpodobnější příklady. Tuto metodu používáme k disambiguaci morfologického značkování češtiny a ukazujeme první výsledky.


Prague Dependency Treebank and its accessibility by the search tool Netgraph

Pražský závislostní korpus a jeho dostupnost pomocí vyhledávacího programu Netgraph

The Prague Dependency Treebank belongs to the most advanced linguistically annotated corpora in the world. It is annotated on three layers of abstraction: morphological, analytical and tectogrammatical. For searching in the corpus, we develop a user-friendly tool called Netgraph. It offers an intuitive interface and most of all, an intuitive query language, along with a comprehensive depicting of the results.

Pražský závislostní korpus patří k nejvyspělejším jazykově anotovaným korpusům světa. Je anotován na třech rovinách jazykové abstrakce - morfologické, analytické a tektogramatické. K jeho prohledávání vytváříme uživatelsky přítulný nástroj Netgraph, který nabízí intuitivní ovládání a především intuitivní dotazovací jazyk, spolu s přehledným zobrazením výsledku dotazů.


Syntactic parser of morphologically tagged Czech text in the CSTS format of the Prague Dependency Treebank.

Syntaktický analyzátor morfologicky označkovaného českého textu v CSTS formátu Pražského závislostního korpusu.


Improving Parsing Accuracy by Combining Diverse Dependency Parsers

Zvyšování úspěšnosti syntaktické analýzy kombinováním rozličných závislostních parserů

This paper explores the possibilities of improving parsing results by combining outputs of several parsers. To some ex-tent, we are porting the ideas of Hender-son and Brill (1999) to the world of dependency structures. We differ from them in exploring context features more deeply. All our experiments were con-ducted on Czech but the method is lan-guage-independent. We were able to significantly improve over the best pars-ing result for the given setting, known so far. Moreover, our experiments show that even parsers far below the state of the art can contribute to the total improvement.

Tento dokument zkoumá možnosti zlepšení výsledků analýzy kombinací výstupů několika parsery. Pro některé ex-stanu, jsme přenášeli myšlenky Hender-syn a Brill (1999), do světa závislosti struktur. Lišíme se od nich v kontextu zkoumání vlastností hlouběji. Všechny naše experimenty byly kon-odváděny na českém, ale metoda je lan-guage-nezávislé. Byli jsme dokázali výrazně zlepšit po pars-ing nejlepší výsledek pro dané nastavení, známé doposud. Navíc naše experimenty ukazují, že i parsery hluboko pod stavem může přispět k celkovému zlepšení.


Manual for Morphological Annotation, Revision for the Prague Dependency Treebank 2.0

Příručka pro morfologické anotace, revize pro Pražský závislostní korpus 2.0

The document describes annotation of the Prague Dependency Treebank on the morphological layer. Besides an overview of the morphological tags it also brings information about the tags attached to lemmas. It gives many examples to analyze difficult situations where it is not obvious what tag to use.

Dokument popisuje anotace Pražského závislostního korpusu na morfologické rovině. Vedle přehledu morfologických značek přináší také informace o značkách připojených k lemmatům. Na řadě příkladů rozebírá sporné situace, kde není na první pohled jasné, jakou značku zvolit.

Jiří Hana
Daniel Zeman
Jan Hajič
Hana Hanová
Barbora Hladká
Emil Jeřábek


Speech Recognition of Czech - Inclusion of Rare Words Helps

Rozpoznávání řeči v češtině – zahrnutí řídkých slov pomáhá

Large vocabulary continuous speech
recognition of inflective languages, such
as Czech, Russian or Serbo-Croatian, is
heavily deteriorated by excessive out of
vocabulary rate. In this paper, we tackle
the problem of vocabulary selection, language
modeling and pruning for inflective
languages. We show that by explicit
reduction of out of vocabulary rate we
can achieve significant improvements
in recognition accuracy while almost
preserving the model size. Reported
results are on Czech speech corpora.

Rozpoznávání souvislé řeči s rozsáhlým slovníkem flexivních jazyků jako čeština, ruština nebo srbochorvatšitna je silně negativně ovlivněno vysokým výskytem neznámých slov. V tomto článku řešíme problém výběru slovníku, jazykového modelování a prořezávání pro flexivní jazyky.


Non-Projective Dependency Parsing using Spanning Tree Algorithms

Neprojektivní závislostní syntaktická analýza s použitím algoritmů kostry

We formalize weighted dependency parsing as searching for maximum spanning trees (MSTs) in directed graphs. Using this representation, the parsing algorithm of Eisner (1996) is sufficient for searching over all projective trees in O(n3) time. More surprisingly, the representation is extended naturally to non-projective parsing using Chu-Liu-Edmonds (1965, 1967) MST algorithm, yielding an O(n2) parsing algorithm.

Závislostní syntaktickou analýzu (parsing) formalizujeme jako hledání maximální kostry v orientovaném grafu. Při této reprezentaci lze použít Eisnerův (1996) algoritmus pro prohledání všech projektivních stromů v čase O(n3). Překvapivě lze tuto reprezentaci přirozeně rozšířit na neprojektivní analýzu pomocí algoritmu Chu-Liu-Edmonds (1965, 1967). Výsledný algoritmus má složitost O(n2).

Ryan McDonald
Fernando Pereira
Kiril Ribarov
Jan Hajič


The paper presents rooted trees and their usage for dependency parsing of Czech, including a summary of experiments that demonstrate the error/success rate of the resulting dependency trees.

Tento článek prezentuje metodu kořenových stromů a její využití pro závislostní parsing češtiny včetně souhrnu experimentů, které přibližují chybovost, popřípadě úspěšnost takto získaných závislostních stromů.


Annotations on tectogrammatical level of Prague Dependency treebank.(Instructions for annotators)

Anotace na tektogramatické rovině Pražského závislostního korpusu. Anotátorská příručka

This technical document provides detailed documentation of the Prague Dependency Treebank, version
2.0 (PDT 2.0). It includes a detailed complex description of the rules that have been used so far for
the annotation of Czech sentences on the tectogrammatical layer both in linguistic and technical respect.
The annotated data do not always reflect the described state of the rules precisely, therefore the technical
document includes also a detailed description of the tectogrammatical trees that are annotated in
PDT 2.0.

Tato technická zpráva je dokumentací k Pražskému závislostnímu korpusu verze 2.0 (PDT 2.0). Obsahuje
podrobný komplexní popis dosavadních pravidel anotování českých vět na tektogramatické rovině,
a to především po stránce lingvistické, ale i po stránce technické. Anotovaná data neodráží vždy přesně
popisovaný stav pravidel anotace, proto je v technické zprávě zahrnut i co nejpřesnější popis anotovaných
tektogramatických stromů v korpusu PDT 2.0.

Marie Mikulová
Alevtina Bémová
Jan Hajič
Eva Hajičová
Jiří Havelka
Veronika Kolářová
Markéta Lopatková
Petr Pajas
Jarmila Panevová
Magda Razímová
Petr Sgall
Jan Štěpánek
Zdeňka Urešová
Kateřina Veselá
Zdeněk Žabokrtský
Lucie Kučová


Formal Specification of Underlying Structure for NL Description

Formální specifikace podkladové struktury pro popis přirozeného jazyka

In this article a new formal model of underlying representation of natural language is provided. As a background, Functional Generative Description of Czech is used. We aim at clear and comprehensive introduction of main ideas published by Vl. Petkevič in the article A New Formal Specification of Underlying Structures, Theoretical Linguistics, vol. 21, No.1, 1995.

V tomto textu chceme čtenáře seznámit s možností formálního zavedení podkladové reprezentace
přirozeného jazyka, tedy s reprezentací, která zachycuje jazykový význam. Vycházíme přitom
z Funkčního generativního popisu, což je stratifikační, závislostně orientovaný popis češtiny. Přibližujeme zde přístupnou formou hlavní myšlenky článku Vl. Petkeviče A New Formal Specification of Underlying
Structures, který vyšel v časopise Theoretical Linguistics, vol. 21, No.1 v roce 1995.


Valency Lexicon of Czech Verbs VALLEX: Recent Experiments with Frame Disambiguation

Valenční slovník českých sloves VALLEX: Nedávné experimenty se zjednoznačněním rámců

VALLEX is a linguistically annotated lexicon aiming at a~description of syntactic
information which is supposed to be useful for NLP. The lexicon contains roughly 2500 manually annotated Czech verbs with over 6000 valency frames (summer 2005). In this paper we introduce VALLEX and describe an experiment where VALLEX frames were assigned to 10,000 corpus
instances of 100 Czech verbs -- the pairwise inter-annotator agreement reaches 75%.
The part of the data where three human annotators agreed were used for an automatic word sense disambiguation task, in which we achieved the precision of 78.5%.

VALLEX je slovník sloves zaměřený na popis syntaktické informace užitečné pro NLP. Slovník obsahuje asi 2500 ručně anotovaných českých sloves s více než 6000 valenční rámce (léto 2005). V tomto příspěvku je představen VALLEX a popsán experiment, kde byl pomocí jednotlivých rámcům VALLEXu anotován korpus 10.000 instancí 100 českých sloves - mezianotátorská shody činila 75%. Část dat byla použita pro WSD, tedy pro automatické přiřazování významu, ve kterém jsme dosáhli úspěšnosti 78,5%.

Markéta Lopatková
Ondřej Bojar
Jiří Semecký
Václava Benešová
Zdeněk Žabokrtský


Modeling syntax of Free Word-Order Languages: Dependency Analysis By Reduction

Modelování syntaxe jazyků s volným slovosledem: redukční závislostní analýza

This paper explains the principles of dependency analysis by reduction and its correspondence to the notions of dependency and dependency tree. The explanation is illustrated by examples from
Czech, a language with a relatively high degree of word-order freedom. The paper sums up the basic features of methods of dependency syntax. The method serves as a basis for the verification (and explanation) of the adequacy of formal and
computational models of those methods.

Tento příspěvek vysvětluje principy závislostní redukční analýzy a její vztah závislostem a závislostním stromům. Závislostní redukční analýzu dokládá českými příklady charakteristickými slovoslednou volností. příspěvek shrnuje základní prvky metody závislostní syntaxe. Tato metoda slouží jako základ pro ověřování (a vysvětlení) přiměřenosti formální a výpočetních modelů z těchto metod.

Markéta Lopatková
Martin Plátek
Vladislav Kuboň


Anaphora in Czech: Large Data and Experiments with Automatic Anaphora

Anafora v češtině: velká data a pokusy s automatickou anaforou

The aim of this paper is two-fold. First, we want to present a part of the annotation scheme of the Prague Dependency Treebank 2.0 related to the annotation of coreference on the tectogrammatical layer of sentence representation (more than 45,000 textual and grammatical coreference links in almost 50,000 manually annotated Czech sentences). Second, we report a new pronoun resolution system developed and tested using the treebank data, the success rate of which is 60.4 %.

V článku je popsáno anotační schéma koreference v Pražském závislostním korpusu. Dále je popsán a vyhodnocen nový systém na vyhledávání antecedentů osobních zájmen.


Topic-focus articulation and anaphoric relations: A corpus based probe

Aktuální členění věty a anaforické vztahy: výzkum na korpusu

A dependency based annotated corpus of Czech is used for testing several hypotheses
concerning topic/focus of the sentence.

Pražský závislostní korpus je využit k testování hypotéz o diskurzních vztazích, především v oblastio anafor.

Lucie Kučová
Kateřina Veselá
Eva Hajičová
Jiří Havelka


Meanings of Morphological Categories on the Tectogrammatical Level

Významy morfologických kategorií na tektogramatické rovině

In the contribution, the work on the system of grammatemes (mostly semantically-oriented counterparts of morphological categories such as number, degree of comparison, or tense) is presented, The concept of grammatemes was introduced in Functional Generative Description, and is now further elaborated in the context of Prague Dependency Treebank 2.0.

V příspěvku představujeme systém gramatémů, který byl koncipován ve Funkčním generativním popisu a dále rozpracován při anotaci Pražského závislostního korpusu 2.0 (PDT 2.0).


Morphological Meanings in the Prague Dependency Treebank 2.0

Morfologické významy v Pražském závislostním korpusu 2.0

In this paper we report our work on the system of grammatemes (mostly semantically-oriented counterparts of morphological categories such as number, degree of comparison, or tense), the concept of which was introduced in Functional Generative Description, and is now further elaborated in the context of Prague Dependency Treebank 2.0. We present also a new hierarchical typology of tectogrammatical nodes.

V příspěvku je představen systém gramatémů, který byl koncipován ve Funkčním generativním popisu a rozpracován při anotaci Pražského závislostního korpusu 2.0 (PDT 2.0). Gramatémy jsou nejčastěji významové protějšky morfologických kategorií, např. kategorie čísla nebo času.


Application of Backpropagation in Morphological Tagging for Czech

Aplikace zpětné propagace v morfologickém značkování češtiny

Morphological tagging is an important problem in the area of computational linguistics as it underlies other crucial tasks such as syntactic parsing and machine translation. Nowadays, the problem is being most commonly solved by a statistical approach. Artificial neural networks (ANN) represent another promising approach to this kind of problems for which the exact algorithmic solution is unknown or not efficient enough. In this paper we present the results obtained by application of the well-known backpropagation (BP) neural network in several types of experiments. We have focused on the Czech morphology, because its morphological system is very rich and no experiments concerning application of artificial neural networks have been carried out for this language. First, we have verified on a set of preliminary experiments that the neural network is capable of capturing the Czech morphology, which, secondly, served also for determination of appropriate network and context parameters. Thirdly, we have used neural networks for a voting experiment. The aim of the voting experiment was to select the correct tag (if present) from the outputs of two statistical taggers, the Markov model tagger and the Featurebased tagger. In this experiment, BP showed higher tagging precision (93,56%) than any of the input statistical methods (92,74%, 92,58%) and exceeded even the currently best available statistical result (93,47%). BP has proved to be a worthy post-processing tool that is able to perform implicit evaluation on complementary aspects of different statistical approaches.

Morfologické značkování je důležitý problém v oblasti počítačové lingvistiky, protože na něm staví další významné úlohy jako syntaktická analýza a strojový překlad. V současnosti se tento problém nejčastěji řeší statisticky. Další slibnou metodou jsou umělé neuronové sítě (ANN). V článku prezentujeme výsledky aplikace známé zpětné propagace (BP) na několik druhů experimentů.


Making the Good Taggers Even Better: Application of Artificial Neural Networks in Morphological Tagging of Czech

Jak udělat dobré taggery ještě lepší: aplikace umělých neuronových sítí v morfologickém značkování češtiny

Morphological tagging is an important problem in the area of computational linguistics as it underlies other crucial tasks such as syntactic parsing and machine translation. Nowadays, the problem is being most commonly solved by a statistical approach. Artificial neural networks (ANN) represent another promising approach to this kind of problems for which the exact algorithmic solution is unknown or not efficient enough. In this paper we present the results obtained by application of the well-known backpropagation (BP) neural network in several types of experiments. We have focused on the Czech morphology, because its morphological system is very rich and no experiments concerning application of artificial neural networks have been carried out for this language. First, we have verified on a set of preliminary experiments that the neural network is capable of capturing the Czech morphology, which, secondly, served also for determination of appropriate network and context parameters. Thirdly, we have used neural networks for a voting experiment. The aim of the voting experiment was to select the correct tag (if present) from the outputs of two statistical taggers, the Markov model tagger and the Feature-based tagger. In this experiment, BP showed higher tagging precision (93.56%) than any of the input statistical methods (92.74%, 92.58%) and exceeded even the currently best available statistical result (93.47%). BP has proved to be a worthy post-processing tool that is able to perform implicit evaluation on complementary aspects of different statistical approaches.

Morfologické značkování je důležitý problém v oblasti počítačové lingvistiky, protože je předstupněm pro další zásadní úlohy jako syntaktickou analýzu a strojový překlad. V současné době je nejčastěji řešen statistickými metodami. Jiný slibný přístup k tomuto druhu problémů, pro které není známo nebo není dostatečně efektivní exaktní algoritmické řešení, představují umělé neuronové sítě (ANN). V tomto článku prezentujeme výsledky aplikace neuronových sítí s "backpropagation" (BP) na pokusy několika druhů.


In the contribution, different approaches to verb classification are characterized. We briefly describe valency theory of Functional Generative Description that provides the theoretical background for valency lexicon VALLEX. The basic criteria for classifying verbs from the valency lexicon VALLEX are formulated. Some illustrative instances of delimitation of classes such as communication, mental action, perception, exchange and providing are introduced in this paper.

Tento příspěvek představuje různé přístupy k sémantické klasifikaci sloves. Vychází z Funkčního generativního popisu, který představuje teoretický rámec valenčního slovníku VALLEX, a pokouší se formulovat základní kritéria pro vymezení syntakticko-sémantických tříd sloves. Tento přístup je demonstrován na příkladech některých slovesných tříd, jako jsou slovesa mluvení, myšlení, vnímání nebo výměny.


Automatic assignment of Frame Semantics using Syntax-Semantics Interface in LFG

Automatické přiřazování sémantických rámců s pomocí syntakticko-sémantického rozhraní v LFG

The article discusses methods that can be used to automatically assign semantic frames using the Syntax-Semantics Interface in Lexical Functional Grammars.

Článek pojednává o metodách, kterými lze automaticky přiřazovat sémantické rámce pomocí syntakticko-sémantického rozhraní v lexikálních funkčních gramatikách.


From school literariness to Standard Czech

Od školské spisovnosti ke standardní češtině

The concept of "literary" language is getting obsolete, it should be changed into that of standard language, lacking clear boundary lines.

Pojem spisovnosti zastarává, je třeba nahradit ho ne tak ostře ohraničeným chápáním češtiny standardní.

František Čermák
Petr Sgall
Petr Vybíral


On Tearness and Freedom of Word Order with Restarting Automata

O roztržitosti a volnosti slovosledu pomocí restartovacích automatů

We introduce a new type of restarting automaton as a means for classification phenomena related to valency and word order in natural languages. Two basic types of constraints are studied: j-abstractedness as a measure for discontinuity of valences and j-freedom as a measure for free word order.

Zavádíme nový typ restartovacích automatů, abychom získali prostředek umožňující klasifikaci jevů
souvisejících s valencí a slovosledem u přirozených jazyků. Studujeme dva základní typy omezení výpočtů:
j-roztržitost interpretujeme jako míru nesouvislosti valencí (redukcí) a j-volnost jako míru volnosti slovosledu.

Martin Plátek
František Mráz
Friedrich Otto
Markéta Lopatková


Average reduced frequency is a value that should be used instead of pure frequency for ranking words according to their commonness. It takes into account not only number of occurrences but also the word distribution within the whole corpus.

Průměrná redukovaná frekvence je číslo, které slouží k seřazení slov podle běžnosti. Na rozdíl od prosté frekvence bere v úvahu rozložení slov v korpusu, a tím se vypořádává s problémem výskytu slov ve shlucích.


Orwell's 1984 - playing with Czech and Slovak versions

Orwellovo 1984 – hrátky s českou a slovenskou verzí

The contribution will describe an experiment with the automatic translational tool Česílko that was designed for translation between very close languages, namely Czech and Slovak. We had at our disposal the Czech version of the Orwell's novel 1984, morphologically annotated, and the Slovak version without the annotation. We automatically translated the Czech version into Slovak and compared the result with the automatic morphological annotation of the Slovak version. We evaluated the experiment using manually annotated part of the Slovak version.

During the experiment we had to deal with different non-consistent morphological tagsets used for the annotation of different input data.
Conversions among them made the hardest problems of the whole work. The contribution will concentrate on overcoming inconsistent tagsets, as the problem is quite common.

V příspěvku je popsán experiment s automatickým překladačem Česílko, který překládá mezi blízkými jazyky, konkrétně češtinou a slovenštinou. Experiment byl proveden na české a slovenské verzi Orwellova románu 1984.


Swedish-Czech Combinatorial Valency Lexicon of Predicate Nouns: Describing Event Structure in Support Verb Constructions

Švédsko-český kombinatorický valenční slovník predikátových podstatných jmen: Popis struktury děje v pomocných slovesných konstrukcích

This article presents a proposed Swedish valency lexicon. The lexicon microstructure contains additional event-structure information.

Tento článek popisuje návrh švédského valenčního slovníku, jehož mikrostruktura (struktura slovníkového hesla) by byla obohacena o informaci o telicitě a způsobu slovesného děje.


Treating support verb constructions in a lexicon: Swedish-Czech combinatorial valency lexicon of predicate nouns

Zpracování pomocných slovesných konstrukcí ve slovníku: Švédsko-český kombinatorický valenční slovník predikátových podstatných jmen

This contribution addresses nouns in light verb constructions and their lexicographical description for NLP purposes.

Tento příspěvek se zabývá podstatnými jmény, které figurují v jmenných částech tzv. analytických predikátů.


Review of A Student Grammar of Modern Standard Arabic by Eckehard Schultz, Cambridge University Press, 264p.

Recenze "A Student Grammar of Modern Standard Arabic" od Eckeharda Schultze, Cambridge University Press, 264 str.

The second fundamental difficulty with this book is that for most of the chapters
Cachia draws on texts which appeared before 1970. Modern Arab literature
develops fast, and this is particularly true of the last twenty-five years. Some characteristics
which he apparently sees as still valid have now been modified. As far as
'Islamic inspiration' is concerned, Sufism has formed a point of reference for two
leading Egyptian writers of the post-Mahfuz generation.

Druhý základní problém s touto knihou je, že pro většinu z ka -
ters Cachia draws on texts which appeared before 1970. vat Cachia čerpá z textů, které se objevily před rokem 1970. Modern Arab literature Moderní arabské literatuře
develops fast, and this is particularly true of the last twenty-five years. rychle vyvíjí, a to platí především za posledních dvacet pět roků. Some char- Některé char -
acteristics which he apparently sees as still valid have now been modified. acteristics kterou zřejmě považuje za stále platné již byly upraveny. As far as Co se týče
'Islamic inspiration' is concerned, Sufism has formed a point of reference for two 'Islámský inspirace' se obává, Súfismus vytvořila referenční bod pro dva
leading Egyptian writers of the post-Mahfuz generation. přední egyptský spisovatelé post-Mahfuz generace.


Corrective Modeling for Non-Projective Dependency Parsing

Korektivní modelování pro neprojektivní závislostní syntaktickou analýzu

We present a corrective model for recovering non-projective dependency structures from trees generated by state-of-the-art constituency-based parsers.

Předvádíme korektivní model pro získávání neprojektivních závislostních struktur ze stromů generovaných nejlepšími dostupnými parsery založenými na složkách.


Automatic Recognition of Czech Derivational Prefixes

Automatické rozpoznávání českých derivačních prefixů

This paper describes the application of a method for the automatic, unsupervised recognition of derivational prefixes of Czech words. The technique combines two statistical measures - Entropy and the Economy Principle. The data were taken from the
list of almost 170 000 lemmas of the Czech National Corpus.

V příspěvku popisujeme automatické rozpoznání derivačních předpon českých slov. Metoda spočívá v použití dvou statistických měr - Entropie a Ekonomického principu. Experimenty byly prováděny se seznamem téměř 170 tisíc lemmat z Českého národního korpusu.

Alfonso Medina Urrea
Jaroslava Hlaváčová


Automatic Construction of a Valency Lexicon of Czech Adjectives

Automatická konstrukce valenčního slovníku českých přídavných jmen

This paper describes conversion of a surface valency lexicon of Czech verbs
to a surface valency lexicon of adjectives that can be derived from these
verbs and that use their (possibly modified) valency frames. After
preparing the necessary data by hand, the conversion can be fully automatic
and every change of the source lexicon can be automatically reflected in
the destination lexicon. We have successfully converted the verb valency
lexicon Brief with about 15,000 verbs to a valency lexicon of about
27,000 deverbal adjectives. The paper also describes some interesting
peculiarities in the process of creating passive adjectives and their
valency frames.

Článek popisuje konverzi slovníku povrchové valence českých sloves na slovník povrchové valence deverbativních adjektiv. Po manuální přípravě dat je celá konverze plně automatická a veškeré změny ve zdrojovém slovníku se automaticky odrazí ve slovníku cílovém.


Language Technology from a European Perspective

Jazykové technologie z evropské perspektivy

This paper describes the cooperation of four European Universities aiming at attracting more students to European mas-ter studies in Language and Communica-tion Technologies. The cooperation has been formally approved within the frame-work of the new European program “Erasmus Mundus” as a Specific Support Action in 2004. The consortium also aims at creating a sound basis for a joint master program in the field of language technol-ogy and computer science.

Článek popisuje spolupráci čtyř evropských univerzit zaměřenou na popularizaci evropských magisterských studií v oblasti jazykových a komunikačních technologií. Tato spolupráce byla formálně posvěcena v rámci programu Erasmus Mundus jako Zvláštní podpůrná akce v roce 2004. Konsorcium se také zaměřuje na vytvoření pevného základu púro společný magosterský program v oblasti jazykových technologií a informatiky.

Hans Uszkoreit
Valia Kordoni
Vladislav Kuboň
Michael Rosner
Sabine Kirschmeyer Andersen


Automatic paradigm assignment for Czech words

Automatické přiřazování tvaroslovných vzorů v češtině (master's thesis)

Aim of the presented work is to explore possibility of automatic morphological paradigms assignment for the Czech words. Theoretical part of our work consists of the problem analysis with emphasized issues we have to deal with. We present four different algorithms for morphological paradigm assignment, using both word form analysis and contextual information processing. Word forms are partitioned into equivalence classes according to their lemma, using another algorithm. We performed more than 250 tests on the various corpus data with the purpose of estimating best method parameters. Presented algorithms are thoroughly described and implemented.

Cílem předložené práce je vytvořit metody pro automatické přiřazování morfologických vzorů českým slovům. Nejprve je provedena analýza problému, ve které jsou zdůrazněny některé podproblémy, se kterými se musíme vypořádat. Poté jsou navrženy čtyři různé algoritmy pro výběr z možných vzorů, pracující na základě analýzy slova a jeho kontextu. Dále jsme navrhli algoritmus pro rozdělení množiny slov na třídy ekvivalence podle společného lemmatu. Pro odhad optimálních parametrů jednotlivých metod jsme použili různé zdroje dat, na kterých jsme provedli přes 250 testů s různými hodnotami parametrů. Součástí
práce je popis použitých algoritmů a jejich implementace v programovacích jazycích Perl a C++.


Fisher linear discriminant analysis as a method for protein classification

Fisherova lineární diskriminantní analýza jako metoda klasifikace proteinů

Statistical decision rules can be used in genetics, more accurately in microarray, to classify proteins into several classes according information taken from other measured variables.

The contribution concerns on using Fisher linear discriminant analysis on a real data consisting of 268 proteins classified according 400 variables into 42 classes. The classification task of such a case is typical for microarray where number of variables is higher than number of observed objects (also known as  p>>n problem). The data was investigated several times earlier; the project web page of these studies as well as with other results is http://www.dkfz.de/biostatistics/protein/DEF.html. A lot of linear and nonlinear methods was used, the lowest error was reached with nonlinear method called Support Vector Machines.

It will be shown that with a good implementation of Fisher discriminants the linear method can beat nonlinear ones. A small comparison with classical implementation by lda() function in R (http://www.r-project.org) will be shown as well.

Statistické rozhodovací pravidla mohou být využita v genetice, přesněji v odvětví microarray, za účelem klasifikace proteinů do několika několika tříd, a to podle informací shrnutých v několika naměřených proměnných.

Příspěvěk pojednává o použití metody Fisherovy lineární diskriminační analýzy na reálná data o 268 proteinech klasifikovaných použitím 400 proměnných do 42 tříd. Takovýto klasifikační problém je typický v microarray, kde počet proměnných překračuje počet pozorovaných objektů (tzv. p>>n problém). Data byla již dříve studována; souhrn všech výsledků lze nalézt na http://www.dkfz.de/biostatistics/protein/DEF.html. Byly použity lineární i neliární metody, nejnižší chybovost bylo dosaženo pomocí Support Vector Machines.

Bude přestavena implementace Fisherovy (lineární) discriminační analýzy, která může v chybovosti konkurovat i nelineárním metodám. Bude přiloženo i porovnání této nové implementace s klasickou implementací funkcí lda() ve výpočetním prostředí R (http://www.r-project.org).


Numerical aspects of Fisher linear discriminant analysis

Numerické aspekty Fisherovy lineární diskriminační analýzy

The Fisher linear discriminat analysis is one of the most used and the oldest of the classification methods. Originally, it was defined at the thirties of the twentieth century by the equations. Later, it was numerically refolmulated as the eigen-decomposition task of the symmetric positive semi-definitive matrix. We are presenting some less known aspects of the implementation that can significantly speed-up calculations and improve output values.

Statistická metada Fisherovy lineární diskrimianční analýzy slouží je jedna z nejoblíbenějších a nejstarších klasifikačních metod. Byla původně definována ve 30. letech 20. století pomocí rovnic. Později numericky přeformulována jako úloha řešení vlastních čísel a vlastních vektorů symetrické pozitivně semi-definitní matice.
Zde přestavujeme některé méně známé aspekty impelementace, které mohou výrazně urychlit výpočty a zlepšit výsledné hodnoty.


Implementations of Fisher's linear discriminant analysis from the numerical point of view

Implementace Fisherovy lineární diskriminantní analýzy z numerického hlediska

In this contribution we investigate numerical aspects of classification using various implementations of Fisher's linear discriminant analysis (FLDA). FLDA is based on maximizing the ratio of between-group variance to within-group variance of given variables. The maximization problem is frequently solved by reducing it to the symmetric generalized eigenproblem defined by the between-group and the within-group covariance matrices. Unfortunately, these matrices are singular in classification tasks where the number of given variables exceeds the number of objects for training. Consequently, efficient numerical solution of the eigenproblem becomes a challenging problem (see, e.g. [1]) and several techniques to handle the singularity have been proposed in the literature about FLDA (see, e.g. [2]). In comparative studies of these techniques, however, assessment of classification performance more or less discards numerical aspects such as computational or storage costs.
We focus on the relation between implementation and performance of FLDA. We give a comparison of a number of popular FLDA implementations including detailed information about their numerical stability, storage costs, computational costs and estimation of computational error. Moreover, we provide numerical examples by applying the discussed methods to a particular protein classification problem (see, e.g. [3]). The differences of classification performance are striking. An implementation based on reduction to a classical eigenproblem via Moore-Penrose pseudeoinverses outperforms all other strategies, including the Support Vector Machines approach that is generally considered the most powerful for the given data. We discuss some consequences of this observation and possible extension to other types of problems and conclude with a brief overview of relevant software.
References:
[1] Z. Bai, J. Demmel, J. Dongarra, A. Ruhe and H. van der Vorst (eds.) (2000): Templates for the solution of Algebraic Eigenvalue Problems: A Practical Guide. Philadelphia, SIAM
[2] Y.-Q. Cheng,  Y.-M. Zhuang and  J.-Y. Yang (1992): Optimal Fisher discriminant analysis using the rank decomposition. Pattern recognition, vol. 25, 101--111
[3] L. Edler  and J. Grassmann  (1999): Protein fold prediction is a new field for statistical classification and regression. In Seillier-Moiseiwitsch F(Ed): Statistics in Molecular Biology and Genetics. IMS Lecture Notes Monograph Series 33, 288--313

V příspěvku zkoumáme numerické aspekty klasifikace při použití různých implementací Fisherovy lineární diskriminační analýzy (FLDA). FLDA je založena na maximalizačním kritériu poměru mezitřídního a vnitrotřídního rozptylu daných proměnných. Maximalizační problém je často řešen jeho redukcí na obecný symetrický problém vlastních čísel a vektorů definovaný pomocí mezitřídní a vnitrotřídní kovarianční matice. Tyto matice jsou ovšem singulární, pokud počet proměnných překročí počet objektů pozorovaných při trénování. Následkem čehož se efektivní numerické řešení problému vlastních čísel a vektorů stává významným [1], v historii bylo použito již několik technik, jak se singularitou matic v FLDA zacházet [2]. V těchto kamparativních studiích jsou ovšem na úkor klasifikačního výkonu zanedbávány numerické aspekty jako výpočetní a pamětové nároky. Zaměříme se na vztah mezi implementací a výkonem metody FLDA. Přidáme porovnání několika populárních implementací, včetně detailů o numerické stabilitě, pamětových a komputačních nákladech a odhadů komputačních chyb. Dále předkládáme numerické výsledky vzniklé aplikací vybraných metod na data z klasifikace proteinů [3], rozdíly v klasifikačním výkonu je udivující. Implementace založena na Moore-Penrosově pseudoinverzi svým výkonem převyšuje všechny ostatní strategie, včetně metody Support Vector Machines, která je obecně považováná za nejúčinnější pro tato data. Závěrem zmiňujeme důsledky tohoto pozorování, možná rozšíření na další úlohy a přehled relevantního softwaru.
Reference:
[1] Z. Bai, J. Demmel, J. Dongarra, A. Ruhe and H. van der Vorst (eds.) (2000): Templates for the solution of Algebraic Eigenvalue Problems: A Practical Guide. Philadelphia, SIAM
[2] Y.-Q. Cheng,  Y.-M. Zhuang and  J.-Y. Yang (1992): Optimal Fisher discriminant analysis using the rank decomposition. Pattern recognition, vol. 25, 101--111
[3] L. Edler  and J. Grassmann  (1999): Protein fold prediction is a new field for statistical classification and regression. In Seillier-Moiseiwitsch F(Ed): Statistics in Molecular Biology and Genetics. IMS Lecture Notes Monograph Series 33, 288--313

Pavel Schlesinger
Jurjen Duintjer Tebbens


The choice of an suitable set of features for the morphological tagging of Czech

Volba vhodné sady rysů pro morfologické značkování češtiny

This work continues in implementational and experimental project Morče, which aimed to create the best possible morphological Czech tagger based on hidden Markov model with averaged perceptron. Successfulness  of algorithm depends mainly on a selected set of features describing a context, which determines choice of a tag. The work describes briefly the algorithm and its implementation. Main part of the work consists of a lot of experiments which explore possible feature sets, their successfulness and their relationships. Few clear rules are defined for comparison of versions. Fivefold crossvalidation with t-test is used for verification of statistical significance. After the work was started, new Czech data became available, so all experiments used data from PDT 2.0. Side effect of this work was statistical significant improvement of successfulness. However, the best Czech tagger was obviously not overwhelmed. Some modifications were made in order to perform automatic version development. It was executed in small extent and also described.

Tato práce navazuje na implementačně-výzkumný projekt Morče, jehož cílem bylo vytvoření co nejlepšího morfologického taggeru češtiny, založeného na skrytém Markovově modelu s průměrovaným perceptronem. Úspěšnost algoritmu závisí především na zvolené sadě rysů popisujících kontext, na jehož základě se značky vybírají. Práce stručně popisuje zvolený algoritmus a jeho implementaci. Její stěžejní část spočívá ve velké řadě provedených experimentů, které v rámci daných možností důkladně mapují možné sady rysů, jejich úspěšnosti a vztahy mezi nimi. Pro tento účel jsou definována pravidla, podle kterých se verze porovnávají. Využívá se pětinásobná crossvalidace a pro zjištění statistické významnosti výsledků je aplikován t-test. Při zahájení práce byla dána k dispozici nová data pro češtinu, takže veškeré experimenty se již prováděly nad daty z PDT 2.0. Vedlejším výsledkem práce je i statisticky významné zvýšení úspěšnosti taggeru, nicméně nejlepší tagger zřejmě překonán nebyl. Kromě ručního vývoje verzí byl projekt také upraven pro automatický vývoj, který byl v menším rozsahu proveden a popsán.


A Machine Translation System into a Minority Language

Systém strojového překladu do menšinového jazyka

The paper presents a machine translation system from Czech to Lower Sorbian, a minority language spoken in a region around Cottbus in Germany. This West Slavonic language, which is spoken by less than 20,000 people, is very archaic, it, has supine, dual and some other grammatical forms, which disappeared in most Slavonic languages. The paper describes the architecture of the system and focuses on morphological disambiguation, partial syntactic parser and lexical and structural transfer. First evaluation results on a small set of sentences are also presented.

Článek prezentuje systém strojového překladu z češtiny do dolnolužické srbštiny, menšinového jazyka používaného v Německu v okolí Chotěbuze. Popisujeme architekturu systému a zaměřujeme se na morfologickou disambiguaci, částečný syntaktický parser a transfer.


Overview of syntactic phenomena in Humanistic Czech usage of which was supported by the ideal and language example of Classic Latin.

Přehled zejména syntaktických jevů, jejichž užívání v humanistické češtině bylo podpořeno vzorem klasické latiny.


The location of the syntetic predicate in the humanistic Czech

Postavení syntetického predikátu v humanistické češtině

Word order position of one-word verbal predicate in specific syntactic constructions.

Slovosledné postavení jednoslovného slovesného přísudku ve vybraných typických syntaktických konstrukcích.


A Contribution to the Functional Perspective of the Sentence in the Czech in the Period of Humanism

Příspěvek k aktuálnímu členění věty v humanistické češtině

The initial position of qualifying, quantifying and negative expressions in a sentence and their relation to the functional perspective of the sentence (contrast, rheme).

Předsuny kvalifikačních, kvantifikačních a negačních výrazů na počátek věty a jejich vztah k aktuálnímu členění (kontrast, réma).


Information extraction for Polish using the SProUT platform

Extrakce informací v polštině s použitím platformy SProUT

The aim of this article is to present the initial results of adapting SProUT, a multi-lingual Natural Language Processing platform developed at DFKI, Germany, to the processing of Polish. The article describes some of the problems posed by the integration of Morfeusz, an external morphological analyzer for Polish, and various solutions to the problem of the lack of extensive gazetteers for Polish. The main sections of the article report on some initial experiments in applying this adapted system to the Information Extraction task of identifying various classes of Named Entities in financial and medical texts, perhaps the first such Information Extraction effort for Polish.

Cílem tohoto článku je prezentovat počáteční výsledky adaptace SProUTu, vícejazyčné platformy pro počítačové zpracování přirozeného jazyka, pro polštinu. Článek popisuje některé problémy způsobené integrací Morfeusze, externího morfologického analyzátoru polštiny, a různá řešení problému neexistujících rozsáhlých polských zeměpisných slovníků.

Jakub Piskorski
Petr Homola
Małgorzata Marciniak
Agnieszka Mykowiecka
Adam Przepiórkowski
Marcin Woliński


Problems of Inducing Large Coverage Constraint-Based Dependency Grammar for Czech

Problémy extrahování rozsáhlé závislostní constraintové gramatiky pro češtinu

This article describes an attempt to implement a constraint-based dependency
grammar for Czech, a language with rich morphology and free word order, in the
formalism Extensible Dependency Grammar (XDG). The grammar rules are
automatically inferred from the Prague Dependency Treebank (PDT) and constrain
dependency relations, modification frames and word order, including
non-projectivity. Although these simple constraints are adequate from the
linguistic point of view, their combination is still too weak and allows an
exponential number of solutions for a sentence of n words.

Článek popisuje pokus o implementaci závislostní gramatiky pro četšinu ve formalismu Extensible Dependency Grammar (XDG) založeném na omezujících podmínkách.


# Contains 37 original articles written by leaders in the field.
# Addresses the central concerns shared by those interested in the subject.
# Major sections focus on the experience of particular disciplines in applying computational methods to research problems; the basic principles of humanities computing; specific applications and methods; and production, dissemination and archiving.
# Accompanied by a website featuring supplementary materials, standard readings in the field and essays to be included in future editions of the Companion.

# Obsahuje 37 původních článků napsaných vůdčími osobnostmi oboru.
# Zabývá se ústředními otázkami sdílenými zájemci o obor.


Issues in annotation of the Czech spontaneous speech corpus in the MALACH project

K anotaci korpusu mluvené češtiny v projektu Malach

The paper describes the problems adn solutions to the annotation of the Czech recordings in the Shoa VHF collection, e.g. the problems related to the acoustic quality etc.

Článek popisuje anotaci korpusu mluvené češtiny - nahrávek z archívu Shoa VHF a problémy s tím spojené, např. kvalitu těchto nahrávek z akustckého hlediska.

Josef V. Psutka
Pavel Ircing
Jan Hajič
Vlasta Radová
Josef Psutka
William J. Byrne


Issues of Projectivity in the Prague Dependency Treebank

Problémy projektivity v Pražském závislostním korpusu

In the present paper we discuss some issues connected with the condition of projectivity in a dependency based
description of language (see Sgall, Hajičová, and Panevová (1986), Hajičová, Partee, and Sgall (1998)), with a
special regard to the annotation scheme of the Prague Dependency Treebank (PDT, see Hajič (1998)). After a short
Introduction (Section 1), the condition of projectivity is discussed in more detail in Section 2, presenting its formal
definition and formulating an algorithm for testing this condition on a subtree (Section 2.1); the introduction of
the condition of projectivity in a formal description of language is briefly substantiated in Section 2.2. and some
problematic cases are discussed in Section 2.3. In Section 3, a preliminary classification into three main groups
and several subgroups of Czech non-projective constructions on the analytical level is presented (Section 3.1),
with illustrations of each subgroup in Section 3.2. A discussion of (surface) non-projectivities viewed from the
perspectives of the underlying (tectogrammatical) structures is given in Section 4; the classification outlined in
Section 4.1 reflects the types of deviations from projectivity caused by topic-focus articulation (TFA). In Section
4.2 we examine the motivation and factors of non-projective constructions. The treatment of non-projective
constructions in the annotation scenario of PDT is presented in Section 5. In the Conclusion (Section 6) we summarize
the results and outline some directions for further research in this domain. The present contribution is an
enlarged and slightly modified version of the paper Veselá, Havelka, and Hajičová (2004).

V článku probíráme některé problémy spojené s podmínkou projektivity v závislostním popisu jazyka (viz Sgall, Hajičová a Panevová (1986), Hajičová, Partee a Sgall (1998)) se zvláštním zřetelem na anotační schéma Pražského závislostního korpusu (PDT, viz Hajič (1998)).

Eva Hajičová
Jiří Havelka
Petr Sgall
Kateřina Veselá
Daniel Zeman


Finite State Morphology (Konečněstavová morfologie)

Finite State Morphology. CSLI Publications, Stanford, California, 2003 (CSLI Studies in Computational Linguistics, xviii+510 pp and CD-ROM, ISBN 1-57586-434-7)

Finite State Morphology. Vydal CSLI Publications, Stanford, Kalifornie, 2003 (CSLI Studies in Computational Linguistics, xviii+510 pp a CD-ROM, ISBN 1-57586-434-7)


Data-Oriented Parsing by Rens Bod, Remko Scha, and Khalil Sima'an

Data-Oriented Parsing od Rense Boda, Remka Schy a Khalila Sima'ana

Data-oriented parsing is a name for a novel statistical approach to syntactic parsing that learns occurrences of subtrees.

Datově-orientovaná syntaktická analýza je název pro originální statistický přístup k syntaktické analýze, který se učí výskyty jednotlivých podstromů.


Non-projectivity in the Prague Dependency Treebank

Neprojektivity v Pražském závislostním korpusu (PDT)

The goal of this technical report is to describe non-projective constructions in the Prague Dependency Treebank.

Cílem této technické zprávy je popsat neprojektivní konstrukce v Pražském závislostním korpusu.


Parsing with a Statistical Dependency Model

Syntaktická analýza s pomocí statistického modelu závislostí

This thesis presents a statistical parser of Czech. We analyze step by step its evolution and the merit of its various parts. The parser is based on the original approach of dependency bigram modeling. Although there are other parsers that have been originally developed for English and their adaptations for Czech perform better than ours, we demonstrate that our parser makes different errors and thus it can help the better parsers to become even better.

Tato disertační práce popisuje statistický parser (syntaktický analyzátor) češtiny. Krok za krokem v ní analyzujeme vývoj parseru a přínos jednotlivých jeho částí. Parser je postaven na metodě přímého statistického modelování závislostí mezi slovy, která je originální i při srovnání se zahraničními pracemi. Přestože se nepodařilo tímto způsobem získat nejúčinnější možný nástroj pro syntaktickou analýzu češtiny a existují české adaptace původně anglických parserů, které si vedou lépe, ukážeme, že díky odlišnému přístupu dělá náš parser chyby jiného druhu a lze tedy jeho kombinací s lepšími parsery dosáhnout výsledku, kterého žádný z nich není sám o sobě schopen.


The Annotation Corpora of Text (ACT) Tool

Nástroj ACT (Annotation Corpora of Text, Anotační textové korpusy)

The article presents a description of a computer application, developed by a team of authors at the Charles University in Prague, meant to support a multiaspect processing of examples of the cultural heritage in the intelligent environment of the information technologies. Provided is a possibility for the application to be used when describing and analyzing medieval manuscripts, experimented in the project of the Faculty of Mathematics and Physics Annotation corpora of Text (ACT, see http://prometheus.ms.mff.cuni.cz/act). The system is a linguistically-independent product for lexical and corpora processing of written texts. It has been created with the purpose to process large corpora with linguistic annotation, which mostly includes lexicographic and morphological analysis, and the syntactic and semantic information is marked on basic level. The system allows the users when working at different places, to compare the data between one another, and to keep the results regardless of the number of specialists working at the same time. A product which completely solves the problems of the linguistic analysis of medieval records with the help of computers is offered.

Článek popisuje počítačovou aplikaci vyvinutou týmem autorů na Univerzitě Karlově v Praze, jejímž cílem je podpořit víceaspektové zpracování příkladů kulturního dědictví v inteligentním prostředí informačních technologií.

Kiril Ribarov
Jiří Bubník
Jiří Čelák
Vojtěch Janota
Alexandr Kara
Václav Novák
Tomáš Vondra


Dependency analysis by reduction of Free Word-Order Languages

Závislostní redukční analýza přirozených jazyků

The syntactic structure of English sentences or sentences of other fixed word-order language is commonly described by phrase structure grammars. The description of syntactic structure of Latin, Italian, German, Arabic, Slavic languages and some other languages is more often based on approaches generally called dependency approaches. Both approaches are based
on stepwise simplification of individual sentences, on the so-called analysis by reduction (AR). The basic principles of the phrase-structure and dependency based analysis by reduction are substantially different. The phrase-structure based analysis (of fixed word-order languages) can be naturally modeled by the
bottom-up analysis using phrase structure (Chomskian) grammars. However, this type of grammars cannot model naturally the dependency analysis by reduction (of free word-order languages). In this paper we explain the basic principles of dependency analysis by reduction
(DAR) and its correspondence to notions used in the traditional dependency oriented linguistics.

V tomto článku vyložíme podstatu  závislostní redukční analýzy
(DAR, dependency analysis by reduction) a její souvislost s pojmy
závislost a závislostní strom. Výklad budeme ilustrovat příklady z
češtiny, což je jazyk s (výrazně) volným slovosledem.
Tento výklad shrnuje základní rysy vývojových postupů závislostní syntaxe.
 Bude využit jako podklad pro ověřování (a vysvětlování) adekvátnosti
 formálních a počítačových modelů těchto postupů.


Mats Wahlberg (ed.): Svenskt ortnamnslexikon (Swedish place-name dictionary)

Mats Wahlberg (ed.): Svenskt ortnamnslexikon (Švédský slovník místních jmen)

This review focuses the dictionary of Swedish location names edited by Mats Wahlberg.

Tato recenze se zabývá slovníkem švédských pomístních jmen editovaný Matsem Wahlbergem.


Word order and text understanding: predicate in Czech in the period of humanism

Slovosled a porozumění textu: predikát v humanistické češtině

Analysis of general functions of predicate and their implementation in Czech in the period of humanism

Analýza obecných funkcí predikátu a jejich uplatnění v humanistické češtině


PDT-VALLEX: Creating a Large-coverage Valency Lexicon for Treebank Annotation

PDT-Vallex: Valenční slovník pro anotaci korpusu

The paper describes the PDT-Vallex valency dictionary, which is linked to real texts in the  Prague Dependency Treebank The concept of valency is based on the FGD.

Článek popisuje valenční slovník PDT-Vallex, který je  propojený s reálnými texty v Pražském závislostním korpusu. Pojetí valence vychází z FGP jazyka.

Jan Hajič
Jarmila Panevová
Zdeňka Urešová
Alevtina Bémová
Veronika Kolářová
Petr Pajas


Linguistic hindsight of the twentieth century

Lingvistické ohlédnutí za dvacátým stoletím

No abstract of this paper is available because the authors have not provided any.

Abstrakt tohoto článku není k dispozici, protože autoři žádný nedodali.


Testing the consistency and completeness of a valency lexicon of Czech verbs

Testování konzistence a úplnosti valenčního slovníku českých sloves

There are number of requirements put on vaůency dictionaries. We focus on testing the consistency and completeness of a valency lexicon of Czech verbs VALLEX.

Na moderní valenční slovník klademe řadu požadavků. Kromě strojové čitelnosti a dostatečné explicitnosti použitého popisu jde zejména
o kvalitu dat ve slovníku obsaľených. V článku přibližujeme nástroje navržené pro testování konzistence a úplnosti slovníku VALLEX. Rozebíráme metody využívané pro zvýšení jeho kvality od odstraňování technických chyb přes porovnání s existujícími lexikografickými zdroji po testování vnitřní konzistence
budovaného slovníku.


Annotation of Coreference in the Prague Dependency Treebank

Anotování koreference v Pražském závislostním korpusu

Short English abstract must be provided for all publications regardless their original language. Minimum is 64 characters, there is no upper bound but long abstracts will be truncated when reporting the publication.

Short Czech abstract must be provided for all publications regardless their original language. Minimum is 64 characters, there is no upper bound but long abstracts will be truncated when reporting the publication.

Lucie Kučová
Veronika Kolářová
Zdeněk Žabokrtský
Petr Pajas
Oliver Čulo


K tomuto článku není abstrakt k dispozici, protože autoři žádný nedodali.

Eva Hajičová
Petr Sgall
J. Hronek
František Čermák
Karel Kučera
Věra Schmiedtová
Neil Bermel
Henry Kucera
Jaroslav Suk
Laura Janda
Charles E. Townsend


Can Subcategorization Help a Statistical Dependency Parser?

Může valence pomoci statistickému závislostnímu parseru?

Today there is a relatively large body of work on automatic acquisition of lexico-syntactical preferences (subcategorization) from corpora. Various techniques have been developed that not only produce machine-readable subcategorization dictionaries but also they are capable of weighing the various subcategorization frames probabilistically. Clearly there should be a potential to use such weighted lexical information to improve statistical parsing, though published experiments proving (or disproving) such hypothesis are comparatively rare. One experiment is described in (Carroll et al., 1998) — they use subcategorization probabilities for ranking trees generated by unification-based phrasal grammar. The present paper, on the other hand, involves a statistical dependency parser. Although dependency and constituency parsing are of quite a different nature, we show that a subcategorization model is of much use here as well.

V současné době existuje poměrně velká základna publikací o automatickém získávání lexikálně-syntaktických preferencí (valence) z korpusů.


Detris is a template with a macro that helps you to create uniformly looking dependency trees for your documents in Word. The trees are represented as vector graphics which means that on changing their size, screen or printer resolution the deterioration will be minimal. Input is a tree description in the CSTS format, used in Prague Dependency Treebank (PDT) version 1. You can directly copy the corresponding part of the CSTS file to your document. If you are creating an artificial example that cannot be copied from anywhere, you can use a simplified subset of CSTS.

Detris je šablona obsahující makro, s jehož pomocí můžete vytvářet jednotně vypadající závislostní stromečky do svých článků ve Wordu. Stromečky jsou reprezentované jako vektorová grafika, což znamená, že při změně jejich velikosti, popř. grafického rozlišení obrazovky nebo tiskárny bude minimalizován negativní dopad na vzhled stromu („schodovité čáry“ apod.) Vstupem makra je popis stromečku ve formátu CSTS, který je použit i v Pražském závislostním korpusu (PDT) verze 1. Stačí tedy do vašeho dokumentu okopírovat příslušnou část CSTS souboru, kde je popsána vaše věta. Pokud vytváříte umělý příklad, který není odkud zkopírovat, můžete použít značně zjednodušenou podmnožinu CSTS.


How to Decrease the Performance of a Statistical Parser

Jak snížit úspěšnost statistického syntaktického analyzátoru

This paper is a study of outside factors that may have a negative impact on parsers’ accuracy. The discussed phenomena can be divided into two classes, those related to treebank design, and those related to morphological tagging. Although the scope of the paper is limited to the Prague Dependency Treebank, two particular taggers and one particular parser, we believe that our observations may be of interest to future treebank designers.

Anyway, since training parsers is usually not the only purpose of building treebanks, other good reasons may prevail and push aside the parser’s preferences. For that case, we suggest how the parser may work around the nasty input. More fine-grained elaboration of these workarounds and their evaluation is a matter of future work.

Článek je studií vnějších faktorů, které mohou mít negativní vliv na úspěšnost parserů.


On the nature of the discource of advertisements

No abstract is available for this paper because the authors have not provided any.

K tomuto článku není k dispozici abstrakt, protože ho autoři nedodali.


Representing Linguistic Hedges by L-Fuzzy Modifiers

Reprezentace lingvistických omezení pomocí L-fuzzy modifikátorů

L-fuzzy modifiers based on L-fuzzy relations prove to be
powerful tools for the representation of linguistic hedges.
They provide a general framework that is far more applicable
than the traditional approaches, and even in the
cases where traditional fuzzy hedges can be used, they
are still clearly outperformed by the fuzzy relation based
modifiers on the semantic level.

De Cock M., Žabokrtský Z. and Kerre E. E. (2001): Representing
linguistic hedges by L-fuzzy modifiers. — Proc.
CIMCA’01 (Int. Conf. Computational Intelligence for
Modelling Control and Automation), Las Vegas (USA),
pp. 64–72 (CD-ROM).

Zdeněk Žabokrtský
Martine De Cock
Etienne E. Kerre


How Much Will a RE-based Preprocessor Help a Statistical Parser?

Jak moc pomůže statistickému parseru preprocesor založený na regulárních výrazech?

The present paper describes experiments on combining a statistical parser with a preprocessor built of regular expressions. While the syntactic structure of a sentence may be very complex and will never be fully covered by such simple machine, there are phenomena such as noun phrases and simple coordinations that do quite well. Even these “chunks” may theoretically be unlimitedly complex but we show that in reality they rarely do. So a shallow parser based on regular expressions can be built to preprocess the input text and solve the simple chunks without introducing too many errors. We discuss one implementation of such preprocessor that is very easy to write and covers roughly 20% of input words with an accuracy of over 90%. Then we describe two ways of combining the preprocessor with a parser and show that the performance of the parser improves both in speed and accuracy.

Článek popisuje pokusy s kombinováním statistického parseru a preprocesoru založeného na regulárních výrazech.


Parsing with Regular Expressions: A Minute to Learn, a Lifetime to Master

Syntaktická analýza s regulárními výrazy: naučíte se za minutu, vylepšujete celý život

This paper reports on a work in progress, which tries to combine statistical modeling and manually written regular rules for parsing Czech. While the syntactic structure of a sentence may be very complex and will never be fully covered by a finite-state machine, there are phenomena such as noun phrases and simple coordinations that do quite well. Even these “chunks” may theoretically be unlimitedly complex but I show that in real world they rarely do. So a shallow finite-state parser can be built to preprocess the input text and solve the simple chunks without introducing too many errors. With a minimum of programming effort, such preprocessor currently covers almost 20% of input words with an accuracy of more than 90%. Further increasing of the coverage without loss of accuracy would require much more effort, so the rest is left for the statistical parser.

Článek podává zprávu o probíhajícím projektu, který se snaží kombinovat statistické modelování s ručně psanými regulárními výrazy pro syntaktickou analýzu češtiny.


Computational Linguistics in Relation to Computer Science

Počítačová lingvistika ve vztahu k informatice

The development of computer technology and computational processing of language data are related to each other.

Vývoj počítačových technologií a počítačového zpracování jazykových dat spolu
s převratnými změnami v obou složkách jsou spolu zcela neodmyslitelně spjaty. Jejich
vzájemnou souvislost i podmíněnost nových možností automatického zpracování přirozeného
jazyka v kontextu nových informačních technologií se tu pokusíme ukázat
z hlediska dneška

Jarmila Panevová
Barbora Vidová Hladká
Kiril Ribarov
Vladislav Kuboň
Daniel Zeman
Martin Čmejrek
Jan Cuřín
Nino Peterek


Learning Verb Subcategorization from Corpora: Counting Frame Subsets

Učení slovesných rámců z korpusů: počítání podmnožin rámců

We present some novel machine learning techniques for the identification of subcategorization information for verbs in Czech. We compare three different statistical techniques applied to this problem. We show how the learning algorithm can be used to discover previously unknown subcategorization frames from the Czech Prague Dependency Treebank. The algorithm can then be used to label dependents of a verb in the Czech treebank as either arguments or adjuncts. Using our techniques, we are able to achieve 88 % accuracy on unseen parsed text.

Představujeme nové metody strojového učení pro identifikaci slovesných rámců v češtině.


Stochastically-Based Semantic Analysis, Kluwer, 1999

A review of the book Stochastically-Based Semantic Analysis, published by the Kluwer publishing house in 1999

Recenze na knihu Stochastically-Based Semantic Analysis, vydanou nakladatelstvím Kluwer v roce 1999


Automatic Extraction of Subcategorization Frames for Czech

Automatická extrakce valenčních rámců pro češtinu

We present some novel machine learning techniques
for the identification of subcategorization information
for verbs in Czech. We compare three different
statistical techniques applied to this problem. We
show how the learning algorithm can be used to discover
previously unknown subcategorization frames
from the Czech Prague Dependency Treebank. The
algorithm can then be used to label dependents of
a verb in the Czech treebank as either arguments
or adjuncts. Using our techniques, we are able to
achieve 88% precision on unseen parsed text.

Představujeme nové metody strojového učení pro identifikaci slovesných valenčních rámců v češtině.


Core Natural Language Processing Technology Applicable to Multiple Languages

Základní technologie zpracování přirozených jazyků aplikovatelná na více jazyků

Parsing natural languages is a task approached by many people in the past and present and undoubtedly also in the future. It is widely believed that if one can obtain automatically a good parse for a given input sentence (i.e. functions of the words and relations between them), then all the "language understanding" tasks can profit from it.

English has been studied most for this purpose and many good results have been obtained, especially using statistically-based techniques coupled with automatic learning from large annotated corpora. However, these techniques have not been applied to other languages than English very much, especially to languages which display substantially different behavior (both morphologically and syntactically) than English (such as Slavic languages, spoken mostly in Europe by approx. 350 million people).

Syntaktická analýza přirozených jazyků je úloha, kterou se pokoušela řešit řada lidí v minulosti, v současnosti a nepochybně také v budoucnosti. Všeobecně se předpokládá, že pokud dokážeme automaticky získat dobrý rozbor dané vstupní věty (např. funkce slov a vztahy mezi nimi), budou z něj mít užitek všechny úlohy související s "porozuměním jazyku".

Jan Hajič
Eric Brill
Michael Collins
Barbora Hladká
Douglas Jones
Cynthia Kuo
Lance Ramshaw
Oren Schwartz
Christoph Tillmann
Daniel Zeman


Core Natural Language Technology Applicable to Multiple Languages, Workshop ´98 Final Report

Základní technologie zpracování přirozených jazyků aplikovatelná na více jazyků, závěrečná zpráva z Workshopu ´98

Parsing natural languages is a task approached by many people in the past and present and undoubtedly also in the future. It is widely believed that if one can obtain automatically a good parse for a given input sentence (i.e. functions of the words and relations between them), then all the "language understanding" tasks can profit from it.
English has been studied most for this purpose and many good results have been obtained, especially using statistically-based techniques coupled with automatic learning from large annotated corpora. However, these techniques have not been applied to other languages than English very much, especially to languages which display substantially different behavior (both morphologically and syntactically) than English (such as Slavic languages, spoken mostly in Europe by approx. 350 million people).


A Statistical Approach to Parsing of Czech

Statistický přístup k syntaktické analýze češtiny

The present paper is based on my master thesis that was defended at Charles University in May 1997. I introduce here a simple probabilistic model of Czech syntax, based on training data extracted from a text corpus. Then I try to employ this model in building syntactic trees of Czech sentences. In this paper, a brief description of the model is given, as well as a summary of the test results. The work is one of the first attempts to use statistical learning methods for parsing of Czech. It is to be said here that the procedures used to parse English cannot be easily ported to Czech because some specific characteristics of Czech (free word order, and rich flexion implying a huge number of word forms) cause a different behaviour of a parser. The work presented is neither final, nor satisfying solution of the problem. It rather demonstrates the primary results and proposes some basic ideas of further research.

Článek je založen na mé diplomové práci, která byla obhájena na Univerzitě Karlově v květnu 1997.


Probabilistic Model of Sentence Structure

Pravděpodobnostní model významových zápisů vět

Create a mathematical model of sentence meaning. Create a program (C/C++) to estimate probability of a given structure based on the model; to generate structures based on additional information; to compute entropy, cross entropy and perplexity.

Vypracovat matematický model významových zápisů vět
    Vypracovat program (C/C++) pro
        zjištění pravděpodobnosti daného zápisu na základě modelu
        generování zápisů na základě vedlejší informace
        zjištění hodnot entropie, křížové entropie a perplexity