MRP 2019: Cross-Framework Meaning Representation Parsing

MRP 2019: Sdílený rámec pro Meaning Representation Parsing

The 2019 Shared Task at the Conference for Computational Language Learning (CoNLL) was devoted to Meaning Representation Parsing (MRP) across frameworks. Five distinct approaches to the representation of sentence meaning in the form of directed graph were represented in the training and evaluation data for the task, packaged in a uniform abstract graph representation and serialization. The task received submissions from eighteen teams, of which five do not participate in the official ranking because they arrived after the closing deadline, made use of additional training data, or involved one of the task co-organizers. All technical information regarding the task, including system submissions, official results, and links to supporting resources and software are available from the task web site at: http://mrp.nlpl.eu.

Soutěžní úkol pro rok 2019 na konferenci Computational Language Learning (CoNLL) byl věnován sémantickému parsingu (Meaning Representation Parsing, MRP) napříč různými přístupy. Soutěž zahrnuje pět formálně a lingvisticky rozdílných přístupů k reprezentaci významu (DM, PSD, EDS, UCCA a AMR). Do soutěže se přihlásilo osmnáct týmů, z nichž pět se neúčastnilo oficiálního hodnocení, protože jejich výsledky dorazily až po uzávěrce, nebo tým využil dodatečných trénovacích dat, popřípadě byl jeden ze spoluorganizátorů soutěže mezi zástupci týmu. Veškeré technické informace týkající se soutěže jsou k dispozici na webových stránkách úkolu: http://mrp.nlpl.eu.

Stephan Oepen
Omri Abend
Jan Hajič
Daniel Hershcovich
Marco Kuhlmann
Nianwen Xue
Jayeol Chun
Milan Straka
Zdeňka Urešová
Tim O'Gorman


Neural Architectures for Nested NER through Linearization

Neuronové architektury pro rozpoznávání vnořených pojmenovaných entit pomocí linearizace

We propose two neural network architectures for nested named entity recognition (NER), a setting in which named entities may overlap and also be labeled with more than one label. We encode the nested labels using a linearized scheme. In our first proposed approach, the nested labels are modeled as multilabels corresponding to the Cartesian product of the nested labels in a standard LSTM-CRF architecture. In the second one, the nested NER is viewed as a sequence-to-sequence problem, in which the input sequence consists of the tokens and output sequence of the labels, using hard attention on the word whose label is being predicted. The proposed methods outperform
the nested NER state of the art on four corpora: ACE-2004, ACE-2005, GENIA and Czech CNEC. We also enrich our architectures with the recently published contextual embeddings: ELMo, BERT and Flair, reaching further improvements for the four nested entity corpora. In addition, we report flat NER state-of-the-art results for CoNLL-2002 Dutch and Spanish and for CoNLL-2003 English.

V příspěvku navrhujeme dvě neuronové architektury pro rozpoznávání vnořených pojmenovaných entit, což je úloha, ve které se pojmenované entity mohou překrývat a také být označeny více než jednou značkou. Vnořené značky zakódováváme pomocí linearizovaného schématu. V prvním navrženém přístupu jsou vnořené značky modelovány jako multiznačky náležející kartézkému součinu vnořených značek ve standardní LSTM-CRF architektuře. V druhém navrženém přístupu přistupujeme k úloze rozpoznávání vnořených pojmenovaných entit jako k sequence-to-sequence problému, ve kterém vstupní sekvence sestává z tokenů a výstupní sekvence ze značek, přičemž používáme vynucený mechanismus attention na slově, které právě značkujeme. Navržené metody překonávají současný stav poznání v úloze rozpoznávání vnořených pojmenovaných entit na čtyřech korpusech: ACE-2004, ACE-2005, GENIA a českém CNEC. Naše architektury jsme dále obohatili nedávno publikovanými kontextovými embeddingy: ELMo, BERT a Flair, čímž jsme dosáhli dalšího zlepšení na všech čtyřech korpusech. Navíc publikujeme nejlepší známé výsledky v ropoznávání pojmenovaných entit na korpusech CoNLL-2002 v nizozemštině a španělštině a korpusu CoNLL-2003 v angličtině.


Deep learning in automatic analysis of the czech text

Hluboké učení v automatické analýze českého textu

The deep learning methods of artificial neural networks have seen a significant uptake in recent years, and have succeeded in overcoming and advancing the success of auto-solving tasks in many fields. The field of computational linguistics and its application offshoot, natural language processing with classic tasks such as morphological tagging, dependency analysis, named entity recognition and machine translation are not exceptions. This post provides an overview of recent advances in these tasks related to the Czech language and presents completely new results in the areas of morphological marking and recognition of named entities in Czech, along with detailed error analysis.

Metody hlubokého učení (deep learning) umělých neuronových sítí zaznamenaly v posledních letech výrazný nástup a jejich pomocí se podařilo překonat a posunout úspěšnost automaticky řešených úloh v mnoha oborech. Výjimkou není ani oblast počítačové (či komputační) lingvistiky (Computational Linguistics) a její aplikační odnož, zpracování přirozeného jazyka (Natural Language Processing) s klasickými úlohami, jako jsou morfologické značkování (POS tagging), závislostní analýza (dependency parsing), rozpoznávání pojmenovaných entit (named entity recognition) a strojový překlad (machine translation). Tento příspěvek přináší přehled nedávných pokroků v uvedených úlohách se vztahem k českému jazyku a představuje zcela nové výsledky v oblastech morfologického značkování a rozpoznávání pojmenovaných entit v češtině, spolu s detailní chybovou analýzou.

Jana Straková
Milan Straka
Jan Hajič
Martin Popel


Exploring Benefits of Transfer Learning in Neural Machine Translation

Zkoumání výhod přenosu znalostí v neuronovém strojovém překladu

Neural machine translation is known to require large numbers of parallel training sentences, which generally prevent it from excelling on low-resource language pairs. This thesis explores the use of cross-lingual transfer learning on
neural networks as a way of solving the problem with the lack of resources. We
propose several transfer learning approaches to reuse a model pretrained on a
high-resource language pair. We pay particular attention to the simplicity of
the techniques. We study two scenarios: (a) when we reuse the high-resource
model without any prior modifications to its training process and (b) when we
can prepare the first-stage high-resource model for transfer learning in advance.
For the former scenario, we present a proof-of-concept method by reusing a
model trained by other researchers. In the latter scenario, we present a method
which reaches even larger improvements in translation performance. Apart
from proposed techniques, we focus on an in-depth analysis of transfer learning
techniques and try to shed some light on transfer learning improvements. We
show how our techniques address specific problems of low-resource languages
and are suitable even in high-resource transfer learning. We evaluate the potential drawbacks and behavior by studying transfer learning in various situations,
for example, under artificially damaged training corpora, or with fixed various
model parts.

Je známo, že neuronový strojový překlad vyžaduje velké množství paralelních
trénovacích vět, které obecně brání tomu, aby vynikal na párech jazyků s nedostatečným množstvím zdrojů. Tato práe se zabývá využitím translingválního
učení na neuronových sítích jako způsobu řešení problému nedostatku zdrojů.
Navrhujeme několik přístupů k transferu znalostí za účelem opětovného využití
modelu předtrénovaného na jiné jazykové dvojici s velkým množstvím zdrojů.
Zvláštní pozornost věnujeme jednoduchosti technik. Studujeme dva scénáře:
a) když používáme předtrénovaný model bez jakýchkoli předchozích úprav
jeho trénovacího procesu a b) když můžeme předem připravit prvostupňový
model pro transfer znalostí pro potřeby dítěte. Pro první scénář představujeme
metodu opětovného využití modelu předtrénovaného jinými výzkumníky. V
druhém případě předkládáme metodu, která dosáhne ještě většího zlepšení.
Kromě navrhovaných technik se zaměřujeme na hloubkovou analýzu technik
transferu znalostí a snažíme se vnést trochu světla do pochopení transferového
učení. Ukazujeme, jak naše techniky řeší specifické problémy jazyků s málo
daty a že jsou vhodné i pro jazykové páry s velkým množstvím dat. Potenciální nevýhody a chování hodnotíme studiem transferového učení v různých
situacích, například pod uměle poškozeným trénovacím korpusem, nebo se
zafixovanými částmi modelu.


MTM19 Tutorial: Transfer Learning for Low-Resource Languages

MTM19 Tutorial: Přenos znalostí pro jazyky s málo daty

This tutorial will show you how to use the Tensor2Tensor and how to apply Transfer Learning to low-resource languages. It should be easy to follow for everyone, even people that never trained Machine Translation models.

V tomto tutoriálu se naučíte používat tensor2tensor a jak aplikovat přenos znalostí na nízko-zdrojové jazykové páry. Tutorial je vhodný i pro účastníky, kteří nemají zkušenosti s trénováním neuronových MT modelů.


CUNI Submission for Low-Resource Languages in WMT News 2019

CUNI systém pro jazyky s málo daty na WMT News 2019

This paper describes the CUNI submission
to the WMT 2019 News Translation Shared
Task for the low-resource languages: GujaratiEnglish and Kazakh-English. We participated
in both language pairs in both translation directions. Our system combines transfer learning from a different high-resource language
pair followed by training on backtranslated
monolingual data. Thanks to the simultaneous training in both directions, we can iterate
the backtranslation process. We are using the
Transformer model in a constrained submission.

Tento článek popisuje systém CUNI do News WMT 2019 pro jazyky s nedostatečnými zdroji: Gujarati-Angličtina  a Kazakština-Angličtina. Zúčastnili jsme se na obou jazykových párech v obou směrech překladu. Náš systém kombinuje přenos znalostí z jiného dvojice jazyků s vysokým množstvím paralelních dat, po kterém následuje trénování na zpětně přeložených jednojazyčných dat. Díky simultánnímu tréninku v obou směrech můžeme iterovat proces zpětného překladu. Používáme Transformer model v constrained podmínkách.


Working together towards an ideal infrastructure for language learner corpora

Společná práce na vytvoření ideální infrastruktury pro jazykové korpusy

In this article we provide an overview of first-hand experiences and vantage points for best practices from projects in seven European countries dedicated to learner corpus research (LCR) and the creation of language learner corpora. The corpora and tools involved in LCR are becoming more and more important, as are careful preparation and easy retrieval and reusability of corpora and tools. But the lack of commonly agreed solutions for many aspects of LCR, interoperability between learner corpora and the exchange of data from different learner corpus projects remains a challenge. We show how concepts like metadata, anonymization, error taxonomies and linguistic annotations as well as tools, toolchains and data formats can be individually challenging and how the challenges can be solved.

V tomto článku poskytujeme přehled zkušeností z první ruky a výhodných bodů pro osvědčené postupy z projektů v sedmi evropských zemích věnovaných výzkumu korpusu studentů (LCR) a vytváření korpusů studentů jazyků. Korpusy a nástroje zapojené do LCR jsou stále důležitější, stejně jako pečlivá příprava a snadné vyhledávání a opětovné použití korpusů a nástrojů. Nedostatek společně dohodnutých řešení pro mnoho aspektů LCR, interoperabilita mezi korpusy studentů a výměna dat z různých korpusových projektů studentů však zůstává výzvou. Ukážeme, jak mohou být koncepty jako metadata, anonymizace, taxonomie chyb a jazykové anotace, jakož i nástroje, řetězce nástrojů a datové formáty individuálně náročné a jak lze výzvy řešit.

Maarten Janssen
Adriane Boyd
Alexandr Rosen
Elena Volodina
Egon Stemle
Nives Mikelić


AGRR 2019: Corpus for Gapping Resolution in Russian

AGRR 2019: Korpus pro řešení mezera v ruštině

This paper provides a comprehensive overview of the gapping dataset for Russian that consists of 7.5k sentences with gapping (as well as 15k relevant negative sentences) and comprises data from various genres: news, fiction, social media and technical texts. The dataset was prepared for the Automatic Gapping Resolution Shared Task for Russian (AGRR-2019) - a competition aimed at stimulating the development of NLP tools and methods for processing of ellipsis. In this paper, we pay special attention to the gapping resolution methods that were introduced within the shared task as well as an alternative test set that illustrates that our corpus is a diverse and representative subset of Russian language gapping sufficient for effective utilization of machine learning techniques.

Tento dokument poskytuje komplexní přehled datového souboru mezery pro ruštinu, který se skládá z 7,5k vět s mezerou (stejně jako 15k relevantních negativních vět) a obsahuje údaje z různých žánrů: zprávy, beletrie, sociální média a technické texty. Dataset byl připraven pro automatický sdílený úkol pro řešení rozdílů ruských dat (AGRR-2019) - soutěž zaměřená na stimulaci vývoje nástrojů a metod NLP pro zpracování elipsy. V tomto článku věnujeme zvláštní pozornost metodám rozlišování mezer, které byly zavedeny v rámci sdíleného úkolu, a také alternativní testovací sadě, která ukazuje, že náš korpus je různorodá a reprezentativní podmnožina mezery ruského jazyka dostatečná pro efektivní využití technik strojového učení. .

Maria Ponomareva
Kira Droganova
Ivan Smurov
Tatiana Shavrina


ÚFAL–Oslo at MRP 2019: Garage Sale Semantic Parsing

ÚFAL–Oslo v MRP 2019: Sémantická analýza ve stylu garage sale

This paper describes the “ÚFAL–Oslo” system submission to the shared task on Cross-Framework Meaning Representation Parsing (MRP, Oepen et al. 2019). The submission is based on several third-party parsers. Within the official shared task results, the submission ranked 12th out of 14 participating systems.

Tento článek popisuje účastnický systém „ÚFAL–Oslo“ v soutěži Cross-Framework Meaning Representation Parsing (MRP, Oepen et al. 2019). Systém je postaven na několika existujících parserech třetích stran. V rámci oficiálních výsledků soutěže se umístil na 12. místě z celkem 14 účastníků.

Kira Droganova
Andrey Kutuzov
Nikita Mediankin
Daniel Zeman


Směřování k hlubokým univerzálním závislostem

Many linguistic theories and annotation frameworks contain a deep-syntactic and/or semantic layer. While many of these frameworks have been applied to more than one language, none of them is anywhere near the number of languages that are covered in Universal Dependencies (UD). In this paper, we present a prototype of Deep Universal Dependencies, a two-speed concept where minimal deep annotation can be derived automatically from surface UD trees, while richer annotation can be added for datasets where appropriate resources are available. We release the Deep UD data in Lindat.

Mnohé lingvistické teorie a anotační schémata obsahují hloubkově-syntaktickou a/nebo sémantickou vrstvu. Ačkoli řada z nich byla aplikována na více než jeden jazyk, žádná se nepřibližuje množství jazyků, které jsou pokryty univerzálními závislostmi (Universal Dependencies, UD). V tomto článku představujeme prototyp hloubkových univerzálních závislostí (Deep Universal Dependencies): dvourychlostního konceptu, ve kterém určitá minimální hloubková anotace je automaticky odvozena z povrchových stromů UD, zatímco bohatší anotaci je možné přidat ručně u korpusů, kde jsou k dispozici potřebné zdroje. Data Deep UD zpřístupňujeme v repozitáři Lindat.


75 Languages, 1 Model: Parsing Universal Dependencies Universally

75 jazyků, 1 model: Závislostní analýza Universal Dependencies univerzálně

We present UDify, a multilingual multi-task model capable of accurately predicting universal part-of-speech, morphological features, lemmas, and dependency trees simultaneously for all 124 Universal Dependencies treebanks across 75 languages. By leveraging a multilingual BERT self-attention model pretrained on 104 languages, we found that fine-tuning it on all datasets concatenated together with simple softmax classifiers for each UD task can result in state-of-the-art UPOS, UFeats, Lemmas, UAS, and LAS scores, without requiring any recurrent or language-specific components. We evaluate UDify for multilingual learning, showing that low-resource languages benefit the most from cross-linguistic annotations. We also evaluate for zero-shot learning, with results suggesting that multilingual training provides strong UD predictions even for languages that neither UDify nor BERT have ever been trained on. Code for UDify is available at https://github.com/hyperparticle/udify.

Představujeme UDify, vícejazyčný víceúlohový model schopný přesně předpovědět univerzální slovní druhy, morfologické rysy, lemmata a závislostní stromy současně pro všech 124 treebanků Universal Dependencies napříč 75 jazyky. Využitím vícejazyčného modelu BERT předcvičeného na 104 jazycích jsme zjistili, že jeho dotrénování na všech zřetězených treebancích spolu s jednoduchými softmax klasifikátory pro každý úkol UD ústí v nejlepší známé výsledky pro UPOS, UFeats, lemmatizaci, UAS a LAS metriky, aniž by vyžadovalo jakékoli rekurentní nebo jazykově specifické komponenty. Hodnocení UDify ukazuje, že vícejazyčné učení nejvíce prospívá jazykům s málo daty. Vícejazykové trénovaní poskytuje kvalitní předpovědi i pro jazyky, které nebyly zastoupeny v trénovacích datech, naznačují, že i pro ně posky vícejazyčné školen. Zdrojový kód UDify je dostupný na https://github.com/hyperparticle/udify.


Replacing Linguists with Dummies: A Serious Need for Trivial Baselinesin Multi-Task Neural Machine Translation

Nahrazení lingvistů za dummy: Závažná potřeba triviálního překladu neuronového stroje s více úlohami Baselinesin

Recent developments in machine translation experiment with the idea that a model can
improve the translation quality by performing multiple tasks, e.g., translating from source to
target and also labeling each source word with syntactic information. The intuition is that the
network would generalize knowledge over the multiple tasks, improving the translation performance, especially in low resource conditions. We devised an experiment that casts doubt on
this intuition. We perform similar experiments in both multi-decoder and interleaving setups
that label each target word either with a syntactic tag or a completely random tag. Surprisingly, we show that the model performs nearly as well on uncorrelated random tags as on true
syntactic tags. We hint some possible explanations of this behavior.
The main message from our article is that experimental results with deep neural networks
should always be complemented with trivial baselines to document that the observed gain is
not due to some unrelated properties of the system or training effects. True confidence in where
the gains come from will probably remain problematic anyway.

Nedávný vývoj v oblasti strojového překladu experimentuje s myšlenkou, že model může zlepšit kvalitu překladu provedením více úloh, např. překládáním ze zdroje na cíl a také označováním každého zdrojového slova syntaktickými informacemi. Intuice je taková, že síť by zobecňovala znalosti na více úloh a zlepšila tak výkon překladu, zejména v podmínkách nízkých zdrojů. Vymysleli jsme experiment, který tuto intuici zpochybňuje. Podobné experimenty provádíme jak v multidekodérech, tak v prokládacích sestavách, které označují každé cílové slovo buď syntaktickou značkou, nebo úplně náhodnou značkou. Překvapivě ukazujeme, že model si vede skoro stejně dobře na nekorespondovaných náhodných značkách jako na skutečných syntaktických značkách. Naznačujeme některá možná vysvětlení tohoto chování. Hlavním poselstvím našeho článku je, že experimentální výsledky s hlubokými neuronovými sítěmi by měly být vždy doplněny triviálními výchozími hodnotami dokumentujícími, že pozorovaný přírůstek je
ne kvůli některým nesouvisejícím vlastnostem systému nebo tréninkovým efektům. Skutečná důvěra v to, odkud zisky pocházejí, bude pravděpodobně i nadále problematická.

Daniel Kondratyuk
Ronald Cardenas
Ondřej Bojar


NovaMorf: the end of a long period of convergence and divergence in the processing of Czech morphology

NovaMorf: konec dlouhého období konvergencí a divergencí ve zpracování české morfologie

In this text, we want to outline the coincidences and differences of the two tagsets used for automatic morphological analysis of Czech. We will show how much the originally unintentional and time-sustained double-knee of the so-called Prague and so-called Brno systems can be overcome in the foreseeable future under the NovaMorf project. We will look at the relationships between the branding of morphological categories and values in the NovaMorf proposal compared to the two older systems. We base our assessment of the Brno system on an article by the Czech Morphological Tagset Revisited. (Jakubíček, Kovář, Šmerk, 2011). We base our knowledge of the Prague system on a description of Prague's position tagset (see http://ufal.mff.cuni.cz/pdt/Morphology_and_Tagging/Doc/hmptagqr.html) and on a monograph by Jan Hajic (Hajic, 1994, 2004). Our goal will be to show how the experience of using both systems has resulted in an effort to inspire positives and avoid failed solutions on both sides (Srv. Osolsoba et al., 2017). For a mutual conversion of the marks of the Prague system to the Brno system, see Pořízka, Schäfer, 2009.

V tomto textu chceme nastínit shody a rozdíly dvou tagsetů užívaných k automatické morfologické analýze češtiny. Ukážeme, nakolik původně nezáměrná a časem udržovaná dvojkolenost tzv. pražského a tzv. brněnského systému může býti v dohledné době překonána v rámci projektu NovaMorf.  Budeme se zabývat vztahy mezi značkováním morfologických kategorií a hodnot v návrhu NovaMorf v porovnání s oběma staršími systémy. Při posuzování brněnského systému vycházíme z článku Czech Morphological Tagset Revisited. (Jakubíček, Kovář, Šmerk, 2011). Poznatky o pražském systému zakládáme na popisu pražského pozičního tagsetu (viz http://ufal.mff.cuni.cz/pdt/Morphology_and_Tagging/Doc/hmptagqr.html) a na monografii Jana Hajiče (Hajič, 1994, 2004). Naším cílem bude ukázat, kterak zkušenosti s užíváním obou systémů vyústily ve snahu inspirovat se pozitivy a vyhnout se neúspěšným řešením na obou stranách (srv. Osolsobě et al., 2017). Ke vzájemné konverzi značek dosavadního pražského systému na brněnský viz Pořízka, Schäfer, 2009.


Double touch: A single case analysis of embodied action in classroom interaction

Dvojitý dotek: Analýza tělesného jednání během interakce ve třídě

I will discuss a practice observed in a corpus of video-recordings of a classroom setting. Students worked with on-line materials in groups of 2-3 persons with one computer, filling a paper sheet with questions. Participants often pointed to the computer screen in order to topicalize relevant aspects of displayed texts, video clips, images etc. At times, more persons were concurrently pointing to the displayed objects. In one of such instances, one participant (P1) gently touched the pointing hand of her colleague (P2) – see Figure above. Inciting no observable reaction, after 2.5 seconds, the touch occurred again. Only after this second touch, P2 terminates the pointing and withdraws her hand from the screen.
This interactional sequence is analysed as a single case that highlights the ethnomethodological relevance of “the phenomenon of repetition”. In lived reality of the videotaped situation, it is only because of the first touch (T1), that the second touch (T2) gains its significance as a “repeated action”. In contrast to repeated utterances, which are usually accountable in CA as repair or registering, the double touch is a course of action that is itself constituted by the two “separate” touches (T1 + T2) rather than being a single action that is just repeated twice.
It seems that some acts must be multiplied in order to become meaningfully produced actions (e.g., knocking on the office door, or tapping someone’s shoulder), distinguished from mere accidents (e.g., a single touch of someone’s shoulder, or a single bump into the door). The topic of repeated “hand touching hand” also illustrates pertinent methodological issues in EM/CA research, such as the transcription of touch. Considering that T1 constitutes the phenomenal field of T2, I argue for the importance of profoundly ethnomethodological approach to studies of human interaction.

Příspěvek se zabývá praktikou pozorovanou v souboru videozáznamů z prostředí školní třídy. Studenti pracovali s on-line materiály ve skupinách po 2-3 osobách s jedním počítačem a vyplňovali papírový list s otázkami. Účastníci často ukazovali na obrazovku počítače, aby zdůraznili aspekty zobrazených textů, videoklipů, obrázků atd. V některých okamžicích ukazovalo na zobrazené objekty současně více osob. V jednom z takových případů se jedna účastsnice (P1) jemně dotkla natažené ruky své kolegyně (P2). Dotek nevyvolal žádnou pozorovatelnou reakci a po 2,5 sekundách se opakoval. Teprve po tomto druhém dotyku P2 ukončí ukazování a stáhne ruku z obrazovky.
Tato posloupnost interakcí je analyzována jako jediný případ, který zdůrazňuje etnometodologický význam „fenoménu opakování“. V žité realitě natočené situace pouze díky prvnímu dotyku (T1) získává druhý dotyk (T2) svůj význam jako „opakovaná akce“. Dvojitý dotyk je činností, jež je sama tvořena dvěma „samostatnými“ dotyky (T1 + T2) a není jen jedním úkonem, který se jen dvakrát opakuje.
Zdá se, že některé praktiky je třeba znásobit, aby se z nich staly smysluplně vytvořené aktivity (např. klepání na dveře kanceláře nebo klepání na něčí rameno), odlišené od pouhých nehod (např. jediný dotek něčího ramene nebo jediný náraz do dveří).


Sociological aspects of oral history in the digital age

Sociologické aspekty orální historie v digitálním věku

The lecture Sociological Aspects of Oral History in the Digital Age is going to provide theoretical foundations for the follow-up workshop focused on one of the largest digital archives of oral history: the USC Shoah Foundation’s Visual History Archive. This digital database consists of more than 54,500 audio-visual recordings of oral history interviews. The majority of the interviews were collected between 1994 and 2000, mainly in the USA and Europe. Most of the interviews (nearly 50%) are in English, but more than 35 other languages are also represented in the Visual History Archive. Over 150 interviews from the Archive are related to Luxembourg. During the workshop, combining theory and praxis, we will focus on secondary analysis of archival interviews, discussion of their role in contemporary society, as well as interpretive issues in secondary use of archived oral history. In the introductory lecture, we will consider oral history more generally as a social phenomenon, and archived oral history interviews as social semiotic objects.

Přednáška poskytne teoretické základy pro navazující workshop zaměřený na jeden z největších digitálních archivů ústní historie: Archiv vizuální historie USC Shoah Foundation. Tato digitální databáze se skládá z více než 54 500 audiovizuálních záznamů orálněhistorických rozhovorů. Během workshopu, který kombinuje teorii a praxi, se zaměříme na sekundární analýzu archivních rozhovorů, diskusi o jejich úloze v současné společnosti a také na otázky interpretace při sekundárním využití archivované orální historie. V úvodní přednášce pojednám orální historii obecněji jako společenský fenomén a archivované rozhovory jako sociální sémiotické objekty.


Časová organizace práce s digitální orální historií ve třídě

In contemporary society, social justice issues are often related to documentary video clips and their interpretation. Understanding the ways of working with and around video in everyday settings could provide novel perspectives on traditional themes. This paper is based on an ethnomethodological study of videotaped episodes of students’ collaborative work with on-line material constructed from texts, images and video clip fragments of oral history interviews. Students worked with a single computer device and one paper sheet in small groups of two or three. The temporal organization of classroom work with digital oral history in this classroom setting is divided to three phases: (1) preparation for watching the video clip, which requires the establishment of an optimal arrangement of material artifacts and participants’ bodily orientations; (2) watching the video clip, which points to a preference for uninterrupted watching from start to end, as well as limitation of participants’ talk to "running commentary"; (3) reflecting the video clip, which shows orientation to the formulation of required answer and its collaborative writing into the paper sheet, including occasional second watching.

V současné společnosti se otázky sociální spravedlnosti často týkají dokumentárních videoklipů a jejich interpretace. Pochopení způsobů práce s videem a jeho okolí v každodenním prostředí by mohlo přinést nové pohledy na tradiční témata. Tato práce vychází z etnometodologické studie videonahrávek kolektivní práce studentů s on-line materiály sestavenými z textů, obrázků a fragmentů orálněhistorických rozhovorů. Studenti pracovali s jedním počítačovým zařízením a jedním papírovým listem v malých skupinách po dvou nebo třech. Časová organizace práce v učebně s digitálními ústními dějinami je v tomto uspořádání rozdělena do tří fází: 1) příprava na sledování videoklipu, což vyžaduje vytvoření optimálního uspořádání hmotných artefaktů a tělesné orientace účastníků; 2) sledování videoklipu, během něhož je upřednostňováno nepřerušované sledování od začátku do konce, jakož i omezení hovoru účastníků na "průběžné komentáře"; 3) reflexe videoklipu, během níž se projevuje orientace na formulaci požadované odpovědi a její společné zapsání do papírového listu, včetně případného druhého sledování videoklipu.


In order to use audiovisual oral history (OH) materials efficiently and meaningfully, it is important to understand how people make sense of such video recordings in social interaction. Fundamental questions thus emerge in regard to secondary analysis and practical utilization of archived audiovisual OH material, such as: What are the features of OH interview as a social object? What makes it meaningful and interpretable? How much do we need to know about the socially situated character of the interview in order to understand it properly? Is there “too little” or “too much” context in relation to OH? How do people make sense of OH interviews in social practice, and relate it to their broader historical knowledge? In the workshop, we will grasp such far-reaching questions from a very empirical and practical perspective. We are reaching out to scholars who are interested in cross-disciplinary approaches and work with interviews, oral history, and digitized or digital qualitative data in general.

Pro efektivní a smysluplné používání audiovizuálních orálněhistorických materiálů (OH) je důležité pochopit, jak lidé chápou smysl takových videozáznamů v sociální interakci. Vyvstávají tak zásadní otázky týkající se sekundární analýzy a praktického využití archivovaného audiovizuálního materiálu OH, jako například: Jaké jsou rysy OH rozhovoru jako společenského objektu? Co jej činí smysluplným a interpretovatelným? Kolik toho potřebujeme vědět o sociálně situovaném charakteru rozhovoru, abychom ho správně pochopili? Existuje ve vztahu k OH „příliš málo“ nebo „příliš mnoho“ kontextu? Jaký smysl mají rozhovory na OH ve společenské praxi a jaký je jejich vztah k širším historickým znalostem? V rámci workshopu uchopíme tyto dalekosáhlé otázky z velice empirického a praktického hlediska. Oslovujeme akademické pracovníky, kteří se zajímají o mezioborové přístupy a pracují s interview, orální historií a digitalizovanými nebo digitálními kvalitativními daty obecně.


SAO WMT19 Test Suite: Machine Translation of Audit Reports

NKÚ WMT19 Testovací sada: Strojový překlad auditních zpráv

This paper describes a machine translation test set of documents from the auditing domain and its use as one of the “test suites” in the WMT19 News Translation Task for translation directions involving Czech, English and German.

Our evaluation suggests that current MT systems optimized for the general news domain can perform quite well even in the particular domain of audit reports. The detailed manual evaluation however indicates that deep factual knowledge of the domain is necessary. For the naked eye of a non-expert, translations by many systems seem almost perfect and automatic MT evaluation with one reference is practically useless for considering these details.

Furthermore, we show on a sample document from the domain of agreements that even the best systems completely fail in preserving the semantics of the agreement, namely the identity of the parties.

Tato práce popisuje testovací sadu dokumentů z auditorské domény pro strojový překlad a její použití jako jedné ze „testovacích sad“ v WMT19 News Translation Task pro překladatelské směry zahrnující češtinu, angličtinu a němčinu.

Naše hodnocení naznačuje, že současné MT systémy optimalizované pro oblast všeobecného zpravodajství mohou docela dobře fungovat i v konkrétní oblasti auditních zpráv. Podrobné manuální hodnocení však ukazuje, že hluboká faktická znalost dané oblasti je nezbytná. Pouhým okem neodborníka se překlady mnoha systémů zdají téměř dokonalé a automatické hodnocení MT s jednou referencí je pro zvážení těchto detailů prakticky zbytečné.

Dále na ukázkovém dokumentu z oblasti smluv ukazujeme, že i ty nejlepší systémy zcela selhávají v zachování sémantiky smlouvy, specificky zachování identit stran.

Tereza Vojtěchová
Michal Novák
Miloš Klouček
Ondřej Bojar


CzeDLex 0.6 is the second development version of a lexicon of Czech discourse connectives. The lexicon contains connectives partially automatically extracted from the Prague Discourse Treebank 2.0 (PDiT 2.0), a large corpus annotated manually with discourse relations. The most frequent entries in the lexicon (covering more than 90% of the discourse relations annotated in the PDiT 2.0) have been manually checked, translated to English and supplemented with additional linguistic information.

CzeDLex 0.6 je druhá vývojová verze slovníku českých diskurzních konektorů. Slovník obsahuje konektory částečně automaticky extrahované z Pražského diskurzního korpusu 2.0 (PDiT 2.0), rozsáhlého korpusu s ručně anotovanými diskurzními vztahy. Nejfrekventovanější slovníková hesla (pokrývající více než 90% diskurzních vztahů anotovaných v PDiT 2.0) byla ručně zkontrolována, přeložena do angličtiny a doplněna dalšími lingvistickými informacemi.

Pavlína Synková
Lucie Poláková
Jiří Mírovský
Magdaléna Rysová


On the Valency of Various Types of Adverbs and Its Lexicographic Description

K valenci různých typů příslovcí a jejich lexikografickému popisu

This paper deals with the neglected issue of the valency of adverbs. After providing a brief theoretical background, a procedure is presented of extracting the list of potentially valent adverbs from two syntactically parsed corpora of Czech, SYN2015 and PDT. Taking note of the methodological and theoretical problems surrounding this task, especially those relating to the fuzzy boundaries of word classes, we outline the types of adverbs identified as having valency properties. Where appropriate, we comment on – and occasionally suggest improvements in – the lexicographic treatment of valent adverbs.

Tato práce se zabývá opomínejou otázkou valence příslovcí. Po stručném teoretickém úvodu představíme postup při extrahování seznamu potenciálních valenčních příslovcí ze dvou českých syntakticky značkovaných korpusů, SYN2015 a PDT. Dále zmíníme metodologické a teoretické problémy spojené s tímto problémem, zejména ty, které se týkají nejasných hranic slovních druhů, a charakterizujeme typy získaných valenčních příslovcí. Tam, kde je to vhodné, komentujeme lexikografické zpracování valenčních příslovcí a případně navrhujeme jeho úpravu.


DeriNet 2.0: Towards an All-in-One Word-Formation Resource

DeriNet 2.0: Jednotný zdroj slovotvorných dat

DeriNet is a large linguistic resource containing over 1 million lexemes of Czech connected by
almost 810 thousand links that correspond to derivational relations. In the previous version,
DeriNet 1.7, it only contained very sparse annotations of features other than derivations – it listed
the lemma and part-of-speech category of each lexeme and since version 1.5, a true/false flag
with lexemes created by compounding.
The paper presents an extended version of this network, labelled DeriNet 2.0, which adds a number
of features, namely annotation of morphological categories (aspect, gender and animacy) with all
lexemes in the database, identification of root morphemes in 250 thousand lexemes, annotation
of five semantic labels (diminutive, possessive, female, iterative, and aspect) with 150 thousand
derivational relations, a pilot annotation of parents of compounds, and another pilot annotation
of so-called fictitious lexemes, which connect related derivational families without a common
synchronous parent. The new pieces of annotation could be added thanks to a new file format
for storing the network, which aims to be general and extensible, and therefore possibly usable to
other similar projects.

DeriNet je rozsáhlý lingvistický zdroj obsahující více než 1 milion českých lexémů spojených téměř 810 tisíci derivačních vztahů. Jeho předchozí verze, DeriNet 1.7, kromě derivací neobsahovala další anotace – byly v ní uvedeny lemmata a slovnědruhové kategorie každého lexému, a od verze 1.5 binární příznak kompozitnosti.
Tento článek představuje rozšířenou verzi zdroje, nazvanou DeriNet 2.0, která přináší řadu nových anotací: všechny lexémy mají vyznačené základní morfologické kategorie (vid, rod a životnost), 250 tisíc lexémů má identifikované kořenové morfémy, 150 tisíc derivačních vztahů je označeno svou sémantickou kategorií (zdrobňování, přivlastňování, přechylování, opakovanost a změna vidu), některá kompozita jsou v rámci pilotního projektu přiřazena ke svým základovým slovům a přibylo několik tzv. fiktivních lexémů spojujících příbuzné derivační rodiny bez společného předka. Tyto nové anotace mohly být přidány díky novému souborovému formátu, který je obecný a rozšiřitelný a tedy potenciálně využitelný i v jiných podobných projektech.

Jonáš Vidra
Zdeněk Žabokrtský
Magda Ševčíková
Lukáš Kyjánek


DeriNet is a lexical network which models derivational relations in the lexicon of Czech. Nodes of the network correspond to Czech lexemes, while edges represent derivational or compositional relations between a derived word and its base word / words. The present version, DeriNet 2.0, contains 1,027,665 lexemes (sampled from the MorfFlex dictionary) connected by 808,682 derivational and 600 compositional links.
Compared to previous versions, version 2.0 uses a new format and contains new types of annotations: compounding, annotation of several morphological categories of lexemes, identification of root morphs of 244,198 lexemes, semantic labelling of 151,005 relations using five labels and identification of several fictitious lexemes.

DeriNet je lexikální síť zachycující derivační vztahy mezi českými slovy. Vrcholy sítě představují české lexémy a hrany reprezentují derivační nebo kompoziční vztahy mezi odvozeným a základovým/základovými slovem/slovy. Tato verze, DeriNet 2.0, obsahuje 1 027 665 lexémů převzatých ze slovníku MorfFlex spojených 808 682 derivačními a 600 kompozičními vztahy.
V porovnání s předchozími verzemi, verze 2.0 používá nový formát a obsahuje nové typy anotace: kompozice, anotace několika morfologických kategorií lexémů, identifikované kořenové morfy u 244 198 lexémů, sémantické označení 151 005 hran pomocí pěti značek a identifikaci několika fiktivních lexémů.

Jonáš Vidra
Zdeněk Žabokrtský
Lukáš Kyjánek
Magda Ševčíková
Šárka Dohnalová


Processing personal data without the consent of the data subject for the development and use of language resources

Zpracování osobních údajů bez souhlasu subjektu údajů pro účely rozvoje a využívání jazykových zdrojů

The development and use of language resources often involve the processing of personal data. The General Data Protection Regulation (GDPR) establishes an EU-wide framework for the processing of personal data for research purposes while at the same time allowing for some flexibility on the part of the Member States. The paper discusses the legal framework for lan- guage research following the entry into force of the GDPR. In the first section, we present some fundamental concepts of data protection relevant to language research. In the second section, the general framework of processing personal data for research purposes is discussed. In the last section, we focus on the models that certain EU Member States use to regulate data processing for research purposes.

Rozvoj a využívání jazykových zdrojů často zahrnuje zpracování osobních údajů. Obecné nařízení o ochraně osobních údajů (GDPR) stanoví celoevropský rámec pro zpracování osobních údajů pro výzkumné účely a zároveň umožňuje určitou flexibilitu na straně členských států. Dokument pojednává o právním rámci pro výzkum lan- guage po vstupu GDPR v platnost. V první části představíme některé základní pojmy ochrany údajů, které jsou důležité pro výzkum jazyků. Ve druhé části je diskutován obecný rámec zpracování osobních údajů pro výzkumné účely. V poslední části se zaměříme na modely, které některé členské státy EU používají k regulaci zpracování dat pro výzkumné účely.

Aleksei Kelli
Krister Lindén
Kadri Vider
Paweł Kamocki
Ramūnas Birštonas
Silvia Calamai
Penny Labropoulou
Maria Gavrilidou
Pavel Straňák


Functions and translations of underspecified discourse markers in TED Talks: a parallel corpus study on five languages

Funkce a překlady významově vyprázdněných diskurzních markerů na materiále TED talks: parallení korpusová studie na pěti jazycích

Discourse markers are highly polyfunctional, particularly in spoken settings. Because of their syntactic optionality, they are often omitted in translations, especially in the restricted space of subtitles such as the parallel transcripts of TED Talks. In this study, we combine discourse annotation and translation spotting to investigate English discourse markers, focusing on their functions, omission and translation equivalents in Czech, French, Hungarian and Lithuanian. In particular, we study them through the lens of
underspecification, of which we distinguish one monolingual and two multilingual types. After making an inventory of all discourse markers in the dataset, we zoom in on the three most frequent and, but and so. Our small-scale yet fine-grained corpus study suggests that the processes of underspecification are based on the semantics of discourse markers and are therefore shared cross-linguistically. However, not all discourse marker types nor their functions are equally affected by underspecification. Moreover, monolingual and multilingual underspecification do not always map for a particular marker. Beyond the empirical
analysis of three highly frequent discourse markers in a sample of TED Talks, this study
illustrates how translation and annotation can be combined to explore the multiple facets of underspecification in a monolingual and multilingual perspective.

Článek zachycuje funkce a překlady významově vyprázdněných dikurzních markerů AND, BUT a SO v angličtině, češtině, maďarštině, francouzštině a litevštině.

Ludivine Crible
Ágnes Abuczki
Nijolė Burkšaitienė
Péter Furkó
Anna Nedoluzhko
Giedre Valunaite Oleskeviciene
Sigita Rackevičienė
Šárka Zikánová


Lexicographic treatment of the valency aspects of verbal diatheses

Slovníkové zpracování valenčních aspektů slovesných diatezí

Diatheses have been the topic of a number of linguistic studies in Czech as well as international linguistics. Previous investigations have led to the delimitation of diatheses formed with the passive participle (the passive, objective (with auxiliary být ‘to be’) and possessive (with auxiliary mít ‘to have’)
resultative, and recipient diatheses) and the so-called reflexive passive (deagentive diathesis), but systematic dictionary treatment has not been carried out yet.
This dissertation is concerned with the diatheses that are formed with the passive participle and their treatment in the Functional Generative Description (FGD). After a thorough description of the valency theory of FGD, I discuss the design of the Grammatical Component of the valency lexicon VALLEX, concentrating on the rules for the formation of the diatheses that are built with the passive participle. Related verbonominal constructions and a new candidate for treatment as a diathesis (the subjective resultative) are also discussed.

Diateze, a to jak ty tvořené pomocí pasivního participia (pasivum, prostý a posesivní rezultativ, recipientní diateze), tak i tzv. zvratné pasivum (deagentizace) byly v minulosti předmětem řady studií jak v bohemistické, tak i
v mezinárodní lingvistice, pro češtinu ale dosud chybělo jejich důkladné slovníkové zpracování. V této dizertační práci se zabývám zachycením diatezí tvořených pomocí pasivního participia a s nimi příbuzných verbonominálních konstrukcí
v gramatické komponentě valenčního slovníkuVALLEX.
Vlastnímu tématu práce předchází krátký historický úvod a podrobné shrnutí pojetí valence ve Funkčním generativním popisu.


K vytvoření automatických záznamů ze schůzek

Many meetings of different kinds will potentially benefit from technological support like automatic creation of meeting minutes. To prepare a reasonable automation, we need to have a detailed understanding of common types of meetings, of the linguistic properties and commonalities in the structure of meeting minutes, as well as of methods for their automation.
In this paper, we summarize the quality criteria and linguistic properties of meeting minutes, describe the available meeting corpora and meeting datasets and propose a classification of meetings and minutes types. Furthermore, we  analyze the methods and tools for automatic minuting with respect to their use with existing types of datasets. We summarize the obtained knowledge with respect to our goal of designing automatic minuting and present our first steps in this direction.

Automaticky vytvořené zápisy ze schůzek mohou výrazně zlepšit efektivitu práce. Abychom připravili rozumnou automatizaci potřebujeme mít přehled a pochopení, jaké typy schůzek a zápisů existují, jaké mají společné rysy.
V tomto článku shrnujeme jazykové vlastnosti zápisek a schůzek, analyzujeme existující metody sumarizace a možnost jejich aplikace k danému úkolu.


Schnellere Sterne tendieren dazu, sehr hell zu sein: A case of correlative constructions as German, Czech and Russian translations from English

Korelativní konstrukce v německých, českých a ruských překladech z angličtiny

Our research concerns correlative constructions in German, Czech and Russian translations and the corresponding structures in English that trigger these correlatives. In total, 100 parallel segments have been analysed manually for this study. For the study of optionality, we compare our results to original (not translated texts) in Czech and Russian National corpora. The occurrence of the constructions under analysis, as well as cross-linguistic differences in the transformation patterns, can be explained by the influence of a set of factors described in the presentation.

Srovnáváme použítí korelativních konstrukcí v českých, ruských a německých překladech z angličtiny. Hledáme, kde je překlad s použitím korelativní konstrukce povinný, kde je možný a kde je vyloučen. Analyzujeme různé typy kontextů.

Anna Nedoluzhko
Ekaterina Lapshinova-Koltunski


Building a Morphological Network for Persian on Top of a Morpheme-Segmented Lexicon

Tvorba morfologické sítě pro perštinu na základě morfematicky segmentovaného slovníku

In this work, we introduce a new large hand-annotated morpheme-segmentation lexicon of Persian words and present an algorithm that builds a morphological network using this segmented lexicon. The resulting network captures both derivational and inflectional relations. The algorithm for inducing the network approximates the distinction between root morphemes and affixes using the number of morpheme occurrences in the lexicon.
We evaluate the quality (in the sense of linguistic correctness) of the resulting network empirically and compare it to the quality of a network generated in a setup based on manually distinguished non-root morphemes.
In the second phase of this work, we evaluated various strategies to add new words (unprocessed in the segmented lexicon) into an existing morphological network automatically. For this purpose, we created primary morphological networks based on two initial data: a manually segmented lexicon and an automatically segmented lexicon created by unsupervised MORFESSOR. Then new words are segmented using MORFESSOR and are added to the network. In our experiments, both supervised and unsupervised versions of MORFESSOR are evaluated and the results show that the procedure of network expansion could be performed automatically with reasonable accuracy.

Představujeme nový ručně anotovaný morfematicky segmentovaný slovník pro perštinu, a dále algoritmus, který s využitím tohoto slovníku zkonstruuje morfologickou síť. Výsledná síť zachycuje jak derivační, tak flektivní vztahy mezi slovními formami. Algoritmus pro tvorbu sítě aproximuje rozdíl mezi kořenovými a afixovými morfémy na základě frekvenční informace o morfémech. Vyhodnocujeme kvalitu (ve smyslu lingvistické správnosti) výsledné sítě v konfiguraci s ručně označenými nekořenovými morfémy. V další části naší práce vyhodnocujeme různé strategie pro přidání nových (ve slovníku dosud nezachycených) do sítě s využitím systému MORFESSOR (v řízené i neřízené verzi). Experimenty potvrzují, že navržený postup lze použít pro přidávání dosud nepokrytých slov s přijatelnou úspěšností.

Hamid Haghdoost
Ebrahim Ansari
Zdeněk Žabokrtský
Mahshid Nikravesh


Proceedings of the 19th Conference Information Technologies - Applications and Theory (ITAT 2019)

Sborník 19. konference Informačné Technológie - Aplikácie a Teória (ITAT 2019)

ITAT (Information Technologies—Applications and Theory) is a traditional Czecho-Slovak conference gathering scientists and experts working within a broad scope of computer science. ITAT not only offers a possibility to exchange ideas and information, it also emphasizes informal communication and discussions among participants.

ITAT (Informačné Technológie - Aplikácie a Teória) je tradiční česko-slovenská konference sdružující vědce a odborníky pracující v širokém spektru informatiky. ITAT nabízí nejen možnost výměny nápadů a informací, ale klade také důraz na neformální komunikaci a diskuse mezi účastníky.

Petra Barančíková
Martin Holeňa
Tomáš Horváth
Matúš Pleva
Rudolf Rosa


In Search for Linear Relations  in Sentence Embedding Spaces

Hledání lineárních vztahů ve vektorovém prostoru vět

We present an introductory investigation into continuous-space vector
representations of sentences. We acquire pairs of very similar sentences
differing only by a small alterations (such as change of a noun, adding
an adjective, noun or punctuation) from datasets for natural language
inference using a simple pattern method. We look into how such a small
change within the sentence text affects its representation in the continuous
space and how such alterations are reflected by some of the popular sentence
embedding models. We found that vector differences of some embeddings
actually reflect small changes within a sentence.

Tento článek představuje úvodní výzkum větné reprezentace ve spojitém prostoru. Získali jsme páry velmi podobných vět, které si liší pouze drobnou změnou (jako změna substantiva, přidání adjektiva) z datasetů na odvozování v přirozeném jazyce pomocí metody jednoduchých vzorců. Zkoumáme nakolik drobná změna ve větě ovlivní její reprezentaci ve spojitém prostoru a jak jsou tyto změny zobrazeny v některých populárních modelech větných embeddingů. Zjistili jsme, že některé embeddingy pěkně reflektují malé větné změny.


An Extended CLEF eHealth Test Collection for Cross-lingual Information Retrieval in the Medical Domain

Rozšířená testovací kolekce CLEF eHealth pro vyhledávání napříč jazyky v textech z medicíny

We present a test collection for medical cross-lingual information retrieval. It is built on resources used by the CLEF eHealth Evaluation Lab 2013–2015 in the patient-centered information retrieval tasks and greatly improves applicability and reusability of the official data. The document set is identical to the official one used for the task in 2015 and contains about 1 million English medical webpages. The query set consists of 166 queries used during the three years of the campaign as test queries, now available in eight languages (the original English and human translations into Czech, French, German, Hungarian, Polish, Spanish and Swedish). The extended test collection provides extensively improved relevance judgements which almost doubled the amount of the officially assessed query-document pairs. This paper describes the content of the extended version of the test collection, details of query translation and relevance assessment, and state-of-the-art results on this collection.
The dataset can be obtained publicly in the following url: https://lindat.mff.cuni.cz/repository/xmlui/handle/11234/1-2925

Představujeme sbírku testů pro získávání informací napříč jazyky v medicínské doméně. Tato sbírka je postavena na zdrojích používaných laboratoří CLEF pro hodnocení elektronického zdravotnictví v letech 2013–2015 při úkolech vyhledávání informací zaměřených na pacienta a zlepšuje využitelnost a opakovanou použitelnost oficiálních údajů. Soubor dokumentů je totožný s oficiálním souborem, který byl pro tento úkol použit v roce 2015, a obsahuje asi milion anglických lékařských webových stránek. Sada dotazů obsahuje 166 položek použitých během tří let jako testovací dotazy, které jsou nyní dostupné v osmi jazycích. Rozšířená sbírka testů poskytuje další relevantní hodnocení, která téměř zdvojnásobily množství oficiálně posuzovaných párů dotaz-dokument. Tato práce popisuje obsah rozšířené sbírky, podrobnosti překladu dotazů a posouzení relevance a nejmodernější výsledky získané z této sbírky.
https://lindat.mff.cuni.cz/repository/xmlui/handle/11234/1-2925


Extended CLEF eHealth 2013-2015 IR Test Collection

Rozšířená testovací kolekce CLEF eHealth 2013--2015

This package contains an extended version of the test collection used in the CLEF eHealth Information Retrieval tasks in 2013--2015. Compared to the original version, it provides complete query translations into Czech, French, German, Hungarian, Polish, Spanish and Swedish and additional relevance assessment.

Rozšířená testovací kolekce CLEF eHealth pro vyhledávání napříč jazyky v textech z medicíny


Term Selection for Query Expansion in Medical Cross-Lingual Information Retrieval

Výběr slov pro rozšíření dotazu ve mnohojazyčném systému získávání informací v medicínské doméně

We present a method for automatic query expansion for cross-lingual information retrieval in the medical domain. The method employs machine translation of source-language queries into a document language and linear regression to predict the retrieval performance for each translated query when expanded with a candidate term. Candidate terms (in the document language) come from multiple sources: query translation hypotheses obtained from the machine translation system, Wikipedia articles and PubMed abstracts. Query expansion is applied only when the model predicts a score for a candidate term that exceeds a tuned threshold which allows to expand queries with strongly related terms only. Our experiments are conducted using the CLEF eHealth 2013–2015 test collection and show significant improvements in both cross-lingual and monolingual settings.

Představujeme metodu automatického rozšíření dotazů pro vyhledávání informací mezi jazyky v oblasti medicíny. Metoda využívá strojový překlad dotazů ze zdrojového jazyka do jazyka dokumentu a lineární regresi k předvídání výkonu vyhledávání pro každý přeložený dotaz, který je rozšířen o kandidátský termín. Kandidátské termíny (v jazyce dokumentu) pocházejí z více zdrojů: hypotézy pro překlad dotazů získané ze systému strojového překladu, články na Wikipedii a abstrakty PubMed. Rozšíření dotazu je použito pouze v případě, že model předpovídá skóre pro kandidátní termín přesahující vyladěnou hranici, která umožňuje rozšiřovat dotazy pouze se silně příbuznými termíny. Naše experimenty jsou prováděny s využitím kolekce testů elektronického zdravotnictví CLEF 2013–2015 a vykazují významná zlepšení jak v mnohojazyčném, tak jednojazyčném nastavení.


Examining Structure of Word Embeddings with PCA

Zkoumání struktury slovních embeddingů s pomocí PCA

In this paper we compare structure of Czech word embeddings for English-Czech neural machine translation (NMT), word2vec and sentiment analysis. We show that although it is possible to successfully predict part of speech (POS) tags from word embeddings of word2vec and various translation models, not all of the embedding spaces show the same structure. The information about POS is present in word2vec embeddings, but the high degree of organization by POS in the NMT decoder suggests that this information is more important for machine translation and therefore the NMT model represents it in more direct way. Our method is based on correlation of principal component analysis (PCA) dimensions with categorical linguistic data. We also show that further examining histograms of classes along the principal component is important to understand the structure of representation of information in embeddings.

V tomto příspěvku porovnáváme strukturu českých slovních embeddingů pro anglicko-český strojový překlad (NMT), word2vec a analýzu sentimentu. Ukazujeme, že i když je možné úspěšně předvídat část slovních druhů (POS) z embeddingů word2vec a různých překladových modelů, ne všechny prostory embeddingů vykazují stejnou strukturu. Informace o POS jsou přítomny v embeddingu word2vec, ale vysoký stupeň organizace POS v dekodéru NMT naznačuje, že tyto informace jsou důležitější pro strojový překlad, a proto je model NMT reprezentuje přímějším způsobem. Naše metoda je založena na korelaci dimenzí PCA s kategorickými lingvistickými údaji. Také ukazujeme, že další zkoumání histogramů tříd podél dimenzí PCA je důležité pro pochopení struktury znázornění informací v embeddinzích.


Derivational Morphological Relations in Word Embeddings

Derivační morfologické vztahy ve word embeddings

Derivation is a type of a word-formation process which creates new words from existing ones by adding, changing or deleting affixes. In this paper, we explore the potential of word embeddings to identify properties of word derivations in the morphologically rich Czech language. We extract derivational relations between pairs of words from DeriNet, a Czech lexical network, which organizes almost one million Czech lemmas into derivational trees. For each such pair, we compute the difference of the embeddings of the two words, and perform unsupervised clustering of the resulting vectors. Our results show that these clusters largely match manually annotated semantic categories of the derivational relations (e.g. the relation ‘bake–baker’ belongs to category ‘actor’, and a correct clustering puts it into the same cluster as ‘govern–governor’).

Derivace je typ slovotvorného procesu, který odvozuje nová slova z existujících přidáváním, měněním či odebíráním afixů. V tomto článku zkoumáme potenciál slovních embeddingů pro identifikaci vlastností derivací v češtině. Extrahujeme derivační vztahy mezi páry slov z DeriNetu, sítě českých derivací, která sdružuje zhruba milion českých lemmat do derivačních stromů. Pro každý pár vypočteme rozdíl embeddingů obou forem a neřízeně clusterujeme výsledné vektory. Naše výsledky ukazují, že tyto clustery zhruba odpovídají manuálně označeným sémantickým kategoriím derivačních vztahů (čili vztah „péct-pekař“ patří do třídy „aktor“ a správné clusterování ho přiřadí do stejného clusteru jako „řídit-ředitel“).


A Biscriptual Morphological Transducer for Crimean Tatar

Dvojpísmový morfologický převodník pro krymskou tatarštinu

This paper describes a weighted finite-state
morphological transducer for Crimean Tatar able to analyse and generate in both Latin and Cyrillic orthographies. This transducer was developed by a team including a community member and language expert, a field linguist who works with the community, a Turkologist with computational linguistics expertise, and an experienced computational linguist with Turkic expertise.

Článek popisuje vážený konečný morfologický převodník pro krymskou tatarštinu, který je schopen analyzovat a generovat slova jak v latince, tak v cyrilici. Tento převodník byl vyvinut týmem, který sestává z člena komunity a jazykového experta, polního lingvisty, který pracuje s krymskotatarskou komunitou, turkologa se zkušeností s počítačovou lingvistikou a zkušeného počítačového lingvisty se zkušenostmi s turkickými jazyky.

Francis M. Tyers
Jonathan North Washington
Darya Kavitskaya
Memduh Gökırmak
Nick Howell
Remziye Berberova


Does artificial intelligence open the way to understanding human speech?

Otevírá umělá inteligence cestu k porozumění lidské řeči?

An introduction of computational linguistics and machine translation in particular to high school students, participants of the seminar 100vedcu.cz.

Představení oboru počítačové lingvistiky a zejména úlohy strojového překladu středoškolákům, účastníkům semináře 100vědců.cz: Strojové zpracování přirozeného jazyka v posledních několika málo letech zasáhla vlna hlubokého učení, "umělé inteligence", a podobně jako v jiných oblastech vidíme revoluční skoky v kvalitě výstupu. V příspěvku představím postupně základy techniky zpracování vět hlubokými neuronovými sítěmi, podrobněji se zaměřím na úlohu strojového překladu, kde stroje v posledním roce začaly dosahovat lidských kvalit, a nakonec se vrátím k obecnějším úvahám, zda nám stroje konečně začínají rozumět.


Machine translation for investigative purposes

Strojový překlad pro investigativní účely

In the lecture, I will present machine translation technology, its assumptions and limitations, that is, in particular, the reliance on the availability of translated texts and also reliability. Next, I will describe the experience of our project, where we translate SMS from Vietnamese into Czech for the purposes of the National Drug Headquarters of the Police of the Czech Republic.

V přednášce představím technologii strojového překladu, její předpoklady a omezení, to jest zejména závislost na dostupnosti přeložených textů a obecně spolehlivost. Dále popíši zkušenosti s naším projektem, kdy překládáme SMS z vietnamštiny do češtiny pro účely Národní protidrogové centrály Policie České republiky.


Representation of sentence meaning (A JNLE Special Issue)

Reprezentace významu vět (Zvláštní číslo časopisu NLE)

This paper serves as a short overview of the JNLE special issue on representation of the meaning of the sentence, bringing together traditional symbolic and modern continuous approaches. We indicate notable aspects of sentence meaning and their compatibility with the two streams of research and then summarize the papers selected for this special issue.

Tento dokument slouží jako stručný přehled zvláštního vydání JNLE o znázornění významu věty, který spojuje tradiční symbolické a moderní kontinuální přístupy. Uvedeme pozoruhodné aspekty významu věty a jejich slučitelnost s oběma proudy výzkumu a poté shrneme podklady vybrané pro tuto zvláštní otázku.

Ondřej Bojar
Raffaella Bernardi
Bonnie L. Webber


A Multilingual Crossover between Types of Resources

We present two case studies that demonstrate that co-habitation of various (sub)disciplines of Computational Linguistics and Natural Language Pro-cessing can reach novel findings and help the advancement of the field(s). One example covers a study of synonymy by searching for information in different lexical resources with regard to multilinguality, and the other demonstrates on the study of some phenomena concerning information structure and word order in English and Czech how a parallel multilingual and/or multilayered corpus if properly annotated can be used for a study of some aspects of the deep syntactic structure. Both cases support our convic-tion that the creation of language resources is a fundamental step in the do-main of computational linguistics, that well-founded annotation is an im-portant step forward towards both testing the original linguistic theory and developing it further.

Předkládáme dvě případové studie, které prokazují, že soužití různých (pod)oborů komputační lingvistiky a nauky o přirozeném jazyce může vést k novým zjištěním a pomoci rozvoji oboru (oborů). Jeden příklad pokrývá studium synonymie vyhledáváním informací v různých lexikálních zdrojích s ohledem na mnohojazyčnost a druhý ukazuje na studium některých jevů týkajících se informační struktury a pořadí slov v angličtině a češtině, jak lze paralelní vícejazyčný a/nebo vícevrstevný korpus, pokud je správně opatřen anotací, použít pro studium některých aspektů hloubkové syntaktické struktury. Oba případy podporují naše přesvědčení, že tvorba jazykových zdrojů je základním krokem v hlavní úloze počítačové lingvistiky, že dobře definovaná anotace je důležitým krokem vpřed jak k testování původní jazykové teorie, tak k jejímu dalšímu rozvoji.


Studies on Czech Morphology and Syntax (Selected Writings)

Studie z české morfologie a syntaxe (Vybrané stati)

In the present volume selected papers written during more than 50 years of the author´s linguistic career are presented. Twenty five articles are divided into four general Sections, namely (I) Studies on morphological meanings, (II) General issues on syntax, (III) Issues on valency, (IV) Reflexivity, reciprocity, coreference and control. The Functional Generative Description used as the theoretical framework provides the basis for the studies of form and function relations between the units of several language levels and for the dependency approach to the syntax.

Jako první v rámci oddílu I je zařazena stať Relativní čas napsanáu ve spoluautorství s Petrem Sgallem.P. Sgall je také autorem teoretického rámce pro závislostní a vícerovinný popis jazyka, Funkčního generativního popisu, na nějž  zde otištěné příspěvky navazují a dále ho rozvíjejí. Oddíl II o obecných otázkách syntaxe je zakončen statí o přínosu Vladimíra Šmilauera do novočeské syntaxe. Oddíl III obsahuje studie o valenci jakožto „novém paradigmatu“ v syntaxi. Valenci je věnováno hodně pozornosti, jí byly věnovány četné diskuse i polemiky týkající se např. kritérií pro určování sémantické obligatornosti a platnosti „dialogového testu“.Do oddílu IV jsou zařazena témata, v nichž se kumulují problémy morfologické se syntaktickými (zejména s valencí). Jejich zvládnutí a konsistentní popis se stává měřítkem úspěšnosti zvoleného teoretického rámce. Jde především otázky koreference a kontroly.


Reflections on adverbials and their classification

Úvahy nad příslovečnými určeními a jejich klasifikací

The traditional classification of adverbials into local, temporal, modal, and causal, such as those used in our syntaxes, and their applications for schooling are suitable for these purposes. For empirical processing under the Functional Generational Description, which also serves, among other things, the tasks of automatic language processing (especially for machine translation, but essentially for the translatological problems associated with the teaching of Czech as a foreign language), a finer classification seems necessary. On the analysis of the material of selected adverbials and in terms of the problems that accompany their solution, we propose a way of capturing them.

Tradiční třídění příslovečných určení na lokální, časová, způsobová a kauzální, s jakými se pracuje v našich syntaxích, a jejich aplikace pro školní výuku jsou pro tyto účely vyhovující. Pro empirické zpracování v rámci Funkčního generativního popis, který slouží mj. i pro úlohy automatického zpracování jazyka (zejména pro strojový překlad, ale v podstatě i pro translatologické problémy spojené s výukou češtiny jako cizího jazyka), se jeví jako potřebná jemnější klasifikace. V kapitole na analýze materiálu vybraných adverbiálních určení a z hlediska problémů, které jejich řešení doprovázejí, navrhujeme způsob jejich zachycení.


A Plea for Information Structure as a Part of Meaning Representation

Argumenty pro začlenění reprezentace aktuálního členění do významové reprezentace věty.

Arguments are presented why the information structure of the sentence should be represented in the representation of the meaning. This claim is supported i.a. by the fact that information structure is semantically relevant and is important for the interpretation of negation, presupposition and discourse connectedness.

V příspěvku se předkládají argumenty pro začlenění reprezentace informační struktury věty do reprezentace větného významu. Tyto argumenty vycházejí ze skutečnosti, že informační struktura je sémanticky relevantní a je třeba ji brát v úvahu při významové interpretaci negace, presupozice i diskurzní koheze.


Already Čapek's robots were endowed by language

The paper analyses the impact of cybernetics on the scientific domain of computational linguistics both in the historical perspective as well as in the influence of modern methodology.

Ve stati se rozebírá vliv kybernetiky na vědní obor počítačové lingvistiky, a to jak v historické perspektivě, tak i v současné metologii.


MICHAEL ALEXANDER KIRKWOOD HALLIDAY (1925–2018) (obituary)

MICHAEL ALEXANDER KIRKWOOD HALLIDAY (1925–2018) (nekrolog)

Obituary of Michael Alexander Kirkwood Halliday with special attention on his connection with the Prague scholars.

Vzpomínka na Michaela Alexandra Kirkwooda Hallidaye se zvláštní pozorností věnovanou jeho spojení s pražskými učenci.


Odešel významný český lingvista Petr Sgall

In the obituary the contributions of Petr Sgall to the general linguistics, language typology, computational linguistics as well as his participation in the pedagogical and organization activities are enumerated.

Nekrolog shrnuje zájmy a přínosy Petra Sgalla k oborům obecné lingvistiky, typologie, počítačové lingvistiky v oblasti vědecké, stejně jako jeho přínosy pedagogické a organizační.


Various views at dichotomy in sentence information structure from the perspective of an annotated corpus

Různé pojetí dichotomie v informační struktuře věty ve světle anotovaného korpusu

We present examples how the data from the Prague Dependency Treebank can be used in linguistic research, allowing to study the relationship among surface syntactic structure, deep syntactic structure including the sentence information structure, and the overall text structure. Thus we could have come to the following conclusions: (1) In general, it cannot be claimed that the topic-focus dichotomy (in any terminology) can be based on the difference between the old (given) and the new information. (2) In addition to the global division of a sentence to topic and focus, it is appropriate to work with local segmentation applied at all layers of the sentence structure. (3) For linking the sentences in the text in terms of their division into topic and focus, it seems to be more typical (for Czech, unlike English) linking of the topic of the given sentence to the focus of the preceding sentence (so-called linear sequence).

Uvádíme několik příkladů dokládajících možnosti využití dat z Pražského závislostního korpusu pro lingvistický výzkum, kde je možné na týchž textech sledovat vztah mezi povrchovou syntaktickou strukturou, hloubkovou syntaktickou strukturou včetně aktuálního členění i celkovou strukturou textu. Mohli jsme tak dojít k následujícím závěrům:(1) Nelze obecně tvrdit, že při charakteristice dichotomie základ – jádro (ať již v jakékoliv terminologii) je možné vycházet z rozdílu mezi starou (danou) a novou informací. (2) Vedle globálního členění věty na základ a jádro je pro popis informační struktury věty vhodné pracovat s členěním lokálním, uplatněným na všech úrovních větné struktury. (3) Pro návaznost vět v textu z hlediska jejich členění na základ a jádro se ukazuje, že je typičtější (pro češtinu, na rozdíl od angličtiny) návaznost základu dané věty na ohnisko věty předcházející (tzv. posloupnost lineární).


Ordering of Adverbials of Time and Place in Grammars and in an Annotated English–Czech Parallel Corpus

Řazení příslovečných určení času a místa v gramatikách a v anotovaném anglicko–českém korpusu

Data from a parallel annotated English–Czech corpus serve for testing the variability of the mutual position of LOC and TWHEN in Czech and English and for the analysis of the relation between information structure and the given order in the two languages.

Data paralelního anotovaného anglicko–českého korpusu byla použita ke zkoumání variability vzájemné pozice LOC a TWHEN v češtině a angličtině a k analýze vztahu mezi informační strukturou a daným pořadím v těchto dvou jazycích.

Eva Hajičová
Jiří Mírovský
Kateřina Rysová


Information Structure in an Annotated Parallel English-Czech Corpus: A Comparative Probe

Informační struktura v anotovaném paralelním anglicko-českém korpusu: srovnávací sonda

Based on the Praguian theory of Topic/Focus Articulation and using a parallel English–Czech corpus, we have followed two research questions: (i) How far does the assignment of Focus proper agree in English and in Czech, (ii) If the assignment of Focus proper differs, is the Focus-proper element in English at least a member of the (global) Focus of the Czech sentence?

Na základě pražské teorie Topic/Focus Articulation a s využitím paralelního anglicko–českého korpusu jsme se zaměřili na dvě otázky: (i) Do jaké míry se shoduje Focus proper v angličtině a v češtině, (ii) pokud se Focus proper liší, platí alespoň, že Focus proper v angličtině je členem (globálního) Focusu v české větě?

Eva Hajičová
Jiří Mírovský
Kateřina Rysová
Magdaléna Rysová


CLARIN-DSpace - Fully integrated repository for scientific data and tools

CLARIN-DSpace - Plně integrovaný repozitář pro vědecká data a vědecké nástroje

CLARIN-DSpace is an enhanced fork of the DSpace repository software. The out of the box it is tailored to suit the needs of a language data repository, but has been also deployed for contemporary history or film archives, and is not limited to specific scientific field.

The provided workflows make integrations with third party services auto-suggest grants from OpenAIRE, reporting to CLARIN Virtual Language Observatory, Clarivate Data Citation Index, or OpenAIRE, effortless.

Not only is the submission workflow preconfigured to require necessary metadata, but also provides a guide for Open Access licensing by integrating the Public License Selector. And because not all data can be open, there is also a support for submitters to assign custom licenses to their datasets, for users to sign the licenses, and for repository managers to manage and keep track of all of it.

When the software is configured to connect with Piwik (Matomo) analytics platform, the submitters of data are provided with concise periodic reports about popularity of their submissions.

To offer additional layer of protection, the system can be easily configured to automatically backup submissions via EUDAT B2SAFE service.

CLARIN-DSpace je rozšířená verze softwaru DSpace. Je uzpůsoben potřebám úložiště jazykových dat, ale byl využit i pro jiné účely a není omezen na konkrétní vědecký obor.

Poskytované prostředí umožňuje bez námahy integraci se službami třetích stran: automaticky doplňovat granty z OpenAIRE a výsledky naopak do OpenAIRE, Clarivate Data Citation Index a jinam.

Nejenže je prostředí pro uložení dat nakonfigurováno tak, aby vyžadovalo potřebná metadata, ale také poskytuje návod pro výběr vhodné licence v rámci otevřeného přístupu prostřednictvím integrace projektu Public license selector a komplexního frameworku pro licencování vč. podepisování licencí a kontrolz přístupu.

Pro dodatečnou ochranu dat lze systém snadno nakonfigurovat tak, aby automaticky zálohoval nové záznamy prostřednictvím služby EUDAT B2SAFE.

Pavel Straňák
Ondřej Košarko
Amir Kamran
Jozef Mišutka


CLARIN-DSpace repository at LINDAT/CLARIN : LINDAT/CLARIN FAIR repository for language data

CLARIN-DSpace repozitář v LINDAT/CLARIN: FAIR repozitář pro jazyková data LINDAT/CLARIN

We present a software solution for and experience in running a digital repository for language data and natural language processing tools - LINDAT/CLARIN. We will present unique support for licensing with an emphasis on Open Access, and how we support all 4 key FAIR principles. We will show the submission workflow including license choice, approval and publishing or submissions by editors, as well as the repository administration environment including license definition, signing and access control. We will also present repository integration with other services, and statistics of operation.

Prezentujeme softwarové řešení a zkušenosti s provozem repozitáře pro jazyková data a nástroje pro zpracování přirozených jazyků - LINDAT/CLARIN. Představíme unikátní podporu licencování s důrazem na Open Access a to, jak podporujeme všechny 4 klíčové principy FAIR. Ukážeme vytváření záznamů včetně volby licence, jejich schvalování a publikaci editory, i prostředí pro administraci repozitáře včetně definice licencí, jejich podepisování a kontroly přístupu. Ukážeme také integrace repozitáře s dalšími službami a provozní statistiky.

Pavel Straňák
Ondřej Košarko
Jozef Mišutka


Breaking the Language Barrier in Health-related Web Search

Překování jazykových bariér při webovém vyhledávání v oblasti zdraví

Přehled posledních výsledků ve výkzumu multilingválního vyhledávání v oblasti zdraví.

Overview of recent advances in cross-lingual information retrieval in the patient-centered web search.


An overview talk on the topic of cross-lingual information retrieval.

Přehledná přednáška na téma vyhledávání informací napříč jazyky.


Parts of Speech in NovaMorf, a New Morphological Annotation of Czech

A detailed morphological description of word forms in any language is a necessary condition for a successful automatic processing of linguistic data. The paper focuses on a new description of morphological categories, mainly on the subcategorization of parts of speech in Czech within the NovaMorf project. NovaMorf focuses on the description of morphological properties of Czech wordforms in a more compact and consistent way and with a higher explicative power than approaches used so far. It also aims at the unification of diverse approaches to morphological annotation of Czech. NovaMorf approach will be reflected in a new morphological dictionary to be exploited for a new automatic morphological analysis (and disambiguation) of corpora of contemporary Czech.

Podrobný morfologický popis slovních forem v jakémkoli jazyce je nezbytnou podmínkou úspěšného automatického zpracování jazykových údajů. Prezentujeme nový popis morfologických kategorií, zejména podkategorizaci slovních druhů v češtině v rámci projektu NovaMorf. NovaMorf se zaměřuje na popis morfologických vlastností českých slov kompaktnějším a konzistentnějším způsobem a s vyšší explikační silou než dosud používané přístupy. Cílem projektu je také sjednocení různých přístupů k morfologické anotaci češtiny.

Vladimír Petkevič
Jaroslava Hlaváčová
Klára Osolsobě
Martin Svášek
Josef Šimandl


CzEngClass: Contextually-based Synonymy and Valency of Verbs in a Bilingual Setting

CzEngClass: Kontextová synonymie a valence sloves v bilingvním prostředí

This technical report is the guideline connected with the project focuses on contextually-based synonymy and valency of verbs in a bilingual
setting. The analysis of semantic ‘equivalence’ (synonymy or near synonymy) of verb senses and their valency behavior in parallel Czech-English language resources is the core of the
proposed research. Using the translational context supports more language-independent
specification of properties of verb sense classes of synonyms and leads towards
generalization across languages. An initial sample bilingual verb lexicon of classes
representing synonym or near-synonym pairs of verbs (verb senses) based on richly annotated
corpora and existing lexical resources will be created. The main contribution of the project
will be a deeper insight from the bilingual perspective into the topic of verb meaning in
context based on the Functional Generative Description theory, thus extending it towards
the appropriate description of contextually-based verb synonymy.

Tato technická zpráva je anotačním manuálem k projektu zaměřenému na kontextovou synonymii a valenci sloves v dvojjazyčném
prostředí. Analýza sémantické „ekvivalence“  slovesných významů a jejich valenčního chování v paralelních česko-anglických jazykových zdrojích je jádrem probíhajícího výzkumu. Použití překladového kontextu podporuje více jazykově nezávislé určení vlastností slovesných tříd synonym a vede ke generalizace napříč jazyky. Hlavní přínos projektu
je hlubší vhled do tématu významu slovesa v
kontextu založeném na teorii funkčního generačního popisu, čímž se tento popis rozšiřuje směrem k popisu synonymie sloves.

Zdeňka Urešová
Eva Fučíková
Eva Hajičová


Meaning and Semantic Roles in CzEngClass Lexicon

Význam a sémantické role ve slovníku CzEngClass

This paper focuses on Semantic Roles, an important component of
studies in lexical semantics, as they are captured as part of a bilingual (Czech-
English) synonym lexicon called CzEngClass. This lexicon builds upon the
existing valency lexicons included within the framework of the annotation of
the various Prague Dependency Treebanks. The present analysis of Semantic
Roles is being approached from the Functional Generative Description point of
view and supported by the textual evidence taken specifically from the Prague
Czech-English Dependency Treebank.

Tato práce se zaměřuje na sémantické role, důležitou součást studia lexikální sémantiky, neboť jsou zachyceny jako součást dvojjazyčného (česko-anglického) slovníku slovesných synonym (CzEngClass). Tento slovník navazuje na
existující valenční lexikony zahrnuté v rámci anotace různých pražských závislostních korpusů. Současná analýza sémantických rolí
je nastíněna z pohledu FGP a doložena příklady z korpusu, z Pražského česko-anglického závislostního korpusu.

Zdeňka Urešová
Eva Fučíková
Eva Hajičová
Jan Hajič


Parallel Dependency Treebank Annotated with Interlinked Verbal Synonym Classes and Roles

Paralelní závislosti treebank anotovaný slovníkem synonymních říd a rolí

We present an ongoing project of enriching an annotation of a parallel dependency treebank, namely the Prague Czech-English Dependency Treebank, with verb-centered semantic annotation using a bilingual synonym verb class lexicon, CzEngClass. This lexicon, in turn, links the predicate occurrences in the corpus to various external lexicons. This paper describes a first milestone of a long-term project; so far, approx. 100 CzEngClass classes, containing about 1800 different verbs each for both Czech and English, are available for such annotation.

Představujeme probíhající projekt obohacující anotaci paralelního závislostního korpusu, konkrétně Pražského česko-anglického Treebanku, sémantickou anotací používající dvojjazyčný lexikon slovesných synonymních tříd, CzEngClass. Tento lexikon propojuje slovesné predikáty v korpusu s různými externími lexikony. V tomto článku popisujeme první milník dlouhodobého projektu; zatím je k dispozici 100 tříd CzEngClass, které obsahují asi 1800 různých sloves pro češtinu i angličtinu.


The SynSemClass synonym verb lexicon is a result of a project investigating semantic ‘equivalence’ of verb senses and their valency behavior in parallel Czech-English language resources, i.e., relating verb meanings with respect to contextually-based verb synonymy. The lexicon entries are linked to PDT-Vallex (http://hdl.handle.net/11858/00-097C-0000-0023-4338-F), EngVallex (http://hdl.handle.net/11858/00-097C-0000-0023-4337-2), CzEngVallex (http://hdl.handle.net/11234/1-1512), FrameNet (https://framenet.icsi.berkeley.edu/fndrupal/), VerbNet (http://verbs.colorado.edu/verbnet/index.html), PropBank (http://verbs.colorado.edu/%7Empalmer/projects/ace.html), Ontonotes (http://verbs.colorado.edu/html_groupings/), and English Wordnet (https://wordnet.princeton.edu/). Part of the dataset are files reflecting interannotator agreement.

SynSemClass je slovník česko-anglických slovesných synonym. Základními hesly ve slovníku jsou dvojjazyčné česko-anglické slovesné synonymní třídy, v nichž jsou obsažena synonymní česká a anglická slovesa (členy třídy), reprezentovaná jako valenční rámce (tj. slovesné významy), jejichž pojetí vychází z teorie Funkčně generativního popisu jazyka. Sémantická ekvivalence jednotlivých členů třídy byla stanovena na základě jejich kontextového valenčního chování usouvztažněného k situačně-kognitivnímu obsahu (sémantickým rolím). Synonymické vztahy jsou ve slovníku chápány volně, jednotlivé členy třídy jsou ve vztahu nikoli striktní (úplné) synonymie, ale ve vztahu významové podobnosti, tj. částečné synonymie. Předností slovníku je použití paralelního česko-anglického korpusu, PCEDT(https://catalog.ldc.upenn.edu/LDC2012T08 ) jako hlavního zdroje jazykových dat, které umožňuje tzv. "bottom-up" přístup, tj. od praxe k teorii.  Předností slovníku je rovněž propojení všech členů jednotlivých synonymních tříd s dalšími lexikálními zdroji, a to s hesly valenčních slovníků (PDT-Vallex - http://hdl.handle.net/11858/00-097C-0000-0023-4338-F, EngVallex- http://hdl.handle.net/11858/00-097C-0000-0023-4337-2), CzEngVallex - http://hdl.handle.net/11234/1-1512 a Vallex -  http://ufal.mff.cuni.cz/vallex/3.5/), a s hesly sémantických  databází (FrameNet - https://framenet.icsi.berkeley.edu/fndrupal/, VerbNet  - http://verbs.colorado.edu/verbnet/index.html, PropBank - http://verbs.colorado.edu/%7Empalmer/projects/ace.html, Ontonotes - http://verbs.colorado.edu/html_groupings/ a Wordnet - https://wordnet.princeton.edu/).


Non-systemic valency behavior of Czech deverbal nouns based on the NomVallex lexicon

Nesystémové valenční chování českých deverbativních substantiv na základě slovníku NomVallex

In order to describe non-systemic valency behavior of Czech deverbal nouns, we present results of an automatic comparison of valency frames of interlinked noun and verbal lexical units included in valency lexicons NomVallex
and VALLEX. We show that the non-systemic valency behavior of the nouns is mostly manifested by non-systemic forms of their actants, while changes in the number or type of adnominal actants are negligible as for their frequency. Non-systemic forms considerably contribute to a general increase in the number of forms in valency frames of nouns compared to the number of forms in valency frames of their base verbs. The non-systemic forms are more frequent in valency frames of non-productively derived nouns than in valency frames of productively derived ones.

Článek se věnuje popisu nesystémového valenčního chování českých deverbativních substantiv, jak se jeví na základě automatického srovnání valenčních rámců vzájemně propojených substantivních a slovesných lexikálních jednotek ve valenčních slovnících NomVallex a VALLEX. Nesystémové valenční chování se v NomVallexu nejčastěji projevuje nesystémovými formami aktantů, zatímco změny v počtu a typu aktantů jsou co do počtu případů zanedbatelné. Nesystémové formy významně přispívají k všeobecnému nárůstu počtu forem ve valenčních rámcích substantiv, ve srovnání s počtem forem ve valečních rámcích jejich základových sloves. Nesystémové formy jsou častější ve valenčních rámcích neproduktivně tvořených substantiv než ve valenčních rámcích substantiv tvořených produktivně.

Veronika Kolářová
Anna Vernerová
Jonathan Verner


We explore the annotation of reflexives in Universal Dependencies (UD) treebanks (Nivre et al., 2018), with a stronger focus on Slavic languages. We will show a number of examples where reflexive markers (in particular reflexive clitics) are used as true (argumental) reflexives, reciprocal arguments, passive/middle/impersonal markers etc.; we will confront the UD guidelines for the individual phenomena with the current state of the data. Improvements will be proposed, sometimes of the guidelines, but mostly of the annotation.

This is an extended version of our talk at TLT 2018 in Oslo.

Zkoumáme anotaci reflexiv v závislostních korpusech Universal Dependencies (UD) (Nevre et al., 2018), se silnějším zaměřením na slovanské jazyky.


Many linguistic theories and annotation frameworks contain a deep-syntactic and/or semantic layer. While many of these frameworks have been applied to more than one language, none of them is anywhere near the number of languages that are covered in Universal Dependencies (UD). I will present a prototype of Deep Universal Dependencies, a two-speed concept where minimal deep annotation can be derived automatically from surface UD trees, while richer annotation can be added for datasets where appropriate resources are available. The talk is based on joint work with Kira Droganova.

Mnohé lingvistické teorie a anotační projekty zahrnují hloubkově-syntaktickou a/nebo sémantickou rovinu. I když mnohé z nich byly aplikovány na více než jeden jazyk, žádný syntakticko-sémantický projekt se ani zdaleka neblíží množství jazyků pokrytých projektem Universal Dependencies (UD).


Universal Dependencies is a project that seeks to develop cross-linguistically consistent treebank annotation for many languages, with the goal of facilitating multilingual parser development, cross-lingual learning, and parsing research from a language typology perspective. The annotation scheme is based on (universal) Stanford dependencies (de Marneffe et al., 2006, 2008, 2014), Google universal part-of-speech tags (Petrov et al., 2012), and the Interset interlingua for morphosyntactic tagsets (Zeman, 2008). This is the eleventh release of UD Treebanks, Version 2.5.

Universal Dependencies je projekt, který vyvíjí mezijazykově konzistentní morfologicko-syntaktickou anotaci mnoha jazyků s cílem usnadnit vývoj jazykově nezávislých parserů, mezijazykové strojové učení a výzkum parsingu z perspektivy jazykové typologie. Anotační schéma je založeno na univerzálních Stanfordských závislostech (de Marneffe et al., 2006, 2008, 2014), univerzálních značkách Google (Petrov et al., 2012) a na Intersetu, tj. interlingvě pro sady morfologických značek (Zeman, 2008). Toto je jedenácté vydání treebanků UD, verze 2.5.

Daniel Zeman
Joakim Nivre
Mitchell Abrams
Noëmi Aepli
Željko Agić
Lars Ahrenberg
Gabrielė Aleksandravičiūtė
Lene Antonsen
Katya Aplonova
Maria Jesus Aranzabe
Gashaw Arutie
Masayuki Asahara
Luma Ateyah
Mohammed Attia
Aitziber Atutxa
Liesbeth Augustinus
Elena Badmaeva
Miguel Ballesteros
Esha Banerjee
Sebastian Bank
Verginica Barbu Mititelu
Victoria Basmov
Colin Batchelor
John Bauer
Sandra Bellato
Kepa Bengoetxea
Yevgeni Berzak
Irshad Ahmad Bhat
Riyaz Ahmad Bhat
Erica Biagetti
Eckhard Bick
Agnė Bielinskienė
Rogier Blokland
Victoria Bobicev
Loïc Boizou
Emanuel Borges Völker
Carl Börstell
Cristina Bosco
Gosse Bouma
Sam Bowman
Adriane Boyd
Kristina Brokaitė
Aljoscha Burchardt
Marie Candito
Bernard Caron
Gauthier Caron
Tatiana Cavalcanti
Gülşen Cebiroğlu Eryiğit
Flavio Massimiliano Cecchini
Giuseppe G. A. Celano
Slavomír Čéplö
Savas Cetin
Fabricio Chalub
Jinho Choi
Yongseok Cho
Jayeol Chun
Alessandra T. Cignarella
Silvie Cinková
Aurélie Collomb
Çağrı Çöltekin
Miriam Connor
Marine Courtin
Elizabeth Davidson
Marie-Catherine de Marneffe
Valeria de Paiva
Elvis de Souza
Arantza Diaz de Ilarraza
Carly Dickerson
Bamba Dione
Peter Dirix
Kaja Dobrovoljc
Timothy Dozat
Kira Droganova
Puneet Dwivedi
Hanne Eckhoff
Marhaba Eli
Ali Elkahky
Binyam Ephrem
Olga Erina
Tomaž Erjavec
Aline Etienne
Wograine Evelyn
Richárd Farkas
Hector Fernandez Alcalde
Jennifer Foster
Cláudia Freitas
Kazunori Fujita
Katarína Gajdošová
Daniel Galbraith
Marcos Garcia
Moa Gärdenfors
Sebastian Garza
Kim Gerdes
Filip Ginter
Iakes Goenaga
Koldo Gojenola
Memduh Gökırmak
Yoav Goldberg
Xavier Gómez Guinovart
Berta González Saavedra
Bernadeta Griciūtė
Matias Grioni
Normunds Grūzītis
Bruno Guillaume
Céline Guillot-Barbance
Nizar Habash
Jan Hajič
Jan Hajič, jr.
Mika Hämäläinen
Linh Hà Mỹ
Na-Rae Han
Kim Harris
Dag Haug
Johannes Heinecke
Felix Hennig
Barbora Hladká
Jaroslava Hlaváčová
Florinel Hociung
Petter Hohle
Jena Hwang
Takumi Ikeda
Radu Ion
Elena Irimia
Ọlájídé Ishola
Tomáš Jelínek
Anders Johannsen
Fredrik Jørgensen
Markus Juutinen
Hüner Kaşıkara
Andre Kaasen
Nadezhda Kabaeva
Sylvain Kahane
Hiroshi Kanayama
Jenna Kanerva
Boris Katz
Tolga Kayadelen
Jessica Kenney
Václava Kettnerová
Jesse Kirchner
Elena Klementieva
Arne Köhn
Kamil Kopacewicz
Natalia Kotsyba
Jolanta Kovalevskaitė
Simon Krek
Sookyoung Kwak
Veronika Laippala
Lorenzo Lambertino
Lucia Lam
Tatiana Lando
Septina Dian Larasati
Alexei Lavrentiev
John Lee
Phương Lê Hồng
Alessandro Lenci
Saran Lertpradit
Herman Leung
Cheuk Ying Li
Josie Li
Keying Li
KyungTae Lim
Maria Liovina
Yuan Li
Nikola Ljubešić
Olga Loginova
Olga Lyashevskaya
Teresa Lynn
Vivien Macketanz
Aibek Makazhanov
Michael Mandl
Christopher Manning
Ruli Manurung
Cătălina Mărănduc
David Mareček
Katrin Marheinecke
Héctor Martínez Alonso
André Martins
Jan Mašek
Yuji Matsumoto
Ryan McDonald
Sarah McGuinness
Gustavo Mendonça
Niko Miekka
Margarita Misirpashayeva
Anna Missilä
Cătălin Mititelu
Maria Mitrofan
Yusuke Miyao
Simonetta Montemagni
Amir More
Laura Moreno Romero
Keiko Sophie Mori
Tomohiko Morioka
Shinsuke Mori
Shigeki Moro
Bjartur Mortensen
Bohdan Moskalevskyi
Kadri Muischnek
Robert Munro
Yugo Murawaki
Kaili Müürisep
Pinkey Nainwani
Juan Ignacio Navarro Horñiacek
Anna Nedoluzhko
Gunta Nešpore-Bērzkalne
Lương Nguyễn Thị
Huyền Nguyễn Thị Minh
Yoshihiro Nikaido
Vitaly Nikolaev
Rattima Nitisaroj
Hanna Nurmi
Stina Ojala
Atul Kumar Ojha
Adédayọ̀ Olúòkun
Mai Omura
Petya Osenova
Robert Östling
Lilja Øvrelid
Niko Partanen
Elena Pascual
Marco Passarotti
Agnieszka Patejuk
Guilherme Paulino-Passos
Angelika Peljak-Łapińska
Siyao Peng
Cenel-Augusto Perez
Guy Perrier
Daria Petrova
Slav Petrov
Jason Phelan
Jussi Piitulainen
Tommi A Pirinen
Emily Pitler
Barbara Plank
Thierry Poibeau
Larisa Ponomareva
Martin Popel
Lauma Pretkalniņa
Sophie Prévost
Prokopis Prokopidis
Adam Przepiórkowski
Tiina Puolakainen
Sampo Pyysalo
Peng Qi
Andriela Rääbis
Alexandre Rademaker
Loganathan Ramasamy
Taraka Rama
Carlos Ramisch
Vinit Ravishankar
Livy Real
Siva Reddy
Georg Rehm
Ivan Riabov
Michael Rießler
Erika Rimkutė
Larissa Rinaldi
Laura Rituma
Luisa Rocha
Mykhailo Romanenko
Rudolf Rosa
Davide Rovati
Valentin Roșca
Olga Rudina
Jack Rueter
Shoval Sadde
Benoît Sagot
Shadi Saleh
Alessio Salomoni
Tanja Samardžić
Stephanie Samson
Manuela Sanguinetti
Dage Särg
Baiba Saulīte
Yanin Sawanakunanon
Nathan Schneider
Sebastian Schuster
Djamé Seddah
Wolfgang Seeker
Mojgan Seraji
Mo Shen
Atsuko Shimada
Hiroyuki Shirasu
Muh Shohibussirri
Dmitry Sichinava
Aline Silveira
Natalia Silveira
Maria Simi
Radu Simionescu
Katalin Simkó
Mária Šimková
Kiril Simov
Aaron Smith
Isabela Soares-Bastos
Carolyn Spadine
Antonio Stella
Milan Straka
Jana Strnadová
Alane Suhr
Umut Sulubacak
Shingo Suzuki
Zsolt Szántó
Dima Taji
Yuta Takahashi
Fabio Tamburini
Takaaki Tanaka
Isabelle Tellier
Guillaume Thomas
Liisi Torga
Trond Trosterud
Anna Trukhina
Reut Tsarfaty
Francis Tyers
Sumire Uematsu
Zdeňka Urešová
Larraitz Uria
Hans Uszkoreit
Andrius Utka
Sowmya Vajjala
Daniel van Niekerk
Gertjan van Noord
Viktor Varga
Eric Villemonte de la Clergerie
Veronika Vincze
Lars Wallin
Abigail Walsh
Jing Xian Wang
Jonathan North Washington
Maximilan Wendt
Seyi Williams
Mats Wirén
Christian Wittern
Tsegay Woldemariam
Tak-sum Wong
Alina Wróblewska
Mary Yako
Naoki Yamazaki
Chunxiao Yan
Koichi Yasuoka
Marat M. Yavrumyan
Zhuoran Yu
Zdeněk Žabokrtský
Amir Zeldes
Manying Zhang
Hanzhi Zhu


Subcategorization of adverbial meanings (boundary between cognitive content and linguistic meaning)

Subkategorizace adverbiálních významů (hranice mezi obsahem a významem)

The necessity to distinguish between cognitive content and linguistic meaning arose in European structural linguistics (Saussere, 1916) and was further elaborated in the Prague Linguistic Circle (Mathesius, 1942; Dokulil – Daneš, 1958; Daneš, 1974). In the contribution, we describe the practical aspects of applying the principle of distinguishing meaning and content to the task of delimitation of adverbial meanings, expressed by prepositional groups.  We present methodology and main principles we work with in completing the set of meanings of adverbials. We describe how we use the principle of substitutability of synonyms. All the examples in the contribution relate to spatial adverbials but the principles apply to adverbials in general.  Our theoretical framework is Functional Generative Description (Sgall et al., 1986).

Článek je příspěvkem k diskusi o hranici mezi kognitivním obsahem a jazykovým významem. V příspěvku se na příkladu určování repertoáru adverbiálních významů probírají praktické důsledky rozlišování mezi obsahem a významem. Je popsána metodologie práce při určování adverbiálních významů, zejména princip zaměnitelnosti synonym. Teroretickým východiskem je Funkční generativní popis.