Do UD Trees Match Mention Spans in Coreference Annotations?

Odpovídají stromy UD rozsahům zmínek v anotacích koreference?

One can find dozens of data resources for various languages in which coreference – a relation between two or more expressions that refer to the same real-world entity – is manually annotated. One could also assume that such expressions usually constitute syntactically meaningful units; however, mention spans have been annotated simply by delimiting token intervals in most coreference projects, i.e., independently of any syntactic representation. We argue that it could be advantageous to make syntactic and coreference annotations convergent in the long term. We present a pilot empirical study focused on matches and mismatches between hand-annotated linear mention spans and automatically parsed syntactic trees that follow Universal Dependencies conventions. 8 datasets for 7 different languages are included in the study.

Existují desítky datových zdrojů pro různé jazyky, ve kterých je ručně anotovaná koreference – vztah mezi dvěma nebo více výrazy, které odkazují na tutéž entitu v reálném světě. Dalo by se předpokládat, že takové výrazy obvykle tvoří syntakticky významné jednotky; avšak rozsahy koreferenčních výrazů (zmínek) byly ve většině projektů anotovány prostě vymezením intervalů tokenů, tj. nezávisle na jakékoli syntaktické reprezentaci. Tvrdíme, že by bylo z dlouhodobého hlediska výhodné, kdyby se k sobě anotace syntaxe a koreference přiblížily. Představujeme pilotní empirickou studii, která se zaměřuje na případy, kde koreferenční zmínky pasují nebo naopak nepasují na automaticky přiřazené syntaktické stromy, které odpovídají standardu Universal Dependencies. Studie zahrnuje 8 datových sad pro 7 různých jazyků.

Martin Popel
Zdeněk Žabokrtský
Anna Nedoluzhko
Michal Novák
Daniel Zeman


Analyzing BERT’s Knowledge of Hypernymy via Prompting

Analýza modelu BERT z hlediska znalosti hypernymie

The high performance of large pretrained language models (LLMs) such as BERT (Devlin et al., 2019) on NLP tasks has prompted questions about BERT’s linguistic capabilities, and how they differ from humans’. In this paper, we approach this question by examining BERT’s knowledge of lexical semantic relations. We focus on hypernymy, the “is-a” relation that relates a word to a superordinate category. We use a prompting methodology to simply
ask BERT what the hypernym of a given word is. We find that, in a setting where all hypernyms are guessable via prompting, BERT knows hypernyms with up to 57% accuracy. Moreover, BERT with prompting outperforms other unsupervised models for hypernym discovery even in an unconstrained scenario. However, BERT’s predictions and performance on
a dataset containing uncommon hyponyms and
hypernyms indicate that its knowledge of hypernymy is still limited.

Vysoký výkon velkých předcvičených jazykových modelů (LLM), jako je BERT (Devlin et al., 2019) na úkoly NLP, vyvolal otázky ohledně jazykových schopností BERT a v tom, jak se liší od lidských. V tomto příspěvku přistupujeme k této otázce zkoumáním znalostí BERT o lexikálních sémantických vztazích. Zaměřujeme se na hypernymii, vztah „je-a“, který spojuje slovo s nadřazenou kategorií. Jednoduše používáme metodiku nabádání
zeptejte se BERTe, co je hypernym daného slova. Zjistili jsme, že v prostředí, kde jsou všechny hypernymy uhodnutelné pomocí výzvy, BERT zná hypernymy s přesností až 57%. Navíc BERT s výzvou překonává ostatní modely bez dozoru pro hypernomické objevování i v neomezeném scénáři. Předpovědi a výkon BERT jsou však zapnuty
soubor dat obsahující neobvyklé hyponymy a
hypernymy naznačují, že jeho znalosti o hypernymii jsou stále omezené.


BERTScore (Zhang et al., 2020), a recently proposed automatic metric for machine translation quality, uses BERT (Devlin et al., 2019), a large pre-trained language model to evaluate candidate translations with respect to a gold translation. Taking advantage of BERT’s semantic and syntactic abilities, BERTScore seeks to avoid the flaws of earlier approaches like BLEU, instead scoring candidate translations based on their semantic similarity to the gold sentence. However, BERT is not infallible; while its performance on NLP tasks set a new state of the art in general, studies of specific syntactic and semantic phenomena have shown where BERT’s performance deviates from that of humans more generally.
This naturally raises the questions we address in this paper: what are the strengths and weaknesses of BERTScore? Do they relate to
known weaknesses on the part of BERT? We find that while BERTScore can detect when a candidate differs from a reference in important content words, it is less sensitive to smaller errors, especially if the candidate is lexically or stylistically similar to the reference.

BERTScore (Zhang et al., 2020), nedávno navržená automatická metrika kvality strojového překladu, používá BERT (Devlin et al., 2019), velký předškolený jazykový model pro hodnocení kandidátských překladů s ohledem na zlatý překlad. BERTScore využívá sémantických a syntaktických schopností BERT a snaží se vyhnout chybám dřívějších přístupů, jako je BLEU, místo toho hodnotí kandidátské překlady na základě jejich sémantické podobnosti se zlatou větou. BERT však není neomylný; zatímco jeho výkon v oblasti úkolů NLP obecně nastoluje nový stav, studie specifických syntaktických a sémantických jevů ukázaly, kde se výkon BERT odchyluje od výkonu lidí obecněji.
To přirozeně vyvolává otázky, kterými se v tomto dokumentu zabýváme: jaké jsou silné a slabé stránky BERTScore? Souvisejí s
známé slabiny na straně BERT? Zjistili jsme, že BERTScore sice dokáže odhalit, když se kandidát liší od odkazu v důležitých obsahových slovech, ale je méně citlivý na menší chyby, zejména pokud je kandidát lexikálně nebo stylisticky podobný odkazu.


Sequence Length is a Domain: Length-based Overfitting in Transformer Models

Délka sekvence je doménou: overfitting Transformerových modelů na bázi délky

Transformer-based sequence-to-sequence architectures, while achieving state-of-the-art results on a large number of NLP tasks, can still suffer from overfitting during training. In practice, this is usually countered either by applying regularization methods (e.g. dropout, L2-regularization) or by providing huge amounts of training data. Additionally, Transformer and other architectures are known to struggle when generating very long sequences. For example, in machine translation, the neural-based systems perform worse on very long sequences when compared to the preceding phrase-based translation approaches (Koehn and Knowles, 2017).
  We present results which suggest that the issue might also be in the mismatch between the length distributions of the training and validation data combined with the aforementioned tendency of the neural networks to overfit to the training data. We demonstrate on a simple string editing task and a machine translation task that the Transformer model performance drops significantly when facing sequences of length diverging from the length distribution in the training data. Additionally, we show that the observed drop in performance is due to the hypothesis length corresponding to the lengths seen by the model during training rather than the length of the input sequence.

Architektury založené na transformaci sekvence na sekvenci sice dosahují nejmodernějších výsledků na velkém množství úloh zpracování přirozeného jazyka, přesto však mohou při trénovaní trpět problémem přeučení. V praxi se tomu obvykle předchází buď použitím regularizačních metod (např. dropout, L2-regularizace), nebo poskytnutím obrovského množství trénovacích dat. Navíc je známo, že Transformer a další architektury mají problém s generováním velmi dlouhých sekvencí. Například ve strojovém překladu dosahují neuronové systémy horších výsledků na velmi dlouhých sekvencích než předchozí překladové metody založené na frázovém překladu (Koehn and Knowles, 2017).
Předkládáme výsledky, které naznačují, že problém může být také v rozdílech mezi rozložením délek v trénovacích a validačních datech v kombinaci s výše uvedenou tendencí neuronových sítí přeučit se na trénovacích datech. Na jednoduché úloze editace řetězců a strojovém překladu demonstrujeme, že kvalita modelu Transformer výrazně klesá, když zpracovává sekvence délky odlišné od délek v trénovacích datech. Dále ukazujeme, že pozorovaný pokles kvality je způsoben spíše délkou hypotézy, která odpovídá délkám v trénovacích datech, než délkou vstupní sekvence.


47th Year of the Czech Language Olympics or First Time On-line

47. ročník Olympiády v českém jazyce aneb poprvé on-line

The article brings an overview and results of the 47th year of the Czech Language Olympics.

Článek přináší zprávu o průběhu a výsledcích 47. ročníku Olympiády v českém jazyce.


Designing a Uniform Meaning Representation for Natural Language Processing

Návrh Uniformní reprezentace významu pro zpracování přirozeného jazyka

In this paper we present Uniform Meaning Representation (UMR), a meaning representation designed to annotate the semantic content of a text. UMR is primarily based on Abstract Meaning Representation (AMR), an annotation framework initially designed for English, but also draws from other meaning representations. UMR extends AMR to other languages, particularly morphologically complex, low-resource languages. UMR also adds features to AMR that are critical to semantic interpretation and enhances AMR by proposing a companion document-level representation that captures linguistic phenomena such as coreference as well as temporal and modal dependencies that potentially go beyond sentence boundaries.

V tomto příspěvku uvádíme Uniformní reprezentaci významu (UMR), navrženou k anotaci sémantického obsah textu. UMR je primárně založena na Abstract Meaning Representation (AMR), anotačním rámci původně určeném pro angličtinu, ale čerpá i z jiných významových reprezentací. UMR rozšiřuje AMR do dalších jazyků, obzvláště morfologicky složité jazyky s omezenými jazykovými zdroji. UMR také přidává do AMR funkce, které jsou kritické pro sémantiku a zlepšuje AMR navržením doprovodné dokumentární reprezentace, která zachycuje jazykové jevy jako je koreference a také časové a modální závislosti, které potenciálně přesahují hranice vět.

Jens E. L. van Gysel
Meagan Vigus
Jayeol Chun
Kenneth Lai
Sarah Moeller
Jiarui Yao
Tim O'Gorman
James Cowell
William Croft
Chu-Ren Huang
Jan Hajič
James Martin
Stephan Oepen
Martha Palmer
James Pustejovsky
Rosa Vallejos


Seminar "Language, Text, Dialogue" – in Honour of Světla Čmejrková and František Daneš

Odborný seminář Jazyk, text, dialog – vzpomínka na Světlu Čmejrkovou a Františka Daneše

Report on the seminar of the Linguistic Association of the Czech Republic in honour of Světla Čmejrková and František Daneš.

Zpráva o konání semináře Jazykovědného sdružení České republiky na počest Světly Čmejrkové a Františka Daneše.


Using Word Embeddings and Collocations for Modelling Word Associations

Využití vektorových reprezentací slov a kolokací v modelování slovních asociací

Word association is an important part of human language. Many techniques for capturing semantic relations between words exist, but their ability to model word associations is rarely tested in a real application. In this paper, we evaluate three models aimed at different types of word associations: a word-embedding model for synonymy, a point-wise mutual information model for word collocations, and a dependency model for common properties of words. The quality of the proposed models is tested on English and Czech by humans in an online version of the word-association game “Codenames”.

Slovní asociace je důležitou součástí lidského jazyka. Existuje mnoho technik pro zachycení sémantických vztahů mezi slovy, ale jejich schopnost modelovat slovní asociace je zřídka testována v reálné aplikaci. V tomto článku hodnotíme tři modely zaměřené na různé typy slovních asociací: model pro vkládání slov pro synonymii, bodový model vzájemných informací pro slovní spojení a model závislosti pro společné vlastnosti slov. Kvalitu navrhovaných modelů testují lidé v angličtině a češtině v online verzi slovně-asociační hry „Codenames“.


Low-resource languages present enormous NLP opportunities as well as varying degrees of difficulties. The newly released treebank of hand-annotated parts of the Yorùbá Bible provides an avenue for dependency analysis of the Yorùbá language; the application of a new grammar formalism to the language. In this paper, we discuss our choice of Universal Dependencies, important dependency annotation decisions considered in the creation of the first annotation guidelines for Yorùbá and results of our parsing experiments. We also lay the foundation for future incorporation of other domains with the initial test on Yorùbá Wikipedia articles and highlighted future directions for the rapid expansion of the treebank.

Jazyky, pro které není k dispozici dostatek zdrojů, představují mimořádné příležitosti, ale také obtíže při počítačovém zpracování. Nově vydaný korpus ručně anotovaných částí jorubské Bible připravuje cestu pro závislostní analýzu jorubštiny.


Malach Center for Visual History on its 10th Anniversary: Compendium of Papers of the Prague Visual History and Digital Humanities Conference 2020

10. výročí CVH Malach: Sborník příspěvků z konference PraViDCo 2020

Given the occasion of celebrating the 10th year of the Malach CVH existence, we decided to substantially extend the program of our annual January anniversary conference, which we newly entitled Prague Visual History and Digital Humanities Conference (PraViDCo). By adopting this name, we desired to express in the broadest possible sense the thematic and methodological scope representative of the interdisciplinarity which, as we believe, is the very essence of the Malach CVH.

The second day of the conference (January 28, 2020) gave the floor to the contributions collected from mostly junior researchers from all over the world, who swiftly responded to our open call for papers and which you can find in a written form in this book, entitled Malach Center for Visual History on its 10th Anniversary. We hope that readers will appreciate this brief glimpse into the full palette of different topics, methodologies and approaches that Malach Center for Visual History came into contact with throughout the first ten years of its existence.

Sborník příspěvků z mezinárodní konference Prague Visual History and Digital Humanities Conference (PraViDCo 2020), která proběhla v lednu 2020 k 10. výročí Centra vizuální historie Malach.

Jan Škvrňák
Jeremi Ochab
Michael Škvrňák
Mauricio Nicolas Vergara
Magdalena Sedlická
Wolfgang Schellenbacher
Vanessa Hannesschläger
Eva Grisová
Nataša Simeunovic Bajic
Jakub Seiner
Lucie Šafirová
Jakub Bronec
Karolína Bukovská
Deepika Kashyap
Lauri Niemistö
Komlan Agbedahin
Karin Hofmeisterová
Jiří Kocián
Jakub Mlynář
Petra Hoffmannová
Jan Hajič


Fact-based Content Weighting for Evaluating Abstractive Summarisation

Vážení obsahu založené na faktech pro evaluaci abstraktivní sumarizace

Abstractive summarisation is notoriously hard to evaluate since standard word-overlap-based metrics are insufficient. We introduce a new evaluation metric which is based on fact-level content weighting, i.e. relating the facts of the document to the facts of the summary. We follow the assumption that a good summary will reflect all relevant facts, i.e. the ones present in the ground truth (human-generated refer- ence summary). We confirm this hypothe- sis by showing that our weightings are highly correlated to human perception and compare favourably to the recent manual highlight- based metric of Hardy et al. (2019).

Abstraktivní sumarizaci je notoricky těžké hodnotit, protože standardní metriky založené na překryvu slov jsou nedostatečné. Představujeme novou evaluační metriku, která je založena na vážení obsahu na úrovní faktů, tj. vztažení faktů z dokumentu k faktům ze shrnutí. Vycházíme z předpokladu, že dobré shrnutí bude odrážet všechna relevantní fakta, tj. ta, která jsou obsažena v referenčním shruntí vytvořeném člověkem. Na potvrzení této hypotézy ukazujeme, že naše váhy velmi dobře korelují s lidským hodnocením a jsou srovnatelné s nedávnou manuální metrikou Hardyho et al. (2019), založenou na zvýrazňování částí textu.

Xinnuo Xu
Ondřej Dušek
Ioannis Konstas
Verena Rieser


Selecting the Universal Dependencies Morphological Features for Indonesian Dependency Treebank

Výběr morfologických rysů Universal Dependencies pro indonéský závislostní korpus

The objectives of our work are to propose the relevant Universal Dependencies morphological features for Indonesian dependency treebank and to apply the proposed features to an existing treebank.

Cílem naší práce je navrhnout vhodné morfologické značky pro popis indonéštiny v rámci Universal Dependencies a aplikovat tyto značky na existující indonéský závislostní korpus.

Ika Alfina
Daniel Zeman
Arawinda Dinakaramani
Indra Budi
Heru Suhartanto


V4PY: An Introduction to Python for Linguists

Making sense of language is no easy task. All the more since we have such an intimate experience of it -- the trees that we regularly encounter in everyday communication may make it hard to see the forest. In this situation, computers can help us take a step back and look at large quantities of text from a fifty-thousand-foot view.

Dávat smysl jazyku není snadný úkol. Tím spíš, že máme tak intimní zážitek -- stromy, se kterými se pravidelně setkáváme v každodenní komunikaci, nám mohou znesnadnit výhled na les. V této situaci nám počítače mohou pomoci udělat krok zpět a podívat se na velké množství textu z odstupu padesáti tisíc stop.


This paper describes the team (“ODIANLP”)’s submission to WAT 2020. We have participated in the English→Hindi Multimodal task and Indic task. We have used the state-of-the-art Transformer model for the translation task and Inception ResNetV2 for the Hindi Image Captioning task. Our submission tops in English→Hindi Multimodal task in its track and Odia↔English translation tasks. Also, our submissions performed well in the Indic Multilingual tasks.

Tento článek popisuje vyjádření týmu („ODIANLP“) k WAT 2020. Účastnili jsme se úkolu English→Hindi Multimodal a Indic. Pro úlohu překladu jsme použili nejmodernější model Transformeru a pro úlohu Hindi Image Captioning jsme použili Inception ResNetV2. Naše podání dosahuje nejlepších výsledků ve směru English→Hindi Multimodal a Odia↔English. Naše návrhy si vedly dobře i při vícejazyčných úkolech (Indic).

Shantipriya Parida
Petr Motlíček
Amulya Ratna Dash
Satya Ranjan Dash
Debasish Kumar Mallick
Satya Prakash Biswal
Priyanka Pattnaik
Biranchi Narayan Nayak
Ondřej Bojar


OdiEnCorp 2.0: Odia-English Parallel Corpus for Machine Translation

OdiEnCorp 2.0: Paralelní urijsko-anglický korpus pro strojový překlad

The preparation of parallel corpora is a challenging task, particularly for languages that suffer from under-representation in the digital world. In a multi-lingual country like India, the need for such parallel corpora is stringent for several low-resource languages. In this work, we provide an extended English-Odia parallel corpus, OdiEnCorp 2.0, aiming particularly at Neural Machine Translation (NMT) systems which will help translate English↔Odia. OdiEnCorp 2.0 includes existing English-Odia corpora and we extended the collection by several other methods of data acquisition: parallel data scraping from many websites, including Odia Wikipedia, but also optical character recognition (OCR) to extract parallel data from scanned images. Our OCR-based data extraction approach for building a parallel corpus is suitable for other low resource languages that lack in online content. The resulting OdiEnCorp 2.0 contains 98,302 sentences and 1.69 million English and 1.47 million Odia tokens. To the best of our knowledge, OdiEnCorp 2.0 is the largest Odia-English parallel corpus covering different domains and available freely for non-commercial and research purposes.

Příprava paralelních korpusů je náročným úkolem, zejména pro jazyky, které trpí nedostatečným zastoupením v digitálním světě. Ve vícejazyčné zemi, jako je Indie, je potřeba takových paralelních korpusů přísná pro několik jazyků s nízkými zdroji. V této práci poskytujeme rozšířený anglicko-odijský paralelní korpus OdiEnCorp 2.0 zaměřený zejména na systémy Neural Machine Translation (NMT), které pomohou přeložit angličtinu ↔ Odia. OdiEnCorp 2.0 zahrnuje stávající anglicko-odijské korpusy a sbírku jsme rozšířili o několik dalších metod získávání dat: paralelní škrábání dat z mnoha webů, včetně Odia Wikipedia, ale také optické rozpoznávání znaků (OCR) pro extrakci paralelních dat ze skenovaných obrázků. Náš přístup k extrakci dat založený na OCR pro vytváření paralelního korpusu je vhodný pro jiné jazyky s nízkými zdroji, které nemají online obsah. Výsledný OdiEnCorp 2.0 obsahuje 98 302 vět a 1,69 milionu anglických a 1,47 milionu žetonů Odia. Pokud je nám známo, OdiEnCorp 2.0 je největší Odia-anglický paralelní korpus pokrývající různé domény a je volně dostupný pro nekomerční a výzkumné účely.

Shantipriya Parida
Satya Ranjan Dash
Ondřej Bojar
Petr Motlíček
Priyanka Pattnaik
Debasish Kumar Mallick


In this paper, we introduce the first Universal Dependencies (UD) treebank for standard Albanian, consisting of 60 sentences collected from the Albanian Wikipedia, annotated with lemmas, universal part-of-speech tags, morphological features and syntactic dependencies. In addition to presenting the treebank itself, we discuss a selection of linguistic constructions in Albanian whose analysis in UD is not self-evident, including core arguments and the status of indirect objects, pronominal clitics, genitive constructions, prearticulated adjectives, and modal verbs.

V tomto článku představujeme první treebank Universal Dependencies (UD) pro spisovnou albánštinu, sestávající z 60 vět vybraných z albánské Wikipedie, anotovaných lematy, univerzálními značkami slovních druhů, morfologickými rysy a syntaktickými závislostmi. Kromě představení treebanku jako takového probíráme vybrané jazykové jevy v albánštině, jejichž analýza v UD není na první pohled jasná, včetně jádrových argumentů, zacházení s nepřímými předměty, zájmenných příklonek, konstrukcí s genitivem, preartikulovaných adjektiv a způsobových sloves.


ÚFAL at MRP 2020: Permutation-invariant Semantic Parsing in PERIN

ÚFAL na MRP 2020: Permutačně invariantní sémantický parsing v systému PERIN

We present PERIN, a novel permutation-invariant approach to sentence-to-graph semantic parsing. PERIN is a versatile, cross-framework and language independent architecture for universal modeling of semantic structures. Our system participated in the CoNLL 2020 shared task, Cross-Framework Meaning Representation Parsing (MRP 2020), where it was evaluated on five different frameworks (AMR, DRG, EDS, PTG and UCCA) across four languages. PERIN was one of the winners of the shared task. The source code and pretrained models are available at http://www.github.com/ufal/perin.

Představujeme PERIN, nový permutačně invariantní přístup k sémantickému parsingu věty na graf. PERIN je všestranná, anotačně a jazykově nezávislá architektura pro univerzální modelování sémantických struktur. Náš systém se zúčastnil shared tasku CoNLL 2020, Cross-Framework Meaning Representation Parsing (MRP 2020), kde byl hodnocen v pěti různých frameworcích (AMR, DRG, EDS, PTG a UCCA) napříč čtyřmi jazyky. PERIN byl jedním z vítězů. Zdrojový kód a předtrénované modely jsou k dispozici na adrese http://www.github.com/ufal/perin.


The European Language Technology Landscape in 2020: Language-Centric and Human-Centric AI for Cross-Cultural Communication in Multilingual Europe

Evropská oblast jazykových technologií v roce 2020: umělá inteligence pro komunikaci mezi kulturami v mnohojazyčné Evropě

Multilingualism is a cultural cornerstone of Europe and firmly anchored in the European Treaties including full language equality. However, language barriers impacting business, cross-lingual and cross-cultural communication are still omnipresent. Language Technologies (LTs) are a powerful means to break down these barriers. While the last decade has seen various initiatives that created a multitude of approaches and technologies tailored to Europe’s specific needs, there is still an immense level of fragmentation. At the same time, AI has become an increasingly important concept in the European Information and Communication Technology area. For a few years now, AI – including many opportunities, synergies but also misconceptions – has been overshadowing every other topic. We present an overview of the European LT landscape, describing funding programmes, activities, actions and challenges in the different countries with regard to LT, including the current state of play in industry and the LT market. We present a brief overview of the main LT-related activities on the EU level in the last ten years and develop strategic guidance with regard to four key dimensions.

Mnohojazyčnost je kulturním úhelným kamenem Evropy a je pevně zakotvena v evropských smlouvách, včetně úplné jazykové rovnosti. Jazykové bariéry ovlivňující obchodní, mezijazykovou a mezikulturní komunikaci jsou však stále všudypřítomné. Jazykové technologie (LT) jsou mocným prostředkem k prolomení těchto bariér. I když v posledním desetiletí vzniklo množství různých iniciativ, které vytvořily množství přístupů a technologií přizpůsobených specifickým potřebám Evropy, stále existuje obrovská míra roztříštěnosti. Zároveň se umělá inteligence (AI) stala stále důležitějším konceptem v oblasti evropských informačních a komunikačních technologií. Už několik let AI – včetně mnoha příležitostí, synergií, ale i mylných představ – zastiňuje všechna ostatní témata. Představujeme přehled evropského prostředí jazykových technologí (LT), popisujeme programy financování, činnosti, akce a výzvy v jednotlivých zemích s ohledem na LT, včetně současného stavu v průmyslu a na trhu LT. Představujeme stručný přehled hlavních činností souvisejících s LT na úrovni EU za posledních deset let a představujeme strategické pokyny s ohledem na čtyři klíčové rozměry.

Georg Rehm
Katrin Marheinecke
Stefanie Hegele
Stelios Piperidis
Kalina Bontcheva
Jan Hajič
Khalid Choukri
Andrejs Vasiljevs
Gerhard Backfried
Christoph Prinz
José Manuel Gómez Pérez
Luc Meertens
Paul Lukowicz
Josef Genabith
Andrea Lösch
Philipp Slusallek
Morten Irgens
Patrick Gatellier
Joachim Köhler
Laure Le Bars
Dimitra Anastasiou
Albina Auksoriute
Núria Bel
António Branco
Gerhard Budin
Walter Daelemans
Koenraad De Smedt
Radovan Garabík
Maria Gavrilidou
Dagmar Gromann
Svetla Koeva
Simon Krek
Cvetana Krstev
Krister Lindén
Bernardo Magnini
Jan Odijk
Maciej Ogrodniczuk
Eiríkur Rögnvaldsson
Michael Rosner
Bolette Sandford Pedersen
Inguna Skadiņa
Marko Tadić
Dan Tufiş
Tamás Váradi
Kadri Vider
Andy Way
François Yvon


With 24 official EU and many additional languages, multilingualism in Europe and an inclusive Digital Single Market can only be enabled through Language Technologies (LTs). European LT business is dominated by hundreds of SMEs and a few large players. Many are world-class, with technologies that outperform the global players. However, European LT business is also fragmented – by nation states, languages, verticals and sectors, significantly holding back its impact. The European Language Grid (ELG) project addresses this fragmentation by establishing the ELG as the primary platform for LT in Europe. The ELG is a scalable cloud platform, providing, in an easy-to-integrate way, access to hundreds of commercial and non-commercial LTs for all European languages, including running tools and services as well as data sets and resources. Once fully operational, it will enable the commercial and non-commercial European LT community to deposit and upload their technologies and data sets into the ELG, to deploy them through the grid, and to connect with other resources. The ELG will boost the Multilingual Digital Single Market towards a thriving European LT community, creating new jobs and opportunities. Furthermore, the ELG project organises two open calls for up to 20 pilot projects. It also sets up 32 national competence centres and the European LT Council for outreach and coordination purposes.

S 24 oficiálními jazyky EU a mnoha dalšími jazyky může být mnohojazyčnost v Evropě a inkluzivní jednotný digitální trh umožněn pouze prostřednictvím jazykových technologií (LT). Evropské LT podnikání ovládají stovky malých a středních podniků a několik velkých hráčů. Mnohé z nich jsou světové, s technologiemi, které předčí globální hráče. Evropské podnikání v LT je však také roztříštěné – v závislosti na národních státech, jazycích, vertikálech a odvětvích, což výrazně brzdí jeho dopad. Projekt evropské jazykové sítě (European Language Grid, ELG) řeší tuto roztříštěnost tím, že stanoví ELG jako primární platformu pro LT v Evropě. Skupina ELG je rozšiřitelná cloudová platforma, která umožňuje snadnou integraci přístupu ke stovkám komerčních i nekomerčních LT pro všechny evropské jazyky, včetně provozních nástrojů a služeb, jakož i datových souborů a zdrojů. Jakmile bude plně funkční, umožní komerční i nekomerční evropské komunitě LT ukládat a nahrávat své technologie a soubory dat do systému ELG, zavádět je do sítě a propojovat s dalšími zdroji. Skupina ELG podpoří vícejazyčný jednotný digitální trh směrem k prosperující evropské LT komunitě a vytvoří nová pracovní místa a příležitosti. Kromě toho projekt ELG organizuje dvě otevřené výzvy až pro 20 pilotních projektů. Zřizuje také 32 národních kompetenčních center a Evropskou radu LT pro osvětové a koordinační účely.

Georg Rehm
Maria Berger
Jan Hajič
Stefanie Hegele
Florian Kintzel
Katrin Marheinecke
Stelios Piperidis
Miltos Deligiannis
Dimitris Galanis
Katerina Gkirtzou
Penny Labropoulou
Kalina Boncheva
Dominic Jones
Ela Elsholz
Ian Roberts
Jana Hamrlová
Lukáš Kačena
Khalid Choukri
Victoria Arranz
Andrejs Vasiljevs
Katya Aplonova
Julija Melnika
Gerhard Backfried
Miro Jánošík
Katja Prinz
Christoph Prinz
Andres Garcia-Silva
Cristian Berrio
Ulrich Germann
Steve Renals
Ondřej Klejch
José Manuel Gómez-Pérez


Presenting Simultaneous Translation in Limited Space

Prezentace simultánního překladu v omezeném prostoru

Some methods of automatic simultaneous translation of a long-form speech allow revisions of outputs,
trading accuracy for low latency. Deploying these systems
for users faces the problem of presenting subtitles in a limited space, such as two lines on a television screen. The
subtitles must be shown promptly, incrementally, and with
adequate time for reading. We provide an algorithm for
subtitling. Furthermore, we propose a way how to estimate
the overall usability of the combination of automatic translation and subtitling by measuring the quality, latency, and
stability on a test set, and propose an improved measure
for translation latency.

Strojový překlad:

Některé metody automatického simultánního převodu řeči dlouhé formy umožňují revize výstupů,
přesnost obchodování pro nízkou latenci. Zavádění těchto systémů
uživatele čeká problém s prezentací titulků v omezeném prostoru, jako jsou dva řádky na televizní obrazovce. The
titulky musí být zobrazeny okamžitě, postupně a s
dostatečný čas na čtení. Poskytujeme algoritmus pro
titulkování. Dále navrhujeme způsob, jak odhadnout
celková využitelnost kombinace automatického překladu a titulkování měřením kvality, latence a
stabilitu na testovací sadě a navrhnout vylepšené opatření
kvůli zpoždění překladu.


ELITR Non-Native Speech Translation at IWSLT 2020

Systém projektu ELITR na automatický překlad řeči nerodilých mluvčích na IWSLT 2020

Tento abstrakt je pouze v angličtině:

This paper is an ELITR system submission for the non-native speech translation task at IWSLT 2020. We describe systems for offline ASR, real-time ASR, and our cascaded approach to offline SLT and real-time SLT. We select our primary candidates from a pool of pre-existing systems, develop a new end-to-end general ASR system, and a hybrid ASR trained on non-native speech. The provided small validation set prevents us from carrying out a complex validation, but we submit all the unselected candidates for contrastive evaluation on the test set.

Dominik Macháček
Jonáš Kratochvíl
Sangeet Sagar
Matúš Žilinec
Ondřej Bojar
Thai-Son Nguyen
Felix Schneider
Philip Williams
Yuekun Yao


Are Multilingual Neural Machine Translation Models Better at Capturing Linguistic Features?

Jsou vícejazyčné modely strojového překladu lepší v zachycování lingvistických rysů?

We investigate the effect of training NMT models on multiple target languages. We hypothesize that the integration of multiple languages and the increase of linguistic diversity will lead to a stronger representation of syntactic and semantic features captured by the model. We test our hypothesis on two different NMT architectures: The widely-used Transformer architecture and the Attention Bridge architecture. We train models on Europarl data and quantify the level of syntactic and semantic information discovered by the models using three different methods: SentEval linguistic probing tasks, an analysis of the attention structures regarding the inherent phrase and dependency information and a structural probe on contextualized word representations. Our results show evidence that with growing number of target languages the Attention Bridge model increasingly picks up certain linguistic properties including some syntactic and semantic aspects of the sentence whereas Transformer models are largely unaffected. The latter also applies to phrase structure and syntactic dependencies that do not seem to be developing in sentence representations when increasing the linguistic diversity in training to translate. This is rather surprising and may hint on the relatively little influence of grammatical structure on language understanding.

Zkoumáme vliv trénování modelů NMT na více cílových jazyků. Předpokládáme, že integrace více jazyků a zvýšení jazykové rozmanitosti povedou k silnějšímu zastoupení syntaktických a sémantických rysů zachycených modelem. Testujeme naši hypotézu na dvou různých architekturách NMT: široce používaná architektura transformátorů a architektura Attention Bridge. Trénujeme modely na datech Europarl a kvantifikujeme úroveň syntaktických a sémantických informací objevených modely pomocí tří různých metod: úkoly lingvistického průzkumu SentEval, analýza struktur pozornosti týkající se inherentních informací o frázích a závislostech a strukturální sonda na kontextových reprezentacích slov . Naše výsledky ukazují, že s rostoucím počtem cílových jazyků model Attention Bridge stále více získává určité jazykové vlastnosti, včetně některých syntaktických a sémantických aspektů věty, zatímco transformátorské modely jsou do značné míry nedotčeny. Posledně uvedené platí také pro frázovou strukturu a syntaktické závislosti, které se při zvyšování jazykové rozmanitosti při výcviku překladu nejeví ve větných vyjádřeních. To je docela překvapivé a může to naznačovat relativně malý vliv gramatické struktury na porozumění jazyku.

David Mareček
Hande Celikkanat
Miikka Silfverberg
Vinit Ravishankar
Jörg Tiedemann


Hidden in the Layers: Interpretation of Neural Networks for Natural Language Processing

Skryto ve vrstvách: Interpretace neuronových sítí pro zpracování přirozeného jazyka

In recent years, deep neural networks dominated the area of Natural Language Processing (NLP). End-to-end-trained models can do tasks as skillfully as never before and develop their own language representations. However, they act as black boxes that are very hard to interpret. This calls for an inspection to what extent the linguistic conceptualizations are consistent with what the models learn. Do neural networks use morphology and syntax the way people do when they talk about language? Or do they develop their own way?
In our talk, we will half-open the neural black-box and analyze the internal representations of input sentences with respect to their morphological, syntactic, and semantic properties. We will focus on word embeddings as well as contextual embeddings and self-attentions of the Transformer models (BERT, NMT). We will show both supervised and unsupervised analysis approaches.

V posledních letech dominovaly hluboké neuronové sítě v oblasti zpracování přirozeného jazyka (NLP). Modely trénované od konce do konce mohou dělat úkoly stejně zručně jako nikdy předtím a rozvíjet vlastní vyjádření jazyka. Působí však jako černé skříňky, které je velmi těžké interpretovat. To vyžaduje kontrolu, do jaké míry jsou jazykové koncepce v souladu s tím, co se modely učí. Používají neuronové sítě morfologii a syntaxi stejně jako lidé, když mluví o jazyce? Nebo si vyvinou vlastní způsob?
V naší přednášce pootevřeme neurální černou skříňku a zanalyzujeme vnitřní reprezentace vstupních vět s ohledem na jejich morfologické, syntaktické a sémantické vlastnosti. Zaměříme se na embedinky slov i kontextové embedinky a sebepozornost modelů Transformer (BERT, NMT). Ukážeme jak řízené, tak i neřízené postupy analýzy.

David Mareček
Jindřich Libovický
Tomáš Musil
Rudolf Rosa
Tomasz Limisiewicz


In this book, we explore neural-network architectures and models that are used for Natural Language Processing (NLP). We analyze their internal representations (word-embeddings, hidden states, attention mechanism, and contextual embeddings) and review what properties these representations have and what kinds of linguistically interpretable features emerge in them. We use our own experimental results, as well as the results published by other research teams to present an overview of models and representations and their linguistic properties.

In the beginning, we explain the basic concepts of deep learning and its usage in NLP and discuss details of the most prominent neural architectures and models. Then, we outline the concept of interpretability, different views on it, and introduce basic supervised and unsupervised methods that are used for interpreting trained
neural-network models.

The next part is devoted to static word embeddings. We show various methods for embeddings space visualization, component analysis and embedding space transformations for interpretation. Pretrained word embbedings contain information about both morphology and lexical semantics. When the embbedings are trained for a specific task, the embeddings tend to be organised by the information that is important for the given task (e.g. emotional polarity for sentiment analysis).

We also analyze attention mechanisms, in which we can observe weighted links between representations of individual tokens. We show that the cross-lingual attentions mostly connect mutually corresponding tokens; however, in some cases, they may be very different from the traditional word-alignments. We mainly focus on self-attentions in Transformers. Some heads connect tokens with certain syntactic relations. This motivated researchers to infer syntactic trees from the self-attentions and compare them to the linguistic annotations. We summarize the amount of syntax in
the attentions across the layers of several NLP models. We also point out the fact that attentions might sometimes be very misleading and may carry very different information from which we would think based on the attended tokens.

In the last part, we look at contextual word embeddings and the linguistic features they capture. They constitute a clear improvement over static word embeddings, especially in terms of capturing morphological and syntactic features. However, some higher linguistic abstractions, such as semantics, seem to be reflected in the current contextual embeddings only very weakly or not at all.

V této knize prozkoumáme architektury a modely neuronových sítí, které se používají pro zpracování přirozeného jazyka (NLP). Analyzujeme jejich interní reprezentace (vkládání slov, skryté stavy, mechanismus pozornosti a kontextové vkládání) a zkoumáme, jaké vlastnosti mají tyto reprezentace a jaké jazykově interpretovatelné rysy se v nich objevují. K prezentaci přehledu modelů a reprezentací a jejich jazykových vlastností používáme vlastní experimentální výsledky i výsledky publikované jinými výzkumnými týmy.

Na začátku vysvětlíme základní pojmy hlubokého učení a jeho využití v NLP a probereme podrobnosti nejvýznamnějších neurálních architektur a modelů. Poté nastíníme koncept interpretovatelnosti, různé pohledy na ni a představíme základní supervizované a nekontrolované metody, které se používají pro tlumočení
modely neuronových sítí.

Další část je věnována statickému vkládání slov. Ukážeme různé metody pro vkládání vizualizace prostoru, analýzu komponent a vkládání transformací prostoru pro interpretaci. Předem připravená vložení slov obsahují informace o morfologii i lexikální sémantice. Když jsou embedings trénovány pro konkrétní úkol, embeddings mají tendenci být organizovány podle informací, které jsou pro daný úkol důležité (např. Emoční polarita pro analýzu sentimentu).

Analyzujeme také mechanismy pozornosti, ve kterých můžeme sledovat vážené vazby mezi reprezentacemi jednotlivých tokenů. Ukazujeme, že mezijazykové pozornosti většinou spojují vzájemně odpovídající tokeny; v některých případech se však mohou velmi lišit od tradičních slovních spojení. Hlavně se zaměřujeme na sebepozornost v sítích typu Transformer. Některé hlavy spojují tokeny s určitými syntaktickými vztahy. To motivovalo vědce odvodit syntaktické stromy ze sebepozorování a porovnat je s lingvistickými anotacemi. Shrneme množství syntaxe v pozornost napříč vrstvami několika modelů NLP. Rovněž poukazujeme na skutečnost, že pozornost může být někdy velmi zavádějící a může nést velmi odlišné informace, o kterých bychom si na základě zúčastněných tokenů mysleli.

V poslední části se podíváme na kontextové vektorové representace slov a jazykové vlastnosti, které zachycují. Představují jasné vylepšení oproti statickým vektorovým reprezentacím slov, zejména pokud jde o zachycení morfologických a syntaktických znaků. Zdá se však, že některé vyšší jazykové abstrakce, jako je sémantika, se v současných kontextových vloženích odrážejí jen velmi slabě nebo vůbec.


"The robots will not live, they can only die," says the builder Alquist, a character in the R.U.R. play. The author of these words, however, this time is not Karel Čapek, but a machine, an artificial intelligence, writing a drama about the relationship of man and robot in honor of the famous work. It is to be shown at the Švanda Theatre on January 25th, when it will be 100 years since the premiere of R.U.R.

„Roboti žít nebudou, mohou jen zemřít,“ říká stavitel Alquist, postava z divadelní hry R.U.R. Autorem těchto slov ovšem tentokrát není Karel Čapek, ale stroj, umělá inteligence, která na počest slavného díla píše drama o vztahu člověka a robota. Má být uvedena ve Švandově divadle 25. ledna, kdy od premiéry R.U.R. uplyne právě 100 let.

Martin Uhlíř
Rudolf Rosa
Tomáš Musil
David Košťák


An Advanced Profile Hidden Markov Model for Malware Detection

The rapid growth of malicious software (malware) production in recent decades and the increasing number of threats posed by malware to network environments, such as the Internet and intelligent environments, emphasize the need for more research on the security of computer networks in information security and digital forensics. The method presented in this study identifies “species” of malware families, which are more sophisticated, obfuscated, and structurally diverse. We propose a hybrid technique combining aspects of signature detection with machine learning-based methods to classify malware families. The method is carried out by utilizing Profile Hidden Markov Models (PHMMs) on the behavioral characteristics of malware species. This paper explains the process of modeling and training an advanced PHMM using sequences obtained from the extraction of each malware family’s paramount features, and the canonical sequences created in the process of Multiple Sequence Alignment (MSA) production. Due to the fact that not all parts of a file are malicious, the goal is to distinguish the malicious portions from the benign ones and place more emphasis on them in order to increase the likelihood of malware detection by having the least impact from the benign portions. Based on “consensus sequences”, the experimental results show that our proposed approach outperforms other HMM-based techniques even when limited training data is available. All supplementary materials including the code, datasets, and a complete list of results are available for public access on the Web.

Rychlý růst tvory škodlivého softwaru (malware) v posledním tesetiletí a počet útoků způsobených malwarem na síťová prostředí, jako je Internet, dokládá potřebu výzkumu bezpečnosti počítačových sítí a digitálně zaměřené forenzní vědy. V naší studii překládáme metodu, které identifikuje "druhy" rodin malware, které jsou pokročilé, záměrně matoucí a strukturně pestré. Navrhujeme hybridní techniku, která při klasifikaci malwarových rodin kombinuje detekci signatur s metodami založenými na strojovém učení. Metoda využívá profilové skryté markovské modely (PHMM) k behaviorálnímu popisu malwarových druhů. Tento článek vysvětluje proces modelování a trénování vícečetného zarovnání sekvencí. Vzhledem k tomu, že ne všechny části souboru jsou škodlivé, je cílem rozlišit škodlivé a neškodné části. Zaměřením na škodlivé části roste šance na detekci malwaru. Experimentální výsledky ukazují, že svou úspěšností naše metoda překonává ostatní přístupy založené na skrytých markovských řetězcích. Všechny doprovodné materiály k textu, zejména zdrojové kódy, datové sady a kompletní výsledky, jsou veřejně dostupné na Internetu.


Evaluating the state-of-the-art of End-to-End Natural Language Generation: The E2E NLG challenge

Evaluace současných nejlepších end-to-end systémů pro generování přirozeného jazyka: E2E NLG Challenge

This paper provides a comprehensive analysis of the first shared task on End-to-End Natural Language Generation (NLG) and identifies avenues for future research based on the results. This shared task aimed to assess whether recent end-to-end NLG systems can generate more complex output by learning from datasets containing higher lexical richness, syntactic complexity and diverse discourse phenomena. Introducing novel automatic and human metrics, we compare 62 systems submitted by 17 institutions, covering a wide range of approaches, including machine learning architectures – with the majority implementing sequence-to-sequence models (seq2seq) – as well as systems based on grammatical rules and templates. Seq2seq-based systems have demonstrated a great potential for NLG in the challenge. We find that seq2seq systems generally score high in terms of word-overlap metrics and human evaluations of naturalness – with the winning Slug system (Juraska et al., 2018) being seq2seq-based. However, vanilla seq2seq models often fail to correctly express a given meaning representation if they lack a strong semantic control mechanism applied during decoding. Moreover, seq2seq models can be outperformed by hand-engineered systems in terms of overall quality, as well as complexity, length and diversity of outputs. This research has influenced, inspired and motivated a number of recent studies outwith the original competition, which we also summarise as part of this paper.

Tento článek představuje podrobnou analýzu první soutěže v end-to-end generování přirozeného jazyka (NLG) a na základě jejích výsledků naznačuje směr budoucího výzkumu. Cílem této soutěže úkolu bylo posoudit, zda moderní end-to-end systémy NLG mohou generovat komplexnější výstup, jsou-li natrénovány z dat lexikálně bohatších, syntakticky složitějších a zahrnujících různé diskurzní jevy. S použitím nových automatických a lidských metrik porovnáváme 62 systémů zaslaných do soutěže 17 institucemi, které zahrnují širokou škálu přístupů, včetně architektur strojového učení – kde většina implementací jsou modely typu sequence-to-sequence (seq2seq) – i systémů založených na gramatických pravidlech a šablonách. Systémy založené na architektuře seq2seq ukázaly v této souteži velký potenciál pro NLG. Zjistili jsme, že seq2seq systémy mají obecně vysoké skóre, pokud jde o metriky založené na překryvu slov a lidské hodnocení přirozenosti/plynulosti; vítězný systém Slug (Juraska et al., 2018) je založený na seq2seq. Základní modely typu seq2seq však často nedokážou správně vyjádřit vstupný reprezentaci významu, pokud postrádají silný mechanismus sémantické kontroly použitý během dekódování. Modely seq2seq mohou být navíc překonány ručně vytvořenými systémy z hlediska celkové kvality, jakož i složitosti, délky a rozmanitosti výstupů. Tento výzkum ovlivnil, inspiroval a motivoval řadu nedávných studií mimo původní soutěž, které v článku rovněž shrnujeme.

Ondřej Dušek
Jekaterina Novikova
Verena Rieser


Evaluating Semantic Accuracy of Data-to-Text Generation with Natural Language Inference

Evaluace sémantické přesnosti generování textu z dat pomocí systémů pro automatickou inferenci

A major challenge in evaluating data-to-text (D2T) generation is measuring the semantic accuracy of the generated text, i.e. its faithfulness to the input data. We propose a new metric for evaluating the semantic accuracy of D2T generation based on a neural model pretrained for natural language inference (NLI). We use the NLI model to check textual entailment between the input data and the output text in both directions, allowing us to reveal omissions or hallucinations. Input data are converted to text for NLI using trivial templates. Our experiments on two recent D2T datasets show that our metric can achieve high accuracy in identifying erroneous system outputs.

Velkým problémem v evaluaci systémů pro generování textu z dat (D2T) je jak změřit sémantickou přesnost vygenerovaného textu, tj. jeho věrnost vstupním datům. Navrhujeme novou metriku pro evaluaci sémantické přesnosti D2T generování založené na neuronovém modelu předtrénovaném na úlohu automatické jazykové inference (NLI). Pomocí modelu NLI kontrolujeme, zda generovaný text vyplývá (entailment) z dat a opačně, což nám dovoluje odhalit vynechané části dat nebo halucinované (daty nepodložené) části vygenerovaného textu. Vstupní data pro model NLI převádíme do textu pomocí triviálních šablon. Naše experimenty na dvou běžně užívaných datových sadách pro D2T ukazují, že naše metrika dokáže dosáhnout vysoké přesnosti při identifikaci chybných výstupů generátorů.


Findings of the 2020 Conference on Machine Translation (WMT20)

Závěry konference o strojovém překladu 2020 (WMT20)

This paper presents the results of the news translation task and the similar language translation task, both organised
alongside the  Conference on Machine Translation (WMT) 2020. In the news task, participants
were asked to build machine translation systems for any of 11 language pairs, to be evaluated on test sets consisting mainly of news stories.  The task was also opened up
to additional test suites to probe specific aspects of translation. In the similar language translation task, participants built
machine translation systems for translating between closely related pairs of languages.

Tato práce představuje výsledky překladatelských úloh týkajících se zpravodajských textů a podobného úkolu překladů jazyků, obojí organizováno v rámci Conference on Machine Translation (WMT) 2020. V úkolu týkajícím se zpravodajských textů byli účastníci požádáni o sestavení systémů strojového překladu pro kterýkoli z 11 jazykových párů, které budou hodnoceny na testovacích souborech sestávajících hlavně z reportáží. Úloha byla také otevřena pro další testovací sady, aby se daly  zkoumat specifické aspekty překladu. V další úloze účastníci sestavili systémy strojového překladu pro překládání mezi úzce příbuznými páry jazyků.

Loïc Barrault
Magdalena Biesialska
Ondřej Bojar
Marta R. Costa-Jussà
Christian Federmann
Yvette Graham
Roman Grundkiewicz
Barry Haddow
Matthias Huck
Eric Joanis
Tom Kocmi
Philipp Koehn
Chi-kiu Lo
Nikola Ljubešić
Christof Monz
Makoto Morishita
Masaaki Nagata
Toshiaki Nakazawa
Santanu Pal
Matt Post
Marcos Zampieri


Can we expect a digital Shakespeare? AI as a playwrite

Dočkáme se digitálního Shakespeara? AI jako autor divadelní hry

Artificial intelligence can do things. She writes stock reports, handles entertaining conversation, orders a table for us at a restaurant ... But this time AI has gone further and gotten a little bit closer to humans -- the THEaiTRE research project is teaching its robot to write a play. We talked with Rudolf Rosa, Daniel Hrbek and Tomáš Studeník, who are involved in the unique feat, about how the process is going, what led the authors to it, and what the challenges of the AI writer are.

Umělá inteligence zvládá leccos.
Píše burzovní zprávy, zvládá
zábavnou konverzaci, objedná za
nás stůl v restauraci… Tentokrát ale
AI zašla ještě dál a dostala se zase o kousek blíž člověku – výzkumný
projekt THEaiTRE učí svého robota
napsat divadelní hru. O tom, jak
proces probíhá, co k tomu autory
vedlo a jaká jsou úskalí AI scenáristy
jsme si povídali s Rudolfem Rosou,
Danielem Hrbkem a Tomášem
Studeníkem, kteří se na unikátním
počinu podílí.

Veronika Dostálová
Rudolf Rosa
Daniel Hrbek
Tomáš Studeník


SpeedySpeech: Efficient Neural Speech Synthesis

SpeedySpeech: efektivní neuronová syntéza řeči

While recent neural sequence-to-sequence models have greatly improved the quality of speech synthesis, there has not been a system capable of fast training, fast inference and high-quality audio synthesis at the same time. We propose a student-teacher network capable of high-quality faster-than-real-time spectrogram synthesis, with low requirements on computational resources and fast training time. We show that self-attention layers are not necessary for generation of high quality audio. We utilize simple convolutional blocks with residual connections in both student and teacher networks and use only a single attention layer in the teacher model. Coupled with a MelGAN vocoder, our model's voice quality was rated significantly higher than Tacotron 2. Our model can be efficiently trained on a single GPU and can run in real time even on a CPU. We provide both our source code and audio samples in our GitHub repository.

Přestože nové neuronové modely typu sequence-to-sequence neurální značně zlepšily kvalitu syntézy řeči, dosud neexistuje systém schopný rychlého trénování, rychlé inference a zároveň vysoce kvalitní syntézy. Navrhujeme dvojici sítí typu učitel-student, která je schopna vysoce kvalitní syntézy spektrogramu rychleji než v reálném čase, s nízkými požadavky na výpočetní zdroje a rychlým trénováním. Ukazujeme, že vrstvy typu self-attention nejsou pro generování vysoce kvalitní řeči nutné. Jak v učitelské, tak ve studentské síti využíváme jednoduché konvoluční bloky s reziduálním propojením; používáme pouze jednu vrstvu attention v učitelském modelu. Ve spojení s hlasovým kodérem MelGAN byla hlasová kvalita našeho modelu hodnocena signifikantně lépe než Tacotron 2. Náš model může být efektivně trénován na jednom GPU a může běžet v reálném čase i na CPU. Zdrojový kód i zvukové ukázky poskytujeme na našem úložišti na GitHubu.


Derived Lexical Reciprocal Verbs in Czech

Derivovaná lexikální reciroční slovesa v češtině

In Czech (similarly as in other Slavic languages), the clitic reflexives serve – among others – as a derivational means deriving lexical reciprocal verbs, i.e., those verbs that encode mutuality directly in their lexical meaning. Here I draw a line between those lexical reciprocal verbs with which the reflexives introduce mutuality (nenávidět se ‘to hate each other’ ← nenávidět ‘to hate sb’ and slíbit si ‘to promise sth to each other’ ← slíbit ‘to promise sth to sb’) and those with which the reflexives have another function (oddělit se ‘to separate from each other’ ← oddělit ‘to separate sb/sth from sb/sth’). I show that lexical reciprocal verbs of the former type uniformly form the so-called discontinuous constructions with the nominative subject and comitative indirect object (e.g., Petr si slíbil s Marií věrnost. ‘Peter and Mary promised fidelity to each other.’) and that they fall into several semantic classes, which, however, semantically overlap to a great extent with lexical reciprocal verbs of other types.

V češtině – podobně jako v jiných slovanských jazycích – může mít klitické reflexivum funkci slovotvorného formantu, derivujícího lexikální reciproční slovesa, tedy  slovesa obsahující rys vzájemnosti již ve svém lexikálním významu. V článku rozlišuji mezi lexikálními recipročními slovesy, u nichž rys vzájemnosti vyjadřuje klitické reflexivum (např. nenávidět se ← nenávidět, slíbit si ← slíbit), a lexikálními recipročními slovesy, u nichž má klitické reflexivum jinou funkci (např. oddělit se ← oddělit). Lexikální reciproka prvního typu vytvářejí konstrukce, u nichž se participanty ve vztahu vzájemnosti vyjadřují typicky v subjektové pozici a v pozici nepřímého objektu, vyjádřeného instrumentálem. Ukazuji však, že tato slovesa tvoří sémantické skupiny, které se do značné míry sémanticky překrývají s dalšími typy lexikálních recipročních sloves.


Valency of Czech verbal nouns in nominal constructions and in verbonominal constructions with light verbs

Valence českých verbálních jmen v nominálních konstrukcích a ve verbonominálních predikátech s kategoriálním slovesem

Comparing valency behavior of two selected types of Czech verbal nouns (ending in -ní/-tí), i.e., those denoting actions, e.g., poučení ‘instructing’, and those denoting abstract results of actions, e.g., poučení ‘advice’, we can observe that they differ especially in the surface syntactic expression of their valency complementations. In nominal constructions, the surface expression of valency complementations of verbal nouns denoting actions can be typically derived from valency structure of their base verbs. In contrast, verbal nouns denoting abstract results of actions often express their valency complementations on the surface in a non-systemic way. In verbonominal constructions, the syntactic center of which is a light verb, verbal nouns denoting actions systematically employ their participant Agent (in a broad sense) on the surface as subject provided by the light verb. In contrast, verbal nouns denoting abstract results of actions can often express more semantic participants on the surface as verbal modifications and the choice of light verbs can change the perspective from which situations denoted by these verbal nouns are viewed.

Česká verbální jména (zakončená sufixy -ní/-tí) označující událost (např. poučení jako proces) nebo abstraktní výsledek děje (např. poučení jako předaná informace) se z hlediska valence liší především tím, jak v povrchové struktuře vyjadřují svá valenční doplnění. V nominálních konstrukcích je povrchové vyjádření valenčních doplnění verbálních jmen označujících událost odvoditelné z valenční struktury jejich základových sloves. Oproti tomu verbální substantiva označující abstraktní výsledek děje užívají k povrchovému vyjádření svých valenčních doplnění vedle systémových morfematických forem i formy nesystémové. Ve verbonominálních konstrukcích, v nichž je syntaktickým centrem kategoriální sloveso, verbální jména označující událost systematicky uplatňují na povrchu jako subjekt slovesa participant Agens (v širokém slova smyslu). Oproti tomu verbální jména označující abstraktní výsledek děje mohou často na povrchu jako rozvití slovesa vyjádřit i své další sémantické participanty a výběr různých kategoriálních sloves jim často umožňuje perspektivizovat označovanou situaci pokaždé z hlediska jiného participantu.


Ke způsobům vyjádření vzájemnosti v češtině

In this paper, we introduce an inventory of language means that express the semantic feature of mutuality in Czech verbal constructions. Based on the results of recent typological surveys, we distinguish between lexical and grammatical means. The lexical means include a limited group of inherently reciprocal verbs with the feature of mutuality in their lexical meaning. The grammatical means involved in the syntactic operation of reciprocalization are primarily used by a large group of verbs to which we refer as syntactic reciprocal verbs; these means involve (i) the reflexive personal pronoun se/sebe, si/sobě, sebou, (ii) the expression jeden – druhý ‘each other’, and (iii) adverbials. While the use of the grammatical means is obligatory for expressing mutuality with syntactic reciprocal verbs, it is often only optional for inherently reciprocal verbs. We thoroughly describe various functions that these language means have in encoding mutuality in Czech.

V tomto článku představujeme soupis jazykových prostředků, které vyjadřují sémantický rys vzájemnosti v českých verbálních konstrukcích. Na základě výsledků nedávných typologických průzkumů rozlišujeme prostředky lexikální a prostředky gramatické. Lexikální prostředky pro vyjádření vzájemnosti zahrnují omezenou skupinu inherentně recipročních sloves s rysem vzájemnosti v lexikálním významu. Gramatické prostředky realizující syntaktickou operaci reciprocalizace se primárně uplatňují u velké skupiny sloves, která označujeme jako syntaktická reciproční slovesa; tyto prostředky zahrnují (i) zvratné osobní reflexivum se/sebe, si/sobě, sebou, (ii) výraz jeden - druhý a (iii) příslovce. Zatímco použití gramatických prostředků je pro vyjádření vzájemnosti u syntakticky recipročních sloves nutné, pro inherentně reciproční slovesa je typicky volitelné. V textu podrobně popisujeme různé funkce těchto jazykových prostředků ve vyjadřování vzájemnosti v češtině.


Reciprocity in Czech Light Verb Constructions: The Dependency Perspective

Reciprocita v konstrukcích s kategoriálními slovesy: Závislostní perspektiva

In this paper, we draw attention to reciprocity in Czech light verb constructions – a language phenomenon, which has not been discussed yet. Reciprocity is contributed to light verb constructions by predictive nouns, as they are the nouns that represent the semantic core of these constructions. Here we focus on reciprocal light verb constructions derived by the syntactic operation of reciprocalization. We show that the complex mapping of semantic participants onto valency complementations, characteristic of reciprocalization, is reflected in reciprocal light verb constructions in the same way as in reciprocal nominal constructions. The main difference between reciprocal nominal constructions and reciprocal light verb constructions lies in the morphosyntactic expression of reciprocalized participants. We demonstrate that surface syntactic changes in reciprocal light verb constructions are regular enough to be described on the rule basis: the rule based generation of reciprocal light verb constructions requires a cooperation of two sets of rules – rules for deep and surface syntactic structure formation of light verb constructions and rules for capturing reciprocity.

V tomto příspěvku se věnujeme způsobům vyjadřování vzájemnost v českých konstrukcích s kategoriálními slovesy. Reciprocitu do těchto konstrukcí vnáší prediktivní substantiva, neboť ta představují jejich sémantické jádro. Zaměřujeme se na reciproční konstrukce s kategoriálními slovesy, které vznikají odvozením syntaktickou operací reciprokalizace. Ukazujeme, že komplexní mapování sémantických participantů na valenční doplnění  charakteristické pro reciprocitu se zachovává i v recipročních konstrukcích s kategoriálními slovesy. Hlavní rozdíl mezi recipročními nominálními konstrukcemi a recipročními konstrukcemi s kategoriálním slovesem spočívá v morfosyntaktickém vyjádření reciprokalizovaných participantů. Ukazujeme, že povrchové syntaktické změny v recipročních konstrukcích s kategoriálními slovesy jsou natolik pravidelné, že je lze popsat pomocí pravidel, a to  pravidel pro hlubokou a povrchovou tvorbu syntaktických struktury s kategoriálním slovesem a pravidel pro tvoření recipročních konatrukcí.


Towards a Semi-Automatic Detection of Reflexive and Reciprocal Constructions and Their Representation in a Valency Lexicon

K poloautomatické detekci reflexivních a recipročních konstrukcí a jejich reprezentaci ve valenčním slovníku

Valency lexicons usually describe valency behavior of verbs in non-reflexive and non-reciprocal constructions. However, reflexive and reciprocal constructions are common morphosyntactic forms of verbs. Both of these constructions are characterized by regular changes in morphosyntactic properties of verbs, thus they can be described by grammatical rules. On the other hand, the possibility to create reflexive and/or reciprocal constructions cannot be trivially derived from the morphosyntactic structure of verbs as it is conditioned by their semantic properties as well. A large-coverage valency lexicon allowing for rule based generation of all well formed verb constructions should thus integrate the information on reflexivity and reciprocity. In this paper, we propose a semi-automatic procedure, based on grammatical constraints on reflexivity and reciprocity, detecting those verbs that form reflexive and reciprocal constructions in corpus data. However, exploitation of corpus data for this purpose is complicated due to the diverse functions of reflexive markers crossing the domain of reflexivity and reciprocity. The list of verbs identified by the previous procedure is thus further used in an automatic experiment, applying word embeddings for detecting semantically similar verbs. These candidate verbs have been manually verified and annotation of their reflexive and reciprocal constructions has been integrated into the valency lexicon of Czech verbs VALLEX.

Valenční slovníky obvykle popisují valenční chován sloves v jejich nereflexivním a nerecipročním užití, přestože reflexivní a reciproční konstrukce lze považovat za běžné morfosyntaktické formy sloves. Pro oba tyto typy jsou charakteristické pravidelné změny v morfosyntaktické struktuře sloves, které lze popsat gramatickými pravidly; ovšem možnost tyto konstrukce tvořit musí být vyznačena ve slovníku.

Václava Kettnerová
Markéta Lopatková
Anna Vernerová
Petra Barančíková


MRP 2020: The Second Shared Task on Cross-Framework and Cross-Lingual Meaning Representation Parsing

MRP 2020: Druhá soutěž v analýze významových reprezentací napříč formalismy a jazyky

The 2020 Shared Task at the Conference for Computational Language Learning (CoNLL) was devoted to Meaning Representation Parsing (MRP) across frameworks and languages. Extending a similar setup from the previous year, five distinct approaches to the representation of sentence meaning in the form of directed graphs were represented in the English training and evaluation data for the task, packaged in a uniform graph abstraction and serialization; for four of these representation frameworks, additional training and evaluation data was provided for one additional language per framework. The task received submissions from eight teams, of which two do not participate in the official ranking because they arrived after the closing deadline or made use of additional training data. All technical information regarding the task, including system submissions, official results, and links to supporting resources and software are available from the task web site at: http://mrp.nlpl.eu

Ročník 2020 soutěže (společné úlohy) na Konferenci o počítačovém učení jazyka (CoNLL) byl věnován generování významových reprezentací (Meaning Representation Parsing, MRP) napříč formalismy a jazyky. Podmínky soutěže byly rozšířením podobné soutěže z předcházejícího roku. Pět různých přístupů k reprezentaci větného významu v podobě orientovaných grafů bylo zastoupeno v anglických trénovacích a testovacích datech pro tuto úlohu a uloženo v jednotném formátu pro abstraktní reprezentaci a serializaci grafů. U čtyř z těchto formalismů byla k dispozici další trénovací a testovací data v jednom dalším jazyce. Soutěže se zúčastnilo osm týmů, z nichž dva nejsou zahrnuty v oficiální výsledkové listině, protože jejich řešení bylo doručeno po termínu nebo zahrnovalo přídavná trénovací data. Technické informace o soutěži, včetně zaslaných řešení, oficiálních výsledků, odkazů na podpůrné zdroje a software jsou k dispozici na webu soutěže na: http://mrp.nlpl.eu

Stephan Oepen
Omri Abend
Lasha Abzianidze
Johan Bos
Jan Hajič
Daniel Hershcovich
Bin Li
Tim O'Gorman
Nianwen Xue
Daniel Zeman


NameTag is a tool for named entity recognition (NER). NameTag identifies proper names in text and classifies them into predefined categories, such as names of persons, locations, organizations, etc.

NameTag 2 also recognizes nested named entities (nested NER) and as of 2019, it achieves state of the art in Czech, English, Dutch and Spanish and nearly state of the art in German (Straková et al. 2019).

NameTag is available as an online demo NameTag Online Demo and web service NameTag Web Service hosted by LINDAT/CLARIN.

The linguistic models are free for non-commercial use and distributed under CC BY-NC-SA license, although for some models the original data used to create the model may impose additional licensing conditions.

NameTag je nástroj pro rozpoznávání pojmenovaných entit. NameTag identifikuje vlastní jména v textu a klasifikuje je do definovaných kategorií, jako například jména osob, míst, organizací, apod.

NameTag 2 také rozpoznává vnořené pojmenované entity. V roce 2019 dosahuje úrovně poznání (state of the art) v češtině, angličtině, nizozemštině a španělštině; a velmi blízce také v němčině (Straková a kol., 2019).

NameTag je dostupný jako NameTag Online Demo a jako webová služba NameTag Web Service na LINDAT/CLARIN.

Modely jsou volně použitelné pro nekomerční užití a jsou distrubuovány pod licencí CC BY-NC-SA, ale některé z dat použité pro vytvoření modelů mohou vyžadovat další licenční podmínky.


In an interview for the Czech radio Český rozhlas, we describe how we generate a theatre play in the THEaiTRE project.

V rozhovoru pro český rozhlas popisujeme, jak probíhá generování divadelní hry v projektu THEaiTRE.

Petr Král
Alžběta Havlová
Rudolf Rosa
Ondřej Dušek
Daniel Hrbek
Tomáš Studeník


Efficiently Reusing Old Models Across Languages via Transfer Learning

Efektivní znovuvyužití starých modelů napříč jazyky pomocí transferového učení

Recent progress in neural machine translation is directed towards larger neural networks trained on an increasing amount of hardware resources.
As a result, NMT models are costly to train, both financially, due to the electricity and hardware cost, and environmentally, due to the carbon footprint.
It is especially true in transfer learning for its additional cost of training
the ``parent'' model before transferring knowledge and training the desired ``child'' model.
In this paper, we propose a simple method of re-using an already trained model for different language pairs where there is no need for modifications in model architecture.
Our approach does not need a separate parent model for each investigated language pair, as it is typical in NMT transfer learning. To show the applicability of our method, we recycle a Transformer model trained by different researchers and use it to seed models for different language pairs.
We achieve better translation quality and shorter convergence times than when training from random initialization.

Nedávný pokrok v neuronovém strojovém překladu směřuje k větším sítím trénovaným na stále větším množství hardwarových zdrojů.
V důsledku toho jsou modely NMT nákladné na trénování, a to jak finančně, kvůli nákladům na elektřinu a hardware, tak ekologicky, kvůli uhlíkové stopě.
Zvláště to platí v transferu znalostí při trénování modelu "rodiče" před přenesením znalostí do požadovaného modelu "dítě".
V tomto článku navrhujeme jednoduchou metodu opakovaného použití již natrénovaného modelu pro různé jazykové páry, u nichž není nutné upravovat modelovou architekturu.
Náš přístup nepotřebuje samostatný model pro každou zkoumanou dvojici jazyků, jak je to typické v rámci přenosového učení u neuronového strojového překladu. Abychom ukázali použitelnost naší metody, recyklujeme model Transformeru, který natrénovali jiní vyzkumníci a použijeme ho pro různé jazykové páry.
Naše metoda dosahuje lepší kvality překladu a kratších časů konvergence, než když trénujeme z náhodné inicializace.


Gender Coreference and Bias Evaluation at WMT 2020

Hodnocení genderové koreference a zkreslení na WMT 2020

Gender  bias  in  machine  translation  can  manifest when choosing gender inflections based on  spurious  gender  correlations.    For  example,  always  translating  doctors  as  men  and nurses  as  women.    This  can  be  particularly harmful as models become more popular and deployed  within  commercial  systems. Our work presents the largest evidence for the phenomenon  in  more  than  19  systems  submitted to the WMT over four diverse target languages:  Czech, German, Polish, and Russian.To achieve this, we use WinoMT, a recent automatic test suite which examines gender coreference and bias when translating from English to languages with grammatical gender. We ex-tend  WinoMT  to  handle  two  new  languages tested in WMT: Polish and Czech. We find that all  systems  consistently  use  spurious  correlations  in  the  data  rather  than  meaningful  contextual information.

Genderová zaujatost ve strojovém překladu se může projevit při výběru genderových modulací na základě falešných genderových korelací. Například vždy překládat lékaře jako muže a sestry jako ženy. To může být obzvláště škodlivé, protože modely se stávají populárnějšími a jsou zaváděny v rámci komerčních systémů. Naše práce představuje největší důkaz tohoto jevu ve více než 19 systémech předložených WMT ve čtyřech různých cílových jazycích: češtině, němčině, polštině a ruštině.K dosažení tohoto cíle používáme WinoMT, nedávnou automatickou testovací sadu, která zkoumá genderovou korektnost a zkreslení při překladu z angličtiny do jazyků s gramatickým pohlavím. Bývalí pracovníci WinoMT se starají o dva nové jazyky testované ve WMT: polštinu a češtinu. Zjistili jsme, že všechny systémy důsledně používají nepravdivé korelace v datech spíše než smysluplné kontextové informace.

Tom Kocmi
Tomasz Limisiewicz
Gabriel Stanovsky


CLARIN: Distributed Language Resources and Technology in a European Infrastructure

CLARIN: distribuovaná infrastruktura pro jazykové zdroje a technologie v Evropě

CLARIN is a European Research Infrastructure providing access to digital language resources and tools from across Europe and beyond to researchers in the humanities and social sciences. This paper focuses on CLARIN as a platform for the sharing of language resources. It zooms in on the service offer for the aggregation of language repositories and the value proposition for a number of communities that benefit from the enhanced visibility of their data and services as a result of integration in CLARIN. The enhanced findability of language resources is serving the social sciences and humanities (SSH) community at large and supports research communities that aim to collaborate based on virtual collections for a specific domain. The paper also addresses the wider landscape of service platforms based on language technologies which has the potential of becoming a powerful set of interoperable facilities to a variety of communities of use.

CLARIN je evropská výzkumná infrastruktura, která poskytuje přístup k digitálním jazykovým zdrojům a nástrojům z celé Evropy i mimo ni výzkumným pracovníkům v humanitních a sociálních vědách. Tento dokument se zaměřuje na CLARIN jako platformu pro sdílení jazykových zdrojů. Přibližuje nabídku služeb pro agregaci jazykových úložišť a návrh hodnot pro řadu komunit, které těží z větší viditelnosti svých údajů a služeb v důsledku integrace do CLARIN. Zvýšená jemnost jazykových zdrojů slouží celé komunitě společenských a humanitních věd (SSH) a podporuje výzkumné komunity, které usilují o spolupráci založenou na virtuálních sbírkách pro určitou oblast. Dokument se také zabývá širším prostředím platforem služeb založených na jazykových technologiích, které mají potenciál stát se silným souborem interoperabilních zařízení pro nejrůznější využití.

Maria Eskevich
Franciska de Jong
Alexander König
Darja Fišer
Dieter Van Uytvanck
Tero Aalto
Lars Borin
Olga Gerassimenko
Jan Hajič
Henk van den Heuvel
Neeme Kahusk
Krista Liin
Martin Matthiesen
Stelios Piperidis
Kadri Vider


Eyes on the Parse: Using Gaze Features in Syntactic Parsing

Oči na hranách: užití rysů z eye trackeru pro syntaktický parsing

In this paper, we explore the potential benefits of leveraging eye-tracking information for dependency parsing on the English part of the Dundee corpus. To achieve this, we cast dependency parsing as a sequence labelling task and then augment the neural model for sequence labelling with eye-tracking features. We then experiment with a variety of parser setups ranging from lexicalized parsing to a delexicalized parser. Our experiments show that for a lexicalized parser, although the improvements are positive they are not significant whereas our delexicalized parser significantly outperforms the baseline we established. We also analyze the contribution of various eye-tracking features towards the different parser setups and find that eye-tracking features contain information which is complementary in nature, thus implying that augmenting the parser with various gaze features grouped together provides better performance than any individual gaze feature.

V této studii zkoumáme možné výhody využití informací z eye trackeru pro analýzu závislostní syntaxe na anglické části Dundee corpu. Abychom toho dosáhli, zavedeme parsing jako úlohu značkování sekvencí a pak rozšiřujeme neurální model pro značkování sekvencí o rysy z eye trackeru. Poté experimentujeme s různými nastaveními analyzátorů od lexikalizovaného parsingu po delexikalizovaný parser. Naše experimenty ukazují, že u lexikalizovaného parseru, i když jsou zlepšení pozitivní, nejsou statisticky významná, zatímco náš delexikalizovaný parser statisticky významně překonává baseline, kterou jsme stanovili. Analyzujeme také přínos různých rysů z eye trackeru k různým nastavením analyzátoru a zjišťujeme, že rysy z eye trackeru obsahují informace, které se svou povahou doplňují, což znamená, že rozšíření analyzátoru o různé rysy z eye trackeru seskupené dohromady poskytuje lepší výkon než jakýkoli jednotlivý prvek.


Predicting Typological Features in WALS using Language Embeddings and Conditional Probabilities: ÚFAL Submission to the SIGTYP 2020 Shared Task

Předpovídání typologických rysů ve WALS za použití vektorových reprezentací jazyků a podmíněných pravděpodobností: řešení ÚFALu pro sdílenou úlohu SIGTYP 2020

We present our submission to the SIGTYP 2020 Shared Task on the prediction of typological features. We submit a constrained system, predicting typological features only based on the WALS database. We investigate two approaches. The simpler of the two is a system based on estimating correlation of feature values within languages by computing conditional probabilities and mutual information. The second approach is to train a
neural predictor operating on precomputed language embeddings based on WALS features. Our submitted system combines the two approaches based on their self-estimated confidence scores. We reach the accuracy of 70.7% on the
test data.

Představujeme náš příspěvek do společné úlohy SIGTYP 2020 v předpovídání typologických rysů. Náš systém je patří do omezené části soutěže, neboť používá pouze databázi WALS. Zkoumáme dva přístupy. Jednodušší z nich je založen na odhadu korelace mezi hodnotami rysů u stejného jazyka pomocí podmíněných pravděpodobností a vzájemné informace. Druhý přístup je založen na neuronovém prediktoru, který využívá vektorovou reprezentaci jazyků předpočítanou na rysech z WALS. Ve výsledném systému oba přístupy kombinujeme s využitím jejich vlastního odhadu důvěryhodnosti předpovědi. Na testovacích datech dosahujeme úspěšnosti 70,7 %.


Deep Universal Dependencies is a collection of treebanks derived semi-automatically from Universal Dependencies. It contains additional deep-syntactic and semantic annotations. Version of Deep UD corresponds to the version of UD it is based on. Note however that some UD treebanks have been omitted from Deep UD.

Deep Universal Dependencies (hluboké univerzální závislosti) je sbírka treebanků poloautomaticky odvozených z Universal Dependencies. Obsahuje přídavné hloubkově-syntaktické a sémantické anotace. Verze Deep UD odpovídá verzi UD, na které je založena. Mějte však na paměti, že některé treebanky UD nebyly do Deep UD zahrnuty.


For over 50 years, researchers have been trying to teach computers to read music notation, referred to as Optical Music Recognition (OMR). However, this field is still difficult to access for new researchers, especially those without a significant musical background: Few introductory materials are available, and, furthermore, the field has struggled with defining itself and building a shared terminology. In this work, we address these shortcomings by (1) providing a robust definition of OMR and its relationship to related fields, (2) analyzing how OMR inverts the music encoding process to recover the musical notation and the musical semantics from documents, and (3) proposing a taxonomy of OMR, with most notably a novel taxonomy of applications. Additionally, we discuss how deep learning affects modern OMR research, as opposed to the traditional pipeline. Based on this work, the reader should be able to attain a basic understanding of OMR: its objectives, its inherent structure, its relationship to other fields, the state of the art, and the research opportunities it affords.

Více než 50 let se výzkumníci pokouší naučit počítače číst hudební notaci, kterýžto obor se nazývá rozpoznávání notopisu (Optical Music Recognition, OMR). Do tohoto oboru je však pro začínající výzkumníky stále obtížné proniknout, obzvlášť pokud nemají nezanedbatelné hudební znalosti: je málo materiálů do problematiky uvádějících, a navíc se sám obor průběžně nedokáže shodnout na tom, jak sebe sama definovat a jak vybudovat sdílenou terminologii. V článku se těmto nedostatkům věnujeme: (1) formulujeme robustní definici OMR a vztahů k příbuzným oborům, (2) analyzujeme, jak OMR invertuje proces zapisování hudby, aby získalo z dokumentu popis hudební notace a hudební sémantiky, a (3) předkládáme taxonomii OMR, především novou taxonomii aplikací. Dále diskutujeme, jak hluboké učení ovlivňuje současný výzkum OMR v kontrastu s předchozími přístupy. Na základě tohoto článku by měl čtenář získat základní porozumění OMR: jeho cílům, jeho vnitřní struktuře, vztahům k ostatním oborům, stavu poznání a výzkumných příležitostí, které OMR poskytuje.

Jorge Calvo-Zaragoza
Jan Hajič, jr.
Alexander Pacha


"The phenomenon of repetition": Re-watching a video clip in classroom work with digital oral history

Opakované sledování videoklipu během práce s digitální orální historií ve výuce

My paper presents an investigation of “the phenomenon of repetition” in case of re-watching a video clip. I noticed this practice in a corpus of video data recorded in a classroom setting. Students worked with an e-learning material in small groups with one computer device to their disposal, filling a paper sheet with questions. First watching (W1) of video clips was mostly sufficient, but a sequence of re-watching (W2) was occasionally inserted to deal with troubles and ambiguities. After W1, the interactional status of video clip is changed: it becomes a structured object. The clip is (re)inspected with transparent vision acquired through W1. W2 as part of the classroom activity is oriented by the question on the paper sheet, and transparent vision emerges as a novel (and temporary) interactional competence. Practices of working with video clips point to the properties of video clip as an object in interaction, and they inform us of the work involved in constituting occasioned practical objectivities.

Příspěvek představil zkoumání „fenoménu opakování“ na příkladu opakovaného sledování videoklipu během práce studentů s digitálním učebním materiálem v malých skupinách, kdy měli k dispozici jeden počítač a vyplňovali papírový list otázkami. První sledování (W1) videoklipů bylo většinou dostačující, ale občas byla vložena sekvence opakovaného sledování (W2), která řešila problémy a nejasnosti. Příspěvek se zabývá detailní analýzou těchto interakčních sekvencí opakovaného sledování.


Semi-supervised Induction of Morpheme Boundaries in Czech Using a Word-Formation Network

Částečně řízená detekce hranic mezi morfémy v českých slovech s využitím slovotvorné sítě

This paper deals with automatic morphological segmentation of Czech lemmas contained in the word-formation network DeriNet. Capturing derivational relations between base and derived lemmas, and segmenting lemmas into sequences of morphemes are two closely related formal models of how words come into existence. Thus we propose a novel segmentation method that benefits from the existence of the network; our solution constitutes new state-of-the-art for the Czech language.

Tento článek se zabývá automatickou morfologickou segmentací českých lemmat obsažených v derivační síti DeriNet. Popis derivačních vztahů mezi základními a odvozenými lemmaty, a dělení lemmat na sekvence morfémů, jsou dva blízce propojené formální modely popisující vznik slov. Proto navrhujeme novou segmentační metodu, která využívá existence derivační sítě. Naše řešení překonává dosavadní metody segmentace pro češtinu.

Jan Bodnár
Zdeněk Žabokrtský
Magda Ševčíková


Next Step in Online Querying and Visualization of Word-Formation Networks

Další krok v online vyhledávání a vizualizacích slovtvorných sítí

In this paper, we introduce a new and improved version of DeriSearch, a search engine and visualizer for word-formation networks.

Word-formation networks are datasets that express derivational, compounding and other word-formation relations between words. They are usually expressed as directed graphs, in which nodes correspond to words and edges to the relations between them. Some networks also add other linguistic information, such as morphological segmentation of the words or identification of the processes expressed by the relations.

Networks for morphologically rich languages with productive derivation or compounding have large connected components, which are difficult to visualize. For example, in the network for Czech, DeriNet 2.0, connected components over 500 words large contain 1/8 of the vocabulary, including its most common parts. In the network for Latin, Word Formation Latin, over 10 000 words (1/3 of the vocabulary) are in a single connected component.

With the recent release of the Universal Derivations collection of word-formation networks for several languages, there is a need for a searching and visualization tool that would allow browsing such complex data.

V tomto článku představujeme novou vyhlepšenou verzi vyhledávače a vizualizátoru slovotvorných sítí DeriSearch.

Slovotvorné sítě jsou datové sady zachycující derivační, kompoziční a jiné slovotvorné vztahy mezi slovy. Jsou reprezentovatelné pomocí orientovaných grafů, ve kterých uzly představují slova a orientované hrany mezi nimi vyjadřují slovotvorné vztahy. Některé sítě navíc obsahují další lingvistické anotace, například segmentaci slov na morfémy nebo identifikaci slovotvorných procesů.

Sítě pro morfologicky bohaté jazyky s produktivním odvozováním a skládáním mají velké komponenty souvislosti, které se obtížně vizualizují. Například v DeriNetu 2.0, jedné ze sítí pro češtinu, je 1/8 slovníku obsažena v komponentách souvislosti velkých přes 500 slov. V síti Word Formation Latin pro latinu je přes 10 000 slov (1/3 slovníku) v jediné komponentě.

S nedávným vydáním souboru slovotvorných sítí pro více jazyků Universal Derivations potřeba nástroje pro vyhledávání a vizualizaci takto komplexních dat dále vzrůstá.


The Impact of Copyright and Personal Data Laws on the Creation and Use of Language Models

Dopad autorského práva a ochrany osobních údajů na tvorbu a užití jazykových modelů

The authors address the legal issues relating to the creation and use of language models. The article begins with an explanation of the development of language technologies. The authors analyse the technological process within the framework copyright, related rights and personal data protection law. The authors also cover commercial use of language models. The authors’ main argument is that legal restrictions applicable to language data containing copyrighted material and personal data usually do not apply to language mod-els. Language models are not normally considered derivative works. Due to a wide range of language models, this position is not absolute.

Autoři se zabývají právními otázkami týkajícími se tvorby a používání jazykových modelů. Článek začíná vysvětlením vývoje jazykových technologií. Autoři analyzují technologický postup v rámci autorského práva, práv s ním souvisejících a práva na ochranu osobních údajů. Autoři se věnují také komerčnímu využití jazykových modelů. Hlavním argumentem autorů je, že právní omezení vztahující se na jazykové údaje obsahující materiály a osobní údaje chráněné autorským právem se obvykle nevztahují na jazykové modely. Jazykové modely nejsou obvykle považovány za odvozená díla. Vzhledem k široké škále jazykových modelů není tato pozice absolutní.

Aleksei Kelli
Arvi Tavast
Krister Lindén
Kadri Vider
Ramūnas Birštonas
Penny Labropoulou
Irene Kull
Gaabriel Tavits
Age Värv
Pavel Straňák
Jan Hajič


Scenario: Robot. In the Švanda theatre, an AI is writing a theatre play for the anniversary of R.U.R.

Scénář: Robot. Ve Švandově divadle píše hru k výročí R.U.R. umělá inteligence

There's a new play coming up at the Švanda Theatre. It will premiere in January. But no one quite knows what it will be about yet. Its script doesn't originate in any human's mind. It's generated by artificial intelligence.

Ve Švandově divadle se chystá nová hra. Premiéru bude mít už v lednu. Ale nikdo ještě úplně neví, o čem přesně bude. Její scénář totiž nevzniká v hlavě žádného člověka. Generuje ho umělá inteligence.

Ondřej Novotný
Rudolf Rosa
Tomáš Studeník


Large Scale Colloquial Persian Dataset" (LSCP) is hierarchically organized in asemantic taxonomy that focuses on multi-task informal Persian language understanding as a comprehensive problem. LSCP includes 120M sentences from 27M casual Persian tweets with its dependency relations in syntactic annotation, Part-of-speech tags, sentiment polarity and automatic translation of original Persian sentences in five different languages (EN, CS, DE, IT, HI).

„Large Scale Colloquial Persian Dataset“ (LSCP) je hierarchicky uspořádán do asemantické taxonomie, která se zaměřuje na víceúčelové neformální porozumění perskému jazyku jako komplexní problém. LSCP zahrnuje 120 milionů vět z 27 milionů příležitostných perských tweetů se svými závislostními vztahy ve syntaktické anotaci, tagy řeči, polaritu sentimentu a automatický překlad původních perských vět do pěti různých jazyků (EN, CS, DE, IT, HI).

Hadi Abdi Khojasteh
Ebrahim Ansari
Mahdi Bohlouli


LSCP: Enhanced Large Scale Colloquial Persian Language Understanding

LSCP: Vylepšené hovorové porozumění perskému jazyku ve velkém měřítku

Language recognition has been significantly advanced in recent years by means of modern machine learning methods such as deep
learning and benchmarks with rich annotations. However, research is still limited in low-resource formal languages. This consists of
a significant gap in describing the colloquial language especially for low-resourced ones such as Persian. In order to target this gap
for low resource languages, we propose a “Large Scale Colloquial Persian Dataset” (LSCP). LSCP is hierarchically organized in a
semantic taxonomy that focuses on multi-task informal Persian language understanding as a comprehensive problem. This encompasses
the recognition of multiple semantic aspects in the human-level sentences, which naturally captures from the real-world sentences. We
believe that further investigations and processing, as well as the application of novel algorithms and methods, can strengthen enriching
computerized understanding and processing of low resource languages. The proposed corpus consists of 120M sentences resulted from
27M tweets annotated with parsing tree, part-of-speech tags, sentiment polarity and translation in five different languages.

Rozpoznávání jazyků v posledních letech významně pokročilo pomocí moderních metod strojového učení, jako je deep learning a měřítka s bohatými anotacemi. Výzkum je však ve formálních jazycích s nízkými zdroji stále omezený. Skládá se z
významná mezera v popisu hovorového jazyka, zejména pro ty s nízkými zdroji, jako je perština. Aby bylo možné tuto mezeru zacílit
pro jazyky s nízkými zdroji navrhujeme „Large Scale Colloquial Persian Dataset“ (LSCP). LSCP je hierarchicky uspořádán do a
sémantická taxonomie, která se zaměřuje na víceúčelové neformální porozumění perskému jazyku jako komplexní problém. To zahrnuje uznání několika sémantických aspektů ve větách na lidské úrovni, které přirozeně zachycuje z vět z reálného světa. Věříme, že další vyšetřování a zpracování, stejně jako aplikace nových algoritmů a metod, může posílit obohacení počítačového porozumění a zpracování jazyků s nízkými zdroji. Navrhovaný korpus se skládá ze 120 milionů vět vycházejících z 27 milionů tweetů anotovaných stromem analýzy, tagy řeči, polaritou sentimentu a překladem do pěti různých jazyků.


Morphological Networks for Persian and Turkish: What Can Be Induced from Morpheme Segmentation?

Morfologické sítě pro perštinu a turečtinu

In this work, we propose an algorithm that induces morphological networks for Persian and Turkish. The algorithm uses morpheme-segmented lexicons for the two languages. The resulting networks capture both derivational and inflectional relations. The network induction algorithm can use either manually annotated lists of roots and affixes, or simple heuristics to distinguish roots from affixes. We evaluate both variants empirically. We use our large hand-segmented set of word forms in the experiments with Persian, which is contrasted with employing only a very limited manually segmented lexicon for Turkish that existed previously. The network induction algorithm uses gold segmentation data for initializing the networks, which are subsequently extended with additional corpus attested word forms that were unseen in the segmented data. For this purpose, we use existing morpheme-segmentation tools, namely supervised and unsupervised version of Morfessor, and (unsupervised) MorphSyn.
The experimental results show that the accuracy of segmented initial data influences derivational network quality.

V této práci navrhujeme algoritmus pro indukci morfologických sítí pro perštinu a turečtinu. Algoritmus využívá slovníky s morfematickou segmentací. Výsledná síť zachycuje jak derivační, tak flektivní relace. Algoritmus pro indukci sítě vychází buď z automaticky rozlišených afixů a kořenů, nebo z jednoduché klasifikační heuristiky. Obě varianty jsou empiricky vyhodnoceny. Pro perštinu používáme vlastní velký ručně segmentovaný slovník, pro turečtinu menší slovník publikovaný dříve. Ručně anotovaná data jsou algoritmem využita pro inicializaci sítě, která je následně rozšířena o formy pozorované v korpusech. Slovní formy, které nebyly přítomny v ručně anotovaných datech, segmentujeme řízenou i neřízenou verzí segmentačního nástroje Morfessor a nástrojem MorphSyn. Experimentální výsledky ukazují, jak inicializace ručně segmentovanými daty ovlivňuje finální kvalitu vygenerovaných sítí.

Hamid Haghdoost
Ebrahim Ansari
Zdeněk Žabokrtský
Mahshid Nikravesh
Mohammad Mahmoudi


COSTRA 1.0: A Dataset of Complex Sentence Transformations

COSTRA 1.0: Dataset komplexních transformací vět

We present COSTRA 1.0, a dataset of complex sentence transformations. The dataset is intended for the study of sentence-level embeddings beyond simple word alternations or standard paraphrasing. This first version of the dataset is limited to sentences in Czech but the construction method is universal and we plan to use it also for other languages.

The dataset consists of 4,262 unique sentences with an average length of 10 words, illustrating 15 types of modifications, such as simplification, generalization, or formal and informal language variation. The hope is that with this dataset, we should be able to test semantic properties of sentence embeddings and perhaps even to find some topologically interesting ''skeleton'' in the sentence embedding space. A preliminary analysis using LASER, multi-purpose multi-lingual sentence embeddings suggests that the LASER space does not exhibit the desired properties

V tomto článku je představena COSTRA 1.0, dataset komplexních transformací vět. Dataset je určen ke studiu větných embeddingů nad rámec jednoduchých výměn slov nebo standardních parafrází.  COSTRA 1.0 obsahuje pouze věty v češtině, ale metoda konstrukce je univerzální a plánujeme ji použít i pro jiné jazyky.

Dataset obsahuje 4262 unikátních vět s průměrnou délkou 10 slov, ilustrujících 15 typů úprav, jako je zjednodušení, zobecnění nebo formální a neformální jazykové variace. Doufáme, že s tímto datovým souborem bychom měli být schopni otestovat sémantické vlastnosti větných embeddingů a možná dokonce najít nějaké topologicky zajímavé '' kostry '' v prostoru větných embeddingů. Předběžná analýza s využitím mnohojazyčných větných embeddingů LASER naznačuje, že nevykazuje požadované vlastnosti


Costra 1.1: An Inquiry into Geometric Properties of Sentence Spaces

Costra 1.1: Zkoumání geometrických vlastností prostorů vět

In this paper, we present a new dataset for testing geometric properties of sentence embeddings spaces. In particular, we concentrate on examining how well sentence embeddings capture complex phenomena such paraphrases, tense or generalization.
The dataset is a direct expansion of Costra 1.0, which we extended with more sentences and sentence comparisons.
We show that available off-the-shelf embeddings do not possess essential attributes such as having synonymous sentences embedded closer to each other than similar sentences with a significantly different meaning.
On the other hand, some embeddings appear to capture the linear order of sentence aspects such as style (formality and simplicity of the language) or time (past to future).

V tomto článku představujeme nový dataset pro testování geometrických vlastností prostorů vět. Zaměřujeme se zejména na to, jak jsou v rámci větných embeddingů interpretovány komplexní jevy, jako jsou parafrázy, časy nebo zobecnění.
Dataset je přímým rozšířením Costra 1.0, kterou jsme obohatili o další vět a jejich porovnání.
Ukazujeme, že dostupným předtrénovaným větným embeddingům chybí základní předpoklad, aby synonymní věty byly zanořeny blíže k sobě než věty s výrazně odlišným významem.
Na druhou stranu se zdá, že některé embeddingy respektují lineární pořadí větných jevů jako je styl (formálnost a jednoduchost jazyka) nebo čas (minulost do budoucnosti).