Syntax Representation in Word Embeddings and Neural Networks – A Survey

Reprezentace syntaxe ve vkládání slov a neuronových sítích - průzkum

Neural networks trained on natural language processing tasks capture syntax even though it is not provided as a supervision signal. This indicates that syntactic analysis is essential to the understating of language in artificial intelligence systems. This overview paper covers approaches of evaluating the amount of syntactic information included in the representations of words for different neural network architectures. We mainly summarize research on English monolingual data on language modeling tasks and multilingual data for neural machine translation systems and multilingual language models. We describe which pre-trained models and representations of language are best suited for transfer to syntactic tasks.

Neurální sítě trénované na zpracování přirozeného jazyka zachycují syntaxi, i když není poskytována jako signál dohledu. To naznačuje, že syntaktická analýza je nezbytná pro podcenění jazyka v systémech umělé inteligence. Tento přehledný dokument se zabývá přístupy k hodnocení množství syntaktických informací obsažených v reprezentacích slov pro různé architektury neuronových sítí. Shrnujeme především výzkum anglických jednojazyčných dat o úkolech jazykového modelování a vícejazyčných dat pro systémy neurálního strojového překladu a vícejazyčné jazykové modely. Popisujeme, které předcvičené modely a znázornění jazyka jsou nejvhodnější pro přenos do syntaktických úloh.


Universal Dependencies according to BERT: both more specific and more general

Universal Dependencies podle BERTa: jak specifičtější, tak obecnější

This work focuses on analyzing the form and extent of syntactic abstraction captured by BERT by extracting labeled dependency trees from self-attentions.
Previous work showed that individual BERT heads tend to encode particular dependency relation types. We extend these findings by explicitly comparing BERT relations to Universal Dependencies (UD) annotations, showing that they often do not match one-to-one.
We suggest a method for relation identification and syntactic tree construction. Our approach produces significantly more consistent dependency trees than previous work, showing that it better explains the syntactic abstractions in BERT. At the same time, it can be successfully applied with only a minimal amount of supervision and generalizes well across languages.

Tato práce se zaměřuje na analýzu formy a rozsahu syntaktické abstrakce zachycené BERT extrahováním označených stromů závislosti ze sebepozornosti.
Předchozí práce ukázaly, že jednotlivé hlavy BERT mají tendenci kódovat konkrétní typy vztahů závislosti. Rozšiřujeme tato zjištění explicitním porovnáním vztahů BERT s anotacemi Universal Dependencies (UD), což ukazuje, že se často neshodují jedna ku jedné.
Navrhujeme metodu pro identifikaci vztahu a syntaktickou stavbu stromu. Náš přístup vytváří podstatně více konzistentních stromů závislosti než předchozí práce, což ukazuje, že lépe vysvětluje syntaktické abstrakce v BERT. Zároveň ji lze úspěšně aplikovat jen s minimální mírou dohledu a dobře zobecňuje napříč jazyky.

Tomasz Limisiewicz
Rudolf Rosa
David Mareček


Implicit relation questions surfacing in Prague discourse projects

K implicitním vztahům v pražském diskurzním bádání

The presentation wis devoted to the current discourse-oriented projects/research directions at ÚFAL institute in connection with the implicitness of discourse relations, such as underspecified connectives or semantic signalling.

Prezentace je věnována implicitnosti diskurzních vztahů, jako je například podspecifikované užití konektivních prostředků nebo sémantická signalizace.


GeCzLex: Lexicon of Czech and German Anaphoric Connectives

GeCzLex: Lexikon českých a německých anaforických konektorů

We introduce the first version of GeCzLex, an online electronic resource for translation equivalents of Czech and German discourseconnectives.  The lexicon is one of the outcomes of the research on anaphoricity and long-distance relations in discourse, it containsat  present  anaphoric  connectives  (ACs)  for  Czech  and  German  connectives,  and  further  their  possible  translations  documented  inbilingual parallel corpora (not necessarily anaphoric). As a basis, we use two existing monolingual lexicons of connectives: the Lexiconof  Czech  Discourse  Connectives  (CzeDLex)  and  the  Lexicon  of  Discourse  Markers  (DiMLex)  for  German,  interlink  their  relevantentries via semantic annotation of the connectives (according to the PDTB 3 sense taxonomy) and statistical information of translationpossibilities from the Czech and German parallel data of the InterCorp project.  The lexicon is, as far as we know, the first bilingualinventory of connectives with linkage on the level of individual entries, and a first attempt to systematically describe devices engaged inlong-distance, non-local discourse coherence. The lexicon is freely available under the Creative Commons License.

Článek představuje první verzi lexikonu GeCzLex, online jazykového zdroje překladových ekvivalentů českých a německých anaforických konektorů.

Lucie Poláková
Kateřina Rysová
Magdaléna Rysová
Jiří Mírovský


Mining Local Discourse Annotation for Features of Global Discourse Structure

Využití lokální anotace diskurzu pro modelování vyšší struktury textu

Descriptive approaches to discourse (text) structure and coherence typically proceed either in a bottom-up or a top-down analytic way. The former ones analyze how the smallest discourse units (clauses, sentences) are connected in their closest neighbourhood, locally, in a linear way. The latter ones postulate a hierarchical organization of smaller and larger units, sometimes also represent the whole text as a tree-like graph. In the present study, we mine a Czech corpus of 50k sentences
annotated in the local coherence fashion (Penn Discourse Treebank style) for indices signalling higher discourse structure. We analyze patterns of overlapping discourse relations and look into hierarchies they form. The
types and distributions of the detected patterns correspond to the results for English local annotation, with patterns not complying with the tree-like interpretation at very low numbers. We also detect hierarchical organization of local discourse relations of up to 5 levels in the Czech data.

Studie se věnuje analýze vzájemného uspořádání tzv. lokálních vztahů textové koherence a zkoumá využitelnost zjištěných výsledků při modelování globální koherence textu.


CzeDLex 0.7 is the third development version of a lexicon of Czech discourse connectives. The lexicon contains connectives partially automatically extracted from the Prague Discourse Treebank 2.0 (PDiT 2.0) and other resources. The most frequent entries in the lexicon (covering more than 95% of the discourse relations annotated in the PDiT 2.0) have been manually checked, translated to English and supplemented with additional linguistic information.

CzeDLex 0.7 je třetí vývojová verze slovníku českých diskurzních konektorů. Slovník obsahuje konektory částečně automaticky extrahované z Pražského diskurzního korpusu 2.0 (PDiT 2.0) a z dalších zdrojů. Nejfrekventovanější slovníková hesla (pokrývající více než 95% diskurzních vztahů anotovaných v PDiT 2.0) byla ručně zkontrolována, přeložena do angličtiny a doplněna dalšími lingvistickými informacemi.

Lucie Poláková
Jiří Mírovský
Pavlína Synková
Věra Kloudová
Magdaléna Rysová


Universal Dependency Treebanks for Low-Resource Indian Languages: The Case of Bhojpuri

Treebanky Universal Dependencies pro indické jazyky s nedostatkem zdrojů: Případ bhódžpurštiny

This paper presents the first dependency treebank for Bhojpuri, an Indo-Aryan language. Bhojpuri is one of the resource-poor Indian languages. The objective of the Bhojpuri Treebank (BHTB) project is to provide a substantial, syntactically annotated treebank for Bhojpuri which helps in building language technological tools. This project will also help in cross-lingual learning and typological research. Currently, the treebank consists of 4,881 tokens using the annotation scheme of Universal Dependencies (UD). We develop a Bhojpuri tagger and parser using the machine learning approach. The accuracy of the model is 57.49% UAS, 45.50% LAS, 79.69% UPOS accuracy and 77.64% XPOS accuracy. Finally, we discuss linguistic analysis and annotation process of the Bhojpuri UD treebank.

Tento článek představuje první závislostní korpus indo-árijského jazyka bhódžpurštiny. Bhódžpurština je jedním z indických jazyků, pro které není k dispozici dostatek zdrojů v oblasti strojového zpracování jazyka. Účelem projektu Bhódžpurského závislostního korpusu (BHTB) je poskytnout velký, syntakticky anotovaný korpus bhódžpurštiny, který pomůže při tvorbě nástrojů pro automatické zpracování jazyka. Tento projekt také pomůže s mezijazykovým strojovým učením a s typologickým výzkumem.


Unsupervised Multilingual Sentence Embeddings for Parallel Corpus Mining

Neřízené mnohojazyčné reprezentace vět pro dolování paralelních dat

Existing models of multilingual sentence embeddings require large parallel data resources which are not available for low-resource languages. We propose a novel unsupervised method to derive multilingual sentence embeddings relying only on monolingual data. We first produce a synthetic parallel corpus using unsupervised machine translation, and use it to fine-tune a pretrained cross-lingual masked language model (XLM) to derive the multilingual sentence representations. The quality of the representations is evaluated on two parallel corpus mining tasks with improvements of up to 22 F1 points over vanilla XLM. In addition, we observe that a single synthetic bilingual corpus is able to improve results for other language pairs.

Existující modely vícejazyčných větných vektorových reprezentací (embeddingů) vyžadují rozsáhlé paralelní datové zdroje, které nejsou k dispozici pro všechny jazyky. Navrhujeme novou metodu neřízeného učení pro získání vícejazyčných větných embeddingů pouze z jednojazyčných dat. Nejprve pomocí neřízeného strojového překladu vytvoříme syntetický paralelní korpus a použijeme jej k doladění předtrénovaného cross-lingválního maskovaného jazykového modelu (XLM) a k odvození vícejazyčných větných reprezentací. Kvalita reprezentací je hodnocena na dvou úlohách dolování paralelních dat se zlepšením F1 skóre až o 22 bodů oproti standardnímu XLM. Dále pozorujeme, že jeden syntetický dvojjazyčný korpus je schopen vylepšit výsledky i pro jiné jazykové páry.

Ivana Kvapilíková
Mikel Artetxe
Gorka Labaka
Eneko Agirre
Ondřej Bojar


CUNI Systems for the Unsupervised and Very Low Resource Translation Task in WMT20

Systémy Univerzity Karlovy pro soutěž ve strojovém překladu při nedostatku paralelních dat WMT20

This paper presents a description of CUNI systems submitted to the WMT20 task on unsupervised and very low-resource supervised machine translation between German and Upper Sorbian. We experimented with training on synthetic data and pre-training on a related language pair. In the fully unsupervised scenario, we achieved 25.5 and 23.7 BLEU translating from and into Upper Sorbian, respectively. Our low-resource systems relied on transfer learning from German-Czech parallel data and achieved 57.4 BLEU and 56.1 BLEU, which is an improvement of 10 BLEU points over the baseline trained only on the available small German-Upper Sorbian parallel corpus.

Tento článek představuje popis soutěžních systémů Univerzity Karlovy pro úlohu WMT20 ve strojovém překladu mezi němčinou a lužickou srbštinou při nedostatku dat. Provedli jsme experimenty s trénováním na syntetických datech a předtrénováním na příbuzných jazykových párech. V plně neřízeném režimu jsme dosáhli 25,5 a 23,7 BLEU při překladu z a do lužické srbštiny. Ve volnějším režimu jsme použili transfer learning z německo-českých paralelních dat a dosáhli 57,4 BLEU a 56,1 BLEU, což je zlepšení o 10 BLEU bodů oproti baseline natrénované pouze na malém množství dostupných německo-lužickosrbských paralelních vět.

Ivana Kvapilíková
Tom Kocmi
Ondřej Bojar


Data-to-Text Generation with Iterative Text Editing

Generování textu z dat pomocí postupných úprav textu

We present a novel approach to data-to-text generation based on iterative text editing. Our approach maximizes the completeness and semantic accuracy of the output text while leveraging the abilities of recent pretrained models for text editing (LaserTagger) and language modelling (GPT-2) to improve the text fluency. To this end, we first transform data to text using trivial per-item lexicalizations, iteratively improving the resulting text by a neural model trained for the sentence fusion task. The model output is filtered by a simple heuristic and reranked with an off-the-shelf pretrained language model. We evaluate our approach on two major data-to-text datasets (WebNLG, Cleaned E2E) and analyze its caveats and benefits. Furthermore, we show that our formulation of data-to-text generation opens up the possibility for zero-shot domain adaptation using a general-domain dataset for sentence fusion.

Představujeme nový přístup pro generování textu z dat založený na postupných úpravách textu. Náš přístup maximalizuje úplnost a sémantickou přesnost výstupního textu a zároveň využívá současných předtrénovaných modelů pro editaci textu (LaserTagger) a modelování jazyka (GPT-2) pro zlepšení plynulosti textu. Za tímto účelem nejprve převádíme data na text pomocí triviální lexikalizace zvlášť pro každou položku a následně výsledný text postupně vylepšujeme neuronovým modelem natrénovaným na spojování vět. Náš přístup vyhodnocujeme na dvou používaných datových sadách (WebNLG, Cleaned E2E) a analyzujeme jeho přínosy a úskalí. Dále ukazujeme, že náš přístup umožňuje generování textu z dat bez dat z konkrétní domény za pomocí obecné datové sady pro spojování vět.


Train Hard, Finetune Easy: Multilingual Denoising for RDF-to-Text Generation

Těžké trénování, lehké doladění: Multilinguální denoising pro generování textu z RDF

We describe our system for the RDF-to-text generation task of the WebNLG Challenge 2020. We base our approach on the mBART model, which is pre-trained for multilingual denoising. This allows us to use a simple, identical, end-to-end setup for both English and Russian. Requiring minimal task or language-specific effort, our model placed in the first third of the leaderboard for English and first or second for Russian on automatic metrics, and it made it into the best or second-best system cluster on human evaluation.

Popisujeme náš systém pro generování textu z RDF pro soutěž WebNLG Challenge 2020. Svůj přístup zakládáme na modelu mBART, který je předtrénován pro vícejazyčný denoising. To nám umožňuje použít jednoduchý, identický end-to-end přístup pro angličtinu i ruštinu. S minimálními nároky specifickými pro konkrétní jazyk nebo úlohu se náš model umístil v první třetině žebříčku pro angličtinu a na prvním nebo druhém místě pro ruštinu v automatických metrikách. Podle lidského hodnocení se dostal do nejlepší nebo druhé nejlepším skupiny systémů.


Towards Reasonably-Sized Character-Level Transformer NMT by Finetuning Subword Systems

K rozumně velkým modelům Tranformer pro neuronový strojový překlad pracující na úrovni znaků pomocí dotrénování podslovních modelů

Applying the Transformer architecture on the character level usually requires very deep architectures that are difficult and slow to train. These problems can be partially overcome by incorporating a segmentation into tokens in the model. We show that by initially training a subword model and then finetuning it on characters, we can obtain a neural machine translation model that works at the character level without requiring token segmentation. We use only the vanilla 6-layer Transformer Base architecture. Our character-level models better capture morphological phenomena and show more robustness to noise at the expense of somewhat worse overall translation quality. Our study is a significant step towards high-performance and easy to train character-based models that are not extremely large.

Aplikace architektury Transformeru na úrovni znaků obvykle vyžaduje velmi hluboké architektury, které se obtížně a pomalu trénují. V článku ukazujeme, že předtrénováním podslovního modelu a jeho finetuningem na znaky můžeme získat kvalitní model pro neuronový strojový překlad, který funguje na úrovni znaků bez nutnosti tokenizace vstupu. Používáme pouze základní šestivrstvou architekturu Transformer Base. Naše modely na úrovni znaků lépe zachycují morfologické jevy a vykazují větší odolnost vůči šumu za cenu poněkud horší celkové kvality překladu. Naše studie je tak významným krokem ke kvalitním a snadno trénovatelným modelům, které modelují překlad na útrovni znaků a zároveň nejsou extrémně velké.


On the Language Neutrality of Pre-trained Multilingual Representations

O jazykové neutralitě předtrénovaných vícejazyčných reprezentací

Multilingual contextual embeddings, such as multilingual BERT (mBERT) and XLM-RoBERTa, have proved useful for many multi-lingual tasks. Previous work probed the cross-linguality of the representations indirectly using zero-shot transfer learning on morphological and syntactic tasks. We instead focus on the language-neutrality of mBERT with respect to lexical semantics. Our results show that contextual embeddings are more language-neutral and in general more informative than aligned static word-type embeddings which are explicitly trained for language neutrality. Contextual embeddings are still by default only moderately language-neutral, however, we show two simple methods for achieving stronger language neutrality: first, by unsupervised centering of the representation for languages, and second by fitting an explicit projection on small parallel data. In addition, we show how to reach state-of-the-art accuracy on language identification and word alignment in parallel sentences.

Mnohojazyčné kontextové embedinky, jako vícejazyčný BERT (mBERT) a XLM-RoBERTa, se osvědčily pro mnoho vícejazyčných úloh. Předchozí práce zkoumala mnohojazyčnost reprezentací nepřímo s využitím nulového transferového učení na morfologických a syntaktických úkolech. Místo toho se zaměřujeme na jazykovou neutralitu mBERTu s ohledem na lexikální sémantiku. Naše výsledky ukazují, že kontextové embedinky jsou jazykově neutrálnější a obecně informativnější než zarovnané statické slovní embedinky, které jsou explicitně trénovány na jazykovou neutralitu. Kontextové embedinky jsou stále standardně pouze mírně jazykově neutrální, nicméně ukazujeme dvě jednoduché metody, jak dosáhnout silnější jazykové neutrality: zaprvé neřízeným vystředěním reprezentace pro jazyky a zadruhé explicitní projekcí na malých paralelních datech. Kromě toho ukazujeme, jak překonat nejlepší dosažené přesnosti při identifikaci jazyka a zarovnávání slov v paralelních větách.

Jindřich Libovický
Rudolf Rosa
Alexander Fraser


Expand and Filter: CUNI and LMU Systems for the WNGT 2020 Duolingo Shared Task

Expanduj a filtruj: Soutěžní příspěvek UK a LMU do soutěže STAPLE na WNGT 2020

We present our submission to the Simultaneous Translation And Paraphrase for Language Education (STAPLE) challenge. We used a standard Transformer model for translation, with a crosslingual classifier predicting correct translations on the output n-best list. To increase the diversity of the outputs, we used additional data to train the translation model, and we trained a paraphrasing model based on the Levenshtein Transformer architecture to generate further synonymous translations. The paraphrasing results were again filtered using our classifier. While the use of additional data and our classifier filter were able to improve results, the paraphrasing model produced too many invalid outputs to further improve the output quality. Our model without the paraphrasing component finished in the middle of the field for the shared task, improving over the best baseline by a margin of 10-22 % weighted F1 absolute.

Představujeme příspěvek do soutěže a kombinace automatického překladu a parafrázování ve výuce jazyků (STAPLE). Pro překlad jsme použili standardní model Transformer, doplněný kroslinguálním klasifikátorem pro filtrování překladových hypotéz. Abychom zvýšili rozmanitost výstupů, použili jsme další trénovací data a vyvinuli jsme parafrázovací model založený na architektuře Levenshtein Transformer, který generuje další synonymní překlady. Výsledky parafrázování byly opět filtrovány kroslinguálním klasifikátorem. Zatímco použití dalších dat a náš filtr zlepšily výsledky, parafrázování generovalo příliš mnoho neplatných výstupů, aby dále zlepšilo kvalitu výstupů. Náš model bez parafrázování skončil přibližně uprostřed soutěžního pořadí a přinesl zlepšení o 10-22% vážený F1 bodů oproti základnímu řešení.

Jindřich Libovický
Zdeněk Kasner
Jindřich Helcl
Ondřej Dušek


The LMU Munich System for the WMT20 Very Low Resource Supervised MT Task

Sytsém LMU Mnichov soutěž WMT20 v překladu s velmi málo paralelními daty

We present our systems for the WMT20 Very Low Resource MT Task for translation between German and Upper Sorbian. For training our systems, we generate synthetic data by both back- and forward-translation. Additionally, we enrich the training data with German-Czech translated from Czech to Upper Sorbian by an unsupervised statistical MT system incorporating orthographically similar word pairs and transliterations of OOV words. Our best translation system between German and Sorbian is based on transfer learning from a Czech-German system and scores 12 to 13 BLEU higher than a baseline system built using the available parallel data only.

Představujeme naše systémy pro WMT20 Very Low Resource MT Task k překladu mezi němčinou a hornolužickou srbštinou. Pro trénink našich systémů generujeme syntetická data zpětným i dopředným překladem. Trénvací data navíc obohacujeme o německo-české překlady z češtiny do hornolužické srbštiny pomocí neřízeného statistického MT systému, který obsahuje ortograficky podobné slovní dvojice a transliterace slov mimo slovník. Náš nejlepší překladový systém mezi němčinou a srbštinou je založen na transferu modelu z česko-německého systému a má o 12 až 13 BLEU vyšší skóre než základní systém vytvořený pouze s využitím dostupných paralelních dat.

Jindřich Libovický
Viktor Hangya
Helmut Schmid
Alexander Fraser


CUNI English-Czech and English-Polish Systems in WMT20: Robust Document-Level Training

Anglicko-české a anglicko-polské překladače z Univerzity Karlovy ve WMT20: robustní překlad celých dokumentů

We describe our two NMT systems submitted to the WMT 2020 shared task in English-Czech and English-Polish news translation. One system is sentence level, translating each sentence independently. The second system is document level, translating multiple sentences, trained on multi-sentence sequences up to 3000 characters long.

Popisujeme naše dva neuronové překladové systémy pro anglicko-český a anglicko-polský překlad, které se zúčastnily soutěže v překladu novinových článků WMT 2020. První systém překládá každou větu nezázvisle. Druhý systém je tzv. document-level, tedy překládá více vět naráz a je trénovaný na vícevětných sekvencích dlouhých až 3000 znaků.


Machine translation and artificial intelligence

The lecture will briefly introduce some of the tasks dealt with in computer linguistics, such as automatic correction of misspellings/grammar or automatic sentence analysis.

The main focus will be on the role of machine translation, in particular the development of different types of English-to-Czech translators over the last decade. Today's best translators are based on artificial intelligence technologies, namely deep neural networks, and the quality of the resulting translation is close to that of a professional translation agency. Questions are being asked about how this progress in machine translation quality made over recent years will affect language learning, but also whether we can rely on machine translations.

Přednáška úvodem krátce představí některé úlohy, kterými se zabývá počítačová lingvistika, například automatickou opravu překlepů/gramatiky či automatický větný rozbor.

Hlavní pozornost bude věnována úloze strojového překladu, zejména vývoji různých typů překladačů z angličtiny do češtiny během posledního desetiletí. Dnešní nejlepší překladače jsou založeny na technologiích umělé inteligence, konkrétně hlubokých neuronových sítí, a kvalita výsledného překladu se blíží úrovni profesionální překladatelské agentury. Vyvstávají otázky, jak tento pokrok ve kvalitě strojového překladu dosažený během posledních let ovlivní výuku jazyků, ale též zda se na strojové překlady můžeme spolehnout.


Transforming machine translation: a deep learning system reaches news translation quality comparable to human professionals

Transformace strojového překladu: systém hlubokého učení dosahuje kvality překladu zpráv srovnatelné s lidskými profesionály

The quality of human translation was long thought to be unattainable for computer translation systems. In this study, we present a deep-learning system, CUBBITT, which challenges this view. In a context-aware blind evaluation by human judges, CUBBITT significantly outperformed professional-agency English-to-Czech news translation in preserving text meaning (translation adequacy). While human translation is still rated as more fluent, CUBBITT is shown to be substantially more fluent than previous state-of-the-art systems. Moreover, most participants of a Translation Turing test struggle to distinguish CUBBITT translations from human translations. This work approaches the quality of human translation and even surpasses it in adequacy in certain circumstances. This suggests that deep learning may have the potential to replace humans in applications where conservation of meaning is the primary aim.

Kvalita lidského překladu byla dlouho považována za nedosažitelnou pro počítačové překladové systémy. V této studii představujeme systém hlubokého učení CUBBITT, který tento názor zpochybňuje. V zaslepeném lidském hodnocení překladu novinových článků z angličtiny do češtiny CUBBITT výrazně předčil lidský překlad od profesionální agentury v zachování významu textu (adequacy, přesnosti překladu). Zatímco lidský překlad je stále hodnocen jako plynulejší, ukázalo se, že CUBBITT je podstatně plynulejší než dosavadní překladače. Většina účastníků překladového Turingova testu navíc nedokázala rozlišit překlady CUBBITT od překladů lidských. Tato práce se blíží kvalitě lidského překladu a za určitých okolností jej dokonce v přiměřenosti překonává. To naznačuje, že hluboké učení může mít potenciál nahradit člověka v aplikacích, kde je hlavním cílem zachování významu.

Martin Popel
Marketa Tomkova
Jakub Tomek
Łukasz Kaiser
Jakob Uszkoreit
Ondřej Bojar
Zdeněk Žabokrtský


Removing European Language Barriers with Innovative Machine Translation Technology

Odstranění evropských jazykových bariér pomocí inovativní technologie strojového překladu

This paper presents our progress towards deploying a versatile communication platform in the task of highly multilingual live speech
translation for conferences and remote meetings live subtitling. The platform has been designed with a focus on very low latency and
high flexibility while allowing research prototypes of speech and text processing tools to be easily connected, regardless of where they
physically run. We outline our architecture solution and also briefly compare it with the ELG platform. Technical details are provided
on the most important components and we summarize the test deployment events we ran so far.

Tento dokument představuje náš pokrok směrem k zavedení univerzální komunikační platformy v úkolu vysoce mnohojazyčného živého projevu
překlady pro konference a vzdálené schůzky živé titulkování. Platforma byla navržena se zaměřením na velmi nízkou latenci a
vysoká flexibilita při umožnění snadného propojení výzkumných prototypů nástrojů pro zpracování řeči a textu, bez ohledu na to, kde
fyzicky běhat. Nastíníme naše řešení architektury a také ho krátce porovnáme s platformou ELG. Technické podrobnosti jsou uvedeny
o nejdůležitějších součástech a shrnujeme události zkušebního nasazení, které jsme zatím provedli.

Dario Franceschini
Chiara Canton
Ivan Simonini
Armin Schweinfurth
Adelheid Glott
Sebastian Stüker
Thai-Son Nguyen
Felix Schneider
Thanh-Le Ha
Alex Waibel
Barry Haddow
Phil Williams
Rico Sennrich
Ondřej Bojar
Sangeet Sagar
Dominik Macháček
Otakar Smrž


Image Captioning with Visual Object Representations Groundedin the Textual Modality

Automatická tvorba popisků obrázků pomocí visuálních reprezentací objektů zakotvených v textu

We present our work in progress exploring the possibilities of a shared embedding space between textual and visual modality.
Leveraging the textual nature of object detection labels and the hypothetical expressiveness of extracted visual object representations, we propose an approach opposite to the current trend, grounding of the representations in the word embedding space of the captioning system instead of grounding words or sentences in their associated images.
Based on the previous work, we apply additional grounding losses to the image captioning training objective aiming to force visual object representations to create more heterogeneous clusters based on their class label and copy a semantic structure of the word embedding space.
In addition, we provide an analysis of the learned object vector space projection and its impact on the IC system performance.
With only slight change in performance, grounded models reach the stopping criterion during training faster than the unconstrained model, needing about two to three times less training updates.
Additionally, an improvement in structural correlation between the word embeddings and both original and projected object vectors suggests that the grounding is actually mutual.

Představujeme naši práci zkoumající možnosti společného prostoru embedingů mezi textovou a vizuální modalitou.
Narozdíl od současného trendu zakotvení slov či vět v přidružených obrázcích, navrhujeme zakotvení visuálních reprezentací objektů v prostoru slovních embedingů systému generujícího popisků.
K tomu využíváme textové povahy popisků detekovaných objektů a předpokládanou expresivitu reprezentací těchto objektů.
Na základě předchozích poznatků aplikujeme dodatečné objektivní funkce k základní popiskovací objektivní funkci, jejichž cílem je tvorba heterogenních klastrů závislých na jejich třídě a napodobení sémantické struktury prostoru slovních embedingů.
Kromě toho také analyzujeme natrénované projekce prostoru vizualních objektů a jejich vliv na výkon popiskovacího systému.
I přes mírné zhoršení kvality generovaných popisků, modely se zakotvením konvergují výrazně rychleji během trénovaní vyžadujíce dvakrát až třikrát méně trénovacích iterací.
Zlepšení strukturální korelace mezi slovními embedingy a nejen původními objektovými reprezentacemi, ale i jejich projekcí naznačuje, že zakotvení je vzájemné.

Dušan Variš
Satoshi Nakamura
Katsuhito Sudoh


The Jubilee 45th Year of Olympiad in Czech Language

Jubilejní 45. ročník Olympiády v českém jazyce

The article describes the course of the jubilee 45th year of the Olympiad in the Czech Language, presenting its general settings as well as some of the tasks, their solutions, the approaches of the participants and the names of the winners.

Článek popisuje průběh jubilejního 45. ročníku Olympiády v českém jazyce. Představuje soutěž jako takovou, přibližuje konkrétní soutěžní úlohy včetně jejich řešení, komentuje řešení účastníků a přináší jména vítězů.


The aim of the paper is to introduce a Czech-German dictionary database containing frequently used language expressions involved in the text structure – anaphoric discourse connectives.

Cílem příspěvku je představit česko-německou slovníkovou databázi obsahující frekventované jazykové výrazy podílející se na strukturaci textu – anaforické diskurzní konektory.


A Test Suite and Manual Evaluation of Document-Level NMT at WMT19

Testovací sada a ruční vyhodnocení NMT v kontextu celého dokumentu na WMT19

As the quality of machine translation rises and
neural machine translation (NMT) is moving
from sentence to document level translations,
it is becoming increasingly difficult to evaluate
the output of translation systems.
We provide a test suite for WMT19 aimed at
assessing discourse phenomena of MT systems participating in the News Translation
Task. We have manually checked the outputs
and identified types of translation errors that
are relevant to document-level translation.

Vyhodnotili jsme strojový překlad na vztazích v rámci dokumentů. Ukázalo se, že systémy se na mezivětných vztazích příliš neliší.

Kateřina Rysová
Magdaléna Rysová
Tomáš Musil
Lucie Poláková
Ondřej Bojar


EVALD – a Pioneer Application for Automated Essay Scoring in Czech

EVALD – inovativní aplikace pro automatické hodnocení kvality textů v češtině

We present EVALD applications (Evaluator of Discourse) for automated essay scoring. We analyze in detail newly acquired language data – texts written by non-native speakers reaching the threshold level of the Czech language acquisition. We also present new spelling features added in the system.

Představujeme aplikace EVALD (Evaluator of Discourse) pro automatické vyhodnocování českých textů. Podrobně analyzujeme nově získaná jazyková data - texty psané cizími mluvčími dosahující první úrovně osvojování českého jazyka. Představujeme také nové pravopisné "featury" přidané do systému.

Kateřina Rysová
Magdaléna Rysová
Michal Novák
Jiří Mírovský
Eva Hajičová


Databáze českých a německých anaforických konektorů

GeCzLex - Lexicon of Czech and German Anaphoric Connectives  - is a translation equivalent database of Czech and German discourse connectives, based on the data of annotated corpora and lexicons: Prague Discourse Treebank 2.0 and CzeDLex 0.6 (for Czech), DiMLex 2.0 (for German) and Intercorp 11 (a large resource of parallel Czech - German texts). Its current, first release is a pilot version representing one of the outcomes of a research project on anaphoricity in Czech and German connectives. Thus, it contains translation equivalents for a) connectives originally formed from a preposition and an anaphoric element (e.g. "darum" in German, "proto" in Czech) and b) Czech connectives with the ability to relate "remotely" to non-adjacent text segments.

GeCzLex je databáze překladových ekvivalentů českých a německých textových konektorů. Je založena na značkovaných datech několika elekronických jazykových zdrojů: pro češtinu je jeho základem Pražský diskurzní korpus 2.0 a slovník českých konektorů CzeDLex 0.6, pro němčinu podobný slovník DiMLex, pro oba jazyky pak česko-německá část paralelního korpusu Intercorp 11. Současné, první vydání je pilotní verzí a zároveň výstupem výzkumného projektu o anaforičnosti českých a německých konektorů. Databáze tedy nyní obsahuje překladové ekvivalenty pro a) konektory utvořené zpravidla spojením předložky a anaforického prvku (jako např. "darum" v němčině a "proto" v češtině) a b) české konektory, u nichž byla demonstrována schopnost vázat se na nesousední, vzdálené textové segmenty.

Kateřina Rysová
Lucie Poláková
Magdaléna Rysová
Jiří Mírovský


Idiap NMT System for WAT 2019 Multi-Modal Translation Task

Systém Idiap NMT pro multimodální překladovou úlohu WAT 2019

This paper describes the Idiap submission
to WAT 2019 for the English-Hindi MultiModal Translation Task. We have used
the state-of-the-art Transformer model and
utilized the IITB English-Hindi parallel corpus as an additional data source.
Among the different tracks of the multimodal task, we have participated in the
“Text-Only” track for the evaluation and
challenge test sets. Our submission tops in
its track among the competitors in terms
of both automatic and manual evaluation.
Based on automatic scores, our text-only
submission also outperforms systems that
consider visual information in the “multimodal translation” task.

Tento článek popisuje podání Idiap pro WAT 2019 pro anglicko-hindský vícemodální překladatelský úkol. Použili jsme nejmodernější model Transformeru a jako dodatečný zdroj dat jsme použili anglicko-hindský paralelní korpus IITB. Z různých skladeb multimodálního úkolu jsme se zúčastnili skladby „Text-Only“ pro hodnocení a
testovací sady. Naše podání je mezi konkurenty špičkové jak z hlediska automatického, tak manuálního hodnocení. Na základě automatických skóre předčí naše pouze textové podání i systémy, které v úkolu „multimodální překlad“ zohledňují vizuální informace.

Shantipriya Parida
Petr Motlíček
Ondřej Bojar


Hindi Visual Genome: A Dataset for Multimodal English-to-Hindi Machine Translation

Hindský vizuální genom: Datový soubor pro multimodální strojový překlad z angličtiny do hindštiny

Visual Genome is a dataset connecting
structured image information with English language. We present “Hindi Visual Genome”, a multi-modal dataset consisting of text and images suitable for English-Hindi multi-modal machine translation task and multi-modal research.
We have selected short English segments
(captions) from Visual Genome along with the associated images and automatically translated them to Hindi. A careful manual post-editing followed which took the associated images into account.

Visual Genome je dataset spojující strukturované obrazové informace s anglickým jazykem. Představujeme „Hindi Visual Genome“, multimodální datový soubor skládající se z textu a obrazů vhodný pro anglicko-hindský multimodální strojový překlad a multimodální výzkum.
Vybrali jsme krátké anglické segmenty (popisky) z Visual Genome spolu s přidruženými obrázky a automaticky je přeložili do hindštiny. Následovala pečlivá ruční kontrola, která vzala v úvahu související obrázky.

Shantipriya Parida
Ondřej Bojar
Satya Ranjan Dash


OdiEnCorp: Odia-English and Odia-Only Corpus for Machine Translation

OdiEnCorp: Urijsko-anglický a jednojazyčný urijský korpus pro strojový překlad

A multi-lingual country like India needs language corpora for
low resource languages not  only  to provide its citizens with technologies of natural language
processing (NLP) readily available in other countries, but also to support its people
in their education and cultural needs.

In this work, we focus on
one of the low resource languages, Odia, and
build an Odia-English parallel (OdiEnCorp) and an Odia monolingual (OdiMonoCorp) corpus.
The parallel corpus is based on
Odia-English parallel texts extracted from online resources and formally
corrected by
volunteers. We also preprocess the parallel corpus for machine translation
research or training. The
monolingual corpus comes from a diverse set of
online resources and we organize it into a collection of
segments and paragraphs, easy to handle by NLP tools.

OdiEnCorp parallel corpus contains 29346 sentence pairs and 756K English and 648K Odia
tokens. OdiMonoCorp contains 2.6 million tokens in  221K sentences in 71K
paragraphs.

Despite their small size, OdiEnCorp and OdiMonoCorp are still the largest Odia language resources, freely available for
non-commercial educational or research purposes.

Příspěvek popisuje sestavení dvou korpusů pro urijštinu (Oria): OdiEnCorp, paralelní korpus urijštiny a angličtiny, a OdiMonoCorp, jednojazyčný urijský korpus.


A Speech Test Set of Practice Business Presentations with Additional Relevant Texts

Řečový testset fiktivních firemních prezentací s dalšími relevantními materiály

We present a test corpus of audio recordings and transcriptions of presentations of students' enterprises together with their slides and web-pages. The corpus is intended for evaluation of automatic speech recognition (ASR) systems, especially in conditions where the prior availability of in-domain vocabulary and named entities is benefitable.
The corpus consists of 39 presentations in English, each up to  90 seconds long.
The speakers are high school students from European countries with English as their second language.
We benchmark three baseline ASR systems on the corpus and show their imperfection.

Předkládáme testovací korpus audionahrávek a přepisů prezentací studentských firem spolu s jejich slidy a webovými stránkami. Korpus je určen k evaluaci automatického rozpoznávání řeči, primárně za podmínek, ve kterých je využitelná předchozí dostupnost terminologie a pojmenovaných entit z dané oblasti.
Korpus se zkládá z 39 prezentací v angličtině, každá trvá až 90 sekund.
Řečníci jsou studenti středních škol z evropských zemí. Angličtina je jejich druhý jazyk.
Na korpusu testujeme tři základní modely pro automatické rozpoznávání řeči a ukazujeme jejich nedostatky.

Dominik Macháček
Jonáš Kratochvíl
Tereza Vojtěchová
Ondřej Bojar


From Balustrades to Pierre Vinken: Looking for Syntax in Transformer Self-Attentions

Od balustrů k Pierrovi Vinkenovi: Pátrání po syntaxi v sebepozornostech Transformeru

We inspect the multi-head self-attention in Transformer NMT encoders for three source languages, looking for patterns that could have a syntactic interpretation. In many of the attention heads, we frequently find sequences of consecutive states attending to the same position, which resemble syntactic phrases. We propose a transparent deterministic method of quantifying the amount of syntactic information present in the self-attentions, based on automatically building and evaluating phrase-structure trees from the phrase-like sequences. We compare the resulting trees to existing constituency treebanks, both manually and by computing precision and recall.

Zkoumáme vícehlavou sebepozornost v enkodérech Transformer NMT pro tři zdrojové jazyky a hledáme vzory, které by mohly mít syntaktickou interpretaci. V mnoha hlavách pozornosti často nalézáme sekvence po sobě jdoucích stavů, které sledují stejnou pozici, které se podobají syntaktickým frázím. Navrhujeme transparentní deterministickou metodu kvantifikace množství syntaktické informace přítomné v sebepozornosti, založenou na automatickém vytváření a vyhodnocování frázových stromů z frázovitých sekvencí. Výsledné stromy porovnáváme se stávajícími syntaktickými korpusy, a to jak ručně, tak pomocí výpočtu přesnosti a úplnosti.


LSD: Linguistic Structure Representation in Neural Networks

LSD: Reprezentace lingvistických struktur v neuronových sítích

Word embeddings and Deep neural networks perform great. They do not have any explicit knowledge of linguistic abstractions. How do they work? What emergent abstractions can we observe in them? How can we interpret them? Are the emergent structures and abstractions similar to classical linguistic structures and abstractions?

Slovní embedinky a hluboké neuronové sítě fungují skvěle. Nemají žádné explicitní znalosti jazykových abstrakcí. Jak fungují? Jaké emergentní abstrakce v nich můžeme pozorovat? Jak je můžeme interpretovat? Jsou emergentní struktury a abstrakce podobné klasickým lingvistickým strukturám a abstrakcím?

David Mareček
Jindřich Libovický
Rudolf Rosa
Tomáš Musil


English-Indonesian Neural Machine Translation for Spoken Language Domains

Anglicko-indonéský neuronový překlad pro doménu mluveného jazyka

In this  work, we conduct a study on Neural Machine Translation (NMT) for English-Indonesian (EN-ID) and Indonesian-English (ID-EN). We focus on spoken language domains, namely colloquial and speech languages. We build NMT systems using the Transformer model for both translation directions and implement domain adaptation, in which we train our pre-trained NMT systems on speech language (in-domain) data.  Moreover, we conduct an evaluation on how the domain-adaptation method in our EN-ID system can result in more formal translation out-puts.

V této práci provádíme studii soustřeďující se na neuronový překlad (NMT) pro angličtinu-indonéštinu (EN-ID) a indonéštinu-angličtinu (ID-EN). Zaměřujeme se na doménu mluveného jazyka, jmenovitě na hovorový jazyk. Budujeme systémy NMT pomocí modelu Transformer pro oba směry překladu a implementujeme adaptaci domény, kde předtrénované systémy NMT trénujeme na datech mluveného jazyka (v doméně). Dále provádíme hodnocení toho, jak může metoda doménové adaptace v našem systému EN-ID vést k formálnějším výsledkům překladů.


Semantic Noise Matters for Neural Natural Language Generation

Při neuronovém generování přirozeného jazyka záleží ná sémantickém šumu

Neural natural language generation (NNLG) systems are known for their pathological outputs, i.e. generating text which is unrelated to the input specification. In this paper, we show the impact of semantic noise on state-of-the-art NNLG models which implement different semantic control mechanisms. We find that cleaned data can improve semantic correctness by up to 97%, while maintaining fluency. We also find that the most common error is omitting information, rather than hallucination.

Neuronové systémy generování přirozeného jazyka jsou známy svými patologickými výstupy, tj. generováním textu, který nesouvisí se specifikovaným vstupem. V tomto článku ukazujeme vliv sémantického šumu na současné nejlepší neuronové generátory, které implementují různé mechanismy sémantické kontroly. Zjistili jsme, že vyčištění trénovacích dat může zlepšit sémantickou přesnost až o 97% při zachování plynnosti výstupů. Dále jsme zjistili, že nejčastějším typem chyby je vynechání informace, ne přidaná halucinovaná informace.

Ondřej Dušek
David M. Howcroft
Verena Rieser


Automatic Quality Estimation for Natural Language Generation: Ranting (Jointly Rating and Ranking)

Automatický odhad kvality pro generování přirozeného jazyka: spojené absolutní a relativní hodnocení

We present a recurrent neural network based system for automatic quality estimation of natural language generation (NLG) outputs, which jointly learns to assign numerical ratings to individual outputs and to provide pairwise rankings of two different outputs. The latter is trained using pairwise hinge loss over scores from two copies of the rating network.
We use learning to rank and synthetic data to improve the quality of ratings assigned by our system: we synthesise training pairs of distorted system outputs and train the system to rank the less distorted one higher. This leads to a 12% increase in correlation with human ratings over the previous benchmark. We also establish the state of the art on the dataset of relative rankings from the E2E NLG Challenge (Dušek et al., 2019), where synthetic data lead to a 4% accuracy increase over the base model.

Představujeme systém pro automatický odhad kvality výstupů generování přirozeného jazyka založený na rekurentních neuronových sítích, který se učí zároveň přiřazovat numerická absolutní hodnocení jednotlivým výstupům a dodávat relativní hodnocení pro páry různých výstupů. Druhá úloha se trénuje pomocí párové hinge chyby nad skóre ze dvou kopií sítě pro absolutní hodnocení.
Pro zlepšení kvality absolutního hodnocení používáme i učení relativního hodnocení a syntetická trénovací data: syntetizujeme trénovací páry zašuměných výstupů generátorů a učíme systém preferovat ten méně zašuměný. Toto vedlo ke 12% zvýšení korelace s lidským hodnocením proti předchozí nejlepší dosažené hodnotě. Navíc ukazujeme první výsledky na datové sadě relativních hodnocení z E2E NLG Challenge (Dušek et al., 2019), kde syntetická data přinesla 4% zlepšení přesnosti oproti základnímu modelu.

Ondřej Dušek
Karin Sevegnani
Ioannis Konstas
Verena Rieser


Neural Generation for Czech: Data and Baselines

Neuronové generování češtiny: data a základní modely

We present the first dataset targeted at end-to-end NLG in Czech in the restaurant domain, along with several strong baseline models using the sequence-to-sequence approach. While non-English NLG is under-explored in general, Czech, as a morphologically rich language, makes the task even harder: Since Czech requires inflecting named entities, delexicalization or copy mechanisms do not work out-of-the-box and lexicalizing the generated outputs is non-trivial.

In our experiments, we present two different approaches to this problem: (1) using a neural language model to select the correct inflected form while lexicalizing, (2) a two-step generation setup: our sequence-to-sequence model generates an interleaved sequence of lemmas and morphological tags, which are then inflected by a morphological generator.

Prezentujeme první datovou sadu zaměřenou na end-to-end generování jazyka v češtině v doméně restaurací, společně s několika silnými základními modely postavenými na architektuře sequence-to-sequence. Neanglické generování jazyka je obecně málo probádaný problém a čeština jakožto morfologicky bohatý jazyk představuje ještě těžší úkol: protože v češtině je třeba skloňovat jmenné entity, delexikalizace nebo jednoduché kopírovací mechanismy nefungují samy o sobě a lexikalizace výstupů generátoru je netriviální.

V našich experimentech představujeme dva různé přístupy k tomuto problému: (1) použití jazykového modelu pro výběr správné vyskloňované formy během lexikalizace, (2) dvoufázové generování: náš model sequence-to-sequence vygeneruje prokládanou sekvenci lemmat a morfologických značek, která je posléze zpracována morfologickým generátorem.


Findings of the 2019 Conference on Machine Translation (WMT19)

Výsledky konference o strojovém překladu 2019 (WMT19)

This paper presents the results of the premier
shared task organized alongside the Conference on Machine Translation (WMT) 2019.
Participants were asked to build machine
translation systems for any of 18 language
pairs, to be evaluated on a test set of news
stories. The main metric for this task is human judgment of translation quality. The task
was also opened up to additional test suites to
probe specific aspects of translation.

Tento dokument představuje výsledky premiérově sdíleného úkolu organizovaného společně s Konferencí o strojovém překladu (WMT) 2019.
Účastníci byli požádáni, aby sestavili systémy strojového překladu pro kterýkoli z 18 jazykových párů, které budou vyhodnoceny na základě testovací sady novinek. Hlavním metrem pro tento úkol je lidský úsudek o kvalitě překladu. Úkol byl také otevřen pro další testovací sady, které zkoumají specifické aspekty překladu.

Loïc Barrault
Ondřej Bojar
Marta R. Costa-Jussà
Christian Federmann
Mark Fishel
Yvette Graham
Barry Haddow
Matthias Huck
Philipp Koehn
Shervin Malmasi
Christof Monz
Mathias Müller
Santanu Pal
Matt Post
Marcos Zampieri


On the Temporality of Adaptive Built Environments

K časovosti přizpůsobivých vybudovaných prostředí

Recognizing the relation between inhabitants and their built environments as a feedback loop, our aim is to capture the temporality of this loop in various scenarios of adaptation. We specifically focus on the emerging types of adaptation that are motivated by digitally acquired personal data, leading to either automation or action taken by the building stakeholders. Between the microscopic daily mutations (e.g. automated adaptation to occupants’ presence or activity) and the macroscopic evolution of built environments, we identify a “mesoscopic” scale and argue for broadening its consideration in the research domain of adaptive built environments. In mesoscopic adaptations, inhabitants’ data undergo a process of thorough analysis and scrutiny, the results of which inform the re-envisioning of building design for its next cycles over the course of months-years. This contribution distinguishes and elaborates on four temporal scales of adaptation (minutes-hours, days-weeks, months-years, decades-centuries) and then exemplifies the meso-scale with a study conducted over three years within a living lab context. Through this example, we also aim to demonstrate the opportunity for living lab methodologies to contribute to the research on adaptive built environments at the mesoscopic scale.

V této kapitole chápeme vztah mezi budovaným prostředím a jeho obyvateli jako zpětnou vazbu a naším cílem je zachytit temporalitu této vazby v různých formách adaptace. Zaměřujeme se zejména na nově vznikající formy přizpůsobení, které jsou založeny na digitálně pořízených osobních datech, což vede k automatizaci či k různým opatřením ze strany stavebních subjektů.

Hamed Alavi
Himanshu Verma
Jakub Mlynář
Denis Lalanne


Results of the WMT19 Metrics Shared Task: Segment-Level and Strong MT Systems Pose Big Challenges

Výsledky sdíleného úkolu WMT19 Metrics: Segmentové a silné systémy MT představují velké výzvy

This paper presents the results of the
WMT19 Metrics Shared Task. Participants were asked to score the outputs of the translations systems competing in the WMT19 News Translation
Task with automatic metrics. 13 research
groups submitted 24 metrics, 10 of which
are reference-less “metrics” and constitute
submissions to the joint task with WMT19
Quality Estimation Task, “QE as a Metric”. In addition, we computed 11 baseline
metrics, with 8 commonly applied baselines (BLEU, SentBLEU, NIST, WER,
PER, TER, CDER, and chrF) and 3 reimplementations (chrF+, sacreBLEU-BLEU,
and sacreBLEU-chrF). Metrics were evaluated on the system level, how well a given
metric correlates with the WMT19 official manual ranking, and segment level,
how well the metric correlates with human
judgements of segment quality. This year,
we use direct assessment (DA) as our only
form of manual evaluation.

Tento dokument představuje výsledky sdíleného úkolu WMT19 Metrics. Účastníci byli požádáni, aby pomocí automatických metrik ohodnotili výstupy překladatelských systémů soutěžících v WMT19 News Translation Task. 13 výzkumných skupin předložilo 24 metrik, z nichž 10 jsou „metriky“ bez odkazů a představují podání ke společnému úkolu s WMT19 Quality Estimation Task, „QE as a Metric“. Navíc jsme vypočítali 11 základních
metriky, s 8 běžně používanými výchozími hodnotami (BLEU, SentBLEU, NIST, WER, PER, TER, CDER a chrF) a 3 reimplementy (chrF+, sacreBLEU-BLEU a sacreBLEU-chrF). Metriky byly hodnoceny na systémové úrovni, jak dobře daná metrika koreluje s oficiálním manuálním řazením WMT19 a na úrovni segmentu, jak dobře metrika koreluje s lidskými úsudky o kvalitě segmentu. Letos používáme přímé hodnocení (DA) jako jedinou formu manuálního hodnocení.

Qingsong Ma
Johnny Tian-Zheng Wei
Ondřej Bojar
Yvette Graham


A Comprehensive Account of Reflexives in Czech: The Valency Perspective

Reflexiva v češtině z valenčního hlediska

In this contribution, a comprehensive theoretical account of the reflexives in Czech elaborated within the Functional Generative Description, with the main emphasis put on the role of the reflexives in valency behavior of Czech verbs, has been provided.

V příspěvku byla diskutována role reflexiv v popisu češtiny a představena zejména ta reflexiva, která jsou součástí lemmatu slovesa.


Reflexives in Czech from a Dependency Perspective

Reflexiva v češtině ze závislostního hlediska

In the paper, Czech reflexives and their description in the dependency-oriented theory,
Functional Generative Description, are addressed. The primary focus lies in the reflexives
that form analogous syntactic structures as personal pronouns.

V příspěvku se diskutují reflexiva v češtině, která tvoří konstrukce obdobné jako osobní zájmena, a jejich popis v rámci Funkčního generativního popisu.


The role of the reflexives in valency: Evidence from Czech

Reflexives in Czech are highly ambiguous. In this contribution, changes in valency of derived reflexive verbs have been discussed.

Reflexiva v češtině plní nerůznější funkce. V tomto příspěvku jsme se zaměřily na změny ve valenci derivovaných reflexivních sloves.


Towards Reciprocal Deverbal Nouns in Czech: From Reciprocal Verbs to Reciprocal Nouns

K recipročním deverbálním jménův v češtině: Od reciprocčních sloves k recipročním jménům

Reciprocal verbs are widely debated in the current linguistics. However, other parts of speech can be characterized by reciprocity as well – in
contrast to verbs, their analysis is underdeveloped so far. In this paper, we make
an attempt to fill this gap, applying results of the description of Czech
reciprocal verbs to nouns derived from these verbs. We show that many aspects
characteristic of reciprocal verbs hold for reciprocal nouns as well.

Zatímco reciproční slovesa jsou v současné jazykovědě často diskutována, popis reciprocity dalších slovních druhů je teprve na počátku. V tomto příspěvku využíváme poznatky o reciprocitě sloves k popisu jejich deverbálních protějšků. Ukazujeme, že mnoho rysů recipročních konstrukcí sloves reciproční struktury deverbálních jmen sdílejí.


MRP 2019: Cross-Framework Meaning Representation Parsing

MRP 2019: Sdílený rámec pro Meaning Representation Parsing

The 2019 Shared Task at the Conference for Computational Language Learning (CoNLL) was devoted to Meaning Representation Parsing (MRP) across frameworks. Five distinct approaches to the representation of sentence meaning in the form of directed graph were represented in the training and evaluation data for the task, packaged in a uniform abstract graph representation and serialization. The task received submissions from eighteen teams, of which five do not participate in the official ranking because they arrived after the closing deadline, made use of additional training data, or involved one of the task co-organizers. All technical information regarding the task, including system submissions, official results, and links to supporting resources and software are available from the task web site at: http://mrp.nlpl.eu.

Soutěžní úkol pro rok 2019 na konferenci Computational Language Learning (CoNLL) byl věnován sémantickému parsingu (Meaning Representation Parsing, MRP) napříč různými přístupy. Soutěž zahrnuje pět formálně a lingvisticky rozdílných přístupů k reprezentaci významu (DM, PSD, EDS, UCCA a AMR). Do soutěže se přihlásilo osmnáct týmů, z nichž pět se neúčastnilo oficiálního hodnocení, protože jejich výsledky dorazily až po uzávěrce, nebo tým využil dodatečných trénovacích dat, popřípadě byl jeden ze spoluorganizátorů soutěže mezi zástupci týmu. Veškeré technické informace týkající se soutěže jsou k dispozici na webových stránkách úkolu: http://mrp.nlpl.eu.

Stephan Oepen
Omri Abend
Jan Hajič
Daniel Hershcovich
Marco Kuhlmann
Nianwen Xue
Jayeol Chun
Milan Straka
Zdeňka Urešová
Tim O'Gorman


Neural Architectures for Nested NER through Linearization

Neuronové architektury pro rozpoznávání vnořených pojmenovaných entit pomocí linearizace

We propose two neural network architectures for nested named entity recognition (NER), a setting in which named entities may overlap and also be labeled with more than one label. We encode the nested labels using a linearized scheme. In our first proposed approach, the nested labels are modeled as multilabels corresponding to the Cartesian product of the nested labels in a standard LSTM-CRF architecture. In the second one, the nested NER is viewed as a sequence-to-sequence problem, in which the input sequence consists of the tokens and output sequence of the labels, using hard attention on the word whose label is being predicted. The proposed methods outperform
the nested NER state of the art on four corpora: ACE-2004, ACE-2005, GENIA and Czech CNEC. We also enrich our architectures with the recently published contextual embeddings: ELMo, BERT and Flair, reaching further improvements for the four nested entity corpora. In addition, we report flat NER state-of-the-art results for CoNLL-2002 Dutch and Spanish and for CoNLL-2003 English.

V příspěvku navrhujeme dvě neuronové architektury pro rozpoznávání vnořených pojmenovaných entit, což je úloha, ve které se pojmenované entity mohou překrývat a také být označeny více než jednou značkou. Vnořené značky zakódováváme pomocí linearizovaného schématu. V prvním navrženém přístupu jsou vnořené značky modelovány jako multiznačky náležející kartézkému součinu vnořených značek ve standardní LSTM-CRF architektuře. V druhém navrženém přístupu přistupujeme k úloze rozpoznávání vnořených pojmenovaných entit jako k sequence-to-sequence problému, ve kterém vstupní sekvence sestává z tokenů a výstupní sekvence ze značek, přičemž používáme vynucený mechanismus attention na slově, které právě značkujeme. Navržené metody překonávají současný stav poznání v úloze rozpoznávání vnořených pojmenovaných entit na čtyřech korpusech: ACE-2004, ACE-2005, GENIA a českém CNEC. Naše architektury jsme dále obohatili nedávno publikovanými kontextovými embeddingy: ELMo, BERT a Flair, čímž jsme dosáhli dalšího zlepšení na všech čtyřech korpusech. Navíc publikujeme nejlepší známé výsledky v ropoznávání pojmenovaných entit na korpusech CoNLL-2002 v nizozemštině a španělštině a korpusu CoNLL-2003 v angličtině.


Deep learning in automatic analysis of the czech text

Hluboké učení v automatické analýze českého textu

The deep learning methods of artificial neural networks have seen a significant uptake in recent years, and have succeeded in overcoming and advancing the success of auto-solving tasks in many fields. The field of computational linguistics and its application offshoot, natural language processing with classic tasks such as morphological tagging, dependency analysis, named entity recognition and machine translation are not exceptions. This post provides an overview of recent advances in these tasks related to the Czech language and presents completely new results in the areas of morphological marking and recognition of named entities in Czech, along with detailed error analysis.

Metody hlubokého učení (deep learning) umělých neuronových sítí zaznamenaly v posledních letech výrazný nástup a jejich pomocí se podařilo překonat a posunout úspěšnost automaticky řešených úloh v mnoha oborech. Výjimkou není ani oblast počítačové (či komputační) lingvistiky (Computational Linguistics) a její aplikační odnož, zpracování přirozeného jazyka (Natural Language Processing) s klasickými úlohami, jako jsou morfologické značkování (POS tagging), závislostní analýza (dependency parsing), rozpoznávání pojmenovaných entit (named entity recognition) a strojový překlad (machine translation). Tento příspěvek přináší přehled nedávných pokroků v uvedených úlohách se vztahem k českému jazyku a představuje zcela nové výsledky v oblastech morfologického značkování a rozpoznávání pojmenovaných entit v češtině, spolu s detailní chybovou analýzou.

Jana Straková
Milan Straka
Jan Hajič
Martin Popel


Exploring Benefits of Transfer Learning in Neural Machine Translation

Zkoumání výhod přenosu znalostí v neuronovém strojovém překladu

Neural machine translation is known to require large numbers of parallel training sentences, which generally prevent it from excelling on low-resource language pairs. This thesis explores the use of cross-lingual transfer learning on
neural networks as a way of solving the problem with the lack of resources. We
propose several transfer learning approaches to reuse a model pretrained on a
high-resource language pair. We pay particular attention to the simplicity of
the techniques. We study two scenarios: (a) when we reuse the high-resource
model without any prior modifications to its training process and (b) when we
can prepare the first-stage high-resource model for transfer learning in advance.
For the former scenario, we present a proof-of-concept method by reusing a
model trained by other researchers. In the latter scenario, we present a method
which reaches even larger improvements in translation performance. Apart
from proposed techniques, we focus on an in-depth analysis of transfer learning
techniques and try to shed some light on transfer learning improvements. We
show how our techniques address specific problems of low-resource languages
and are suitable even in high-resource transfer learning. We evaluate the potential drawbacks and behavior by studying transfer learning in various situations,
for example, under artificially damaged training corpora, or with fixed various
model parts.

Je známo, že neuronový strojový překlad vyžaduje velké množství paralelních
trénovacích vět, které obecně brání tomu, aby vynikal na párech jazyků s nedostatečným množstvím zdrojů. Tato práe se zabývá využitím translingválního
učení na neuronových sítích jako způsobu řešení problému nedostatku zdrojů.
Navrhujeme několik přístupů k transferu znalostí za účelem opětovného využití
modelu předtrénovaného na jiné jazykové dvojici s velkým množstvím zdrojů.
Zvláštní pozornost věnujeme jednoduchosti technik. Studujeme dva scénáře:
a) když používáme předtrénovaný model bez jakýchkoli předchozích úprav
jeho trénovacího procesu a b) když můžeme předem připravit prvostupňový
model pro transfer znalostí pro potřeby dítěte. Pro první scénář představujeme
metodu opětovného využití modelu předtrénovaného jinými výzkumníky. V
druhém případě předkládáme metodu, která dosáhne ještě většího zlepšení.
Kromě navrhovaných technik se zaměřujeme na hloubkovou analýzu technik
transferu znalostí a snažíme se vnést trochu světla do pochopení transferového
učení. Ukazujeme, jak naše techniky řeší specifické problémy jazyků s málo
daty a že jsou vhodné i pro jazykové páry s velkým množstvím dat. Potenciální nevýhody a chování hodnotíme studiem transferového učení v různých
situacích, například pod uměle poškozeným trénovacím korpusem, nebo se
zafixovanými částmi modelu.


MTM19 Tutorial: Transfer Learning for Low-Resource Languages

MTM19 Tutorial: Přenos znalostí pro jazyky s málo daty

This tutorial will show you how to use the Tensor2Tensor and how to apply Transfer Learning to low-resource languages. It should be easy to follow for everyone, even people that never trained Machine Translation models.

V tomto tutoriálu se naučíte používat tensor2tensor a jak aplikovat přenos znalostí na nízko-zdrojové jazykové páry. Tutorial je vhodný i pro účastníky, kteří nemají zkušenosti s trénováním neuronových MT modelů.


CUNI Submission for Low-Resource Languages in WMT News 2019

CUNI systém pro jazyky s málo daty na WMT News 2019

This paper describes the CUNI submission
to the WMT 2019 News Translation Shared
Task for the low-resource languages: GujaratiEnglish and Kazakh-English. We participated
in both language pairs in both translation directions. Our system combines transfer learning from a different high-resource language
pair followed by training on backtranslated
monolingual data. Thanks to the simultaneous training in both directions, we can iterate
the backtranslation process. We are using the
Transformer model in a constrained submission.

Tento článek popisuje systém CUNI do News WMT 2019 pro jazyky s nedostatečnými zdroji: Gujarati-Angličtina  a Kazakština-Angličtina. Zúčastnili jsme se na obou jazykových párech v obou směrech překladu. Náš systém kombinuje přenos znalostí z jiného dvojice jazyků s vysokým množstvím paralelních dat, po kterém následuje trénování na zpětně přeložených jednojazyčných dat. Díky simultánnímu tréninku v obou směrech můžeme iterovat proces zpětného překladu. Používáme Transformer model v constrained podmínkách.


Working together towards an ideal infrastructure for language learner corpora

Společná práce na vytvoření ideální infrastruktury pro jazykové korpusy

In this article we provide an overview of first-hand experiences and vantage points for best practices from projects in seven European countries dedicated to learner corpus research (LCR) and the creation of language learner corpora. The corpora and tools involved in LCR are becoming more and more important, as are careful preparation and easy retrieval and reusability of corpora and tools. But the lack of commonly agreed solutions for many aspects of LCR, interoperability between learner corpora and the exchange of data from different learner corpus projects remains a challenge. We show how concepts like metadata, anonymization, error taxonomies and linguistic annotations as well as tools, toolchains and data formats can be individually challenging and how the challenges can be solved.

V tomto článku poskytujeme přehled zkušeností z první ruky a výhodných bodů pro osvědčené postupy z projektů v sedmi evropských zemích věnovaných výzkumu korpusu studentů (LCR) a vytváření korpusů studentů jazyků. Korpusy a nástroje zapojené do LCR jsou stále důležitější, stejně jako pečlivá příprava a snadné vyhledávání a opětovné použití korpusů a nástrojů. Nedostatek společně dohodnutých řešení pro mnoho aspektů LCR, interoperabilita mezi korpusy studentů a výměna dat z různých korpusových projektů studentů však zůstává výzvou. Ukážeme, jak mohou být koncepty jako metadata, anonymizace, taxonomie chyb a jazykové anotace, jakož i nástroje, řetězce nástrojů a datové formáty individuálně náročné a jak lze výzvy řešit.

Maarten Janssen
Adriane Boyd
Alexandr Rosen
Elena Volodina
Egon Stemle
Nives Mikelić


AGRR 2019: Corpus for Gapping Resolution in Russian

AGRR 2019: Korpus pro řešení mezera v ruštině

This paper provides a comprehensive overview of the gapping dataset for Russian that consists of 7.5k sentences with gapping (as well as 15k relevant negative sentences) and comprises data from various genres: news, fiction, social media and technical texts. The dataset was prepared for the Automatic Gapping Resolution Shared Task for Russian (AGRR-2019) - a competition aimed at stimulating the development of NLP tools and methods for processing of ellipsis. In this paper, we pay special attention to the gapping resolution methods that were introduced within the shared task as well as an alternative test set that illustrates that our corpus is a diverse and representative subset of Russian language gapping sufficient for effective utilization of machine learning techniques.

Tento dokument poskytuje komplexní přehled datového souboru mezery pro ruštinu, který se skládá z 7,5k vět s mezerou (stejně jako 15k relevantních negativních vět) a obsahuje údaje z různých žánrů: zprávy, beletrie, sociální média a technické texty. Dataset byl připraven pro automatický sdílený úkol pro řešení rozdílů ruských dat (AGRR-2019) - soutěž zaměřená na stimulaci vývoje nástrojů a metod NLP pro zpracování elipsy. V tomto článku věnujeme zvláštní pozornost metodám rozlišování mezer, které byly zavedeny v rámci sdíleného úkolu, a také alternativní testovací sadě, která ukazuje, že náš korpus je různorodá a reprezentativní podmnožina mezery ruského jazyka dostatečná pro efektivní využití technik strojového učení. .

Maria Ponomareva
Kira Droganova
Ivan Smurov
Tatiana Shavrina


ÚFAL–Oslo at MRP 2019: Garage Sale Semantic Parsing

ÚFAL–Oslo v MRP 2019: Sémantická analýza ve stylu garage sale

This paper describes the “ÚFAL–Oslo” system submission to the shared task on Cross-Framework Meaning Representation Parsing (MRP, Oepen et al. 2019). The submission is based on several third-party parsers. Within the official shared task results, the submission ranked 12th out of 14 participating systems.

Tento článek popisuje účastnický systém „ÚFAL–Oslo“ v soutěži Cross-Framework Meaning Representation Parsing (MRP, Oepen et al. 2019). Systém je postaven na několika existujících parserech třetích stran. V rámci oficiálních výsledků soutěže se umístil na 12. místě z celkem 14 účastníků.

Kira Droganova
Andrey Kutuzov
Nikita Mediankin
Daniel Zeman


Směřování k hlubokým univerzálním závislostem

Many linguistic theories and annotation frameworks contain a deep-syntactic and/or semantic layer. While many of these frameworks have been applied to more than one language, none of them is anywhere near the number of languages that are covered in Universal Dependencies (UD). In this paper, we present a prototype of Deep Universal Dependencies, a two-speed concept where minimal deep annotation can be derived automatically from surface UD trees, while richer annotation can be added for datasets where appropriate resources are available. We release the Deep UD data in Lindat.

Mnohé lingvistické teorie a anotační schémata obsahují hloubkově-syntaktickou a/nebo sémantickou vrstvu. Ačkoli řada z nich byla aplikována na více než jeden jazyk, žádná se nepřibližuje množství jazyků, které jsou pokryty univerzálními závislostmi (Universal Dependencies, UD). V tomto článku představujeme prototyp hloubkových univerzálních závislostí (Deep Universal Dependencies): dvourychlostního konceptu, ve kterém určitá minimální hloubková anotace je automaticky odvozena z povrchových stromů UD, zatímco bohatší anotaci je možné přidat ručně u korpusů, kde jsou k dispozici potřebné zdroje. Data Deep UD zpřístupňujeme v repozitáři Lindat.


75 Languages, 1 Model: Parsing Universal Dependencies Universally

75 jazyků, 1 model: Závislostní analýza Universal Dependencies univerzálně

We present UDify, a multilingual multi-task model capable of accurately predicting universal part-of-speech, morphological features, lemmas, and dependency trees simultaneously for all 124 Universal Dependencies treebanks across 75 languages. By leveraging a multilingual BERT self-attention model pretrained on 104 languages, we found that fine-tuning it on all datasets concatenated together with simple softmax classifiers for each UD task can result in state-of-the-art UPOS, UFeats, Lemmas, UAS, and LAS scores, without requiring any recurrent or language-specific components. We evaluate UDify for multilingual learning, showing that low-resource languages benefit the most from cross-linguistic annotations. We also evaluate for zero-shot learning, with results suggesting that multilingual training provides strong UD predictions even for languages that neither UDify nor BERT have ever been trained on. Code for UDify is available at https://github.com/hyperparticle/udify.

Představujeme UDify, vícejazyčný víceúlohový model schopný přesně předpovědět univerzální slovní druhy, morfologické rysy, lemmata a závislostní stromy současně pro všech 124 treebanků Universal Dependencies napříč 75 jazyky. Využitím vícejazyčného modelu BERT předcvičeného na 104 jazycích jsme zjistili, že jeho dotrénování na všech zřetězených treebancích spolu s jednoduchými softmax klasifikátory pro každý úkol UD ústí v nejlepší známé výsledky pro UPOS, UFeats, lemmatizaci, UAS a LAS metriky, aniž by vyžadovalo jakékoli rekurentní nebo jazykově specifické komponenty. Hodnocení UDify ukazuje, že vícejazyčné učení nejvíce prospívá jazykům s málo daty. Vícejazykové trénovaní poskytuje kvalitní předpovědi i pro jazyky, které nebyly zastoupeny v trénovacích datech, naznačují, že i pro ně posky vícejazyčné školen. Zdrojový kód UDify je dostupný na https://github.com/hyperparticle/udify.


Replacing Linguists with Dummies: A Serious Need for Trivial Baselinesin Multi-Task Neural Machine Translation

Nahrazení lingvistů za dummy: Závažná potřeba triviálního překladu neuronového stroje s více úlohami Baselinesin

Recent developments in machine translation experiment with the idea that a model can
improve the translation quality by performing multiple tasks, e.g., translating from source to
target and also labeling each source word with syntactic information. The intuition is that the
network would generalize knowledge over the multiple tasks, improving the translation performance, especially in low resource conditions. We devised an experiment that casts doubt on
this intuition. We perform similar experiments in both multi-decoder and interleaving setups
that label each target word either with a syntactic tag or a completely random tag. Surprisingly, we show that the model performs nearly as well on uncorrelated random tags as on true
syntactic tags. We hint some possible explanations of this behavior.
The main message from our article is that experimental results with deep neural networks
should always be complemented with trivial baselines to document that the observed gain is
not due to some unrelated properties of the system or training effects. True confidence in where
the gains come from will probably remain problematic anyway.

Nedávný vývoj v oblasti strojového překladu experimentuje s myšlenkou, že model může zlepšit kvalitu překladu provedením více úloh, např. překládáním ze zdroje na cíl a také označováním každého zdrojového slova syntaktickými informacemi. Intuice je taková, že síť by zobecňovala znalosti na více úloh a zlepšila tak výkon překladu, zejména v podmínkách nízkých zdrojů. Vymysleli jsme experiment, který tuto intuici zpochybňuje. Podobné experimenty provádíme jak v multidekodérech, tak v prokládacích sestavách, které označují každé cílové slovo buď syntaktickou značkou, nebo úplně náhodnou značkou. Překvapivě ukazujeme, že model si vede skoro stejně dobře na nekorespondovaných náhodných značkách jako na skutečných syntaktických značkách. Naznačujeme některá možná vysvětlení tohoto chování. Hlavním poselstvím našeho článku je, že experimentální výsledky s hlubokými neuronovými sítěmi by měly být vždy doplněny triviálními výchozími hodnotami dokumentujícími, že pozorovaný přírůstek je
ne kvůli některým nesouvisejícím vlastnostem systému nebo tréninkovým efektům. Skutečná důvěra v to, odkud zisky pocházejí, bude pravděpodobně i nadále problematická.

Daniel Kondratyuk
Ronald Cardenas
Ondřej Bojar


NovaMorf: the end of a long period of convergence and divergence in the processing of Czech morphology

NovaMorf: konec dlouhého období konvergencí a divergencí ve zpracování české morfologie

In this text, we want to outline the coincidences and differences of the two tagsets used for automatic morphological analysis of Czech. We will show how much the originally unintentional and time-sustained double-knee of the so-called Prague and so-called Brno systems can be overcome in the foreseeable future under the NovaMorf project. We will look at the relationships between the branding of morphological categories and values in the NovaMorf proposal compared to the two older systems. We base our assessment of the Brno system on an article by the Czech Morphological Tagset Revisited. (Jakubíček, Kovář, Šmerk, 2011). We base our knowledge of the Prague system on a description of Prague's position tagset (see http://ufal.mff.cuni.cz/pdt/Morphology_and_Tagging/Doc/hmptagqr.html) and on a monograph by Jan Hajic (Hajic, 1994, 2004). Our goal will be to show how the experience of using both systems has resulted in an effort to inspire positives and avoid failed solutions on both sides (Srv. Osolsoba et al., 2017). For a mutual conversion of the marks of the Prague system to the Brno system, see Pořízka, Schäfer, 2009.

V tomto textu chceme nastínit shody a rozdíly dvou tagsetů užívaných k automatické morfologické analýze češtiny. Ukážeme, nakolik původně nezáměrná a časem udržovaná dvojkolenost tzv. pražského a tzv. brněnského systému může býti v dohledné době překonána v rámci projektu NovaMorf.  Budeme se zabývat vztahy mezi značkováním morfologických kategorií a hodnot v návrhu NovaMorf v porovnání s oběma staršími systémy. Při posuzování brněnského systému vycházíme z článku Czech Morphological Tagset Revisited. (Jakubíček, Kovář, Šmerk, 2011). Poznatky o pražském systému zakládáme na popisu pražského pozičního tagsetu (viz http://ufal.mff.cuni.cz/pdt/Morphology_and_Tagging/Doc/hmptagqr.html) a na monografii Jana Hajiče (Hajič, 1994, 2004). Naším cílem bude ukázat, kterak zkušenosti s užíváním obou systémů vyústily ve snahu inspirovat se pozitivy a vyhnout se neúspěšným řešením na obou stranách (srv. Osolsobě et al., 2017). Ke vzájemné konverzi značek dosavadního pražského systému na brněnský viz Pořízka, Schäfer, 2009.


Double touch: A single case analysis of embodied action in classroom interaction

Dvojitý dotek: Analýza tělesného jednání během interakce ve třídě

I will discuss a practice observed in a corpus of video-recordings of a classroom setting. Students worked with on-line materials in groups of 2-3 persons with one computer, filling a paper sheet with questions. Participants often pointed to the computer screen in order to topicalize relevant aspects of displayed texts, video clips, images etc. At times, more persons were concurrently pointing to the displayed objects. In one of such instances, one participant (P1) gently touched the pointing hand of her colleague (P2) – see Figure above. Inciting no observable reaction, after 2.5 seconds, the touch occurred again. Only after this second touch, P2 terminates the pointing and withdraws her hand from the screen.
This interactional sequence is analysed as a single case that highlights the ethnomethodological relevance of “the phenomenon of repetition”. In lived reality of the videotaped situation, it is only because of the first touch (T1), that the second touch (T2) gains its significance as a “repeated action”. In contrast to repeated utterances, which are usually accountable in CA as repair or registering, the double touch is a course of action that is itself constituted by the two “separate” touches (T1 + T2) rather than being a single action that is just repeated twice.
It seems that some acts must be multiplied in order to become meaningfully produced actions (e.g., knocking on the office door, or tapping someone’s shoulder), distinguished from mere accidents (e.g., a single touch of someone’s shoulder, or a single bump into the door). The topic of repeated “hand touching hand” also illustrates pertinent methodological issues in EM/CA research, such as the transcription of touch. Considering that T1 constitutes the phenomenal field of T2, I argue for the importance of profoundly ethnomethodological approach to studies of human interaction.

Příspěvek se zabývá praktikou pozorovanou v souboru videozáznamů z prostředí školní třídy. Studenti pracovali s on-line materiály ve skupinách po 2-3 osobách s jedním počítačem a vyplňovali papírový list s otázkami. Účastníci často ukazovali na obrazovku počítače, aby zdůraznili aspekty zobrazených textů, videoklipů, obrázků atd. V některých okamžicích ukazovalo na zobrazené objekty současně více osob. V jednom z takových případů se jedna účastsnice (P1) jemně dotkla natažené ruky své kolegyně (P2). Dotek nevyvolal žádnou pozorovatelnou reakci a po 2,5 sekundách se opakoval. Teprve po tomto druhém dotyku P2 ukončí ukazování a stáhne ruku z obrazovky.
Tato posloupnost interakcí je analyzována jako jediný případ, který zdůrazňuje etnometodologický význam „fenoménu opakování“. V žité realitě natočené situace pouze díky prvnímu dotyku (T1) získává druhý dotyk (T2) svůj význam jako „opakovaná akce“. Dvojitý dotyk je činností, jež je sama tvořena dvěma „samostatnými“ dotyky (T1 + T2) a není jen jedním úkonem, který se jen dvakrát opakuje.
Zdá se, že některé praktiky je třeba znásobit, aby se z nich staly smysluplně vytvořené aktivity (např. klepání na dveře kanceláře nebo klepání na něčí rameno), odlišené od pouhých nehod (např. jediný dotek něčího ramene nebo jediný náraz do dveří).


Sociological aspects of oral history in the digital age

Sociologické aspekty orální historie v digitálním věku

The lecture Sociological Aspects of Oral History in the Digital Age is going to provide theoretical foundations for the follow-up workshop focused on one of the largest digital archives of oral history: the USC Shoah Foundation’s Visual History Archive. This digital database consists of more than 54,500 audio-visual recordings of oral history interviews. The majority of the interviews were collected between 1994 and 2000, mainly in the USA and Europe. Most of the interviews (nearly 50%) are in English, but more than 35 other languages are also represented in the Visual History Archive. Over 150 interviews from the Archive are related to Luxembourg. During the workshop, combining theory and praxis, we will focus on secondary analysis of archival interviews, discussion of their role in contemporary society, as well as interpretive issues in secondary use of archived oral history. In the introductory lecture, we will consider oral history more generally as a social phenomenon, and archived oral history interviews as social semiotic objects.

Přednáška poskytne teoretické základy pro navazující workshop zaměřený na jeden z největších digitálních archivů ústní historie: Archiv vizuální historie USC Shoah Foundation. Tato digitální databáze se skládá z více než 54 500 audiovizuálních záznamů orálněhistorických rozhovorů. Během workshopu, který kombinuje teorii a praxi, se zaměříme na sekundární analýzu archivních rozhovorů, diskusi o jejich úloze v současné společnosti a také na otázky interpretace při sekundárním využití archivované orální historie. V úvodní přednášce pojednám orální historii obecněji jako společenský fenomén a archivované rozhovory jako sociální sémiotické objekty.


Časová organizace práce s digitální orální historií ve třídě

In contemporary society, social justice issues are often related to documentary video clips and their interpretation. Understanding the ways of working with and around video in everyday settings could provide novel perspectives on traditional themes. This paper is based on an ethnomethodological study of videotaped episodes of students’ collaborative work with on-line material constructed from texts, images and video clip fragments of oral history interviews. Students worked with a single computer device and one paper sheet in small groups of two or three. The temporal organization of classroom work with digital oral history in this classroom setting is divided to three phases: (1) preparation for watching the video clip, which requires the establishment of an optimal arrangement of material artifacts and participants’ bodily orientations; (2) watching the video clip, which points to a preference for uninterrupted watching from start to end, as well as limitation of participants’ talk to "running commentary"; (3) reflecting the video clip, which shows orientation to the formulation of required answer and its collaborative writing into the paper sheet, including occasional second watching.

V současné společnosti se otázky sociální spravedlnosti často týkají dokumentárních videoklipů a jejich interpretace. Pochopení způsobů práce s videem a jeho okolí v každodenním prostředí by mohlo přinést nové pohledy na tradiční témata. Tato práce vychází z etnometodologické studie videonahrávek kolektivní práce studentů s on-line materiály sestavenými z textů, obrázků a fragmentů orálněhistorických rozhovorů. Studenti pracovali s jedním počítačovým zařízením a jedním papírovým listem v malých skupinách po dvou nebo třech. Časová organizace práce v učebně s digitálními ústními dějinami je v tomto uspořádání rozdělena do tří fází: 1) příprava na sledování videoklipu, což vyžaduje vytvoření optimálního uspořádání hmotných artefaktů a tělesné orientace účastníků; 2) sledování videoklipu, během něhož je upřednostňováno nepřerušované sledování od začátku do konce, jakož i omezení hovoru účastníků na "průběžné komentáře"; 3) reflexe videoklipu, během níž se projevuje orientace na formulaci požadované odpovědi a její společné zapsání do papírového listu, včetně případného druhého sledování videoklipu.


In order to use audiovisual oral history (OH) materials efficiently and meaningfully, it is important to understand how people make sense of such video recordings in social interaction. Fundamental questions thus emerge in regard to secondary analysis and practical utilization of archived audiovisual OH material, such as: What are the features of OH interview as a social object? What makes it meaningful and interpretable? How much do we need to know about the socially situated character of the interview in order to understand it properly? Is there “too little” or “too much” context in relation to OH? How do people make sense of OH interviews in social practice, and relate it to their broader historical knowledge? In the workshop, we will grasp such far-reaching questions from a very empirical and practical perspective. We are reaching out to scholars who are interested in cross-disciplinary approaches and work with interviews, oral history, and digitized or digital qualitative data in general.

Pro efektivní a smysluplné používání audiovizuálních orálněhistorických materiálů (OH) je důležité pochopit, jak lidé chápou smysl takových videozáznamů v sociální interakci. Vyvstávají tak zásadní otázky týkající se sekundární analýzy a praktického využití archivovaného audiovizuálního materiálu OH, jako například: Jaké jsou rysy OH rozhovoru jako společenského objektu? Co jej činí smysluplným a interpretovatelným? Kolik toho potřebujeme vědět o sociálně situovaném charakteru rozhovoru, abychom ho správně pochopili? Existuje ve vztahu k OH „příliš málo“ nebo „příliš mnoho“ kontextu? Jaký smysl mají rozhovory na OH ve společenské praxi a jaký je jejich vztah k širším historickým znalostem? V rámci workshopu uchopíme tyto dalekosáhlé otázky z velice empirického a praktického hlediska. Oslovujeme akademické pracovníky, kteří se zajímají o mezioborové přístupy a pracují s interview, orální historií a digitalizovanými nebo digitálními kvalitativními daty obecně.


SAO WMT19 Test Suite: Machine Translation of Audit Reports

NKÚ WMT19 Testovací sada: Strojový překlad auditních zpráv

This paper describes a machine translation test set of documents from the auditing domain and its use as one of the “test suites” in the WMT19 News Translation Task for translation directions involving Czech, English and German.

Our evaluation suggests that current MT systems optimized for the general news domain can perform quite well even in the particular domain of audit reports. The detailed manual evaluation however indicates that deep factual knowledge of the domain is necessary. For the naked eye of a non-expert, translations by many systems seem almost perfect and automatic MT evaluation with one reference is practically useless for considering these details.

Furthermore, we show on a sample document from the domain of agreements that even the best systems completely fail in preserving the semantics of the agreement, namely the identity of the parties.

Tato práce popisuje testovací sadu dokumentů z auditorské domény pro strojový překlad a její použití jako jedné ze „testovacích sad“ v WMT19 News Translation Task pro překladatelské směry zahrnující češtinu, angličtinu a němčinu.

Naše hodnocení naznačuje, že současné MT systémy optimalizované pro oblast všeobecného zpravodajství mohou docela dobře fungovat i v konkrétní oblasti auditních zpráv. Podrobné manuální hodnocení však ukazuje, že hluboká faktická znalost dané oblasti je nezbytná. Pouhým okem neodborníka se překlady mnoha systémů zdají téměř dokonalé a automatické hodnocení MT s jednou referencí je pro zvážení těchto detailů prakticky zbytečné.

Dále na ukázkovém dokumentu z oblasti smluv ukazujeme, že i ty nejlepší systémy zcela selhávají v zachování sémantiky smlouvy, specificky zachování identit stran.

Tereza Vojtěchová
Michal Novák
Miloš Klouček
Ondřej Bojar


CzeDLex 0.6 is the second development version of a lexicon of Czech discourse connectives. The lexicon contains connectives partially automatically extracted from the Prague Discourse Treebank 2.0 (PDiT 2.0), a large corpus annotated manually with discourse relations. The most frequent entries in the lexicon (covering more than 90% of the discourse relations annotated in the PDiT 2.0) have been manually checked, translated to English and supplemented with additional linguistic information.

CzeDLex 0.6 je druhá vývojová verze slovníku českých diskurzních konektorů. Slovník obsahuje konektory částečně automaticky extrahované z Pražského diskurzního korpusu 2.0 (PDiT 2.0), rozsáhlého korpusu s ručně anotovanými diskurzními vztahy. Nejfrekventovanější slovníková hesla (pokrývající více než 90% diskurzních vztahů anotovaných v PDiT 2.0) byla ručně zkontrolována, přeložena do angličtiny a doplněna dalšími lingvistickými informacemi.

Pavlína Synková
Lucie Poláková
Jiří Mírovský
Magdaléna Rysová


On the Valency of Various Types of Adverbs and Its Lexicographic Description

K valenci různých typů příslovcí a jejich lexikografickému popisu

This paper deals with the neglected issue of the valency of adverbs. After providing a brief theoretical background, a procedure is presented of extracting the list of potentially valent adverbs from two syntactically parsed corpora of Czech, SYN2015 and PDT. Taking note of the methodological and theoretical problems surrounding this task, especially those relating to the fuzzy boundaries of word classes, we outline the types of adverbs identified as having valency properties. Where appropriate, we comment on – and occasionally suggest improvements in – the lexicographic treatment of valent adverbs.

Tato práce se zabývá opomínejou otázkou valence příslovcí. Po stručném teoretickém úvodu představíme postup při extrahování seznamu potenciálních valenčních příslovcí ze dvou českých syntakticky značkovaných korpusů, SYN2015 a PDT. Dále zmíníme metodologické a teoretické problémy spojené s tímto problémem, zejména ty, které se týkají nejasných hranic slovních druhů, a charakterizujeme typy získaných valenčních příslovcí. Tam, kde je to vhodné, komentujeme lexikografické zpracování valenčních příslovcí a případně navrhujeme jeho úpravu.


DeriNet 2.0: Towards an All-in-One Word-Formation Resource

DeriNet 2.0: Jednotný zdroj slovotvorných dat

DeriNet is a large linguistic resource containing over 1 million lexemes of Czech connected by
almost 810 thousand links that correspond to derivational relations. In the previous version,
DeriNet 1.7, it only contained very sparse annotations of features other than derivations – it listed
the lemma and part-of-speech category of each lexeme and since version 1.5, a true/false flag
with lexemes created by compounding.
The paper presents an extended version of this network, labelled DeriNet 2.0, which adds a number
of features, namely annotation of morphological categories (aspect, gender and animacy) with all
lexemes in the database, identification of root morphemes in 250 thousand lexemes, annotation
of five semantic labels (diminutive, possessive, female, iterative, and aspect) with 150 thousand
derivational relations, a pilot annotation of parents of compounds, and another pilot annotation
of so-called fictitious lexemes, which connect related derivational families without a common
synchronous parent. The new pieces of annotation could be added thanks to a new file format
for storing the network, which aims to be general and extensible, and therefore possibly usable to
other similar projects.

DeriNet je rozsáhlý lingvistický zdroj obsahující více než 1 milion českých lexémů spojených téměř 810 tisíci derivačních vztahů. Jeho předchozí verze, DeriNet 1.7, kromě derivací neobsahovala další anotace – byly v ní uvedeny lemmata a slovnědruhové kategorie každého lexému, a od verze 1.5 binární příznak kompozitnosti.
Tento článek představuje rozšířenou verzi zdroje, nazvanou DeriNet 2.0, která přináší řadu nových anotací: všechny lexémy mají vyznačené základní morfologické kategorie (vid, rod a životnost), 250 tisíc lexémů má identifikované kořenové morfémy, 150 tisíc derivačních vztahů je označeno svou sémantickou kategorií (zdrobňování, přivlastňování, přechylování, opakovanost a změna vidu), některá kompozita jsou v rámci pilotního projektu přiřazena ke svým základovým slovům a přibylo několik tzv. fiktivních lexémů spojujících příbuzné derivační rodiny bez společného předka. Tyto nové anotace mohly být přidány díky novému souborovému formátu, který je obecný a rozšiřitelný a tedy potenciálně využitelný i v jiných podobných projektech.

Jonáš Vidra
Zdeněk Žabokrtský
Magda Ševčíková
Lukáš Kyjánek


DeriNet is a lexical network which models derivational relations in the lexicon of Czech. Nodes of the network correspond to Czech lexemes, while edges represent derivational or compositional relations between a derived word and its base word / words. The present version, DeriNet 2.0, contains 1,027,665 lexemes (sampled from the MorfFlex dictionary) connected by 808,682 derivational and 600 compositional links.
Compared to previous versions, version 2.0 uses a new format and contains new types of annotations: compounding, annotation of several morphological categories of lexemes, identification of root morphs of 244,198 lexemes, semantic labelling of 151,005 relations using five labels and identification of several fictitious lexemes.

DeriNet je lexikální síť zachycující derivační vztahy mezi českými slovy. Vrcholy sítě představují české lexémy a hrany reprezentují derivační nebo kompoziční vztahy mezi odvozeným a základovým/základovými slovem/slovy. Tato verze, DeriNet 2.0, obsahuje 1 027 665 lexémů převzatých ze slovníku MorfFlex spojených 808 682 derivačními a 600 kompozičními vztahy.
V porovnání s předchozími verzemi, verze 2.0 používá nový formát a obsahuje nové typy anotace: kompozice, anotace několika morfologických kategorií lexémů, identifikované kořenové morfy u 244 198 lexémů, sémantické označení 151 005 hran pomocí pěti značek a identifikaci několika fiktivních lexémů.

Jonáš Vidra
Zdeněk Žabokrtský
Lukáš Kyjánek
Magda Ševčíková
Šárka Dohnalová


Processing personal data without the consent of the data subject for the development and use of language resources

Zpracování osobních údajů bez souhlasu subjektu údajů pro účely rozvoje a využívání jazykových zdrojů

The development and use of language resources often involve the processing of personal data. The General Data Protection Regulation (GDPR) establishes an EU-wide framework for the processing of personal data for research purposes while at the same time allowing for some flexibility on the part of the Member States. The paper discusses the legal framework for lan- guage research following the entry into force of the GDPR. In the first section, we present some fundamental concepts of data protection relevant to language research. In the second section, the general framework of processing personal data for research purposes is discussed. In the last section, we focus on the models that certain EU Member States use to regulate data processing for research purposes.

Rozvoj a využívání jazykových zdrojů často zahrnuje zpracování osobních údajů. Obecné nařízení o ochraně osobních údajů (GDPR) stanoví celoevropský rámec pro zpracování osobních údajů pro výzkumné účely a zároveň umožňuje určitou flexibilitu na straně členských států. Dokument pojednává o právním rámci pro výzkum lan- guage po vstupu GDPR v platnost. V první části představíme některé základní pojmy ochrany údajů, které jsou důležité pro výzkum jazyků. Ve druhé části je diskutován obecný rámec zpracování osobních údajů pro výzkumné účely. V poslední části se zaměříme na modely, které některé členské státy EU používají k regulaci zpracování dat pro výzkumné účely.

Aleksei Kelli
Krister Lindén
Kadri Vider
Paweł Kamocki
Ramūnas Birštonas
Silvia Calamai
Penny Labropoulou
Maria Gavrilidou
Pavel Straňák