Automating Text Naturalness Evaluation of NLG Systems

Automatizace hodnocení přirozenosti textu systémů NLG

Automatic methods and metrics that assess various quality criteria of automatically generated texts are important for developing NLG systems because they produce repeatable results and allow for a fast development cycle. We present here an attempt to automate the evaluation of text naturalness which is a very important characteristic of natural language generation methods. Instead of relying on human participants for scoring or labeling the text samples, we propose to automate the process by using a human likeliness metric we define and a discrimination procedure based on large pretrained language models with their probability distributions. We analyze the text probability fractions and observe how they are influenced by the size of the generative and discriminative models involved in the process. Based on our results, bigger generators and larger pretrained discriminators are more appropriate for a better evaluation of text naturalness. A comprehensive validation procedure with human participants is required as follow up to check how well this automatic evaluation scheme correlates with human judgments.

Automatické metody a metriky, které hodnotí různá kritéria kvality automaticky generovaných textů, jsou důležité pro vývoj systémů NLG, protože vytvářejí opakovatelné výsledky a umožňují rychlý vývojový cyklus. Představujeme zde pokus automatizovat hodnocení přirozenosti textu, což je velmi důležitá charakteristika metod generování přirozeného jazyka. Namísto spoléhání se na lidské účastníky při hodnocení nebo označování textových vzorků navrhujeme automatizovat proces pomocí metriky lidské pravděpodobnosti, kterou definujeme, a diskriminačního postupu založeného na velkých předtrénovaných jazykových modelech s jejich rozděleními pravděpodobnosti.


How Many Pages? Paper Length Prediction from the Metadata

Kolik stránek? Predikce délky papíru z metadat

Being able to predict the length of a scientific paper may be helpful in numerous situations. This work defines the paper length prediction task as a regression problem and reports several experimental results using popular machine learning models. We also create a huge dataset of publication metadata and the respective lengths in
number of pages. The dataset will be freely available and is intended to foster research in this domain. As future work, we would like to
explore more advanced regressors based on neural networks and big pretrained language models.

Schopnost předpovědět délku vědecké práce může být užitečná v mnoha situacích. Tato práce definuje úlohu predikce délky papíru jako regresní problém a uvádí několik experimentálních výsledků pomocí populárních modelů strojového učení.


Human or Machine: Automating Human Likeliness Evaluation of NLG Texts

Člověk nebo stroj: Automatizace hodnocení pravděpodobnosti textů NLG člověkem

Automatické vyhodnocení různých kritérií kvality textu vytvořených inteligentními metodami založenými na datech je velmi běžné a užitečné, protože je levné, rychlé a obvykle přináší opakovatelné výsledky. V tomto příspěvku prezentujeme pokus automatizovat hodnocení lidské pravděpodobnosti výstupních textových vzorků pocházejících z metod generování přirozeného jazyka používaných k řešení několika úkolů.

Automatic evaluation of various text quality criteria produced by data-driven intelligent methods is very common and useful because it is cheap, fast, and usually yields repeatable results. In this paper, we present an attempt to automate the human likeliness evaluation of the output text samples coming from natural language generation methods used to solve several tasks. We propose to use a human likeliness score that shows the percentage of the output samples from a method that look as if they were written by a human. Instead of having human participants label or rate those samples, we completely automate the process by using a discrimination procedure based on large pretrained language models and their probability distributions. As follow up, we plan to perform an empirical analysis of human-written and machine-generated texts to find the optimal setup of this evaluation approach. A validation procedure involving human participants will also check how the automatic evaluation correlates with human judgments.


Two Huge Title and Keyword Generation Corpora of Research Articles

Dva obrovské korpusy titulů a klíčových slov z výzkumných článků

Recent developments in sequence-to-sequence learning with neural networks have considerably improved the quality of automatically generated text summaries and document keywords, stipulating the need for even bigger training corpora. Metadata of research articles are usually easy to find online and can be used to perform research on various tasks. In this paper, we introduce two huge datasets for text summarization (OAGSX) and keyword generation (OAGKX) research, containing 34 million and 23 million records, respectively. The data were retrieved from the Open Academic Graph which is a network of research profiles and publications. We carefully processed each record and also tried several extractive and abstractive methods of both tasks to create performance baselines for other researchers. We further illustrate the performance of those methods previewing their outputs. In the near future, we would like to apply topic modeling on the two sets to derive subsets of research articles from more specific disciplines.

Poslední vývoj v učení neuronovými sítěmi výrazně zvýšilo kvalitu automaticky generovaných souhrnů a klíčových slov dokumentu s tím, že je třeba ještě větších trénovacích korpusů. V tomto příspěvku představujeme dvě velké datové sady pro sumarizaci textu (OAGSX) a generování klíčových slov bsahující 34 milionů, resp. 23 milionů záznamů. Data byla získána ze sítě Open Academic Graph obsahující výzkumné profily a publikace. Pečlivě jsme zpracovávali každý záznam a také zkoušeli
několik extraktivních a abstraktivních metod pro obě úlohy, abychom vytvořili základ pro další výzkum. Dále jsme ukázali výkon těchto metod
kontrolou jejich výstupu. Brzy bychom rdi užili modelování témat na dvou množinách, abychom vytvořili dvě podmnožiny článků ze specifičtějších
disciplín.


FINDINGS OF THE IWSLT 2020 EVALUATION CAMPAIGN

The evaluation campaign of the International Conference on Spoken Language Translation (IWSLT 2020) featured this year six challenge tracks: (i) Simultaneous speech translation, (ii) Video speech translation, (iii) Offline speech translation, (iv) Conversational speech translation, (v) Open domain translation, and (vi) Non-native speech translation. A total of teams participated in at least one of the tracks. This paper introduces each track’s goal, data and evaluation metrics, and reports the results of the received submissions.

V rámci hodnotící kampaně Mezinárodní konference o překladu mluveného jazyka (IWSLT 2020) bylo letos zařazeno šest náročných úloh: i) simultánní překlad řeči, ii) překlad videořeči, iii) offline překlad řeči, iv) překlad konverzační řeči, v) Open domain překlad a vi) překlad řeči nerodilých mluvčí. Tento dokument uvádí cíle každé trati, údaje a metriky hodnocení a informuje o výsledcích obdržených podání.

Ebrahim Ansari
Amittai Axelrod
Nguyen Bach
Ondřej Bojar
Roldano Cattoni
Fahim Dalvi
Nadir Durrani
Marcello Federico
Christian Federmann
Jiatao Gu
Fei Huang
Kevin Knight
Xutai Ma
Ajay Nagesh
Matteo Negri
Jan Niehues
Juan Pino
Elizabeth Salesky
Xing Shi
Sebastian Stüker
Marco Turchi
Alex Waibel
Changhan Wang


Speed-optimized, Compact Student Models that Distill Knowledge from a Larger Teacher Model: the UEDIN-CUNI Submission to the WMT 2020 News Translation Task

Kompaktní studentské modely optimalizované na rychlost, které destilují znalosti z většího učitelského modelu: příspěvek UEDIN-CUNI do WMT 2020 News Translation Task

We describe the joint submission of the University of Edinburgh and Charles University, Prague, to the Czech/English track in the WMT 2020 Shared Task on News Translation. Our fast and compact student models distill knowledge from a larger, slower teacher. They are designed to offer a good trade-off between translation quality and inference efficiency. On the WMT 2020 Czech-English test sets, they achieve translation speeds of over 700 whitespace-delimited source words per second on a single CPU thread, thus making neural translation feasible on consumer hardware without a GPU.

Popisujeme společný příspěvek Edinburské univerzity a Univerzity Karlovy do soutěže v česko-anglickém strojovém překladu - WMT 2020 Shared Task on News Translation. Naše rychlé a kompaktní studentské modely destilují znalosti z většího, pomalejšího učitelského modelu. Jsou navrženy tak, aby nabízely dobrý kompromis mezi kvalitou překladu a efektivitou inference. Na česko-anglických testovacích sadách WMT 2020 dosahují rychlosti překladu přes 700 zdrojových slov za sekundu na jednom procesoru, což umožňuje neuronový strojový překlad na spotřebním hardwaru bez GPU.

Ulrich Germann
Roman Grundkiewicz
Martin Popel
Radina Dobreva
Nikolay Bogoychev
Kenneth Heafield


Czech parliament meeting recordings as ASR training data

Záznamy jednání českého parlamentu jako trénovací data pro ASR

I present a way to leverage the stenographed recordings of the Czech parliament meetings for purposes of training a speech-to-text system. The article presents a method for scraping the data, acquiring word-level alignment and selecting reliable parts of the imprecise transcript. Finally, I present an ASR system trained on these and other data.

Prezentuji způsob, jak využít stenografované záznamy jednání PSPČR pro účely trénování systémů rozpoznávání řeči. V článku je uvedena metoda pro získání dat, zarovnání na úrovni slov a výběr spolehlivých částí nepřesného přepisu. Konečně prezentuji systém rozpoznávání řeči natrénovaný na těchto i jiných datech.


Prisoner tattoo as a situated social object in Holocaust survivors’ visual history testimonies

Vězeňské tetování ve vyprávění přeživších holocaustu

The practice of tattooing has been part of human culture since the dawn of history. In this paper, despite the mentioned cultural shifts toward the voluntary nature and social acceptability of tattooing, we focus on some cases of tattooing as an involuntary “branding” practice, which is a historical form of exercising total physical control over one’s person, such as in the case of human slaves. In terms of empirical material, our study is based on the USC Shoah Foundation's Visual History Archive.

Praxe tetování je součástí lidské kultury od počátku dějin. Navzdory kulturním posunům směrem k dobrovolné povaze a společenské přijatelnosti tetování se v tomto textu zaměřujeme na některé případy tetování jako nedobrovolného „značkování“, což je způsob vykonávání naprosté fyzické kontroly nad člověkem, jako v případě lidských otroků. Ve své empirické dimenzi vychází naše studie z Archivu vizuální historie nadace USC Shoah.


PyVallex: A Processing System for Valency Lexicon Data

PyVallex: Nástroj pro zpracování dat valenčních slovníků

We present PyVallex, a Python-based system for presenting, searching/filtering, editing/extending and automatic processing of machine readable lexicon data originally available in a text-based format. The system consists of several components: a parser for the specific lexicon format used in several valency lexicons, a data-validation framework, a regular expression based search engine, a map-reduce style framework for querying the lexicon data and a web-based interface integrating complex search and some basic editing capabilities. PyVallex provides most of the typical functionalities of a Dictionary Writing System (DWS), such as multiple presentation modes for the underlying lexical database, automatic evaluation of consistency tests, and a mechanism of merging updates coming from multiple sources. The editing functionality is currently limited to the client-side interface and edits of existing lexical entries, but additional script-based operations on the database are also possible. The code is published under the open source MIT license and is also available in the form of a Python module for integrating into other software.

Představujeme PyVallex, nástroj pro prezentaci, prohledávání/filtrování, editaci/rozšiřování a automatické zpracování strojově čitelných lexikografických dat v původním textovém formátu. Tento systém se skládá z několika komponent, parseru, nástrojů pro validaci dat, vyhledávání pomocí regulárních výrazů, frameworku typu map-reduce pro sestavování komplexnějších dotazů a analýz a webového rozhraní.


Grounded Sequence to Sequence Transduction

Sekvenční učení ukotvené v multimodálních vstupech

Speech recognition and machine translation have made major progress over the past decades, providing practical systems to map one language sequence to another. Although multiple modalities such as sound and video are becoming increasingly available, the state-of-the-art systems are inherently unimodal, in the sense that they take a single modality—either speech or text—as input. Evidence from human learning suggests that additional modalities can provide disambiguating signals crucial for many language tasks. Here, we describe the How2 dataset, a large, open-domain collection of videos with transcriptions and their translations. We then show how this single dataset can be used to develop systems for a variety of language tasks and present a number of models meant as starting points. Across tasks, we find that building multi-modal architectures that perform better than their unimodal counterpart remains a challenge. This leaves plenty of room for the exploration of more advanced solutions that fully exploit the multi-modal nature of the How2 dataset, and the general direction of multimodal learning with other datasets as well.

Rozpoznávání řeči a strojový překlad učinily v posledních desetiletích velký pokrok a vedly ke vzniku praktických systémů, které dovedou mapovat jednu jazykovou posloupnost na druhou. Přestože jsou stále dostupnější data ve více modalitách jako je zvuk a video, nejmodernější systémy jsou ze své podstaty unimodální v tom smyslu, že jako vstup berou jedinou modalitu - ať už řeč nebo text. Zkušenosti z toho, jak se učí lidé učí jazyk, ukazují, že různé modality nesou navzájem se dolňující se signály, které jsou často klíčové pro řešení mnoha jazykových úkolů. V tomto článku popisujeme datovou sadu How2, rozsáhlou, kolekci videí s přepisy a jejich překlady. Ukazujeme, jak lze tuto datovou sadu využít k vývoji systémů pro různé jazykové úlohy a představujeme řadu modelů. V rámci řešení těchto úloh zjišťujeme, že budování multimodálních architektur, které by fungovaly lépe, než jejich unimodální protějšek, zůstává i nadále velkou výzvou. To ponechává velký prostor pro zkoumání pokročilejších řešení, která plně využívají multimodální povahu datového souboru How2, a také obecného směřování multimodálního učení s využitím jiných multimodálních datových sad.

Lucia Specia
Loïc Barrault
Ozan Caglayan
Amanda Duarte
Desmond Elliott
Spandana Gella
Nils Holzenberger
Chiraag Lala
Sun Jae Lee
Jindřich Libovický
Pranava Madhyastha
Florian Metze
Karl Mulligan
Alissa Ostapenko
Shruti Palaskar
Ramon Sanabria
Josiah Wang
Raman Arora


WMT20 Document-Level Markable Error Exploration

WMT20 zkoumání chybovosti Markable na úrovni dokumentů

Even though sentence-centric metrics are
used widely in machine translation evaluation,
document-level performance is at least equally
important for professional usage. In this paper,
we bring attention to detailed document-level
evaluation focused on markables (expressions
bearing most of the document meaning) and
the negative impact of various markable error
phenomena on the translation.
For an annotation experiment of two phases,
we chose Czech and English documents translated
by systems submitted to WMT20 News
Translation Task. These documents are from
the News, Audit and Lease domains. We show
that the quality and also the kind of errors
varies significantly among the domains. This
systematic variance is in contrast to the automatic
evaluation results.
We inspect which specific markables are problematic
for MT systems and conclude with an
analysis of the effect of markable error types
on the MT performance measured by humans
and automatic evaluation tools.

I když se při strojovém vyhodnocování překladů ve velké míře používají metriky se středem věty, výkonnost na úrovni dokumentů je pro profesionální použití přinejmenším stejně důležitá. V tomto dokumentu upozorňujeme na podrobné hodnocení na úrovni dokumentů zaměřené na markables (výrazy nesoucí většinu významu dokumentu) a negativní dopad různých markable error fenomenů na překlad.

Pro anotační experiment dvou fází jsme vybrali české a anglické dokumenty přeložené systémy, které byly předány do WMT20 News Translation Task. Tyto dokumenty jsou z domén News, Audit a Lease. Ukazujeme, že kvalita a také druh chyb se mezi doménami výrazně liší. Tento systematický rozptyl je v protikladu k automatickým výsledkům hodnocení.

Zkoumáme, které specifické značení je problematické pro systémy MT, a zakončíme analýzou vlivu značených chybových typů na výkonnost MT měřenou lidmi a automatickými hodnotícími nástroji.

Vilém Zouhar
Tereza Vojtěchová
Ondřej Bojar


Outbound Translation User Interface Ptakopet: A Pilot Study

Úvodní studie uživatelského rozhraní Outbound Translation

It  is  not  uncommon  for  Internet  users  to  have  to  produce  a  text  in  a  foreign  language  they  have  very  little  knowledge  of  and  areunable  to  verify  the  translation  quality.We  call  the  task  “outbound  translation”  and  explore  it  by  introducing  an  open-sourcemodular system Ptakopˇet.  Its main purpose is to inspect human interaction with MT systems enhanced with additional subsystems,such  as  backward  translation  and  quality  estimation.    We  follow  up  with  an  experiment  on  (Czech)  human  annotators  tasked  toproduce  questions  in  a  language  they  do  not  speak  (German),  with  the  help  of  Ptakopˇet.   We  focus  on  three  real-world  use  cases(communication with IT support, describing administrative issues and asking encyclopedic questions) from which we gain insight intodifferent strategies users take when faced with outbound translation tasks.  Round trip translation is known to be unreliable for evaluat-ing MT systems but our experimental evaluation documents that it works very well for users, at least on MT systems of mid-range quality.

Často musí uživatelé internetu vyprodukovat text v cizím jazyce, který znají jen velmi málo a nejsou schopni ověřit kvalitu překladu. Úkol nazýváme "outbound translation" a zkoumáme ho zavedením open-source modulárního systému Ptakopět. Jeho hlavním účelem je kontrola interakce člověka se systémy MT posílenými o další subsystémy, jako je zpětný překlad a odhad kvality. Navazujeme na experiment s (českými) lidskými anotátory, kteří mají za úkol vytvářet otázky v jazyce, kterým nemluví (němčina), s pomocí Ptakopětu. Zaměřujeme se na tři případy využití v reálném světě (komunikace s IT podporou, popis administrativních záležitostí a kladení encyklopedických otázek), z nichž získáváme vhled do různých strategií, které uživatelé používají, když čelí outbound translation. Je známo, že zpětný překlad je pro hodnocení systémů MT nespolehlivý, ale naše experimentální hodnocení dokládá, že pro uživatele funguje velmi dobře, přinejmenším u systémů MT střední kvality.


Extending Ptakopět for Machine Translation User Interaction Experiments

Rozšíření systému Ptakopět pro uživatelské experimenty strojového překladu

The problems of outbound translation, machine translation user confidence and user interaction are not yet fully explored. The goal of the online modular system Ptakopět is to provide tools for studying these phenomena. Ptakopět is a proof-of-concept system for examining user interaction with enhanced machine translation. It can be used either for actual translation or running experiments on human annotators. In this article, we aim to describe its main components and to show how to use Ptakopět for further research. We also share tips for running experiments and setting up a similar online annotation environment.

Ptakopět was already used for outbound machine translation experiments, and we cover the results of the latest experiment in a demonstration to show the research potential of this tool. We show quantitatively that even though backward translation improves machine-translation user experience, it mainly increases users' confidence and not the translation quality.

Článek popisuje systém Ptakopět, který byl vyvinut pro zkoumání chování užívatelů při práci s interaktivním systémem pro tzv. odchozí překlad. Při něm se překládá do jazyka, kterému užívatel sice nerozumí, ale zodpovědnost za kvalitu překladu ostáva na něm.


CUNI Neural ASR with Phoneme-Level Intermediate Step for Non-Native SLT at IWSLT 2020

Neuronové ASR Univerzity Karlovy s přechodným překladem do fonemů jako systém pro úlohu překladu řeči nerodilých mluvčích na IWSLT 2020

In this paper, we present our submission to
the Non-Native Speech Translation Task for
IWSLT 2020. Our main contribution is a proposed speech recognition pipeline that consists of an acoustic model and a phoneme-to grapheme model. As an intermediate representation, we utilize phonemes. We demonstrate that the proposed pipeline surpasses
commercially used automatic speech recognition (ASR) and submit it into the ASR track.
We complement this ASR with off-the-shelf
MT systems to take part also in the speech
translation track.

Strojový překlad z angličtiny:

V tomto dokumentu předkládáme naše podání k úkolu překládat nenarozené projevy pro IWSLT 2020. Naším hlavním příspěvkem je navržený systém rozpoznávání řeči, který se skládá z akustického modelu a modelu foném-tographeme. Jako mezičlánek používáme telefony. Dokazujeme, že navrhovaný ropovod překonává komerčně využívané automatické rozpoznávání řeči (ASR) a zavádí jej na dráhu ASR. Doplňujeme toto ASR o běžně dostupné systémy MT, abychom se zapojili také do skladby pro překlad řeči.

Peter Polák
Sangeet Sagar
Dominik Macháček
Ondřej Bojar


Factors influencing implicit discourse relations in Czech

Faktory ovlivňující implicitní diskurzní vztahy v češtině

The lecture deals with the relation of implicit discourse relations and other factors, such as their frequency, specificity of their semantics, and features signalling the meaning of implicit discourse relation (confrontation: word order, long and short forms of pronouns, accent; concession: intonation).

Přednáška pojednává o vztahu implicitnosti diskurzních vztahů a dalších faktorů, jako je jejich frekvence, specifičnost jejich sémantiky, a o  signálech spoluvytvářejících význam implicitního diskurzního vztahu (konfrontace: slovosled, dlouhé a krátké tvary zájmen, přízvuk; přípustka: intonace).


Large Corpus of Czech Parliament Plenary Hearings

Velký korpus plenárních jednání parlamentu

We present a large corpus of Czech parliament plenary sessions. The corpus consists of approximately 1200 hours of speech data and corresponding text transcriptions. The whole corpus has been segmented to short audio segments making it suitable for both training and evaluation of automatic speech recognition (ASR) systems. The source language of the corpus is Czech, which makes it a valuable resource for future research as only a few public datasets are available in the Czech language. We complement the data release with experiments of two baseline ASR systems trained on the presented data: the more traditional approach implemented in the Kaldi ASRtoolkit which combines hidden Markov models and deep neural networks (NN) and a modern ASR architecture implemented in Jaspertoolkit which uses deep NNs in an end-to-end fashion.

Představujeme velký soubor plenárních zasedání českého parlamentu. Korpus se skládá z přibližně 1200 hodin řečových dat a odpovídajících textových přepisů. Celý korpus byl segmentován na krátké zvukové segmenty, takže je vhodný jak pro trénink, tak pro hodnocení systémů automatického rozpoznávání řeči (ASR). Zdrojovým jazykem korpusu je čeština, což z něj činí cenný zdroj pro budoucí výzkum, protože v českém jazyce je k dispozici pouze několik veřejných datových souborů. Vydání dat doplňujeme experimenty dvou základních systémů ASR trénovaných na prezentovaných datech: tradičnější přístup implementovaný v Kaldi ASR toolkit, který kombinuje skryté Markovovy modely a hluboké neurální sítě (NN), a moderní ASR architekturu implementovanou v Jasper toolkit, který využívá NN v podobě end-to-end.

Jonáš Kratochvíl
Peter Polák
Ondřej Bojar


Compiling and annotating a learner corpus for a morphologically rich language – CzeSL, a corpus of non-native Czech

Kompilace a anotace žákovského korpusu jazyka s bohatou morfologií - CzeSL, korpus nerodilých mluvčích češtiny

Learner corpora, linguistic collections documenting a language as used by learners, provide an important empirical foundation for language acquisition research and teaching practice. This book presents CzeSL, a corpus of non-native Czech, against the background of theoretical and practical issues in the current learner corpus research.

Languages with rich morphology and relatively free word order, including Czech, are particularly challenging for the analysis of learner language. The authors address both the complexity of learner error annotation, describing three complementary annotation schemes, and the complexity of description of non-native Czech in terms of standard linguistic categories.

The book discusses in detail practical aspects of the corpus creation: the process of collection and annotation itself, the supporting tools, the resulting data, their formats and search platforms.
The chapter on use cases exemplifies the usefulness of learner corpora for teaching, language acquisition research, and computational linguistics. Any researcher developing learner corpora will surely appreciate the concluding chapter listing lessons learned and pitfalls to avoid.

Žákovské korpusy, čili korpusy, které dokumentují jazyk tak, jak jej používají nerodilí mluvčí, poskytují důležité informace pro výzkum osvojování jazyka i pedagogickou praxi. Tato monografie představuje CzeSL – korpus češtiny nerodilých mluvčích, a to na pozadí teoretických a praktických otázek současného výzkumu v oboru žákovských korpusů.

Jazyky s bohatou morfologií a volným slovosledem, včetně češtiny, jsou pro analýzu osvojovaného jazyka obzvláště náročné. Autoři se zabývají složitostí chybové anotace a popisují tři vzájemně se doplňující anotační schémata. Věnují se také popisu nerodilé češtiny z hlediska standardních jazykových kategorií.

Kniha podrobně rozebírá praktické aspekty tvorby korpusu: proces sběru a anotace, potřebné nástroje, výsledná data, jejich formáty a vyhledávací rozhraní. Kapitola o aplikacích korpusu ilustruje jeho užitečnost pro výuku, výzkum akvizice i počítačovou lingvistiku. Každý, kdo se zabývá tvorbou žákovských korpusů, jistě ocení závěrečnou kapitolu, shrnující úskalí, kterým je třeba se vyhnout.

Alexandr Rosen
Jirka Hana
Barbora Hladká
Tomáš Jelínek
Svatava Škodová
Barbora Štindlová


On dictionary treatment of words with a significant pragmatic meaning component (based on ethnographic and anthropological terms)

K možnostem zachycení pragmatické složky významu v jednojazyčném výkladovém slovníku (na příkladu hesel z oblasti etnografie a antropologie)

The paper deals with the possibilities of the dictionary treatment of words whose meanings include a significant pragmatic component. Firstly, the formal lexicographical tools for their treatment are outlined, including (style) labels, glosses, and usage notes. Furthermore, the paper concentrates in detail on words referring to the ethnic and racial identity of people, representing the type of words whose meanings include a significant pragmatic component. The issues connected with their use and their dictionary treatment are analysed, e.g. shifts in their meaning and perception, complicated and unclear terminology, and the difficulty of capturing particular connotations. The analyses are illustrated using examples from the Czech National Corpus and from dictionaries of contemporary Czech, and selected dictionaries of Slovak and English. The paper also introduces and explains some decisions made by the authors of Akademický slovník současné češtiny (Academic Dictionary of Contemporary Czech) related to the treatment of the words under scrutiny. In addition, examples of several dictionary entries or proposals thereof, accompanied by the author’s comments, are attached.

V článku se zabýváme možnostmi zpracování výrazů s výraznou pragmatickou složkou významu v jednojazyčném výkladovém slovníku. Nejprve obecněji nastiňujeme formální lexikografické nástroje pro zpracování takových slov, jako je využití kvalifikátorů, komentářů a usage notes. Dále se konkrétněji zaměřujeme na výrazy vyjadřující etnickou a rasovou příslušnost lidí, které reprezentují jeden z typů s výraznou pragmatickou složkou významu. Široce přitom analyzujeme problematiku těchto výrazů, která se projevuje např. v posunech vnímání významů výrazů z této oblasti, v komplikované či nejasné terminologii, v obtížné zachytitelnosti některých konotací apod. Rozbory dokládáme na příkladech z Českého národního korpusu a ze stávajících slovníků, především českých (včetně vznikajícího ASSČ), ale i některých slovenských a anglických. V příloze pak uvádíme příklady zpracování několika vybraných slovníkových hesel.


The MorfFlex Dictionary of Czech as a Source of Linguistic Data

Slovník MorfFlex jako zdroj lingvistickcýh dat

In this paper we describe MorfFlex, the Morphological Dictionary of Czech, as an invaluable resource for exploring the formal behavior of words. We demonstrate that MorfFlex provides valuable and rich data allowing to elaborate on various morphological issues in depth, which is also connected with the fact that the MorfFlex dictionary includes words throughout the whole vocabulary, including non-standard units, proper nouns, abbreviations, etc. Moreover, in comparison with typical monolingual dictionaries of Czech, MorfFlex also captures non-standard wordforms, which is very important for Czech as a language with a rich inflection. In the paper we also demonstrate how particular information on lemmas and wordforms (e.g. variants, homonymy, style information) is marked and structured. The dictionary is provided as a digital open access source available to all scholars via the LINDAT/CLARIAH-CZ language resource repository. It is available in an electronic format, and also in a more human-readable, browsable and partly searchable form.

V tomto příspěvku popisujeme MorfFlex, Morfologický slovník češtiny, jako cenný zdroj pro zkoumání formálního chování slov. Ukazujeme, že MorfFlex poskytuje bohatá na korpusu založená data umožňující podrobně zkoumat různé morfologické jevy. MorfFlex obsahuje slova z celé slovní zásoby, včetně nestandardních jednotek, vlastních jmen, zkratek atd. Navíc ve srovnání s typickými monolingválními slovníky češtiny MorfFlex zachycuje i nestandardní varianty, což je pro češtinu jako jazyk s bohatou flexí velmi důležité.

Barbora Štěpánková
Marie Mikulová
Jan Hajič


UDPipe 2 is an pipeline for tokenization, tagging, lemmatization and dependency parsing of CoNLL-U files. Trained models are provided for nearly all UD treebanks and achieve performance competitive with state-of-the-art.

UDPipe 2 is a free software under Mozilla Public License 2.0 and the linguistic models are free for non-commercial use and distributed under CC BY-NC-SA license, although for some models the original data used to create the model may impose additional licensing conditions.

UDPipe 2 je nástroj pro tokenizaci, tagging, lemmatizaci a závislostní parsing CoNLL-U souborů.  Předtrénované jazykové modely jsou k dispozici pro téměř všechny UD korpusy a dosahují úspěšnosti srovnatelné s nejlepšími známými výsledky.

UDPipe 2 je svobodný software licencovaný pod Mozilla Public License 2.0 a jazykové modely jsou k dispozici pro nekomerční použití pod licencí CC BY-NC-SA, nicméně původní data použitá k vytvoření modelů mohou v některých případech ukládat další licenční omezení.


UDPipe at EvaLatin 2020: Contextualized Embeddings and Treebank Embeddings

UDPipe na EvaLatin 2020: Kontextualizované embeddingy a embeddingy korpusů

We present our contribution to the EvaLatin shared task, which is the first evaluation campaign devoted to the evaluation of NLP tools for Latin. We submitted a system based on UDPipe 2.0, one of the winners of the CoNLL 2018 Shared Task, The 2018 Shared Task on Extrinsic Parser Evaluation and SIGMORPHON 2019 Shared Task. Our system places first by a wide margin both in lemmatization and POS tagging in the open modality, where additional supervised data is allowed, in which case we utilize all Universal Dependency Latin treebanks. In the closed modality, where only the EvaLatin training data is allowed, our system achieves the best performance in lemmatization and in classical subtask of POS tagging, while reaching second place in cross-genre and cross-time settings. In the ablation experiments, we also evaluate the influence of BERT and XLM-RoBERTa contextualized embeddings, and the treebank encodings of the different flavors of Latin treebanks.

Představujeme náš příspěvek k shared tasku EvaLatin, což je první hodnotící kampaň věnovaná hodnocení nástrojů zpracování přirozeného textu pro latinu. Předložili jsme systém založený na UDPipe 2, jednom z vítězů soutěže CoNLL 2018 Shared Task, dále The 2018 Shared Task on Extrinsic Parser Evaluation a také SIGMORPHON 2019 Shared Task. Náš systém získal s velkým náskokem první místo jak v lemmatizaci tak v značkování v režimu otevřené modality, kde jsou povoleny další trénovací data, v kterémžto případě využíváme všechny latinské korpusy Universal Dependencies. V režimu uzavřené modality, kdy jsou povoleny pouze EvaLatin trénovací data, dosahuje náš systém nejlepších výsledků v lemmatizaci a značkování klasických textů a zároveň dosahuje druhého místa v nastavení napříč žánry a napříč časem. V ablačních experimentech hodnotíme vliv BERT a XLM-RoBERTa kontextualizovaných embeddingů a také kódování různých druhů latinských korpusů.


Universal Derivations (UDer) is a collection of harmonized lexical networks capturing word-formation, especially derivational relations, in a cross-linguistically consistent annotation scheme for many languages. The annotation scheme is based on a rooted tree data structure, in which nodes correspond to lexemes, while edges represent derivational relations or compounding. The current version of the UDer collection contains twenty-seven harmonized resources covering twenty different languages.

Universal Derivations (UDer) je kolekce harmonizovaných lexikalních sítí zachycujících slovotvorné, zvl. derivační vztahy jednotlivých jazyků v témže anotačním schématu. Základní datovou strukturou tohoto anotačního schématu jsou zakořeněné stromy, ve kterých uzly odpovídají lexémům a hrany reprezentují derivační, příp. kompozitní vztahy. Stávající verze UDer v0.1 obsahuje 27 harmonizovaných zdrojů pokrývajících 20 různých jazyků.

Lukáš Kyjánek
Zdeněk Žabokrtský
Jonáš Vidra
Magda Ševčíková


Universal Derivations 1.0, A Growing Collection of Harmonised Word-Formation Resources

Universal Derivations 1.0, Rostoucí kolekce harmonizovaných zdrojů slovotvorby

The paper deals with harmonisation of existing data resources containing word-formation features by converting them into a common file format and partially aligning their annotation schemas. We summarise (dis)similarities between the resources and describe individual steps of the harmonisation procedure, including manual annotations and application of Machine Learning techniques. The resulting 'Universal Derivations 1.0' collection contains  27 harmonised resources covering 20 languages. It is publicly  available  in the LINDAT/CLARIAH CZ repository and can be queried via the DeriSearch tool.

Článek se zabývá harmonizací existujících datových zdrojů zachycujících slovotvorbu různých jazyků, konkrétně převodem originálně zachycených slovotvorných příznaků do stejného souborového formátu a zčásti též do téhož anotačního schématu. Shrnuty jsou rozdíly i podobnosti mezi harmonizovanými zdroji. Popsány jsou jednotlivé kroky prezentované harmonizační procedury, jež zahrnuje manuální anotace i aplikaci technik z oblasti strojového učení. Výsledká kolekce 'Universal Derivations 1.0' obsahuje 27 harmonizovaných datových zdrojů, které dohromady pokrývají 20 různých jazyků. Kolekce je volně dostupná v repozitáři LINDAT/CLARIAH CZ a data jednotlivých zdrojů lze též dotazovat pomocí nástroje DeriSearch.

Lukáš Kyjánek
Zdeněk Žabokrtský
Magda Ševčíková
Jonáš Vidra


Estimating POS Annotation Consistency of Different Treebanks in a Language

Odhad konzistence anotace slovních druhů v různých treebancích jednoho jazyka

We introduce a new symmetric metric (called θpos) that utilises the non-symmetric KLcpos3 metric (Rosa and Žabokrtský, 2015) to allow us to compare the annotation consistency between different annotated treebanks of a given language, when annotated under the same guidelines. We can set a threshold for this new metric so that a pair of treebanks can be considered harmonious in their annotation consistency if θpos surpasses the threshold. For the calculation of the threshold, we estimate the effects of (i) the size variation, and (ii) the genre variation in the considered pair of treebanks. The estimations are based on data from treebanks of distinct language families, making the threshold less dependent on the properties of individual languages. We demonstrate the utility of the proposed metric by listing the treebanks in Universal Dependencies version 2.5 (UDv2.5) (Zeman et al., 2019) data that are annotated consistently with other treebanks of the same language. However, the metric could be used to assess inter-treebank annotation consistency under other (non-UD) annotation guidelines as well.

Zavádíme novou symetrickou míru (zvanou θpos), která využívá asymetrickou míru KLcpos3 (Rosa a Žabokrtský, 2015), abychom porovnali konzistenci anotace mezi různými anotovanými treebanky téhož jazyka, jestliže jsou anotované podle téhož anotačního schématu. Pro tuto míru můžeme nastavit práh a říct, že dva treebanky lze považovat za harmonické, pokud jde o jejich anotaci, jestliže θpos nepřekročí daný práh. Při stanovování prahové hodnoty posuzujeme vliv (i) různých velikostí dat a (ii) různého žánrového složení dat. Naše odhady vycházejí z dat z různých jazykových rodin, takže práh není tolik závislý na vlastnostech jednotlivých jazyků. Užití navržené míry demonstrujeme na treebancích z vydání 2.5 Universal Dependencies (Zeman et al., 2019): tam, kde je více než jeden treebank pro daný jazyk, uvádíme míru konzistence pro každý pár treebanků. Navržená míra může být nicméně využita pro vyhodnocení konzistence i v jiných anotačních schématech než Universal Dependencies.


R.U.R. in the times of artificial intelligence: A theatre play on the occasion of 100 years of the Čapek's work is being written by a robot from Matfyz

R.U.R. v dobách umělé inteligence: Divadelní hru k 100 letům Čapkova díla píše robot z Matfyzu

Rudolf Rosa of Charles University's Faculty of Mathematics and Physics has been appearing under the nickname R.U.R. since high school, and as it happens, he has become involved in a perhaps slightly crazy idea of, at the occasion of the 100-year anniversary of the introduction of the play R.U.R. by Karel Čapek, in which the word "robot" was first mentioned, staging a theatrical performance written by an artificial intelligence. Read an interview about how Matfyz enthusiasts have teamed up with actors from the Švanda Theatre to create a new world-class unique.

Rudolf Rosa z Matematicko-fyzikální fakulty Univerzity Karlovy už od střední školy vystupuje pod nickem R.U.R. a shodou okolností se mu do rukou dostal možná trochu bláznivý nápad zinscenovat ke stoletému výročí uvedení stejnojmenné hry od Karla Čapka, v níž poprvé zaznělo slovo „robot”, divadelní představení, jejímž autorem bude umělá inteligence. Přečtěte si rozhovor o tom, jak se nadšenci z Matfyzu spojili s herci ze Švandova divadla, aby vytvořili nový světový unikát.

Karolína Houžvičková Šolcová
Rudolf Rosa
Daniel Hrbek


Artificial Intelligence to Write a Theatre Play

Originally, the Czech word "robot" will celebrate one hundred years since entering our dictionary in January next year. Chapek's R.U.R. drama was the first play on this very subject. But what would it be like if, on the other hand, the robots wrote a play about man, perhaps directly about Karel Čapek? With the current state of knowledge, practically anything can be ventured. Artificial intelligence will increasingly become a normal part of our lives, and theatre can be one of the experimental spaces.

Původně české slovo „robot“ oslaví v lednu příštího roku sto let od vstupu do našeho slovníku. Čapkovo drama R.U.R. bylo první hrou právě o tomto tématu. Jaké by to ale bylo, kdyby naopak roboti napsali hru o člověku, možná přímo o Karlu Čapkovi? Se současným stavem poznání si už lze troufnout prakticky na cokoliv. Umělá inteligence se bude čím dál víc stávat běžnou součástí našich životů a divadlo může být jedním z experimentálních prostorů.


The Malach User Interface created for the needs of the Malach Center for Visual History makes several large collections and databases of oral history sources available for the research of 20th century history, with special attention to the issue of the Holocaust History.

Uživatelské rozhraní vytvářené pro potřeby Centra vizuální historie Malach zpřístupňuje několik velkých kolekcí a databází orálně historických pramenů k výzkumu dějin 20. století, se zvláštním zřetelem na problematiku holokaustu.


Syntax Representation in Word Embeddings and Neural Networks – A Survey

Reprezentace syntaxe ve vkládání slov a neuronových sítích - průzkum

Neural networks trained on natural language processing tasks capture syntax even though it is not provided as a supervision signal. This indicates that syntactic analysis is essential to the understating of language in artificial intelligence systems. This overview paper covers approaches of evaluating the amount of syntactic information included in the representations of words for different neural network architectures. We mainly summarize research on English monolingual data on language modeling tasks and multilingual data for neural machine translation systems and multilingual language models. We describe which pre-trained models and representations of language are best suited for transfer to syntactic tasks.

Neurální sítě trénované na zpracování přirozeného jazyka zachycují syntaxi, i když není poskytována jako signál dohledu. To naznačuje, že syntaktická analýza je nezbytná pro podcenění jazyka v systémech umělé inteligence. Tento přehledný dokument se zabývá přístupy k hodnocení množství syntaktických informací obsažených v reprezentacích slov pro různé architektury neuronových sítí. Shrnujeme především výzkum anglických jednojazyčných dat o úkolech jazykového modelování a vícejazyčných dat pro systémy neurálního strojového překladu a vícejazyčné jazykové modely. Popisujeme, které předcvičené modely a znázornění jazyka jsou nejvhodnější pro přenos do syntaktických úloh.


Universal Dependencies according to BERT: both more specific and more general

Universal Dependencies podle BERTa: jak specifičtější, tak obecnější

This work focuses on analyzing the form and extent of syntactic abstraction captured by BERT by extracting labeled dependency trees from self-attentions.
Previous work showed that individual BERT heads tend to encode particular dependency relation types. We extend these findings by explicitly comparing BERT relations to Universal Dependencies (UD) annotations, showing that they often do not match one-to-one.
We suggest a method for relation identification and syntactic tree construction. Our approach produces significantly more consistent dependency trees than previous work, showing that it better explains the syntactic abstractions in BERT. At the same time, it can be successfully applied with only a minimal amount of supervision and generalizes well across languages.

Tato práce se zaměřuje na analýzu formy a rozsahu syntaktické abstrakce zachycené BERT extrahováním označených stromů závislosti ze sebepozornosti.
Předchozí práce ukázaly, že jednotlivé hlavy BERT mají tendenci kódovat konkrétní typy vztahů závislosti. Rozšiřujeme tato zjištění explicitním porovnáním vztahů BERT s anotacemi Universal Dependencies (UD), což ukazuje, že se často neshodují jedna ku jedné.
Navrhujeme metodu pro identifikaci vztahu a syntaktickou stavbu stromu. Náš přístup vytváří podstatně více konzistentních stromů závislosti než předchozí práce, což ukazuje, že lépe vysvětluje syntaktické abstrakce v BERT. Zároveň ji lze úspěšně aplikovat jen s minimální mírou dohledu a dobře zobecňuje napříč jazyky.

Tomasz Limisiewicz
Rudolf Rosa
David Mareček


Implicit relation questions surfacing in Prague discourse projects

K implicitním vztahům v pražském diskurzním bádání

The presentation wis devoted to the current discourse-oriented projects/research directions at ÚFAL institute in connection with the implicitness of discourse relations, such as underspecified connectives or semantic signalling.

Prezentace je věnována implicitnosti diskurzních vztahů, jako je například podspecifikované užití konektivních prostředků nebo sémantická signalizace.


GeCzLex: Lexicon of Czech and German Anaphoric Connectives

GeCzLex: Lexikon českých a německých anaforických konektorů

We introduce the first version of GeCzLex, an online electronic resource for translation equivalents of Czech and German discourseconnectives.  The lexicon is one of the outcomes of the research on anaphoricity and long-distance relations in discourse, it containsat  present  anaphoric  connectives  (ACs)  for  Czech  and  German  connectives,  and  further  their  possible  translations  documented  inbilingual parallel corpora (not necessarily anaphoric). As a basis, we use two existing monolingual lexicons of connectives: the Lexiconof  Czech  Discourse  Connectives  (CzeDLex)  and  the  Lexicon  of  Discourse  Markers  (DiMLex)  for  German,  interlink  their  relevantentries via semantic annotation of the connectives (according to the PDTB 3 sense taxonomy) and statistical information of translationpossibilities from the Czech and German parallel data of the InterCorp project.  The lexicon is, as far as we know, the first bilingualinventory of connectives with linkage on the level of individual entries, and a first attempt to systematically describe devices engaged inlong-distance, non-local discourse coherence. The lexicon is freely available under the Creative Commons License.

Článek představuje první verzi lexikonu GeCzLex, online jazykového zdroje překladových ekvivalentů českých a německých anaforických konektorů.

Lucie Poláková
Kateřina Rysová
Magdaléna Rysová
Jiří Mírovský


Mining Local Discourse Annotation for Features of Global Discourse Structure

Využití lokální anotace diskurzu pro modelování vyšší struktury textu

Descriptive approaches to discourse (text) structure and coherence typically proceed either in a bottom-up or a top-down analytic way. The former ones analyze how the smallest discourse units (clauses, sentences) are connected in their closest neighbourhood, locally, in a linear way. The latter ones postulate a hierarchical organization of smaller and larger units, sometimes also represent the whole text as a tree-like graph. In the present study, we mine a Czech corpus of 50k sentences
annotated in the local coherence fashion (Penn Discourse Treebank style) for indices signalling higher discourse structure. We analyze patterns of overlapping discourse relations and look into hierarchies they form. The
types and distributions of the detected patterns correspond to the results for English local annotation, with patterns not complying with the tree-like interpretation at very low numbers. We also detect hierarchical organization of local discourse relations of up to 5 levels in the Czech data.

Studie se věnuje analýze vzájemného uspořádání tzv. lokálních vztahů textové koherence a zkoumá využitelnost zjištěných výsledků při modelování globální koherence textu.


CzeDLex 0.7 is the third development version of a lexicon of Czech discourse connectives. The lexicon contains connectives partially automatically extracted from the Prague Discourse Treebank 2.0 (PDiT 2.0) and other resources. The most frequent entries in the lexicon (covering more than 95% of the discourse relations annotated in the PDiT 2.0) have been manually checked, translated to English and supplemented with additional linguistic information.

CzeDLex 0.7 je třetí vývojová verze slovníku českých diskurzních konektorů. Slovník obsahuje konektory částečně automaticky extrahované z Pražského diskurzního korpusu 2.0 (PDiT 2.0) a z dalších zdrojů. Nejfrekventovanější slovníková hesla (pokrývající více než 95% diskurzních vztahů anotovaných v PDiT 2.0) byla ručně zkontrolována, přeložena do angličtiny a doplněna dalšími lingvistickými informacemi.

Lucie Poláková
Jiří Mírovský
Pavlína Synková
Věra Kloudová
Magdaléna Rysová


Universal Dependency Treebanks for Low-Resource Indian Languages: The Case of Bhojpuri

Treebanky Universal Dependencies pro indické jazyky s nedostatkem zdrojů: Případ bhódžpurštiny

This paper presents the first dependency treebank for Bhojpuri, an Indo-Aryan language. Bhojpuri is one of the resource-poor Indian languages. The objective of the Bhojpuri Treebank (BHTB) project is to provide a substantial, syntactically annotated treebank for Bhojpuri which helps in building language technological tools. This project will also help in cross-lingual learning and typological research. Currently, the treebank consists of 4,881 tokens using the annotation scheme of Universal Dependencies (UD). We develop a Bhojpuri tagger and parser using the machine learning approach. The accuracy of the model is 57.49% UAS, 45.50% LAS, 79.69% UPOS accuracy and 77.64% XPOS accuracy. Finally, we discuss linguistic analysis and annotation process of the Bhojpuri UD treebank.

Tento článek představuje první závislostní korpus indo-árijského jazyka bhódžpurštiny. Bhódžpurština je jedním z indických jazyků, pro které není k dispozici dostatek zdrojů v oblasti strojového zpracování jazyka. Účelem projektu Bhódžpurského závislostního korpusu (BHTB) je poskytnout velký, syntakticky anotovaný korpus bhódžpurštiny, který pomůže při tvorbě nástrojů pro automatické zpracování jazyka. Tento projekt také pomůže s mezijazykovým strojovým učením a s typologickým výzkumem.


Unsupervised Multilingual Sentence Embeddings for Parallel Corpus Mining

Neřízené mnohojazyčné reprezentace vět pro dolování paralelních dat

Existing models of multilingual sentence embeddings require large parallel data resources which are not available for low-resource languages. We propose a novel unsupervised method to derive multilingual sentence embeddings relying only on monolingual data. We first produce a synthetic parallel corpus using unsupervised machine translation, and use it to fine-tune a pretrained cross-lingual masked language model (XLM) to derive the multilingual sentence representations. The quality of the representations is evaluated on two parallel corpus mining tasks with improvements of up to 22 F1 points over vanilla XLM. In addition, we observe that a single synthetic bilingual corpus is able to improve results for other language pairs.

Existující modely vícejazyčných větných vektorových reprezentací (embeddingů) vyžadují rozsáhlé paralelní datové zdroje, které nejsou k dispozici pro všechny jazyky. Navrhujeme novou metodu neřízeného učení pro získání vícejazyčných větných embeddingů pouze z jednojazyčných dat. Nejprve pomocí neřízeného strojového překladu vytvoříme syntetický paralelní korpus a použijeme jej k doladění předtrénovaného cross-lingválního maskovaného jazykového modelu (XLM) a k odvození vícejazyčných větných reprezentací. Kvalita reprezentací je hodnocena na dvou úlohách dolování paralelních dat se zlepšením F1 skóre až o 22 bodů oproti standardnímu XLM. Dále pozorujeme, že jeden syntetický dvojjazyčný korpus je schopen vylepšit výsledky i pro jiné jazykové páry.

Ivana Kvapilíková
Mikel Artetxe
Gorka Labaka
Eneko Agirre
Ondřej Bojar


CUNI Systems for the Unsupervised and Very Low Resource Translation Task in WMT20

Systémy Univerzity Karlovy pro soutěž ve strojovém překladu při nedostatku paralelních dat WMT20

This paper presents a description of CUNI systems submitted to the WMT20 task on unsupervised and very low-resource supervised machine translation between German and Upper Sorbian. We experimented with training on synthetic data and pre-training on a related language pair. In the fully unsupervised scenario, we achieved 25.5 and 23.7 BLEU translating from and into Upper Sorbian, respectively. Our low-resource systems relied on transfer learning from German-Czech parallel data and achieved 57.4 BLEU and 56.1 BLEU, which is an improvement of 10 BLEU points over the baseline trained only on the available small German-Upper Sorbian parallel corpus.

Tento článek představuje popis soutěžních systémů Univerzity Karlovy pro úlohu WMT20 ve strojovém překladu mezi němčinou a lužickou srbštinou při nedostatku dat. Provedli jsme experimenty s trénováním na syntetických datech a předtrénováním na příbuzných jazykových párech. V plně neřízeném režimu jsme dosáhli 25,5 a 23,7 BLEU při překladu z a do lužické srbštiny. Ve volnějším režimu jsme použili transfer learning z německo-českých paralelních dat a dosáhli 57,4 BLEU a 56,1 BLEU, což je zlepšení o 10 BLEU bodů oproti baseline natrénované pouze na malém množství dostupných německo-lužickosrbských paralelních vět.

Ivana Kvapilíková
Tom Kocmi
Ondřej Bojar


Data-to-Text Generation with Iterative Text Editing

Generování textu z dat pomocí postupných úprav textu

We present a novel approach to data-to-text generation based on iterative text editing. Our approach maximizes the completeness and semantic accuracy of the output text while leveraging the abilities of recent pretrained models for text editing (LaserTagger) and language modelling (GPT-2) to improve the text fluency. To this end, we first transform data to text using trivial per-item lexicalizations, iteratively improving the resulting text by a neural model trained for the sentence fusion task. The model output is filtered by a simple heuristic and reranked with an off-the-shelf pretrained language model. We evaluate our approach on two major data-to-text datasets (WebNLG, Cleaned E2E) and analyze its caveats and benefits. Furthermore, we show that our formulation of data-to-text generation opens up the possibility for zero-shot domain adaptation using a general-domain dataset for sentence fusion.

Představujeme nový přístup pro generování textu z dat založený na postupných úpravách textu. Náš přístup maximalizuje úplnost a sémantickou přesnost výstupního textu a zároveň využívá současných předtrénovaných modelů pro editaci textu (LaserTagger) a modelování jazyka (GPT-2) pro zlepšení plynulosti textu. Za tímto účelem nejprve převádíme data na text pomocí triviální lexikalizace zvlášť pro každou položku a následně výsledný text postupně vylepšujeme neuronovým modelem natrénovaným na spojování vět. Náš přístup vyhodnocujeme na dvou používaných datových sadách (WebNLG, Cleaned E2E) a analyzujeme jeho přínosy a úskalí. Dále ukazujeme, že náš přístup umožňuje generování textu z dat bez dat z konkrétní domény za pomocí obecné datové sady pro spojování vět.


Train Hard, Finetune Easy: Multilingual Denoising for RDF-to-Text Generation

Těžké trénování, lehké doladění: Multilinguální denoising pro generování textu z RDF

We describe our system for the RDF-to-text generation task of the WebNLG Challenge 2020. We base our approach on the mBART model, which is pre-trained for multilingual denoising. This allows us to use a simple, identical, end-to-end setup for both English and Russian. Requiring minimal task or language-specific effort, our model placed in the first third of the leaderboard for English and first or second for Russian on automatic metrics, and it made it into the best or second-best system cluster on human evaluation.

Popisujeme náš systém pro generování textu z RDF pro soutěž WebNLG Challenge 2020. Svůj přístup zakládáme na modelu mBART, který je předtrénován pro vícejazyčný denoising. To nám umožňuje použít jednoduchý, identický end-to-end přístup pro angličtinu i ruštinu. S minimálními nároky specifickými pro konkrétní jazyk nebo úlohu se náš model umístil v první třetině žebříčku pro angličtinu a na prvním nebo druhém místě pro ruštinu v automatických metrikách. Podle lidského hodnocení se dostal do nejlepší nebo druhé nejlepším skupiny systémů.


Towards Reasonably-Sized Character-Level Transformer NMT by Finetuning Subword Systems

K rozumně velkým modelům Tranformer pro neuronový strojový překlad pracující na úrovni znaků pomocí dotrénování podslovních modelů

Applying the Transformer architecture on the character level usually requires very deep architectures that are difficult and slow to train. These problems can be partially overcome by incorporating a segmentation into tokens in the model. We show that by initially training a subword model and then finetuning it on characters, we can obtain a neural machine translation model that works at the character level without requiring token segmentation. We use only the vanilla 6-layer Transformer Base architecture. Our character-level models better capture morphological phenomena and show more robustness to noise at the expense of somewhat worse overall translation quality. Our study is a significant step towards high-performance and easy to train character-based models that are not extremely large.

Aplikace architektury Transformeru na úrovni znaků obvykle vyžaduje velmi hluboké architektury, které se obtížně a pomalu trénují. V článku ukazujeme, že předtrénováním podslovního modelu a jeho finetuningem na znaky můžeme získat kvalitní model pro neuronový strojový překlad, který funguje na úrovni znaků bez nutnosti tokenizace vstupu. Používáme pouze základní šestivrstvou architekturu Transformer Base. Naše modely na úrovni znaků lépe zachycují morfologické jevy a vykazují větší odolnost vůči šumu za cenu poněkud horší celkové kvality překladu. Naše studie je tak významným krokem ke kvalitním a snadno trénovatelným modelům, které modelují překlad na útrovni znaků a zároveň nejsou extrémně velké.


On the Language Neutrality of Pre-trained Multilingual Representations

O jazykové neutralitě předtrénovaných vícejazyčných reprezentací

Multilingual contextual embeddings, such as multilingual BERT (mBERT) and XLM-RoBERTa, have proved useful for many multi-lingual tasks. Previous work probed the cross-linguality of the representations indirectly using zero-shot transfer learning on morphological and syntactic tasks. We instead focus on the language-neutrality of mBERT with respect to lexical semantics. Our results show that contextual embeddings are more language-neutral and in general more informative than aligned static word-type embeddings which are explicitly trained for language neutrality. Contextual embeddings are still by default only moderately language-neutral, however, we show two simple methods for achieving stronger language neutrality: first, by unsupervised centering of the representation for languages, and second by fitting an explicit projection on small parallel data. In addition, we show how to reach state-of-the-art accuracy on language identification and word alignment in parallel sentences.

Mnohojazyčné kontextové embedinky, jako vícejazyčný BERT (mBERT) a XLM-RoBERTa, se osvědčily pro mnoho vícejazyčných úloh. Předchozí práce zkoumala mnohojazyčnost reprezentací nepřímo s využitím nulového transferového učení na morfologických a syntaktických úkolech. Místo toho se zaměřujeme na jazykovou neutralitu mBERTu s ohledem na lexikální sémantiku. Naše výsledky ukazují, že kontextové embedinky jsou jazykově neutrálnější a obecně informativnější než zarovnané statické slovní embedinky, které jsou explicitně trénovány na jazykovou neutralitu. Kontextové embedinky jsou stále standardně pouze mírně jazykově neutrální, nicméně ukazujeme dvě jednoduché metody, jak dosáhnout silnější jazykové neutrality: zaprvé neřízeným vystředěním reprezentace pro jazyky a zadruhé explicitní projekcí na malých paralelních datech. Kromě toho ukazujeme, jak překonat nejlepší dosažené přesnosti při identifikaci jazyka a zarovnávání slov v paralelních větách.

Jindřich Libovický
Rudolf Rosa
Alexander Fraser


Expand and Filter: CUNI and LMU Systems for the WNGT 2020 Duolingo Shared Task

Expanduj a filtruj: Soutěžní příspěvek UK a LMU do soutěže STAPLE na WNGT 2020

We present our submission to the Simultaneous Translation And Paraphrase for Language Education (STAPLE) challenge. We used a standard Transformer model for translation, with a crosslingual classifier predicting correct translations on the output n-best list. To increase the diversity of the outputs, we used additional data to train the translation model, and we trained a paraphrasing model based on the Levenshtein Transformer architecture to generate further synonymous translations. The paraphrasing results were again filtered using our classifier. While the use of additional data and our classifier filter were able to improve results, the paraphrasing model produced too many invalid outputs to further improve the output quality. Our model without the paraphrasing component finished in the middle of the field for the shared task, improving over the best baseline by a margin of 10-22 % weighted F1 absolute.

Představujeme příspěvek do soutěže a kombinace automatického překladu a parafrázování ve výuce jazyků (STAPLE). Pro překlad jsme použili standardní model Transformer, doplněný kroslinguálním klasifikátorem pro filtrování překladových hypotéz. Abychom zvýšili rozmanitost výstupů, použili jsme další trénovací data a vyvinuli jsme parafrázovací model založený na architektuře Levenshtein Transformer, který generuje další synonymní překlady. Výsledky parafrázování byly opět filtrovány kroslinguálním klasifikátorem. Zatímco použití dalších dat a náš filtr zlepšily výsledky, parafrázování generovalo příliš mnoho neplatných výstupů, aby dále zlepšilo kvalitu výstupů. Náš model bez parafrázování skončil přibližně uprostřed soutěžního pořadí a přinesl zlepšení o 10-22% vážený F1 bodů oproti základnímu řešení.

Jindřich Libovický
Zdeněk Kasner
Jindřich Helcl
Ondřej Dušek


The LMU Munich System for the WMT20 Very Low Resource Supervised MT Task

Sytsém LMU Mnichov soutěž WMT20 v překladu s velmi málo paralelními daty

We present our systems for the WMT20 Very Low Resource MT Task for translation between German and Upper Sorbian. For training our systems, we generate synthetic data by both back- and forward-translation. Additionally, we enrich the training data with German-Czech translated from Czech to Upper Sorbian by an unsupervised statistical MT system incorporating orthographically similar word pairs and transliterations of OOV words. Our best translation system between German and Sorbian is based on transfer learning from a Czech-German system and scores 12 to 13 BLEU higher than a baseline system built using the available parallel data only.

Představujeme naše systémy pro WMT20 Very Low Resource MT Task k překladu mezi němčinou a hornolužickou srbštinou. Pro trénink našich systémů generujeme syntetická data zpětným i dopředným překladem. Trénvací data navíc obohacujeme o německo-české překlady z češtiny do hornolužické srbštiny pomocí neřízeného statistického MT systému, který obsahuje ortograficky podobné slovní dvojice a transliterace slov mimo slovník. Náš nejlepší překladový systém mezi němčinou a srbštinou je založen na transferu modelu z česko-německého systému a má o 12 až 13 BLEU vyšší skóre než základní systém vytvořený pouze s využitím dostupných paralelních dat.

Jindřich Libovický
Viktor Hangya
Helmut Schmid
Alexander Fraser


CUNI English-Czech and English-Polish Systems in WMT20: Robust Document-Level Training

Anglicko-české a anglicko-polské překladače z Univerzity Karlovy ve WMT20: robustní překlad celých dokumentů

We describe our two NMT systems submitted to the WMT 2020 shared task in English-Czech and English-Polish news translation. One system is sentence level, translating each sentence independently. The second system is document level, translating multiple sentences, trained on multi-sentence sequences up to 3000 characters long.

Popisujeme naše dva neuronové překladové systémy pro anglicko-český a anglicko-polský překlad, které se zúčastnily soutěže v překladu novinových článků WMT 2020. První systém překládá každou větu nezázvisle. Druhý systém je tzv. document-level, tedy překládá více vět naráz a je trénovaný na vícevětných sekvencích dlouhých až 3000 znaků.


Machine translation and artificial intelligence

The lecture will briefly introduce some of the tasks dealt with in computer linguistics, such as automatic correction of misspellings/grammar or automatic sentence analysis.

The main focus will be on the role of machine translation, in particular the development of different types of English-to-Czech translators over the last decade. Today's best translators are based on artificial intelligence technologies, namely deep neural networks, and the quality of the resulting translation is close to that of a professional translation agency. Questions are being asked about how this progress in machine translation quality made over recent years will affect language learning, but also whether we can rely on machine translations.

Přednáška úvodem krátce představí některé úlohy, kterými se zabývá počítačová lingvistika, například automatickou opravu překlepů/gramatiky či automatický větný rozbor.

Hlavní pozornost bude věnována úloze strojového překladu, zejména vývoji různých typů překladačů z angličtiny do češtiny během posledního desetiletí. Dnešní nejlepší překladače jsou založeny na technologiích umělé inteligence, konkrétně hlubokých neuronových sítí, a kvalita výsledného překladu se blíží úrovni profesionální překladatelské agentury. Vyvstávají otázky, jak tento pokrok ve kvalitě strojového překladu dosažený během posledních let ovlivní výuku jazyků, ale též zda se na strojové překlady můžeme spolehnout.


Transforming machine translation: a deep learning system reaches news translation quality comparable to human professionals

Transformace strojového překladu: systém hlubokého učení dosahuje kvality překladu zpráv srovnatelné s lidskými profesionály

The quality of human translation was long thought to be unattainable for computer translation systems. In this study, we present a deep-learning system, CUBBITT, which challenges this view. In a context-aware blind evaluation by human judges, CUBBITT significantly outperformed professional-agency English-to-Czech news translation in preserving text meaning (translation adequacy). While human translation is still rated as more fluent, CUBBITT is shown to be substantially more fluent than previous state-of-the-art systems. Moreover, most participants of a Translation Turing test struggle to distinguish CUBBITT translations from human translations. This work approaches the quality of human translation and even surpasses it in adequacy in certain circumstances. This suggests that deep learning may have the potential to replace humans in applications where conservation of meaning is the primary aim.

Kvalita lidského překladu byla dlouho považována za nedosažitelnou pro počítačové překladové systémy. V této studii představujeme systém hlubokého učení CUBBITT, který tento názor zpochybňuje. V zaslepeném lidském hodnocení překladu novinových článků z angličtiny do češtiny CUBBITT výrazně předčil lidský překlad od profesionální agentury v zachování významu textu (adequacy, přesnosti překladu). Zatímco lidský překlad je stále hodnocen jako plynulejší, ukázalo se, že CUBBITT je podstatně plynulejší než dosavadní překladače. Většina účastníků překladového Turingova testu navíc nedokázala rozlišit překlady CUBBITT od překladů lidských. Tato práce se blíží kvalitě lidského překladu a za určitých okolností jej dokonce v přiměřenosti překonává. To naznačuje, že hluboké učení může mít potenciál nahradit člověka v aplikacích, kde je hlavním cílem zachování významu.

Martin Popel
Marketa Tomkova
Jakub Tomek
Łukasz Kaiser
Jakob Uszkoreit
Ondřej Bojar
Zdeněk Žabokrtský


Removing European Language Barriers with Innovative Machine Translation Technology

Odstranění evropských jazykových bariér pomocí inovativní technologie strojového překladu

This paper presents our progress towards deploying a versatile communication platform in the task of highly multilingual live speech
translation for conferences and remote meetings live subtitling. The platform has been designed with a focus on very low latency and
high flexibility while allowing research prototypes of speech and text processing tools to be easily connected, regardless of where they
physically run. We outline our architecture solution and also briefly compare it with the ELG platform. Technical details are provided
on the most important components and we summarize the test deployment events we ran so far.

Tento dokument představuje náš pokrok směrem k zavedení univerzální komunikační platformy v úkolu vysoce mnohojazyčného živého projevu
překlady pro konference a vzdálené schůzky živé titulkování. Platforma byla navržena se zaměřením na velmi nízkou latenci a
vysoká flexibilita při umožnění snadného propojení výzkumných prototypů nástrojů pro zpracování řeči a textu, bez ohledu na to, kde
fyzicky běhat. Nastíníme naše řešení architektury a také ho krátce porovnáme s platformou ELG. Technické podrobnosti jsou uvedeny
o nejdůležitějších součástech a shrnujeme události zkušebního nasazení, které jsme zatím provedli.

Dario Franceschini
Chiara Canton
Ivan Simonini
Armin Schweinfurth
Adelheid Glott
Sebastian Stüker
Thai-Son Nguyen
Felix Schneider
Thanh-Le Ha
Alex Waibel
Barry Haddow
Phil Williams
Rico Sennrich
Ondřej Bojar
Sangeet Sagar
Dominik Macháček
Otakar Smrž


Image Captioning with Visual Object Representations Groundedin the Textual Modality

Automatická tvorba popisků obrázků pomocí visuálních reprezentací objektů zakotvených v textu

We present our work in progress exploring the possibilities of a shared embedding space between textual and visual modality.
Leveraging the textual nature of object detection labels and the hypothetical expressiveness of extracted visual object representations, we propose an approach opposite to the current trend, grounding of the representations in the word embedding space of the captioning system instead of grounding words or sentences in their associated images.
Based on the previous work, we apply additional grounding losses to the image captioning training objective aiming to force visual object representations to create more heterogeneous clusters based on their class label and copy a semantic structure of the word embedding space.
In addition, we provide an analysis of the learned object vector space projection and its impact on the IC system performance.
With only slight change in performance, grounded models reach the stopping criterion during training faster than the unconstrained model, needing about two to three times less training updates.
Additionally, an improvement in structural correlation between the word embeddings and both original and projected object vectors suggests that the grounding is actually mutual.

Představujeme naši práci zkoumající možnosti společného prostoru embedingů mezi textovou a vizuální modalitou.
Narozdíl od současného trendu zakotvení slov či vět v přidružených obrázcích, navrhujeme zakotvení visuálních reprezentací objektů v prostoru slovních embedingů systému generujícího popisků.
K tomu využíváme textové povahy popisků detekovaných objektů a předpokládanou expresivitu reprezentací těchto objektů.
Na základě předchozích poznatků aplikujeme dodatečné objektivní funkce k základní popiskovací objektivní funkci, jejichž cílem je tvorba heterogenních klastrů závislých na jejich třídě a napodobení sémantické struktury prostoru slovních embedingů.
Kromě toho také analyzujeme natrénované projekce prostoru vizualních objektů a jejich vliv na výkon popiskovacího systému.
I přes mírné zhoršení kvality generovaných popisků, modely se zakotvením konvergují výrazně rychleji během trénovaní vyžadujíce dvakrát až třikrát méně trénovacích iterací.
Zlepšení strukturální korelace mezi slovními embedingy a nejen původními objektovými reprezentacemi, ale i jejich projekcí naznačuje, že zakotvení je vzájemné.

Dušan Variš
Satoshi Nakamura
Katsuhito Sudoh


The Jubilee 45th Year of Olympiad in Czech Language

Jubilejní 45. ročník Olympiády v českém jazyce

The article describes the course of the jubilee 45th year of the Olympiad in the Czech Language, presenting its general settings as well as some of the tasks, their solutions, the approaches of the participants and the names of the winners.

Článek popisuje průběh jubilejního 45. ročníku Olympiády v českém jazyce. Představuje soutěž jako takovou, přibližuje konkrétní soutěžní úlohy včetně jejich řešení, komentuje řešení účastníků a přináší jména vítězů.


The aim of the paper is to introduce a Czech-German dictionary database containing frequently used language expressions involved in the text structure – anaphoric discourse connectives.

Cílem příspěvku je představit česko-německou slovníkovou databázi obsahující frekventované jazykové výrazy podílející se na strukturaci textu – anaforické diskurzní konektory.


A Test Suite and Manual Evaluation of Document-Level NMT at WMT19

Testovací sada a ruční vyhodnocení NMT v kontextu celého dokumentu na WMT19

As the quality of machine translation rises and
neural machine translation (NMT) is moving
from sentence to document level translations,
it is becoming increasingly difficult to evaluate
the output of translation systems.
We provide a test suite for WMT19 aimed at
assessing discourse phenomena of MT systems participating in the News Translation
Task. We have manually checked the outputs
and identified types of translation errors that
are relevant to document-level translation.

Vyhodnotili jsme strojový překlad na vztazích v rámci dokumentů. Ukázalo se, že systémy se na mezivětných vztazích příliš neliší.

Kateřina Rysová
Magdaléna Rysová
Tomáš Musil
Lucie Poláková
Ondřej Bojar


EVALD – a Pioneer Application for Automated Essay Scoring in Czech

EVALD – inovativní aplikace pro automatické hodnocení kvality textů v češtině

We present EVALD applications (Evaluator of Discourse) for automated essay scoring. We analyze in detail newly acquired language data – texts written by non-native speakers reaching the threshold level of the Czech language acquisition. We also present new spelling features added in the system.

Představujeme aplikace EVALD (Evaluator of Discourse) pro automatické vyhodnocování českých textů. Podrobně analyzujeme nově získaná jazyková data - texty psané cizími mluvčími dosahující první úrovně osvojování českého jazyka. Představujeme také nové pravopisné "featury" přidané do systému.

Kateřina Rysová
Magdaléna Rysová
Michal Novák
Jiří Mírovský
Eva Hajičová


Databáze českých a německých anaforických konektorů

GeCzLex - Lexicon of Czech and German Anaphoric Connectives  - is a translation equivalent database of Czech and German discourse connectives, based on the data of annotated corpora and lexicons: Prague Discourse Treebank 2.0 and CzeDLex 0.6 (for Czech), DiMLex 2.0 (for German) and Intercorp 11 (a large resource of parallel Czech - German texts). Its current, first release is a pilot version representing one of the outcomes of a research project on anaphoricity in Czech and German connectives. Thus, it contains translation equivalents for a) connectives originally formed from a preposition and an anaphoric element (e.g. "darum" in German, "proto" in Czech) and b) Czech connectives with the ability to relate "remotely" to non-adjacent text segments.

GeCzLex je databáze překladových ekvivalentů českých a německých textových konektorů. Je založena na značkovaných datech několika elekronických jazykových zdrojů: pro češtinu je jeho základem Pražský diskurzní korpus 2.0 a slovník českých konektorů CzeDLex 0.6, pro němčinu podobný slovník DiMLex, pro oba jazyky pak česko-německá část paralelního korpusu Intercorp 11. Současné, první vydání je pilotní verzí a zároveň výstupem výzkumného projektu o anaforičnosti českých a německých konektorů. Databáze tedy nyní obsahuje překladové ekvivalenty pro a) konektory utvořené zpravidla spojením předložky a anaforického prvku (jako např. "darum" v němčině a "proto" v češtině) a b) české konektory, u nichž byla demonstrována schopnost vázat se na nesousední, vzdálené textové segmenty.

Kateřina Rysová
Lucie Poláková
Magdaléna Rysová
Jiří Mírovský


Idiap NMT System for WAT 2019 Multi-Modal Translation Task

Systém Idiap NMT pro multimodální překladovou úlohu WAT 2019

This paper describes the Idiap submission
to WAT 2019 for the English-Hindi MultiModal Translation Task. We have used
the state-of-the-art Transformer model and
utilized the IITB English-Hindi parallel corpus as an additional data source.
Among the different tracks of the multimodal task, we have participated in the
“Text-Only” track for the evaluation and
challenge test sets. Our submission tops in
its track among the competitors in terms
of both automatic and manual evaluation.
Based on automatic scores, our text-only
submission also outperforms systems that
consider visual information in the “multimodal translation” task.

Tento článek popisuje podání Idiap pro WAT 2019 pro anglicko-hindský vícemodální překladatelský úkol. Použili jsme nejmodernější model Transformeru a jako dodatečný zdroj dat jsme použili anglicko-hindský paralelní korpus IITB. Z různých skladeb multimodálního úkolu jsme se zúčastnili skladby „Text-Only“ pro hodnocení a
testovací sady. Naše podání je mezi konkurenty špičkové jak z hlediska automatického, tak manuálního hodnocení. Na základě automatických skóre předčí naše pouze textové podání i systémy, které v úkolu „multimodální překlad“ zohledňují vizuální informace.

Shantipriya Parida
Petr Motlíček
Ondřej Bojar


Hindi Visual Genome: A Dataset for Multimodal English-to-Hindi Machine Translation

Hindský vizuální genom: Datový soubor pro multimodální strojový překlad z angličtiny do hindštiny

Visual Genome is a dataset connecting
structured image information with English language. We present “Hindi Visual Genome”, a multi-modal dataset consisting of text and images suitable for English-Hindi multi-modal machine translation task and multi-modal research.
We have selected short English segments
(captions) from Visual Genome along with the associated images and automatically translated them to Hindi. A careful manual post-editing followed which took the associated images into account.

Visual Genome je dataset spojující strukturované obrazové informace s anglickým jazykem. Představujeme „Hindi Visual Genome“, multimodální datový soubor skládající se z textu a obrazů vhodný pro anglicko-hindský multimodální strojový překlad a multimodální výzkum.
Vybrali jsme krátké anglické segmenty (popisky) z Visual Genome spolu s přidruženými obrázky a automaticky je přeložili do hindštiny. Následovala pečlivá ruční kontrola, která vzala v úvahu související obrázky.

Shantipriya Parida
Ondřej Bojar
Satya Ranjan Dash


OdiEnCorp: Odia-English and Odia-Only Corpus for Machine Translation

OdiEnCorp: Urijsko-anglický a jednojazyčný urijský korpus pro strojový překlad

A multi-lingual country like India needs language corpora for
low resource languages not  only  to provide its citizens with technologies of natural language
processing (NLP) readily available in other countries, but also to support its people
in their education and cultural needs.

In this work, we focus on
one of the low resource languages, Odia, and
build an Odia-English parallel (OdiEnCorp) and an Odia monolingual (OdiMonoCorp) corpus.
The parallel corpus is based on
Odia-English parallel texts extracted from online resources and formally
corrected by
volunteers. We also preprocess the parallel corpus for machine translation
research or training. The
monolingual corpus comes from a diverse set of
online resources and we organize it into a collection of
segments and paragraphs, easy to handle by NLP tools.

OdiEnCorp parallel corpus contains 29346 sentence pairs and 756K English and 648K Odia
tokens. OdiMonoCorp contains 2.6 million tokens in  221K sentences in 71K
paragraphs.

Despite their small size, OdiEnCorp and OdiMonoCorp are still the largest Odia language resources, freely available for
non-commercial educational or research purposes.

Příspěvek popisuje sestavení dvou korpusů pro urijštinu (Oria): OdiEnCorp, paralelní korpus urijštiny a angličtiny, a OdiMonoCorp, jednojazyčný urijský korpus.


A Speech Test Set of Practice Business Presentations with Additional Relevant Texts

Řečový testset fiktivních firemních prezentací s dalšími relevantními materiály

We present a test corpus of audio recordings and transcriptions of presentations of students' enterprises together with their slides and web-pages. The corpus is intended for evaluation of automatic speech recognition (ASR) systems, especially in conditions where the prior availability of in-domain vocabulary and named entities is benefitable.
The corpus consists of 39 presentations in English, each up to  90 seconds long.
The speakers are high school students from European countries with English as their second language.
We benchmark three baseline ASR systems on the corpus and show their imperfection.

Předkládáme testovací korpus audionahrávek a přepisů prezentací studentských firem spolu s jejich slidy a webovými stránkami. Korpus je určen k evaluaci automatického rozpoznávání řeči, primárně za podmínek, ve kterých je využitelná předchozí dostupnost terminologie a pojmenovaných entit z dané oblasti.
Korpus se zkládá z 39 prezentací v angličtině, každá trvá až 90 sekund.
Řečníci jsou studenti středních škol z evropských zemí. Angličtina je jejich druhý jazyk.
Na korpusu testujeme tři základní modely pro automatické rozpoznávání řeči a ukazujeme jejich nedostatky.

Dominik Macháček
Jonáš Kratochvíl
Tereza Vojtěchová
Ondřej Bojar


From Balustrades to Pierre Vinken: Looking for Syntax in Transformer Self-Attentions

Od balustrů k Pierrovi Vinkenovi: Pátrání po syntaxi v sebepozornostech Transformeru

We inspect the multi-head self-attention in Transformer NMT encoders for three source languages, looking for patterns that could have a syntactic interpretation. In many of the attention heads, we frequently find sequences of consecutive states attending to the same position, which resemble syntactic phrases. We propose a transparent deterministic method of quantifying the amount of syntactic information present in the self-attentions, based on automatically building and evaluating phrase-structure trees from the phrase-like sequences. We compare the resulting trees to existing constituency treebanks, both manually and by computing precision and recall.

Zkoumáme vícehlavou sebepozornost v enkodérech Transformer NMT pro tři zdrojové jazyky a hledáme vzory, které by mohly mít syntaktickou interpretaci. V mnoha hlavách pozornosti často nalézáme sekvence po sobě jdoucích stavů, které sledují stejnou pozici, které se podobají syntaktickým frázím. Navrhujeme transparentní deterministickou metodu kvantifikace množství syntaktické informace přítomné v sebepozornosti, založenou na automatickém vytváření a vyhodnocování frázových stromů z frázovitých sekvencí. Výsledné stromy porovnáváme se stávajícími syntaktickými korpusy, a to jak ručně, tak pomocí výpočtu přesnosti a úplnosti.


LSD: Linguistic Structure Representation in Neural Networks

LSD: Reprezentace lingvistických struktur v neuronových sítích

Word embeddings and Deep neural networks perform great. They do not have any explicit knowledge of linguistic abstractions. How do they work? What emergent abstractions can we observe in them? How can we interpret them? Are the emergent structures and abstractions similar to classical linguistic structures and abstractions?

Slovní embedinky a hluboké neuronové sítě fungují skvěle. Nemají žádné explicitní znalosti jazykových abstrakcí. Jak fungují? Jaké emergentní abstrakce v nich můžeme pozorovat? Jak je můžeme interpretovat? Jsou emergentní struktury a abstrakce podobné klasickým lingvistickým strukturám a abstrakcím?

David Mareček
Jindřich Libovický
Rudolf Rosa
Tomáš Musil


English-Indonesian Neural Machine Translation for Spoken Language Domains

Anglicko-indonéský neuronový překlad pro doménu mluveného jazyka

In this  work, we conduct a study on Neural Machine Translation (NMT) for English-Indonesian (EN-ID) and Indonesian-English (ID-EN). We focus on spoken language domains, namely colloquial and speech languages. We build NMT systems using the Transformer model for both translation directions and implement domain adaptation, in which we train our pre-trained NMT systems on speech language (in-domain) data.  Moreover, we conduct an evaluation on how the domain-adaptation method in our EN-ID system can result in more formal translation out-puts.

V této práci provádíme studii soustřeďující se na neuronový překlad (NMT) pro angličtinu-indonéštinu (EN-ID) a indonéštinu-angličtinu (ID-EN). Zaměřujeme se na doménu mluveného jazyka, jmenovitě na hovorový jazyk. Budujeme systémy NMT pomocí modelu Transformer pro oba směry překladu a implementujeme adaptaci domény, kde předtrénované systémy NMT trénujeme na datech mluveného jazyka (v doméně). Dále provádíme hodnocení toho, jak může metoda doménové adaptace v našem systému EN-ID vést k formálnějším výsledkům překladů.


Semantic Noise Matters for Neural Natural Language Generation

Při neuronovém generování přirozeného jazyka záleží ná sémantickém šumu

Neural natural language generation (NNLG) systems are known for their pathological outputs, i.e. generating text which is unrelated to the input specification. In this paper, we show the impact of semantic noise on state-of-the-art NNLG models which implement different semantic control mechanisms. We find that cleaned data can improve semantic correctness by up to 97%, while maintaining fluency. We also find that the most common error is omitting information, rather than hallucination.

Neuronové systémy generování přirozeného jazyka jsou známy svými patologickými výstupy, tj. generováním textu, který nesouvisí se specifikovaným vstupem. V tomto článku ukazujeme vliv sémantického šumu na současné nejlepší neuronové generátory, které implementují různé mechanismy sémantické kontroly. Zjistili jsme, že vyčištění trénovacích dat může zlepšit sémantickou přesnost až o 97% při zachování plynnosti výstupů. Dále jsme zjistili, že nejčastějším typem chyby je vynechání informace, ne přidaná halucinovaná informace.

Ondřej Dušek
David M. Howcroft
Verena Rieser


Automatic Quality Estimation for Natural Language Generation: Ranting (Jointly Rating and Ranking)

Automatický odhad kvality pro generování přirozeného jazyka: spojené absolutní a relativní hodnocení

We present a recurrent neural network based system for automatic quality estimation of natural language generation (NLG) outputs, which jointly learns to assign numerical ratings to individual outputs and to provide pairwise rankings of two different outputs. The latter is trained using pairwise hinge loss over scores from two copies of the rating network.
We use learning to rank and synthetic data to improve the quality of ratings assigned by our system: we synthesise training pairs of distorted system outputs and train the system to rank the less distorted one higher. This leads to a 12% increase in correlation with human ratings over the previous benchmark. We also establish the state of the art on the dataset of relative rankings from the E2E NLG Challenge (Dušek et al., 2019), where synthetic data lead to a 4% accuracy increase over the base model.

Představujeme systém pro automatický odhad kvality výstupů generování přirozeného jazyka založený na rekurentních neuronových sítích, který se učí zároveň přiřazovat numerická absolutní hodnocení jednotlivým výstupům a dodávat relativní hodnocení pro páry různých výstupů. Druhá úloha se trénuje pomocí párové hinge chyby nad skóre ze dvou kopií sítě pro absolutní hodnocení.
Pro zlepšení kvality absolutního hodnocení používáme i učení relativního hodnocení a syntetická trénovací data: syntetizujeme trénovací páry zašuměných výstupů generátorů a učíme systém preferovat ten méně zašuměný. Toto vedlo ke 12% zvýšení korelace s lidským hodnocením proti předchozí nejlepší dosažené hodnotě. Navíc ukazujeme první výsledky na datové sadě relativních hodnocení z E2E NLG Challenge (Dušek et al., 2019), kde syntetická data přinesla 4% zlepšení přesnosti oproti základnímu modelu.

Ondřej Dušek
Karin Sevegnani
Ioannis Konstas
Verena Rieser


Neural Generation for Czech: Data and Baselines

Neuronové generování češtiny: data a základní modely

We present the first dataset targeted at end-to-end NLG in Czech in the restaurant domain, along with several strong baseline models using the sequence-to-sequence approach. While non-English NLG is under-explored in general, Czech, as a morphologically rich language, makes the task even harder: Since Czech requires inflecting named entities, delexicalization or copy mechanisms do not work out-of-the-box and lexicalizing the generated outputs is non-trivial.

In our experiments, we present two different approaches to this problem: (1) using a neural language model to select the correct inflected form while lexicalizing, (2) a two-step generation setup: our sequence-to-sequence model generates an interleaved sequence of lemmas and morphological tags, which are then inflected by a morphological generator.

Prezentujeme první datovou sadu zaměřenou na end-to-end generování jazyka v češtině v doméně restaurací, společně s několika silnými základními modely postavenými na architektuře sequence-to-sequence. Neanglické generování jazyka je obecně málo probádaný problém a čeština jakožto morfologicky bohatý jazyk představuje ještě těžší úkol: protože v češtině je třeba skloňovat jmenné entity, delexikalizace nebo jednoduché kopírovací mechanismy nefungují samy o sobě a lexikalizace výstupů generátoru je netriviální.

V našich experimentech představujeme dva různé přístupy k tomuto problému: (1) použití jazykového modelu pro výběr správné vyskloňované formy během lexikalizace, (2) dvoufázové generování: náš model sequence-to-sequence vygeneruje prokládanou sekvenci lemmat a morfologických značek, která je posléze zpracována morfologickým generátorem.


Findings of the 2019 Conference on Machine Translation (WMT19)

Výsledky konference o strojovém překladu 2019 (WMT19)

This paper presents the results of the premier
shared task organized alongside the Conference on Machine Translation (WMT) 2019.
Participants were asked to build machine
translation systems for any of 18 language
pairs, to be evaluated on a test set of news
stories. The main metric for this task is human judgment of translation quality. The task
was also opened up to additional test suites to
probe specific aspects of translation.

Tento dokument představuje výsledky premiérově sdíleného úkolu organizovaného společně s Konferencí o strojovém překladu (WMT) 2019.
Účastníci byli požádáni, aby sestavili systémy strojového překladu pro kterýkoli z 18 jazykových párů, které budou vyhodnoceny na základě testovací sady novinek. Hlavním metrem pro tento úkol je lidský úsudek o kvalitě překladu. Úkol byl také otevřen pro další testovací sady, které zkoumají specifické aspekty překladu.

Loïc Barrault
Ondřej Bojar
Marta R. Costa-Jussà
Christian Federmann
Mark Fishel
Yvette Graham
Barry Haddow
Matthias Huck
Philipp Koehn
Shervin Malmasi
Christof Monz
Mathias Müller
Santanu Pal
Matt Post
Marcos Zampieri


On the Temporality of Adaptive Built Environments

K časovosti přizpůsobivých vybudovaných prostředí

Recognizing the relation between inhabitants and their built environments as a feedback loop, our aim is to capture the temporality of this loop in various scenarios of adaptation. We specifically focus on the emerging types of adaptation that are motivated by digitally acquired personal data, leading to either automation or action taken by the building stakeholders. Between the microscopic daily mutations (e.g. automated adaptation to occupants’ presence or activity) and the macroscopic evolution of built environments, we identify a “mesoscopic” scale and argue for broadening its consideration in the research domain of adaptive built environments. In mesoscopic adaptations, inhabitants’ data undergo a process of thorough analysis and scrutiny, the results of which inform the re-envisioning of building design for its next cycles over the course of months-years. This contribution distinguishes and elaborates on four temporal scales of adaptation (minutes-hours, days-weeks, months-years, decades-centuries) and then exemplifies the meso-scale with a study conducted over three years within a living lab context. Through this example, we also aim to demonstrate the opportunity for living lab methodologies to contribute to the research on adaptive built environments at the mesoscopic scale.

V této kapitole chápeme vztah mezi budovaným prostředím a jeho obyvateli jako zpětnou vazbu a naším cílem je zachytit temporalitu této vazby v různých formách adaptace. Zaměřujeme se zejména na nově vznikající formy přizpůsobení, které jsou založeny na digitálně pořízených osobních datech, což vede k automatizaci či k různým opatřením ze strany stavebních subjektů.

Hamed Alavi
Himanshu Verma
Jakub Mlynář
Denis Lalanne


Results of the WMT19 Metrics Shared Task: Segment-Level and Strong MT Systems Pose Big Challenges

Výsledky sdíleného úkolu WMT19 Metrics: Segmentové a silné systémy MT představují velké výzvy

This paper presents the results of the
WMT19 Metrics Shared Task. Participants were asked to score the outputs of the translations systems competing in the WMT19 News Translation
Task with automatic metrics. 13 research
groups submitted 24 metrics, 10 of which
are reference-less “metrics” and constitute
submissions to the joint task with WMT19
Quality Estimation Task, “QE as a Metric”. In addition, we computed 11 baseline
metrics, with 8 commonly applied baselines (BLEU, SentBLEU, NIST, WER,
PER, TER, CDER, and chrF) and 3 reimplementations (chrF+, sacreBLEU-BLEU,
and sacreBLEU-chrF). Metrics were evaluated on the system level, how well a given
metric correlates with the WMT19 official manual ranking, and segment level,
how well the metric correlates with human
judgements of segment quality. This year,
we use direct assessment (DA) as our only
form of manual evaluation.

Tento dokument představuje výsledky sdíleného úkolu WMT19 Metrics. Účastníci byli požádáni, aby pomocí automatických metrik ohodnotili výstupy překladatelských systémů soutěžících v WMT19 News Translation Task. 13 výzkumných skupin předložilo 24 metrik, z nichž 10 jsou „metriky“ bez odkazů a představují podání ke společnému úkolu s WMT19 Quality Estimation Task, „QE as a Metric“. Navíc jsme vypočítali 11 základních
metriky, s 8 běžně používanými výchozími hodnotami (BLEU, SentBLEU, NIST, WER, PER, TER, CDER a chrF) a 3 reimplementy (chrF+, sacreBLEU-BLEU a sacreBLEU-chrF). Metriky byly hodnoceny na systémové úrovni, jak dobře daná metrika koreluje s oficiálním manuálním řazením WMT19 a na úrovni segmentu, jak dobře metrika koreluje s lidskými úsudky o kvalitě segmentu. Letos používáme přímé hodnocení (DA) jako jedinou formu manuálního hodnocení.

Qingsong Ma
Johnny Tian-Zheng Wei
Ondřej Bojar
Yvette Graham


A Comprehensive Account of Reflexives in Czech: The Valency Perspective

Reflexiva v češtině z valenčního hlediska

In this contribution, a comprehensive theoretical account of the reflexives in Czech elaborated within the Functional Generative Description, with the main emphasis put on the role of the reflexives in valency behavior of Czech verbs, has been provided.

V příspěvku byla diskutována role reflexiv v popisu češtiny a představena zejména ta reflexiva, která jsou součástí lemmatu slovesa.


Reflexives in Czech from a Dependency Perspective

Reflexiva v češtině ze závislostního hlediska

In the paper, Czech reflexives and their description in the dependency-oriented theory,
Functional Generative Description, are addressed. The primary focus lies in the reflexives
that form analogous syntactic structures as personal pronouns.

V příspěvku se diskutují reflexiva v češtině, která tvoří konstrukce obdobné jako osobní zájmena, a jejich popis v rámci Funkčního generativního popisu.


The role of the reflexives in valency: Evidence from Czech

Reflexives in Czech are highly ambiguous. In this contribution, changes in valency of derived reflexive verbs have been discussed.

Reflexiva v češtině plní nerůznější funkce. V tomto příspěvku jsme se zaměřily na změny ve valenci derivovaných reflexivních sloves.


Towards Reciprocal Deverbal Nouns in Czech: From Reciprocal Verbs to Reciprocal Nouns

K recipročním deverbálním jménův v češtině: Od reciprocčních sloves k recipročním jménům

Reciprocal verbs are widely debated in the current linguistics. However, other parts of speech can be characterized by reciprocity as well – in
contrast to verbs, their analysis is underdeveloped so far. In this paper, we make
an attempt to fill this gap, applying results of the description of Czech
reciprocal verbs to nouns derived from these verbs. We show that many aspects
characteristic of reciprocal verbs hold for reciprocal nouns as well.

Zatímco reciproční slovesa jsou v současné jazykovědě často diskutována, popis reciprocity dalších slovních druhů je teprve na počátku. V tomto příspěvku využíváme poznatky o reciprocitě sloves k popisu jejich deverbálních protějšků. Ukazujeme, že mnoho rysů recipročních konstrukcí sloves reciproční struktury deverbálních jmen sdílejí.