Sampling and Filtering of Neural Machine Translation Distillation Data

Výběr a filtrace dat pro destilaci v neuronovém strojovém překladu

Ve většině scénářů destilace nebo krádeže neuronových strojových překladů se k výcviku nového modelu (studenta) používá hypotéza s nejvyšším bodovým ohodnocením cílového modelu (učitele). Jsou-li k dispozici i referenční překlady, pak lze lepší hypotézy (s ohledem na odkazy) přetížit a špatné hypotézy buď odstranit, nebo podtrhnout. Tento dokument zkoumá prostředí metody odběru vzorků (prořezávání, hypotetické nadměrné vzorkování a nedostatečné vzorkování, deduplikace a jejich kombinace) s anglickými až českými a anglickými až německými modely MT pomocí standardních metrik hodnocení MT. Ukazujeme, že pečlivé nadměrné vzorkování a kombinace s původními údaji vede k lepším výsledkům ve srovnání se školením pouze o původních nebo syntetizovaných údajích nebo jejich přímé kombinaci.

In most of neural machine translation distillation or stealing scenarios, the highest-scoring hypothesis of the target model (teacher) is used to train a new model (student). If reference translations are also available, then better hypotheses (with respect to the references) can be oversampled and poor hypotheses either removed or undersampled. This paper explores the sampling method landscape (pruning, hypothesis oversampling and undersampling, deduplication and their combination) with English to Czech and English to German MT models using standard MT evaluation metrics. We show that careful oversampling and combination with the original data leads to better performance when compared to training only on the original or synthesized data or their direct combination.


Backtranslation Feedback Improves User Confidence in MT, Not Quality

Zpětná vazba zpětného překladu zlepšuje důvěru uživatelů vůči strojovému překladu, ne jeho kvalitu

Translating text into a language unknown to the text’s author, dubbed outbound translation, is a modern need for which the user experience has significant room for improvement, beyond the basic machine translation facility. We demonstrate this by showing three ways in which user confidence in the outbound translation, as well as its overall final quality, can be affected: backward translation, quality estimation (with alignment) and source paraphrasing. In this paper, we describe an experiment on outbound translation from English to Czech and Estonian. We examine the effects of each proposed feedback module and further focus on how the quality of machine translation systems influence these findings and the user perception of success. We show that backward translation feedback has a mixed effect on the whole process: it increases user confidence in the produced translation, but not the objective quality.

Článek zkoumá vlyv odhadování kvality překladu na slovní úrovni, zpětného překladu a automatického parafrázování na kvalitu odchozího překladu do jazyka, kterému jeho uživatelé nerozumí, a subjektivní důvěru uživatelů v kvalitu tohoto překladu.

Vilém Zouhar
Michal Novák
Matúš Žilinec
Ondřej Bojar
Mateo Obregón
Robin L. Hill
Frédéric Blain
Marina Fomicheva
Lucia Specia
Lisa Yankovskaya


Neural Machine Translation Quality and Post-Editing Performance

Kvalita neuronového strojového překladu a posteditace

We test the natural expectation that using MT in professional translation saves human processing time. The last such study was carried out by Sanchez-Torron and Koehn (2016) with phrase-based MT, artificially reducing the translation quality. In contrast, we focus on neural MT (NMT) of high quality, which has become the state-of-the-art approach since then and also got adopted by most translation companies.
Through an experimental study involving over 30 professional translators for English -> Czech translation, we examine the relationship between NMT performance and post-editing time and quality. Across all models, we found that better MT systems indeed lead to fewer changes in the sentences in this industry setting. The relation between system quality and post-editing time is however not straightforward and, contrary to the results on phrase-based MT, BLEU is definitely not a stable predictor of the time or final output quality.

Testujeme přirozené očekávání, že použití strojového překladu (MT) v profesionálním překladu ušetří lidem čas. Poslední takovou studii provedli Sanchez-Torron a Koehn (2016) s frázovým MT, čímž uměle snížili kvalitu překladu. My se oproti tomu zaměřujeme na vysoce kvalitní neuronový strojový překlad (NMT), který převyšuje kvalitu frázového MT a také ho přijala většina překladatelských společností.
Prostřednictvím experimentální studie, do níž se zapojilo přes 30 profesionálních překladatelů pro anglicko-český překlad, zkoumáme vztah mezi výkonem NMT a časem a kvalitou post-editace. Ve všech modelech jsme zjistili, že lepší systémy MT skutečně vedou k menšímu počtu změn vět v tomto průmyslovém prostředí. Vztah mezi systémovou kvalitou a dobou post-editace však není jednoznačný a na rozdíl od výsledků frázového MT není BLEU stabilním prediktorem času post-editace či konečné výstupní kvality.

Vilém Zouhar
Aleš Tamchyna
Martin Popel
Ondřej Bojar


Coarse-To-Fine And Cross-Lingual ASR Transfer

Coarse-to-fine a cross-linguálny ASR prenos

End-to-end neural automatic speech recognition systems achieved recently  state-of-the-art results but they require large datasets and extensive computing resources.
Transfer learning has been proposed to overcome these difficulties even across languages, e.g., German ASR trained from an English model.
We experiment with much less related languages, reusing an English model for Czech ASR. To simplify the transfer, we propose to use an intermediate alphabet, Czech without accents, and we document that it is a highly effective strategy. The technique is also useful on Czech data alone, in the style of "coarse-to-fine" training.
We achieve substantial reductions in training time as well as word error rate (WER).

End-to-end neurální systémy automatického rozpoznávání řeči dosáhly v poslední době nejmodernějších výsledků, ale vyžadují velké datové sady a rozsáhlé výpočetní zdroje.
Přenosové učení bylo navrženo k překonání těchto obtíží i napříč jazyky, např. německý ASR trénovaný podle anglického modelu.
Experimentujeme s mnohem méně příbuznými jazyky, přičemž pro české ASR znovu používáme anglický model. Pro zjednodušení převodu navrhujeme používat přechodnou abecedu, češtinu bez přízvuků, a dokládáme, že jde o vysoce efektivní strategii. Technika je užitečná i na samotných českých datech, ve stylu tréninku „coarse-to-fine“.
Dosahujeme podstatného zkrácení doby tréninku a také word error rate (WER).


Explainable Quality Estimation: CUNI Eval4NLP Submission

Vysvětlitelný odhad kvality: Příspěvek UK do kampaně Eval4NLP

This paper describes our participating system in the shared task Explainable quality estimation of 2nd Workshop on Evaluation & Comparison of NLP Systems. The task of quality estimation (QE, a.k.a. reference-free evaluation) is to predict the quality of MT output at inference time without access to reference translations. In this proposed work, we first build a word-level quality estimation model, then we finetune this model for sentence-level QE. Our proposed models achieve near state-of-the-art results. In the word-level QE, we place 2nd and 3rd on the supervised Ro-En and Et-En test sets. In the sentence-level QE, we achieve a relative improvement of 8.86% (Ro-En) and 10.6% (Et-En) in terms of the Pearson correlation coefficient over the baseline model.

Tento článek popisuje náš účastnický systém ve úloze Explainable quality estimation of 2nd Workshop on Evaluation & Comparison of NLP Systems. Úkolem odhadu kvality (QE, neboli bezreferenční hodnocení) je předpovídat kvalitu výstupu MT v čase odvození bez přístupu k referenčním překladům. V této navrhované práci nejprve vytvoříme model odhadu kvality na úrovni slov a poté tento model doladíme pro QE na úrovni vět. Námi navržené modely dosahují téměř nejmodernějších výsledků. V QE na úrovni slov se umístíme na 2. a 3. místě v testovaných sadách Ro-En a Et-En pod dohledem. V QE na úrovni vět dosahujeme relativního zlepšení 8,86% (Ro-En) a 10,6% (Et-En) ve smyslu Pearsonova korelačního koeficientu oproti základnímu modelu.


Between Adverbs and Particles: A Corpus Study of Selected Intensifiers

Mezi příslovci a částicemi: Korpusová studie vybraných intenzifikátorů

In this paper, we present a preliminary study of three intensifiers (absolutně, naprosto, úplně) based on data from three different corpora, a written corpus SYN2020, a web corpus ONLINE-ARCHIVE, and a spoken corpus ORTOFON 1. Providing a parallel annotation of a random sample of each intensifier, we focus on their functions and meanings in context. We analyse their properties in order to define those features which are relevant to their word class assignment, and to prepare grounds for the future disambiguation tasks.

V článku zachycujeme výsledky pilotní studie zaměřené na intenzifikátory: absolutně, naprosto a úplně. Vycházíme ze tří korpusů současné češtiny - psaného korpusu SYN2020, webového korpusu ONLINE-ARCHIVE a mluveného korpusu ORTOFON 1. Na základě paralelní anotace náhodného vzorku všech vybraných intenzifikátorů sledujeme funkce a významy těchto výrazů v kontextu.Cílem studie je vymezit vlastnosti, které jsou relevantní pro slovnědruhové určení zkoumaných výrazů a připravit podklady pro jejich disambiguaci.


Research of implicit and explicit discourse relations in Czech, based on a comparison of corpus analysis data (corpus PDiT-EDA 1.0, created for this research) and the results of psycholinguistic experiments. The study focuses on different semantic types of discourse relations and on their inter-sentential and intra-sentential realization.

Výzkum implicitních a explicitních diskurzních vztahů v češtině, založený na srovnání dat korpusové analýzy (korpus PDiT-EDA 1.0, vytvořený pro tento výzkum) a výsledků psycholingvistických experimentů. Studie se zaměřuje na jednolitvé sémantické typy diskurzních vztahů a na jejich mezivětnou a vnitrovětnou realizaci.


Primary and Secondary Discourse Connectives

Primární a sekundární diskurzní konektory

In the paper, we study discourse connectives and other discourse phenomena in Czech based on corpus data.

Článek je zaměřen na analýzu diskurzních konektorů a dalších diskurzních jevů v češtině na základě korpusových dat.


Results of the WMT21 Metrics Shared Task: Evaluating Metrics with Expert-based Human Evaluations on TED and News Domain

Výsledky z WMT21 Metrics Shared Task: Vyhodnocování metrik s expertními lidskými hodnoceními  na doméně TED a zpravodajství

This paper presents the results of the WMT21
Metrics Shared Task. Participants were asked
to score the outputs of the translation systems competing in the WMT21 News Translation Task with automatic metrics on two different domains: news and TED talks. All metrics were evaluated on how well they correlate at the system- and segment-level with
human ratings. Contrary to previous years’
editions, this year we acquired our own human ratings based on expert-based human evaluation via Multidimensional Quality Metrics
(MQM). This setup had several advantages:
(i) expert-based evaluation has been shown
to be more reliable, (ii) we were able to
evaluate all metrics on two different domains
using translations of the same MT systems,
(iii) we added 5 additional translations coming from the same system during system development. In addition, we designed three
challenge sets that evaluate the robustness of
all automatic metrics. We present an extensive analysis on how well metrics perform
on three language pairs: English→German,
English→Russian and Chinese→English. We
further show the impact of different reference
translations on reference-based metrics and
compare our expert-based MQM annotation
with the DA scores acquired by WMT.

Tento článek představuje výsledky WMT21 Metrics Shared Task. Účastníci byli požádáni o hodnocení výstupů překladatelských systémů soutěžících v překladatelské úloze WMT21 News pomocí automatických metrik pro dvě různé oblasti: zpravodajství a TED talks. Všechny metriky byly hodnoceny podle toho, jak dobře korelují na úrovni systému a segmentu s lidským hodnocením. Na rozdíl od předchozích ročníků jsme letos získali vlastní lidská hodnocení na základě expertního lidského hodnocení prostřednictvím vícerozměrných metrik kvality (MQM). Toto nastavení mělo několik výhod:
(i) ukázalo se, že expertní hodnocení je spolehlivější, (ii) byli jsme schopni vyhodnotit všechny metriky na dvou různých doménách s použitím překladů stejných systémů MT, (iii) během vývoje systému jsme přidali 5 dalších překladů pocházejících ze stejného systému. Kromě toho jsme navrhli tři
sady výzev, které hodnotí robustnost všech automatických metrik. Předkládáme rozsáhlou analýzu toho, jak dobře metriky fungují na třech jazykových dvojicích: angličtina→němčina, angličtina→ruština a čínština→angličtina. Dále ukazujeme vliv různých referenčních překladů metriky a porovnáváme naši expertní anotaci MQM s DA skóre získanými pomocí WMT.

Markus Freitag
Ricardo Rei
Nitika Mathur
Chi-kiu Lo
Craig Stewart
George Foster
Alon Lavie
Ondřej Bojar


Capturing Numerals and Pronouns at the Morphological Layer in the Prague Dependency Treebanks of Czech

Zachycení číslovek a zájmen na morfologické rovině Pražských závislostních korpusů s českými texty

The paper presents a novel and unified morphological description of numerals and pronouns, as compiled for the newest edition of the Prague Dependency Treebank (Prague Dependency Treebank – Consolidated 1.0) and its integral part the morphological dictionary MorfFlex. On the basis of considerable experience with real data annotation and the use of the morphological dictionary, particular changes were proposed. For both of the parts of speech a new set of subtypes was proposed, based mainly on the morphological criterion and its combination with semantic properties and other relevant features, such as definiteness in numerals and possessivity, reflexivity and clitichood in pronouns. Each subtype has a specific value at the 2nd position of the morphological tag which serves also as an indicator of the applicability of other tag categories.

Dokument prezentuje nový, sjednocený morfologický popis číslovek a zájmen, který byl zkompilován pro nejnovější vydání Pražských závislostních korpusů (Prague Dependency Treebank – Consolidated 1.0) a jeho nedílnou součást je morfologický slovník MorfFlex. Na základě zkušeností s anotací skutečných dat a s užíváním morfologického slovníku byly navrženy konkrétní změny. Pro oba slovní druhy byl navržen nový soubor podtypů, založený zejména na morfologickém kritériu a jeho kombinaci se sémantickými vlastnostmi a dalšími relevantními rysy, jako je ne/určitost u číslovek a posesivita, reflexivita a klitičnost u zájmen. Každý podtyp má specifickou hodnotu na 2. pozici morfologické značky, která slouží také jako ukazatel použitelnosti dalších kategorií ve značce.


Character Transformations for Non-Autoregressive GEC Tagging

Charakterové transformace pro neautoregresivní opravu gramatiky značkováním

We propose a character-based non-autoregressive GEC approach, with automatically generated character transformations. Recently, per-word classification of correction edits has proven an efficient, parallelizable alternative to current encoder-decoder GEC systems. We show that word replacement edits may be suboptimal and lead to explosion of rules for spelling, diacritization and errors in morphologically rich languages, and propose a method for generating character transformations from GEC corpus. Finally, we train character transformation models for Czech, German and Russian, reaching solid results and dramatic speedup compared to autoregressive systems. The source code is released at https://github.com/ufal/wnut2021_character_transformations_gec.

Představujeme neautoregresivní přístup k opravě gramatiky založený na znacích s automaticky generovanými transformacemi znaků. Nedávno byla jako alternativa k současným systémům pro opravu gramatiky typu enkodér-dekodér navržena klasifikace korekčních oprav jednotlivých slov. Ukazujeme, že náhrada celých slov může být neoptimální a může vést k explozi počtu pravidel pro opravy typu překlepů, diakritizační opravy a opravy v morfologicky bohatých jazycích, a proto navrhujeme metodu pro generování transformací znaků z korpusu pro opravu gramatiky. Dále jsme natrénovali znakové transformační modely pro češtinu, němčinu a ruštinu a dosáhli jsme solidních výsledků a dramatického zrychlení ve srovnání s autoregresivními systémy. Zdrojový kód je zveřejněn zde: https://github.com/ufal/wnut2021_character_transformations_gec.

Milan Straka
Jakub Náplava
Jana Straková


RobeCzech: Czech RoBERTa, a Monolingual Contextualized Language Representation Model

RobeCzech: Česká RoBERTa, monolingvální kontextualizovaný jazykový model

We present RobeCzech, a monolingual RoBERTa language representation model trained on Czech data. RoBERTa is a robustly optimized Transformer-based pretraining approach. We show that RobeCzech considerably outperforms equally-sized multilingual and Czech-trained contextualized language representation models, surpasses current state of the art in all five evaluated NLP tasks and reaches state-of-the-art results in four of them. The RobeCzech model is released publicly at https://hdl.handle.net/11234/1-3691 and https://huggingface.co/ufal/robeczech-base.

Představujeme RobeCzech, jednojazyčnou RoBERTu, (jazykový model) trénovaný pouze na českých datech. RoBERTa je robustně optimalizovaný přístup pro předtrénování založený na Transformeru. V příspěvku ukazujeme, že RobeCzech výrazně překonává podobně velké vícejazyčné i české kontextualizované modely a zlepšuje současné výsledky v pěti vyhodnocovaných úlohách automatického jazykového zpracování, přičemž dosahuje nejlepších známých výsledků ve čtyřech z nich. Model RobeCzech je veřejně dostupný zde: https://hdl.handle.net/11234/1-3691 a zde: https://huggingface.co/ufal/robeczech-base.

Milan Straka
Jakub Náplava
Jana Straková
David Samuel


HISTORICAL SOURCES OF GIANT MOUNTAINS – SOLUTION FOR DIGITAL ARCHIVES

PRAMENY KRKONOŠ – ŘEŠENÍ PRO DIGITÁLNÍ ARCHIVY

The Giant Mountains is a region affected by a loss of historical and cultural memory due to the post-war radical political and social transformation of the local society. Efforts to recognize and analyze the historical and cultural identities of the region are greatly complicated primarily by the local, linguistic, and institutional fragmentation of the information sources. With the growing importance of computer technology in all fields, including social sciences, history and cultural studies, there is a need to digitise sources but also metasources and to create unified archives where all this information can be collected in an appropriate structure and then further worked with. The objective of the article is to present the design and development of a dedicated database for the project “Historical sources of Giant Mountains: Development of a system of record keeping, processing and presentation of (historical) sources for the history and for the culture of Giant Mountains and its use in research and in education”. The specialized database will, through its innovative software solution for recording, processing and presenting, gather and analyze the representative sources - corcontica (including annotations highlighting regional peculiarities), and refer to their physical location and to their digital versions where relevant. Accordingly, the article focuses primarily on describing individual database modules and their interlinks.

Krkonoše jsou region postižený ztrátou historické a kulturní paměti v důsledku poválečné radikální politické a sociální transformace místní společnosti. Snahy rozpoznat a analyzovat historické a kulturní identity regionu značně komplikuje především místní, jazyková a institucionální roztříštěnost informačních zdrojů. Vzhledem k rostoucímu významu počítačových technologií ve všech oblastech, včetně kultury, je třeba digitalizovat zdroje, ale také metazdroje a vytvořit sjednocené archivy, kde lze všechny tyto informace shromáždit ve vhodné struktuře a dále s nimi pracovat. Cílem článku je představit návrh a vývoj specializované databáze pro projekt „Prameny Krkonoš: Vývoj systému evidence, zpracování a prezentace pramenů k historii a kultuře Krkonoš a jeho využití ve výzkumu a edukaci“. - Specializovaná databáze bude prostřednictvím svého inovativního softwarového řešení zaznamenávat, zpracovávat a prezentovat, shromažďovat a analyzovat reprezentativní corcontica (včetně anotace upozorňující na regionální zvláštnosti) a odkazující na jejich fyzické umístění a případně na jejich digitální verze. Zaměřujeme se především na popis jednotlivých databázových modulů a jejich propojení.


Universal Derivations (UDer) is a collection of harmonized lexical networks capturing word-formation, especially derivational relations, in a cross-linguistically consistent annotation scheme for many languages. The annotation scheme is based on a rooted tree data structure, in which nodes correspond to lexemes, while edges represent derivational relations or compounding. The current version of the UDer collection contains thirty-one harmonized resources covering twenty-one different languages.

Universal Derivations (UDer) je kolekce harmonizovaných lexikalních sítí zachycujících slovotvorné, zvl. derivační vztahy jednotlivých jazyků v témže anotačním schématu. Základní datovou strukturou tohoto anotačního schématu jsou zakořeněné stromy, ve kterých uzly odpovídají lexémům a hrany reprezentují derivační, příp. kompozitní vztahy. Stávající verze UDer v1.1 obsahuje 31 harmonizovaných zdrojů pokrývajících 21 různých jazyků.

Lukáš Kyjánek
Zdeněk Žabokrtský
Jonáš Vidra
Magda Ševčíková


DeriNet.RU is DeriNet-like lexical network of that captures core word-formation relations for Russian. It is based on a top of large corpus Araneum Russicum Maius corpus and a novel combination of a grammar-based component, supervised machine-learning model of Random Forest, and Maximum Spanning Tree algorithm.

DeriNet.RU je lexikální síť inspirovaná formétem českého DeriNetu. Jako taková zachycuje základní vztahy pro tvorbu slov v ruštině. DeriNet.RU je vytvořen na podkladě slovníku z velkého korpusu Araneum Russicum Maius a na kombinaci gramatické komponenty, modelu strojového učení využívajícího metodu Random Forest a algoritmu Maximum Spanning Tree.

Lukáš Kyjánek
Olga Lyashevskaya
Anna Nedoluzhko
Daniil Vodolazsky
Zdeněk Žabokrtský


Alghoritmic Theatrum Mundi: Future of performance between pixels, algorithms and atoms?

Algoritmické Theatrum Mundi: Budoucnost performance mezi pixely, algoritmy a atomy?

We will meet to reflect upon the future of theater, performance arts and rituals in an age of algorithms, data and various attempts to virtualize every atom and moment of our lived experiences. Will our genuine expressions and experience of human agency in wondering, experimenting and even disobedience survive in the metaverse, ML and AIs driven systems or become predictable effects of new infrastructures? Is there an emerging posthuman aesthetics and creativity that we are liberating?

Během našeho setkání se zaměříme na budoucnost divadla, scénických umění a rituálů ve věku algoritmů, dat a různých pokusů virtualizovat každý atom a okamžik našich žitých zkušeností. Přežijí naše autentické způsoby vyjadřování a lidská zkušenost spojená s údivem, experimentováním a vzdorem v metaverzu, v systémech řízených strojovým učením a umělou inteligencí? Anebo se stanou předvídatelnými efekty nových infrastruktur? Vzniká posthumanistická estetika, osvobozujeme novou tvořivost?

Dita Malečková
David Košťák
Rudolf Rosa
Ondřej Holba
Jan Mocek
Jan Tyl


We briefly introduce the THEaiTRE project and present a sample from the generated script.

V krátkém vstupu představíme projekt THEaiTRE a uvedeme ukázku z vygenerovaného scénáře.

Naomi Adachi
Michal Isteník
David Košťák
Rudolf Rosa


Bengali Visual Genome: A Multimodal Dataset for Machine Translation and Image Captioning

Bengali Visual Genome: Multimodální dataset pro strojový překlad a popisy obrázků v bengálštině a angličtině

Multimodal machine translation (MMT) refers to the extraction of information from more than one modality aiming at performance improvement by utilizing information collected from the modalities other than pure text. The availability of multimodal datasets, particularly for Indian regional languages, is still limited, and thus, there is a need to build such datasets for regional languages to promote the state of MMT research. In this work, we describe the process of creation of the Bengali Visual Genome (BVG) dataset. The BVG is the first multimodal dataset consisting of text and images suitable for English-to-Bengali multimodal machine translation tasks and multimodal research. We also demonstrate the sample use-cases of machine translation and region-specific image captioning using the new BVG dataset. These results can be considered as the baseline for subsequent research.

Článek představuje nový dataset Bengali Visual Genome pro multimodální překlad mezi angličtinou a bengálštinou.

Arghyadeep Sen
Shantipriya Parida
Ketan Kotwal
Subhadarshi Panda
Ondřej Bojar
Satya Ranjan Dash


Examining Cross-lingual Contextual Embeddings with Orthogonal Structural Probes

Zkoumání vícejazyčných kontextových vložek s ortogonálními strukturálními sondami

State-of-the-art contextual embeddings are obtained from large language models available only for a few languages. For others, we need to learn representations using a multilingual model. There is an ongoing debate on whether multilingual embeddings can be aligned in a space shared across many languages. The novel Orthogonal Structural Probe (Limisiewicz and Mareček, 2021) allows us to answer this question for specific linguistic features and learn a projection based only on mono-lingual annotated datasets. We evaluate syntactic (UD) and lexical (WordNet) structural information encoded inmBERT's contextual representations for nine diverse languages. We observe that for languages closely related to English, no transformation is needed. The evaluated information is encoded in a shared cross-lingual embedding space. For other languages, it is beneficial to apply orthogonal transformation learned separately for each language. We successfully apply our findings to zero-shot and few-shot cross-lingual parsing.

Nejmodernější kontextové vložení získáváme z velkých jazykových modelů dostupných pouze pro několik jazyků. U ostatních se musíme naučit reprezentace pomocí mnohojazyčného modelu. Probíhá diskuse o tom, zda lze vícejazyčné vložení sladit do prostoru sdíleného v mnoha jazycích. Ortogonální strukturální sonda (Limisiewicz a Mareček, 2021) nám umožňuje odpovědět na tuto otázku pro specifické jazykové rysy a naučit se projekci založenou pouze na jednojazyčných komentovaných datových souborech. Hodnotíme syntaktické (UD) a lexikální (WordNet) strukturální informace zakódované v mBERT kontextové reprezentaci pro devět různých jazyků. Pozorujeme, že u jazyků úzce spjatých s angličtinou není nutná žádná transformace. Vyhodnocená informace je zakódována ve sdíleném mezijazyčném vkládacím prostoru. Pro ostatní jazyky je výhodné použít ortogonální transformaci naučenou samostatně pro každý jazyk. Úspěšně aplikujeme naše zjištění na nulovou a málo natočenou analýzu přes jazyk.


State-of-the-art contextual embeddings are obtained from large language models available only for a few languages. For others, we need to learn representations using a multilingual model. There is an ongoing debate on whether multilingual embeddings can be aligned in a space shared across many languages.
The novel Orthogonal Structural Probe (Limisiewicz and Mareček, 2021) allows us to answer this question for specific linguistic features and learn a projection based only on mono-lingual annotated datasets. We evaluate syntactic (UD) and lexical (WordNet) structural information encoded inmBERT's contextual representations for nine diverse languages.
We observe that for languages closely related to English, no transformation is needed. The evaluated information is encoded in a shared cross-lingual embedding space. For other languages, it is beneficial to apply orthogonal transformation learned separately for each language. We successfully apply our findings to zero-shot and few-shot cross-lingual parsing.

Nejmodernější kontextové vložení získáváme z velkých jazykových modelů dostupných pouze pro několik jazyků. U ostatních se musíme naučit reprezentace pomocí mnohojazyčného modelu. Probíhá diskuse o tom, zda lze vícejazyčné vložení sladit do prostoru sdíleného v mnoha jazycích.
Ortogonální strukturální sonda (Limisiewicz a Mareček, 2021) nám umožňuje odpovědět na tuto otázku pro specifické jazykové rysy a naučit se projekci založenou pouze na jednojazyčných komentovaných datových souborech. Hodnotíme syntaktické (UD) a lexikální (WordNet) strukturální informace zakódované v mBERT kontextové reprezentaci pro devět různých jazyků.
Pozorujeme, že u jazyků úzce spjatých s angličtinou není nutná žádná transformace. Vyhodnocená informace je zakódována ve sdíleném mezijazyčném vkládacím prostoru. Pro ostatní jazyky je výhodné použít ortogonální transformaci naučenou samostatně pro každý jazyk. Úspěšně aplikujeme naše zjištění na nulovou a málo natočenou analýzu přes jazyk.


Introducing Orthogonal Constraint in Structural Probes

Zavedení ortogonálního omezení ve strukturálních sondách

With the recent success of pre-trained models in NLP, a significant focus was put on interpreting their representations. One of the most prominent approaches is structural probing (Hewitt and Manning, 2019), where a linear projection of word embeddings is performed in order to approximate the topology of dependency structures. In this work, we introduce a new type of structural probing, where the linear projection is decomposed into 1. iso-morphic space rotation; 2. linear scaling that identifies and scales the most relevant dimensions. In addition to syntactic dependency, we evaluate our method on two novel tasks (lexical hypernymy and position in a sentence). We jointly train the probes for multiple tasks and experimentally show that lexical and syntactic information is separated in the representations. Moreover, the orthogonal constraint makes the Structural Probes less vulnerable to memorization.

Vzhledem k nedávnému úspěchu předcvičených modelů v NLP byla velká pozornost věnována interpretaci jejich vyjádření. Jedním z nejvýraznějších přístupů je strukturální sondování (Hewitt a Manning, 2019), kde se provádí lineární projekce slovních vložek s cílem přiblížit topologii závislostních struktur. Při této práci zavedeme nový typ strukturálního sondování, kdy se lineární projekce rozloží na 1. izomorfní prostorovou rotaci, 2. lineární škálování, které určí a změří nejdůležitější rozměry. Kromě syntaktické závislosti hodnotíme naši metodu na dvou neotřelých úkolech (lexikální hypernymie a pozice ve větě). Společně cvičíme sondy pro více úkolů a experimentálně ukazujeme, že lexikální a syntaktické informace jsou v reprezentacích odděleny. Díky ortogonálnímu omezení jsou navíc Strukturální sondy méně náchylné k memorování.


Introducing Orthogonal Constraint inStructural Probes

Vzhledem k nedávnému úspěchu předcvičených modelů v NLP byla velká pozornost věnována interpretaci jejich vyjádření. Jedním z nejvýraznějších přístupů je strukturální sondování (Hewitt a Manning, 2019), kde se provádí lineární projekce slovních vložek s cílem přiblížit topologii závislostních struktur. Při této práci zavedeme nový typ strukturálního sondování, kdy se lineární projekce rozloží na 1. izomorfní prostorovou rotaci, 2. lineární škálování, které určí a změří nejdůležitější rozměry. Kromě syntaktické závislosti hodnotíme naši metodu na dvou neotřelých úkolech (lexikální hypernymie a pozice ve větě). Společně cvičíme sondy pro více úkolů a experimentálně ukazujeme, že lexikální a syntaktické informace jsou v reprezentacích odděleny. Díky ortogonálnímu omezení jsou navíc Strukturální sondy méně náchylné k memorování


Hand-ling 'road rage': Embodiment in conflict on the move

Tělesné jednání během konfliktu v pohybu

Although mobility and movement has recently gained importance within interactionist studies of social action, not much is known about the consequentiality of being on the move for the particular unfolding of interactional episodes. Utilising two publicly accessible video clips of ‘road rage’ situations, we describe and analyse the centrality of hand-work in the escalation and decline of an emotionally charged interaction between members of traffic. Avoiding an a priori cognitivist stance, we show in detail how the work of hands can be constitutive of anger itself, and that it can lead to open conflict on the boundary of physical violence.

Ačkoli mobilita a pohyb získaly v poslední době na významu v interakcionistickém výzkumu společenského jednání, není příliš známo, jaké důsledky má pohyb pro konkrétní vývoj interakčních epizod. Prostřednictvím dvou veřejně přístupných videoklipů zachycujících situace „silniční zuřivosti“ popisujeme a analyzujeme stěžejní rysy práce rukou při eskalaci a úpadku emocionálně nabité interakce mezi účastníky silničního provozu. Vyhýbáme se apriorně kognitivistickému postoji a v detailech ukazujeme, jak může být práce rukou sama o sobě konstituentem vzteku a že může vést k otevřenému konfliktu na hranici fyzického násilí.


Pragmatic aspects in the description of discourse coherence

Pragmatické aspekty v popisu textové koherence

The study presents a qualitative analysis of pragmatic discourse relations as annotated on Czech
texts of the Prague Dependency Treebank. A detailed study of these relations (as opposed to semantic
relations) with their widest contexts reveals a considerable diversity and shows some space
for improvement in the annotation scheme.

Předkládaná studie se zabývá kvalitativní analýzou specifické skupiny vztahů textové koherence, a to takovými vztahy, které byly v anotaci Pražského diskurzního korpusu označeny jako pragmatické či „nepravé“, na rozdíl od většinově se vyskytujících vztahů sémantických.


Discourse Relations and Connectives in Higher Text Structure

Diskurzní vztahy a konektory ve vyšší výstavbě textu

The present article investigates possibilities and limits of local (shallow) analysis of discourse coherence with respect to the phenomena of global coherence and higher composition of texts.

Tento článek zkoumá možnosti a limity lokální analýzy textové koherence s ohledem na jevy globální koherence a vyšší výstavby textu.

Lucie Poláková
Jiří Mírovský
Šárka Zikánová
Eva Hajičová


Machine Translation of Covid-19 Information Resources via Multilingual Transfer

Strojový překlad informací o nemoci Covid-19 pomocí mnohojazyčných dat

The Covid-19 pandemic has created a global demand for accurate and up-to-date information which often originates in English and needs to be translated. To train a machine translation system for such a narrow topic, we leverage in-domain training data in other languages both from related and unrelated language families. We experiment with different transfer learning schedules and observe that transferring via more than one auxiliary language brings the most improvement. We compare the performance with joint multilingual training and report superior results of the transfer learning approach.

Pandemie Covid-19 vyvolala globální poptávku po přesných a aktuálních informacích, které často pocházejí z angličtiny a je třeba je přeložit. K natrénování systému strojového překladu pro tak úzké téma využíváme doménová trénovací data v jiných jazycích, a to jak z příbuzných, tak ze vzdálených jazykových rodin. Experimentujeme s různými rozvrhy učení pomocí metody transfer learning a pozorujeme, že přenos prostřednictvím více než jednoho pomocného jazyka přináší největší zlepšení. Porovnáváme výstupy s mnohojazyčným trénováním a nacházíme lepší výsledky při použití transfer learningu.


CUNI Systems in WMT21: Revisiting Backtranslation Techniques for English-Czech NMT

Překladače UK pro WMT21: revize techniky backtranslation pro anglicko-český neuronový strojový překlad

We describe our two NMT systems submitted to the WMT2021 shared task in English-Czech news translation: CUNI-DocTransformer (document-level CUBBITT) and CUNI-Marian-Baselines.
We improve the former with a better sentence-segmentation pre-processing
 and a post-processing for fixing errors in numbers and units.
We use the latter for experiments with various backtranslation techniques.

Popisujeme naše dva NMT systémy, které byly odeslány do soutěže WMT2021 v anglicko-českém překladu zpráv: CUNI-DocTransformer (document-level CUBBITT) a CUNI-Marian-Baselines. První z nich vylepšujeme lepším předzpracováním segmentace vět a následným zpracováním pro opravu chyb v číslech a jednotkách. Druhý z nich používáme při experimentech s různými variantami techniky backtranslation.

Petr Gebauer
Ondřej Bojar
Vojtěch Švandelík
Martin Popel


Text-in-Context: Token-Level Error Detection for Table-to-Text Generation

Text v kontextu: Detekce chyb na úrovni tokenů v textech vygenerovaných z tabulkových dat

We present our Charles-UPF submission for the Shared Task on Evaluating Accuracy in Generated Texts at INLG 2021. Our system can detect the errors automatically using a combination of a rule-based natural language generation (NLG) system and pretrained language models (LMs). We first utilize a rule-based NLG system to generate sentences with
facts that can be derived from the input. For each sentence we evaluate, we select a subset of facts which are relevant by measuring semantic similarity to the sentence in question. Finally, we finetune a pretrained language model on annotated data along with the relevant facts for fine-grained error detection. On the test set, we achieve 69% recall and 75% precision with a model trained on a mixture of human-annotated and synthetic data.

Představujeme příspěvek Charles-UPF pro sdílenou úlohu o hodnocení přesnosti generovaných textů na konferenci INLG 2021. Náš systém dokáže automaticky detekovat chyby pomocí kombinace systému pro generování přirozeného jazyka založeného na pravidlech a předtrénovaných jazykových modelů. Nejprve využíváme systém pro generování přirozeného jazyka založený na pravidlech, který generuje fakta odvozená ze vstupních dat. Pro každou větu, kterou vyhodnocujeme, vybereme podmnožinu faktů, které jsou relevantní na základě měření sémantické podobnosti s danou větou. Nakonec dotrénujeme předtrénovaný jazykový model na anotovaných datech spolu s relevantními fakty pro jemnou detekci chyb. Na testovací sadě dosahujeme 69% výtěžnosti (recall) a 75% přesnosti (precision) s modelem natrénovaným na mixu dat anotovaných lidmi a syntetických dat.


Semi-Automatic Construction of Word-Formation Networks

Poloautomatické budování slovotvorných sítí

The article presents a semi-automatic method for the construction of word-formation networks focusing particularly on derivation. The proposed approach applies a sequential pattern mining technique to construct useful morphological features in an unsupervised manner. The features take the form of regular expressions and later are used to feed a machine-learned ranking model. The network is constructed by applying the learned model to sort the lists of possible base words and selecting the most probable ones. This approach, besides relatively small training set and a lexicon, does not require any additional language resources such as a list of vowel and consonant alternations, part-of-speech tags etc. The proposed approach is evaluated on lexeme sets of four languages, namely Polish, Spanish, Czech, and French. The conducted experiments demonstrate the ability of the proposed method to construct linguistically adequate word-formation networks from small training sets. Furthermore, the performed feasibility study shows that the method can further benefit from  the interaction with a human language expert within the  active learning framework.

Příspěvek představuje poloautomatickou metodu pro konstruování slovotvorných sítí.

Mateusz Lango
Zdeněk Žabokrtský
Magda Ševčíková


Low resource machine translation and its future direction

Strojový překlad s omezenými zdroji a jeho další směřování

The talk presents overall task findings and LMU Munich submission to the very low resource and unsupervised translation at WMT21. Further, we discuss design decisions made both by LMU and other shared task participants and speculate what the future directions in machine translation of low resource translation might be.

Přednáška představuje výsledky na konferenci WMT21 o překladu s velmi malým množstvím zdrojů a bez paralelních dat a soutěží příspěvek, se kterým se účastil tým LMU Mnichov. Dále se probíráme designová rozhodnutími, která museli účastníci soutěže udělat a spekulujeme o tom, jaké by mohly být budoucí směry ve strojovém překladu překladů s malými zdroji.


Findings of the WMT 2021 Shared Tasks in Unsupervised MT and Very Low Resource Supervised MT

Závěry soutěžního úkolu ve strojovém překladu bez paralelních data nebo s velmi málo paralelními daty

We present the findings of the WMT2021 Shared Tasks in Unsupervised MT and Very Low Resource Supervised MT. Within the task, the community studied very low resource translation between German and Upper Sorbian, unsupervised translation between German and Lower Sorbian and low resource translation between Russian and Chuvash, all minority languages with active language communities working on preserving the languages, who are partners in the evaluation. Thanks to this, we were able to obtain most digital data available for these languages and offer them to the task participants. In total, six teams participated in the shared task. The paper discusses the background, presents the tasks and results, and discusses best practices for the future.

Představujeme závěry soutěžního ve strojovém překladu bez paralelních data nebo s velmi málo paralelními daty na WMT2021. V rámci tohoto úkolu se komunita zabývala strojovým překladem s velmi málo paralelními daty  mezi němčinou a hornolužickou srbštinou, překladem bez paralelních dat mezi němčinou a dolnolužickou srbštinou a překladem s málo paralelními daty mezi ruštinou a čuvašštinou, všemi menšinovými jazyky s aktivními jazykovými komunitami pracujícími na zachování těchto jazyků. Díky tomu se nám podařilo získat většinu digitálních dat dostupných pro tyto jazyky a nabídnout je účastníkům úkolu. Soutěžního úkolu se účastnilo celkem šest týmů. Článek představuje úkoly a výsledky a pojednává o osvědčených postupech do budoucna.


The LMU Munich Systems for the WMT21 Unsupervised and Very Low-Resource Translation Task

Systém LMU Mnichov pro soutěžní úkol strojový překlad bez nebo velmi málo trénovacími daty na WMT21

We present our submissions to the WMT21 shared task in Unsupervised and Very Low-Resource machine translation between German and Upper Sorbian, German and Lower Sorbian, and Russian and Chuvash. Our low-resource systems (German↔Upper Sorbian, Russian↔Chuvash) are pre-trained on high-resource pairs of related languages. We fine-tune those systems using the available authentic parallel data and improve by iterated back-translation. The unsupervised German↔Lower Sorbian system is initialized by the best Upper Sorbian system and improved by iterated back-translation using monolingual data only.

Představujeme naše systémy pro soutěžní úkol v strojovém překladu bez paralelní dat a s velmi málo paralelními data na WMT21: mezi němčinou a hornolužickou srbštinou, němčinou a dolnolužickou srbštinou a ruštinou a čuvašštinou. Naše nízkozdrojové systémy (němčina↔hornolužická srbština, ruština↔čuvaština) jsou předtrénovány na párech příbuzných jazyků s dostatkem data. Tyto systémy jsme dotrénovali pomocí dostupných autentických paralelních dat a dále vylepšili opakovaným zpětným překladem. Německo↔dolnolužický systém je inicializován nejlepším hornolužickosrbským systémem a vylepšen opakovaným zpětným překladem pouze za použití jednojazyčných dat.


Underreporting of errors in NLG output, and what to do about it

Nedostatečné reportování o chybách ve výstupech generátorů jazyka a co s tím

We observe a severe under-reporting of the different kinds of errors that Natural Language Generation systems make. This is a problem, because mistakes are an important indicator of where systems should still be improved. If authors only report overall performance metrics, the research community is left in the dark about the specific weaknesses that are exhibited by ‘state-of-the-art’ research. Next to quantifying the extent of error under-reporting, this position paper provides recommendations for error identification, analysis and reporting.

Pozorujeme, že různé druhy chyb, kterých se dopouštějí systémy pro generování přirozeného jazyka, jsou velmi málo reportovány v literatuře. To je problém, protože chyby jsou důležitým ukazatelem toho, kde by se systémy měly ještě zlepšit. Pokud autoři uvádějí pouze celkové metriky výkonnosti, zůstává výzkumná komunita v nevědomosti o konkrétních nedostatcích v nejmodernějších přístupech. Vedle kvantifikace rozsahu nedostatečného vykazování chyb tento článek poskytuje doporučení pro identifikaci, analýzu a vykazování chyb.

Emiel van Miltenburg
Miruna Clinciu
Ondřej Dušek
Dimitra Gkatzia
Stephanie Inglis
Leo Leppänen
Saad Mahamood
Emma Manning
Stephanie Schoch
Craig Thomson
Luou Wen


We present the script of the theatre play AI: When a Robot Writes a Play (AI: Když robot píše hru), which was written by artificial intelligence within the THEaiTRE project.

Představujeme scénář divadelní hry AI: When a Robot Writes a Play (AI: Když robot píše hru), kterou napsala umělá inteligence v rámci projektu THEaiTRE.

1.0 THEaiTRobot
David Košťák
Daniel Hrbek
Rudolf Rosa
Ondřej Dušek


The lecture will briefly introduce some of the tasks dealt with in computer linguistics, such as automatic correction of misspellings/grammar or automatic sentence analysis.
The main focus will be on the role of machine translation, in particular the development of different types of English-to-Czech translators over the last decade. Today's best translators are based on artificial intelligence technologies, namely deep neural networks, and the quality of the resulting translation is close to that of a professional translation agency. Some translation errors are caused by translating sentences independently, which is being solved by so-called document-level machine translation.

Přednáška úvodem krátce představí některé úlohy, kterými se zabývá počítačová lingvistika, například automatickou opravu překlepů/gramatiky či automatický větný rozbor.
Hlavní pozornost bude věnována úloze strojového překladu, zejména vývoji různých typů překladačů z angličtiny do češtiny během posledního desetiletí. Dnešní nejlepší překladače jsou založeny na technologiích umělé inteligence, konkrétně hlubokých neuronových sítí, a kvalita výsledného překladu se blíží úrovni profesionální překladatelské agentury. Některé překladové chyby jsou způsobeny překládáním jednotlivých vět nezávisle, což řeší tzv. document-level machine translation.


Do UD Trees Match Mention Spans in Coreference Annotations?

Odpovídají stromy UD rozsahům zmínek v anotacích koreference?

One can find dozens of data resources for various languages in which coreference – a relation between two or more expressions that refer to the same real-world entity – is manually annotated. One could also assume that such expressions usually constitute syntactically meaningful units; however, mention spans have been annotated simply by delimiting token intervals in most coreference projects, i.e., independently of any syntactic representation. We argue that it could be advantageous to make syntactic and coreference annotations convergent in the long term. We present a pilot empirical study focused on matches and mismatches between hand-annotated linear mention spans and automatically parsed syntactic trees that follow Universal Dependencies conventions. 8 datasets for 7 different languages are included in the study.

Existují desítky datových zdrojů pro různé jazyky, ve kterých je ručně anotovaná koreference – vztah mezi dvěma nebo více výrazy, které odkazují na tutéž entitu v reálném světě. Dalo by se předpokládat, že takové výrazy obvykle tvoří syntakticky významné jednotky; avšak rozsahy koreferenčních výrazů (zmínek) byly ve většině projektů anotovány prostě vymezením intervalů tokenů, tj. nezávisle na jakékoli syntaktické reprezentaci. Tvrdíme, že by bylo z dlouhodobého hlediska výhodné, kdyby se k sobě anotace syntaxe a koreference přiblížily. Představujeme pilotní empirickou studii, která se zaměřuje na případy, kde koreferenční zmínky pasují nebo naopak nepasují na automaticky přiřazené syntaktické stromy, které odpovídají standardu Universal Dependencies. Studie zahrnuje 8 datových sad pro 7 různých jazyků.

Martin Popel
Zdeněk Žabokrtský
Anna Nedoluzhko
Michal Novák
Daniel Zeman


Analyzing BERT’s Knowledge of Hypernymy via Prompting

Analýza modelu BERT z hlediska znalosti hypernymie

The high performance of large pretrained language models (LLMs) such as BERT (Devlin et al., 2019) on NLP tasks has prompted questions about BERT’s linguistic capabilities, and how they differ from humans’. In this paper, we approach this question by examining BERT’s knowledge of lexical semantic relations. We focus on hypernymy, the “is-a” relation that relates a word to a superordinate category. We use a prompting methodology to simply
ask BERT what the hypernym of a given word is. We find that, in a setting where all hypernyms are guessable via prompting, BERT knows hypernyms with up to 57% accuracy. Moreover, BERT with prompting outperforms other unsupervised models for hypernym discovery even in an unconstrained scenario. However, BERT’s predictions and performance on
a dataset containing uncommon hyponyms and
hypernyms indicate that its knowledge of hypernymy is still limited.

Vysoký výkon velkých předcvičených jazykových modelů (LLM), jako je BERT (Devlin et al., 2019) na úkoly NLP, vyvolal otázky ohledně jazykových schopností BERT a v tom, jak se liší od lidských. V tomto příspěvku přistupujeme k této otázce zkoumáním znalostí BERT o lexikálních sémantických vztazích. Zaměřujeme se na hypernymii, vztah „je-a“, který spojuje slovo s nadřazenou kategorií. Jednoduše používáme metodiku nabádání
zeptejte se BERTe, co je hypernym daného slova. Zjistili jsme, že v prostředí, kde jsou všechny hypernymy uhodnutelné pomocí výzvy, BERT zná hypernymy s přesností až 57%. Navíc BERT s výzvou překonává ostatní modely bez dozoru pro hypernomické objevování i v neomezeném scénáři. Předpovědi a výkon BERT jsou však zapnuty
soubor dat obsahující neobvyklé hyponymy a
hypernymy naznačují, že jeho znalosti o hypernymii jsou stále omezené.


BERTScore (Zhang et al., 2020), a recently proposed automatic metric for machine translation quality, uses BERT (Devlin et al., 2019), a large pre-trained language model to evaluate candidate translations with respect to a gold translation. Taking advantage of BERT’s semantic and syntactic abilities, BERTScore seeks to avoid the flaws of earlier approaches like BLEU, instead scoring candidate translations based on their semantic similarity to the gold sentence. However, BERT is not infallible; while its performance on NLP tasks set a new state of the art in general, studies of specific syntactic and semantic phenomena have shown where BERT’s performance deviates from that of humans more generally.
This naturally raises the questions we address in this paper: what are the strengths and weaknesses of BERTScore? Do they relate to
known weaknesses on the part of BERT? We find that while BERTScore can detect when a candidate differs from a reference in important content words, it is less sensitive to smaller errors, especially if the candidate is lexically or stylistically similar to the reference.

BERTScore (Zhang et al., 2020), nedávno navržená automatická metrika kvality strojového překladu, používá BERT (Devlin et al., 2019), velký předškolený jazykový model pro hodnocení kandidátských překladů s ohledem na zlatý překlad. BERTScore využívá sémantických a syntaktických schopností BERT a snaží se vyhnout chybám dřívějších přístupů, jako je BLEU, místo toho hodnotí kandidátské překlady na základě jejich sémantické podobnosti se zlatou větou. BERT však není neomylný; zatímco jeho výkon v oblasti úkolů NLP obecně nastoluje nový stav, studie specifických syntaktických a sémantických jevů ukázaly, kde se výkon BERT odchyluje od výkonu lidí obecněji.
To přirozeně vyvolává otázky, kterými se v tomto dokumentu zabýváme: jaké jsou silné a slabé stránky BERTScore? Souvisejí s
známé slabiny na straně BERT? Zjistili jsme, že BERTScore sice dokáže odhalit, když se kandidát liší od odkazu v důležitých obsahových slovech, ale je méně citlivý na menší chyby, zejména pokud je kandidát lexikálně nebo stylisticky podobný odkazu.


Sequence Length is a Domain: Length-based Overfitting in Transformer Models

Délka sekvence je doménou: overfitting Transformerových modelů na bázi délky

Transformer-based sequence-to-sequence architectures, while achieving state-of-the-art results on a large number of NLP tasks, can still suffer from overfitting during training. In practice, this is usually countered either by applying regularization methods (e.g. dropout, L2-regularization) or by providing huge amounts of training data. Additionally, Transformer and other architectures are known to struggle when generating very long sequences. For example, in machine translation, the neural-based systems perform worse on very long sequences when compared to the preceding phrase-based translation approaches (Koehn and Knowles, 2017).
  We present results which suggest that the issue might also be in the mismatch between the length distributions of the training and validation data combined with the aforementioned tendency of the neural networks to overfit to the training data. We demonstrate on a simple string editing task and a machine translation task that the Transformer model performance drops significantly when facing sequences of length diverging from the length distribution in the training data. Additionally, we show that the observed drop in performance is due to the hypothesis length corresponding to the lengths seen by the model during training rather than the length of the input sequence.

Architektury založené na transformaci sekvence na sekvenci sice dosahují nejmodernějších výsledků na velkém množství úloh zpracování přirozeného jazyka, přesto však mohou při trénovaní trpět problémem přeučení. V praxi se tomu obvykle předchází buď použitím regularizačních metod (např. dropout, L2-regularizace), nebo poskytnutím obrovského množství trénovacích dat. Navíc je známo, že Transformer a další architektury mají problém s generováním velmi dlouhých sekvencí. Například ve strojovém překladu dosahují neuronové systémy horších výsledků na velmi dlouhých sekvencích než předchozí překladové metody založené na frázovém překladu (Koehn and Knowles, 2017).
Předkládáme výsledky, které naznačují, že problém může být také v rozdílech mezi rozložením délek v trénovacích a validačních datech v kombinaci s výše uvedenou tendencí neuronových sítí přeučit se na trénovacích datech. Na jednoduché úloze editace řetězců a strojovém překladu demonstrujeme, že kvalita modelu Transformer výrazně klesá, když zpracovává sekvence délky odlišné od délek v trénovacích datech. Dále ukazujeme, že pozorovaný pokles kvality je způsoben spíše délkou hypotézy, která odpovídá délkám v trénovacích datech, než délkou vstupní sekvence.


47th Year of the Czech Language Olympics or First Time On-line

47. ročník Olympiády v českém jazyce aneb poprvé on-line

The article brings an overview and results of the 47th year of the Czech Language Olympics.

Článek přináší zprávu o průběhu a výsledcích 47. ročníku Olympiády v českém jazyce.


An Empirical Performance Analysis of State-of-the-Art Summarization Models for Automatic Minuting

Empirické porovnání současných modelů pro sumarizaci na úloze automatického dělání zápisků

A significant portion of the working population has their mainstream interaction virtually
these days. Meetings are being organized and
recorded daily in volumes likely exceeding
what can be ever comprehended. With the
deluge of meetings, it is important to identify
and jot down the essential items discussed in
the meeting, usually referred to as the minutes. The task of minuting is diverse and
depends on the goals, style, procedure, and
category of the meeting. Automatic Minuting is close to summarization; however, not
exactly the same. In this work, we evaluate the current state-of-the-art summarization
models for automatically generating meeting
minutes. We provide empirical baselines to
motivate the community to work on this very
timely, relevant yet challenging problem. We
conclude that off-the-shelf text summarization models are not the best candidates for
generating minutes which calls for further research on meeting-specific summarization or
minuting models. We found that Transformerbased models perform comparatively better
than other categories of summarization algorithms; however, they are still far from
generating a good multi-party meeting summary/minutes. We release our experimental
code at https://github.com/ELITR/
Minuting_Baseline_Experiments.

Článek vyhodnocuje soudobé metody sumarizace textů na úloze sumarizace přepisů ze schůzek. Metody založené na modelu Transformeru jsou lepší, ale i tak nedostatečně kvalitní.

Muskaan Singh
Tirthankar Ghosal
Ondřej Bojar


Designing a Uniform Meaning Representation for Natural Language Processing

Návrh Uniformní reprezentace významu pro zpracování přirozeného jazyka

In this paper we present Uniform Meaning Representation (UMR), a meaning representation designed to annotate the semantic content of a text. UMR is primarily based on Abstract Meaning Representation (AMR), an annotation framework initially designed for English, but also draws from other meaning representations. UMR extends AMR to other languages, particularly morphologically complex, low-resource languages. UMR also adds features to AMR that are critical to semantic interpretation and enhances AMR by proposing a companion document-level representation that captures linguistic phenomena such as coreference as well as temporal and modal dependencies that potentially go beyond sentence boundaries.

V tomto příspěvku uvádíme Uniformní reprezentaci významu (UMR), navrženou k anotaci sémantického obsah textu. UMR je primárně založena na Abstract Meaning Representation (AMR), anotačním rámci původně určeném pro angličtinu, ale čerpá i z jiných významových reprezentací. UMR rozšiřuje AMR do dalších jazyků, obzvláště morfologicky složité jazyky s omezenými jazykovými zdroji. UMR také přidává do AMR funkce, které jsou kritické pro sémantiku a zlepšuje AMR navržením doprovodné dokumentární reprezentace, která zachycuje jazykové jevy jako je koreference a také časové a modální závislosti, které potenciálně přesahují hranice vět.

Jens E. L. van Gysel
Meagan Vigus
Jayeol Chun
Kenneth Lai
Sarah Moeller
Jiarui Yao
Tim O'Gorman
James Cowell
William Croft
Chu-Ren Huang
Jan Hajič
James Martin
Stephan Oepen
Martha Palmer
James Pustejovsky
Rosa Vallejos


Seminar "Language, Text, Dialogue" – in Honour of Světla Čmejrková and František Daneš

Odborný seminář Jazyk, text, dialog – vzpomínka na Světlu Čmejrkovou a Františka Daneše

Report on the seminar of the Linguistic Association of the Czech Republic in honour of Světla Čmejrková and František Daneš.

Zpráva o konání semináře Jazykovědného sdružení České republiky na počest Světly Čmejrkové a Františka Daneše.


Using Word Embeddings and Collocations for Modelling Word Associations

Využití vektorových reprezentací slov a kolokací v modelování slovních asociací

Word association is an important part of human language. Many techniques for capturing semantic relations between words exist, but their ability to model word associations is rarely tested in a real application. In this paper, we evaluate three models aimed at different types of word associations: a word-embedding model for synonymy, a point-wise mutual information model for word collocations, and a dependency model for common properties of words. The quality of the proposed models is tested on English and Czech by humans in an online version of the word-association game “Codenames”.

Slovní asociace je důležitou součástí lidského jazyka. Existuje mnoho technik pro zachycení sémantických vztahů mezi slovy, ale jejich schopnost modelovat slovní asociace je zřídka testována v reálné aplikaci. V tomto článku hodnotíme tři modely zaměřené na různé typy slovních asociací: model pro vkládání slov pro synonymii, bodový model vzájemných informací pro slovní spojení a model závislosti pro společné vlastnosti slov. Kvalitu navrhovaných modelů testují lidé v angličtině a češtině v online verzi slovně-asociační hry „Codenames“.


Low-resource languages present enormous NLP opportunities as well as varying degrees of difficulties. The newly released treebank of hand-annotated parts of the Yorùbá Bible provides an avenue for dependency analysis of the Yorùbá language; the application of a new grammar formalism to the language. In this paper, we discuss our choice of Universal Dependencies, important dependency annotation decisions considered in the creation of the first annotation guidelines for Yorùbá and results of our parsing experiments. We also lay the foundation for future incorporation of other domains with the initial test on Yorùbá Wikipedia articles and highlighted future directions for the rapid expansion of the treebank.

Jazyky, pro které není k dispozici dostatek zdrojů, představují mimořádné příležitosti, ale také obtíže při počítačovém zpracování. Nově vydaný korpus ručně anotovaných částí jorubské Bible připravuje cestu pro závislostní analýzu jorubštiny.


Malach Center for Visual History on its 10th Anniversary: Compendium of Papers of the Prague Visual History and Digital Humanities Conference 2020

10. výročí CVH Malach: Sborník příspěvků z konference PraViDCo 2020

Given the occasion of celebrating the 10th year of the Malach CVH existence, we decided to substantially extend the program of our annual January anniversary conference, which we newly entitled Prague Visual History and Digital Humanities Conference (PraViDCo). By adopting this name, we desired to express in the broadest possible sense the thematic and methodological scope representative of the interdisciplinarity which, as we believe, is the very essence of the Malach CVH.

The second day of the conference (January 28, 2020) gave the floor to the contributions collected from mostly junior researchers from all over the world, who swiftly responded to our open call for papers and which you can find in a written form in this book, entitled Malach Center for Visual History on its 10th Anniversary. We hope that readers will appreciate this brief glimpse into the full palette of different topics, methodologies and approaches that Malach Center for Visual History came into contact with throughout the first ten years of its existence.

Sborník příspěvků z mezinárodní konference Prague Visual History and Digital Humanities Conference (PraViDCo 2020), která proběhla v lednu 2020 k 10. výročí Centra vizuální historie Malach.

Jan Škvrňák
Jeremi Ochab
Michael Škvrňák
Mauricio Nicolas Vergara
Magdalena Sedlická
Wolfgang Schellenbacher
Vanessa Hannesschläger
Eva Grisová
Nataša Simeunovic Bajic
Jakub Seiner
Lucie Šafirová
Jakub Bronec
Karolína Bukovská
Deepika Kashyap
Lauri Niemistö
Komlan Agbedahin
Karin Hofmeisterová
Jiří Kocián
Jakub Mlynář
Petra Hoffmannová
Jan Hajič


Fact-based Content Weighting for Evaluating Abstractive Summarisation

Vážení obsahu založené na faktech pro evaluaci abstraktivní sumarizace

Abstractive summarisation is notoriously hard to evaluate since standard word-overlap-based metrics are insufficient. We introduce a new evaluation metric which is based on fact-level content weighting, i.e. relating the facts of the document to the facts of the summary. We follow the assumption that a good summary will reflect all relevant facts, i.e. the ones present in the ground truth (human-generated refer- ence summary). We confirm this hypothe- sis by showing that our weightings are highly correlated to human perception and compare favourably to the recent manual highlight- based metric of Hardy et al. (2019).

Abstraktivní sumarizaci je notoricky těžké hodnotit, protože standardní metriky založené na překryvu slov jsou nedostatečné. Představujeme novou evaluační metriku, která je založena na vážení obsahu na úrovní faktů, tj. vztažení faktů z dokumentu k faktům ze shrnutí. Vycházíme z předpokladu, že dobré shrnutí bude odrážet všechna relevantní fakta, tj. ta, která jsou obsažena v referenčním shruntí vytvořeném člověkem. Na potvrzení této hypotézy ukazujeme, že naše váhy velmi dobře korelují s lidským hodnocením a jsou srovnatelné s nedávnou manuální metrikou Hardyho et al. (2019), založenou na zvýrazňování částí textu.

Xinnuo Xu
Ondřej Dušek
Ioannis Konstas
Verena Rieser


Selecting the Universal Dependencies Morphological Features for Indonesian Dependency Treebank

Výběr morfologických rysů Universal Dependencies pro indonéský závislostní korpus

The objectives of our work are to propose the relevant Universal Dependencies morphological features for Indonesian dependency treebank and to apply the proposed features to an existing treebank.

Cílem naší práce je navrhnout vhodné morfologické značky pro popis indonéštiny v rámci Universal Dependencies a aplikovat tyto značky na existující indonéský závislostní korpus.

Ika Alfina
Daniel Zeman
Arawinda Dinakaramani
Indra Budi
Heru Suhartanto


V4PY: An Introduction to Python for Linguists

Making sense of language is no easy task. All the more since we have such an intimate experience of it -- the trees that we regularly encounter in everyday communication may make it hard to see the forest. In this situation, computers can help us take a step back and look at large quantities of text from a fifty-thousand-foot view.

Dávat smysl jazyku není snadný úkol. Tím spíš, že máme tak intimní zážitek -- stromy, se kterými se pravidelně setkáváme v každodenní komunikaci, nám mohou znesnadnit výhled na les. V této situaci nám počítače mohou pomoci udělat krok zpět a podívat se na velké množství textu z odstupu padesáti tisíc stop.


This paper describes the team (“ODIANLP”)’s submission to WAT 2020. We have participated in the English→Hindi Multimodal task and Indic task. We have used the state-of-the-art Transformer model for the translation task and Inception ResNetV2 for the Hindi Image Captioning task. Our submission tops in English→Hindi Multimodal task in its track and Odia↔English translation tasks. Also, our submissions performed well in the Indic Multilingual tasks.

Tento článek popisuje vyjádření týmu („ODIANLP“) k WAT 2020. Účastnili jsme se úkolu English→Hindi Multimodal a Indic. Pro úlohu překladu jsme použili nejmodernější model Transformeru a pro úlohu Hindi Image Captioning jsme použili Inception ResNetV2. Naše podání dosahuje nejlepších výsledků ve směru English→Hindi Multimodal a Odia↔English. Naše návrhy si vedly dobře i při vícejazyčných úkolech (Indic).

Shantipriya Parida
Petr Motlíček
Amulya Ratna Dash
Satya Ranjan Dash
Debasish Kumar Mallick
Satya Prakash Biswal
Priyanka Pattnaik
Biranchi Narayan Nayak
Ondřej Bojar


OdiEnCorp 2.0: Odia-English Parallel Corpus for Machine Translation

OdiEnCorp 2.0: Paralelní urijsko-anglický korpus pro strojový překlad

The preparation of parallel corpora is a challenging task, particularly for languages that suffer from under-representation in the digital world. In a multi-lingual country like India, the need for such parallel corpora is stringent for several low-resource languages. In this work, we provide an extended English-Odia parallel corpus, OdiEnCorp 2.0, aiming particularly at Neural Machine Translation (NMT) systems which will help translate English↔Odia. OdiEnCorp 2.0 includes existing English-Odia corpora and we extended the collection by several other methods of data acquisition: parallel data scraping from many websites, including Odia Wikipedia, but also optical character recognition (OCR) to extract parallel data from scanned images. Our OCR-based data extraction approach for building a parallel corpus is suitable for other low resource languages that lack in online content. The resulting OdiEnCorp 2.0 contains 98,302 sentences and 1.69 million English and 1.47 million Odia tokens. To the best of our knowledge, OdiEnCorp 2.0 is the largest Odia-English parallel corpus covering different domains and available freely for non-commercial and research purposes.

Příprava paralelních korpusů je náročným úkolem, zejména pro jazyky, které trpí nedostatečným zastoupením v digitálním světě. Ve vícejazyčné zemi, jako je Indie, je potřeba takových paralelních korpusů přísná pro několik jazyků s nízkými zdroji. V této práci poskytujeme rozšířený anglicko-odijský paralelní korpus OdiEnCorp 2.0 zaměřený zejména na systémy Neural Machine Translation (NMT), které pomohou přeložit angličtinu ↔ Odia. OdiEnCorp 2.0 zahrnuje stávající anglicko-odijské korpusy a sbírku jsme rozšířili o několik dalších metod získávání dat: paralelní škrábání dat z mnoha webů, včetně Odia Wikipedia, ale také optické rozpoznávání znaků (OCR) pro extrakci paralelních dat ze skenovaných obrázků. Náš přístup k extrakci dat založený na OCR pro vytváření paralelního korpusu je vhodný pro jiné jazyky s nízkými zdroji, které nemají online obsah. Výsledný OdiEnCorp 2.0 obsahuje 98 302 vět a 1,69 milionu anglických a 1,47 milionu žetonů Odia. Pokud je nám známo, OdiEnCorp 2.0 je největší Odia-anglický paralelní korpus pokrývající různé domény a je volně dostupný pro nekomerční a výzkumné účely.

Shantipriya Parida
Satya Ranjan Dash
Ondřej Bojar
Petr Motlíček
Priyanka Pattnaik
Debasish Kumar Mallick


In this paper, we introduce the first Universal Dependencies (UD) treebank for standard Albanian, consisting of 60 sentences collected from the Albanian Wikipedia, annotated with lemmas, universal part-of-speech tags, morphological features and syntactic dependencies. In addition to presenting the treebank itself, we discuss a selection of linguistic constructions in Albanian whose analysis in UD is not self-evident, including core arguments and the status of indirect objects, pronominal clitics, genitive constructions, prearticulated adjectives, and modal verbs.

V tomto článku představujeme první treebank Universal Dependencies (UD) pro spisovnou albánštinu, sestávající z 60 vět vybraných z albánské Wikipedie, anotovaných lematy, univerzálními značkami slovních druhů, morfologickými rysy a syntaktickými závislostmi. Kromě představení treebanku jako takového probíráme vybrané jazykové jevy v albánštině, jejichž analýza v UD není na první pohled jasná, včetně jádrových argumentů, zacházení s nepřímými předměty, zájmenných příklonek, konstrukcí s genitivem, preartikulovaných adjektiv a způsobových sloves.


ÚFAL at MRP 2020: Permutation-invariant Semantic Parsing in PERIN

ÚFAL na MRP 2020: Permutačně invariantní sémantický parsing v systému PERIN

We present PERIN, a novel permutation-invariant approach to sentence-to-graph semantic parsing. PERIN is a versatile, cross-framework and language independent architecture for universal modeling of semantic structures. Our system participated in the CoNLL 2020 shared task, Cross-Framework Meaning Representation Parsing (MRP 2020), where it was evaluated on five different frameworks (AMR, DRG, EDS, PTG and UCCA) across four languages. PERIN was one of the winners of the shared task. The source code and pretrained models are available at http://www.github.com/ufal/perin.

Představujeme PERIN, nový permutačně invariantní přístup k sémantickému parsingu věty na graf. PERIN je všestranná, anotačně a jazykově nezávislá architektura pro univerzální modelování sémantických struktur. Náš systém se zúčastnil shared tasku CoNLL 2020, Cross-Framework Meaning Representation Parsing (MRP 2020), kde byl hodnocen v pěti různých frameworcích (AMR, DRG, EDS, PTG a UCCA) napříč čtyřmi jazyky. PERIN byl jedním z vítězů. Zdrojový kód a předtrénované modely jsou k dispozici na adrese http://www.github.com/ufal/perin.


The European Language Technology Landscape in 2020: Language-Centric and Human-Centric AI for Cross-Cultural Communication in Multilingual Europe

Evropská oblast jazykových technologií v roce 2020: umělá inteligence pro komunikaci mezi kulturami v mnohojazyčné Evropě

Multilingualism is a cultural cornerstone of Europe and firmly anchored in the European Treaties including full language equality. However, language barriers impacting business, cross-lingual and cross-cultural communication are still omnipresent. Language Technologies (LTs) are a powerful means to break down these barriers. While the last decade has seen various initiatives that created a multitude of approaches and technologies tailored to Europe’s specific needs, there is still an immense level of fragmentation. At the same time, AI has become an increasingly important concept in the European Information and Communication Technology area. For a few years now, AI – including many opportunities, synergies but also misconceptions – has been overshadowing every other topic. We present an overview of the European LT landscape, describing funding programmes, activities, actions and challenges in the different countries with regard to LT, including the current state of play in industry and the LT market. We present a brief overview of the main LT-related activities on the EU level in the last ten years and develop strategic guidance with regard to four key dimensions.

Mnohojazyčnost je kulturním úhelným kamenem Evropy a je pevně zakotvena v evropských smlouvách, včetně úplné jazykové rovnosti. Jazykové bariéry ovlivňující obchodní, mezijazykovou a mezikulturní komunikaci jsou však stále všudypřítomné. Jazykové technologie (LT) jsou mocným prostředkem k prolomení těchto bariér. I když v posledním desetiletí vzniklo množství různých iniciativ, které vytvořily množství přístupů a technologií přizpůsobených specifickým potřebám Evropy, stále existuje obrovská míra roztříštěnosti. Zároveň se umělá inteligence (AI) stala stále důležitějším konceptem v oblasti evropských informačních a komunikačních technologií. Už několik let AI – včetně mnoha příležitostí, synergií, ale i mylných představ – zastiňuje všechna ostatní témata. Představujeme přehled evropského prostředí jazykových technologí (LT), popisujeme programy financování, činnosti, akce a výzvy v jednotlivých zemích s ohledem na LT, včetně současného stavu v průmyslu a na trhu LT. Představujeme stručný přehled hlavních činností souvisejících s LT na úrovni EU za posledních deset let a představujeme strategické pokyny s ohledem na čtyři klíčové rozměry.

Georg Rehm
Katrin Marheinecke
Stefanie Hegele
Stelios Piperidis
Kalina Bontcheva
Jan Hajič
Khalid Choukri
Andrejs Vasiljevs
Gerhard Backfried
Christoph Prinz
José Manuel Gómez Pérez
Luc Meertens
Paul Lukowicz
Josef Genabith
Andrea Lösch
Philipp Slusallek
Morten Irgens
Patrick Gatellier
Joachim Köhler
Laure Le Bars
Dimitra Anastasiou
Albina Auksoriute
Núria Bel
António Branco
Gerhard Budin
Walter Daelemans
Koenraad De Smedt
Radovan Garabík
Maria Gavrilidou
Dagmar Gromann
Svetla Koeva
Simon Krek
Cvetana Krstev
Krister Lindén
Bernardo Magnini
Jan Odijk
Maciej Ogrodniczuk
Eiríkur Rögnvaldsson
Michael Rosner
Bolette Sandford Pedersen
Inguna Skadiņa
Marko Tadić
Dan Tufiş
Tamás Váradi
Kadri Vider
Andy Way
François Yvon


With 24 official EU and many additional languages, multilingualism in Europe and an inclusive Digital Single Market can only be enabled through Language Technologies (LTs). European LT business is dominated by hundreds of SMEs and a few large players. Many are world-class, with technologies that outperform the global players. However, European LT business is also fragmented – by nation states, languages, verticals and sectors, significantly holding back its impact. The European Language Grid (ELG) project addresses this fragmentation by establishing the ELG as the primary platform for LT in Europe. The ELG is a scalable cloud platform, providing, in an easy-to-integrate way, access to hundreds of commercial and non-commercial LTs for all European languages, including running tools and services as well as data sets and resources. Once fully operational, it will enable the commercial and non-commercial European LT community to deposit and upload their technologies and data sets into the ELG, to deploy them through the grid, and to connect with other resources. The ELG will boost the Multilingual Digital Single Market towards a thriving European LT community, creating new jobs and opportunities. Furthermore, the ELG project organises two open calls for up to 20 pilot projects. It also sets up 32 national competence centres and the European LT Council for outreach and coordination purposes.

S 24 oficiálními jazyky EU a mnoha dalšími jazyky může být mnohojazyčnost v Evropě a inkluzivní jednotný digitální trh umožněn pouze prostřednictvím jazykových technologií (LT). Evropské LT podnikání ovládají stovky malých a středních podniků a několik velkých hráčů. Mnohé z nich jsou světové, s technologiemi, které předčí globální hráče. Evropské podnikání v LT je však také roztříštěné – v závislosti na národních státech, jazycích, vertikálech a odvětvích, což výrazně brzdí jeho dopad. Projekt evropské jazykové sítě (European Language Grid, ELG) řeší tuto roztříštěnost tím, že stanoví ELG jako primární platformu pro LT v Evropě. Skupina ELG je rozšiřitelná cloudová platforma, která umožňuje snadnou integraci přístupu ke stovkám komerčních i nekomerčních LT pro všechny evropské jazyky, včetně provozních nástrojů a služeb, jakož i datových souborů a zdrojů. Jakmile bude plně funkční, umožní komerční i nekomerční evropské komunitě LT ukládat a nahrávat své technologie a soubory dat do systému ELG, zavádět je do sítě a propojovat s dalšími zdroji. Skupina ELG podpoří vícejazyčný jednotný digitální trh směrem k prosperující evropské LT komunitě a vytvoří nová pracovní místa a příležitosti. Kromě toho projekt ELG organizuje dvě otevřené výzvy až pro 20 pilotních projektů. Zřizuje také 32 národních kompetenčních center a Evropskou radu LT pro osvětové a koordinační účely.

Georg Rehm
Maria Berger
Jan Hajič
Stefanie Hegele
Florian Kintzel
Katrin Marheinecke
Stelios Piperidis
Miltos Deligiannis
Dimitris Galanis
Katerina Gkirtzou
Penny Labropoulou
Kalina Boncheva
Dominic Jones
Ela Elsholz
Ian Roberts
Jana Hamrlová
Lukáš Kačena
Khalid Choukri
Victoria Arranz
Andrejs Vasiljevs
Katya Aplonova
Julija Melnika
Gerhard Backfried
Miro Jánošík
Katja Prinz
Christoph Prinz
Andres Garcia-Silva
Cristian Berrio
Ulrich Germann
Steve Renals
Ondřej Klejch
José Manuel Gómez-Pérez


Proceedings of the 1st International Workshop on Language Technology Platforms (IWLTP 2020, co-located with LREC 2020)

Sborník 1. mezinárodního workshopu o jazykových technologiích IWLTP, na LREC2020

With the increasing number of platforms, grids and infrastructures in the wider area of Language
Technologies (LT), NLP, NLU, speech, interaction and language-centric AI, there is also a growing need
for sharing experiences, approaches and best practices to learn and benefit from the work of others and
also, practically, to start a collaboration towards platform interoperability.
The 1st InternationalWorkshop for Language Technology Platforms (IWLTP 2020) addresses all smaller
and larger language grids, language-related infrastructures, platform initiatives as well as collaborative
research projects that touch upon LT platforms, especially platform interoperability and related topics,
both in Europe and world-wide. Its objective is to exchange and discuss observations, experiences,
solutions, best practices as well as current and future challenges. The workshop also addresses the issue
of fragmentation in the Language Technology landscape. Instead of “platform islands” that simply exist
side by side, possibly even competing with each other, initiatives should discuss how their platforms
can be made interoperable and how they can interact with one another to create synergies towards a
productive LT platform ecosystem.
The EU project European Language Grid (ELG; 2019-2021) is creating a platform that will provide
thousands of data sets and hundreds of LT services. ELG aims to promote technologies tailored to all
European languages and cultures, adapted to their social and economic needs. At the same time, there
are several established platforms or infrastructure-related initiatives as well as emerging new ones, both
on the European but also on the national level as well as on other continents. Some of the initiatives are
more language-related and have a strong industry focus, others are mainly research-oriented. Moreover,
there are digital public service initiatives, and platforms, in which language is only one aspect of many.
With all these established and emerging initiatives, there is a risk of even stronger fragmentation in the
Language Technology field, which is already highly fragmented, at least in Europe. Our approach is to
bring these initiatives together to discuss ways not only of preventing further fragmentation but, crucially,
of reversing it. This will only be possible if interoperability and mutual data exchange is ensured and if
metadata formats and technical requirements are compatible, among others.
A total of 30 papers were submitted to IWLTP 2020, 17 of which were accepted (acceptance rate: 56.7%).
The organisers would like to thank all contributors for their valuable submissions and all members of the
Programme Committee for reviewing the submitted papers. Due to the ongoing SARSCoV-2 pandemic,
the workshop cannot be held as originally foreseen. Together with the organisers of LREC 2020 we will
explore if we can organise the workshop at a later point in time or if we can organise it as a virtual event.
G. Rehm, K. Bontcheva, K. Choukri, J. Hajic, S. Piperidis, A. Vasil,jevs May 2020
iii

S rostoucím počtem platforem, sítí a infrastruktur v širší oblasti jazykových technologií (LT), NLP, NLU, řeči, interakce a umělé inteligence zaměřené na jazyk roste také potřeba sdílet zkušenosti, přístupy a osvědčené postupy, učit se a těžit z práce druhých a také prakticky zahájit spolupráci směrem k interoperabilitě platforem.
1. mezinárodní seminář pro platformy jazykových technologií (IWLTP 2020) se zabývá všemi menšími
a většími jazykovými sítěmi, infrastrukturami souvisejícími s jazyky, iniciativami platforem i kooperativními výzkumnými projekty, které se dotýkají platforem LT, zejména interoperability platforem a souvisejících témat, a to jak v Evropě, tak na celém světě. Jeho cílem je výměna a diskuse o pozorování, zkušenostech, řešeních, osvědčených postupech i současných a budoucích výzvách. Seminář se také zabývá otázkou roztříštěnosti prostředí jazykových technologií. Namísto „ostrovů platforem“, které prostě existují vedle sebe, případně si dokonce navzájem konkurují, by iniciativy měly diskutovat o tom, jak lze jejich platformy učinit interoperabilními a jak mohou vzájemně spolupracovat, aby vytvořily součinnost směrem k produktivnímu ekosystému platforem LT.
Projekt EU European Language Grid (ELG; 2019-2021) vytváří platformu, která poskytne tisíce datových souborů a stovky služeb LT. Cílem ELG je podporovat technologie šité na míru všem evropským jazykům a kulturám, přizpůsobené jejich sociálním a ekonomickým potřebám. Zároveň existuje několik zavedených platforem nebo iniciativ souvisejících s infrastrukturou, jakož i vznikající nové, a to jak na evropské, ale i na národní úrovni, tak i na jiných kontinentech. Některé z iniciativ jsou více spojené s jazyky a mají silné zaměření na průmysl, jiné jsou zaměřeny především na výzkum. Navíc existují iniciativy v oblasti digitálních veřejných služeb a platformy, v nichž je jazyk pouze jedním z mnoha aspektů.
U všech těchto zavedených a vznikajících iniciativ hrozí ještě větší roztříštěnost v oblasti
jazykových technologií, která je již nyní velmi roztříštěná, alespoň v Evropě. Naším přístupem je
spojit tyto iniciativy a diskutovat o způsobech, jak nejen zabránit další roztříštěnosti, ale hlavně jak ji zvrátit. To bude možné pouze tehdy, bude-li zajištěna interoperabilita a vzájemná výměna dat a budou-li formáty metadat a technické požadavky kompatibilní, mimo jiné. Do IWLTP 2020 bylo předloženo celkem 30 příspěvků, z nichž 17 bylo přijato (míra přijetí: 56,7%). Organizátoři by rádi poděkovali všem přispěvatelům za jejich cenné příspěvky a všem členům programového výboru za přezkoumání předložených dokumentů. Vzhledem k probíhající pandemii SARSCoV-2 se workshop nemůže konat tak, jak se původně předpokládalo. Společně s organizátory LREC 2020 budeme zkoumat, zda bychom mohli workshop uspořádat později, nebo zda bychom ho mohli uspořádat jako virtuální akci.
G. Rehm, K. Bontcheva, K. Choukri, J. Hajic, S. Piperidis, A. Vasiljevs květen 2020

Georg Rehm
Kalina Bontcheva
Khalid Choukri
Jan Hajič
Stelios Piperidis
Andrejs Vasiljevs


Presenting Simultaneous Translation in Limited Space

Prezentace simultánního překladu v omezeném prostoru

Some methods of automatic simultaneous translation of a long-form speech allow revisions of outputs,
trading accuracy for low latency. Deploying these systems
for users faces the problem of presenting subtitles in a limited space, such as two lines on a television screen. The
subtitles must be shown promptly, incrementally, and with
adequate time for reading. We provide an algorithm for
subtitling. Furthermore, we propose a way how to estimate
the overall usability of the combination of automatic translation and subtitling by measuring the quality, latency, and
stability on a test set, and propose an improved measure
for translation latency.

Strojový překlad:

Některé metody automatického simultánního převodu řeči dlouhé formy umožňují revize výstupů,
přesnost obchodování pro nízkou latenci. Zavádění těchto systémů
uživatele čeká problém s prezentací titulků v omezeném prostoru, jako jsou dva řádky na televizní obrazovce. The
titulky musí být zobrazeny okamžitě, postupně a s
dostatečný čas na čtení. Poskytujeme algoritmus pro
titulkování. Dále navrhujeme způsob, jak odhadnout
celková využitelnost kombinace automatického překladu a titulkování měřením kvality, latence a
stabilitu na testovací sadě a navrhnout vylepšené opatření
kvůli zpoždění překladu.


ELITR Non-Native Speech Translation at IWSLT 2020

Systém projektu ELITR na automatický překlad řeči nerodilých mluvčích na IWSLT 2020

Tento abstrakt je pouze v angličtině:

This paper is an ELITR system submission for the non-native speech translation task at IWSLT 2020. We describe systems for offline ASR, real-time ASR, and our cascaded approach to offline SLT and real-time SLT. We select our primary candidates from a pool of pre-existing systems, develop a new end-to-end general ASR system, and a hybrid ASR trained on non-native speech. The provided small validation set prevents us from carrying out a complex validation, but we submit all the unselected candidates for contrastive evaluation on the test set.

Dominik Macháček
Jonáš Kratochvíl
Sangeet Sagar
Matúš Žilinec
Ondřej Bojar
Thai-Son Nguyen
Felix Schneider
Philip Williams
Yuekun Yao


Are Multilingual Neural Machine Translation Models Better at Capturing Linguistic Features?

Jsou vícejazyčné modely strojového překladu lepší v zachycování lingvistických rysů?

We investigate the effect of training NMT models on multiple target languages. We hypothesize that the integration of multiple languages and the increase of linguistic diversity will lead to a stronger representation of syntactic and semantic features captured by the model. We test our hypothesis on two different NMT architectures: The widely-used Transformer architecture and the Attention Bridge architecture. We train models on Europarl data and quantify the level of syntactic and semantic information discovered by the models using three different methods: SentEval linguistic probing tasks, an analysis of the attention structures regarding the inherent phrase and dependency information and a structural probe on contextualized word representations. Our results show evidence that with growing number of target languages the Attention Bridge model increasingly picks up certain linguistic properties including some syntactic and semantic aspects of the sentence whereas Transformer models are largely unaffected. The latter also applies to phrase structure and syntactic dependencies that do not seem to be developing in sentence representations when increasing the linguistic diversity in training to translate. This is rather surprising and may hint on the relatively little influence of grammatical structure on language understanding.

Zkoumáme vliv trénování modelů NMT na více cílových jazyků. Předpokládáme, že integrace více jazyků a zvýšení jazykové rozmanitosti povedou k silnějšímu zastoupení syntaktických a sémantických rysů zachycených modelem. Testujeme naši hypotézu na dvou různých architekturách NMT: široce používaná architektura transformátorů a architektura Attention Bridge. Trénujeme modely na datech Europarl a kvantifikujeme úroveň syntaktických a sémantických informací objevených modely pomocí tří různých metod: úkoly lingvistického průzkumu SentEval, analýza struktur pozornosti týkající se inherentních informací o frázích a závislostech a strukturální sonda na kontextových reprezentacích slov . Naše výsledky ukazují, že s rostoucím počtem cílových jazyků model Attention Bridge stále více získává určité jazykové vlastnosti, včetně některých syntaktických a sémantických aspektů věty, zatímco transformátorské modely jsou do značné míry nedotčeny. Posledně uvedené platí také pro frázovou strukturu a syntaktické závislosti, které se při zvyšování jazykové rozmanitosti při výcviku překladu nejeví ve větných vyjádřeních. To je docela překvapivé a může to naznačovat relativně malý vliv gramatické struktury na porozumění jazyku.

David Mareček
Hande Celikkanat
Miikka Silfverberg
Vinit Ravishankar
Jörg Tiedemann


Hidden in the Layers: Interpretation of Neural Networks for Natural Language Processing

Skryto ve vrstvách: Interpretace neuronových sítí pro zpracování přirozeného jazyka

In recent years, deep neural networks dominated the area of Natural Language Processing (NLP). End-to-end-trained models can do tasks as skillfully as never before and develop their own language representations. However, they act as black boxes that are very hard to interpret. This calls for an inspection to what extent the linguistic conceptualizations are consistent with what the models learn. Do neural networks use morphology and syntax the way people do when they talk about language? Or do they develop their own way?
In our talk, we will half-open the neural black-box and analyze the internal representations of input sentences with respect to their morphological, syntactic, and semantic properties. We will focus on word embeddings as well as contextual embeddings and self-attentions of the Transformer models (BERT, NMT). We will show both supervised and unsupervised analysis approaches.

V posledních letech dominovaly hluboké neuronové sítě v oblasti zpracování přirozeného jazyka (NLP). Modely trénované od konce do konce mohou dělat úkoly stejně zručně jako nikdy předtím a rozvíjet vlastní vyjádření jazyka. Působí však jako černé skříňky, které je velmi těžké interpretovat. To vyžaduje kontrolu, do jaké míry jsou jazykové koncepce v souladu s tím, co se modely učí. Používají neuronové sítě morfologii a syntaxi stejně jako lidé, když mluví o jazyce? Nebo si vyvinou vlastní způsob?
V naší přednášce pootevřeme neurální černou skříňku a zanalyzujeme vnitřní reprezentace vstupních vět s ohledem na jejich morfologické, syntaktické a sémantické vlastnosti. Zaměříme se na embedinky slov i kontextové embedinky a sebepozornost modelů Transformer (BERT, NMT). Ukážeme jak řízené, tak i neřízené postupy analýzy.

David Mareček
Jindřich Libovický
Tomáš Musil
Rudolf Rosa
Tomasz Limisiewicz


In this book, we explore neural-network architectures and models that are used for Natural Language Processing (NLP). We analyze their internal representations (word-embeddings, hidden states, attention mechanism, and contextual embeddings) and review what properties these representations have and what kinds of linguistically interpretable features emerge in them. We use our own experimental results, as well as the results published by other research teams to present an overview of models and representations and their linguistic properties.

In the beginning, we explain the basic concepts of deep learning and its usage in NLP and discuss details of the most prominent neural architectures and models. Then, we outline the concept of interpretability, different views on it, and introduce basic supervised and unsupervised methods that are used for interpreting trained
neural-network models.

The next part is devoted to static word embeddings. We show various methods for embeddings space visualization, component analysis and embedding space transformations for interpretation. Pretrained word embbedings contain information about both morphology and lexical semantics. When the embbedings are trained for a specific task, the embeddings tend to be organised by the information that is important for the given task (e.g. emotional polarity for sentiment analysis).

We also analyze attention mechanisms, in which we can observe weighted links between representations of individual tokens. We show that the cross-lingual attentions mostly connect mutually corresponding tokens; however, in some cases, they may be very different from the traditional word-alignments. We mainly focus on self-attentions in Transformers. Some heads connect tokens with certain syntactic relations. This motivated researchers to infer syntactic trees from the self-attentions and compare them to the linguistic annotations. We summarize the amount of syntax in
the attentions across the layers of several NLP models. We also point out the fact that attentions might sometimes be very misleading and may carry very different information from which we would think based on the attended tokens.

In the last part, we look at contextual word embeddings and the linguistic features they capture. They constitute a clear improvement over static word embeddings, especially in terms of capturing morphological and syntactic features. However, some higher linguistic abstractions, such as semantics, seem to be reflected in the current contextual embeddings only very weakly or not at all.

V této knize prozkoumáme architektury a modely neuronových sítí, které se používají pro zpracování přirozeného jazyka (NLP). Analyzujeme jejich interní reprezentace (vkládání slov, skryté stavy, mechanismus pozornosti a kontextové vkládání) a zkoumáme, jaké vlastnosti mají tyto reprezentace a jaké jazykově interpretovatelné rysy se v nich objevují. K prezentaci přehledu modelů a reprezentací a jejich jazykových vlastností používáme vlastní experimentální výsledky i výsledky publikované jinými výzkumnými týmy.

Na začátku vysvětlíme základní pojmy hlubokého učení a jeho využití v NLP a probereme podrobnosti nejvýznamnějších neurálních architektur a modelů. Poté nastíníme koncept interpretovatelnosti, různé pohledy na ni a představíme základní supervizované a nekontrolované metody, které se používají pro tlumočení
modely neuronových sítí.

Další část je věnována statickému vkládání slov. Ukážeme různé metody pro vkládání vizualizace prostoru, analýzu komponent a vkládání transformací prostoru pro interpretaci. Předem připravená vložení slov obsahují informace o morfologii i lexikální sémantice. Když jsou embedings trénovány pro konkrétní úkol, embeddings mají tendenci být organizovány podle informací, které jsou pro daný úkol důležité (např. Emoční polarita pro analýzu sentimentu).

Analyzujeme také mechanismy pozornosti, ve kterých můžeme sledovat vážené vazby mezi reprezentacemi jednotlivých tokenů. Ukazujeme, že mezijazykové pozornosti většinou spojují vzájemně odpovídající tokeny; v některých případech se však mohou velmi lišit od tradičních slovních spojení. Hlavně se zaměřujeme na sebepozornost v sítích typu Transformer. Některé hlavy spojují tokeny s určitými syntaktickými vztahy. To motivovalo vědce odvodit syntaktické stromy ze sebepozorování a porovnat je s lingvistickými anotacemi. Shrneme množství syntaxe v pozornost napříč vrstvami několika modelů NLP. Rovněž poukazujeme na skutečnost, že pozornost může být někdy velmi zavádějící a může nést velmi odlišné informace, o kterých bychom si na základě zúčastněných tokenů mysleli.

V poslední části se podíváme na kontextové vektorové representace slov a jazykové vlastnosti, které zachycují. Představují jasné vylepšení oproti statickým vektorovým reprezentacím slov, zejména pokud jde o zachycení morfologických a syntaktických znaků. Zdá se však, že některé vyšší jazykové abstrakce, jako je sémantika, se v současných kontextových vloženích odrážejí jen velmi slabě nebo vůbec.


"The robots will not live, they can only die," says the builder Alquist, a character in the R.U.R. play. The author of these words, however, this time is not Karel Čapek, but a machine, an artificial intelligence, writing a drama about the relationship of man and robot in honor of the famous work. It is to be shown at the Švanda Theatre on January 25th, when it will be 100 years since the premiere of R.U.R.

„Roboti žít nebudou, mohou jen zemřít,“ říká stavitel Alquist, postava z divadelní hry R.U.R. Autorem těchto slov ovšem tentokrát není Karel Čapek, ale stroj, umělá inteligence, která na počest slavného díla píše drama o vztahu člověka a robota. Má být uvedena ve Švandově divadle 25. ledna, kdy od premiéry R.U.R. uplyne právě 100 let.

Martin Uhlíř
Rudolf Rosa
Tomáš Musil
David Košťák