Multimodal Machines from a perspective of humans

Multimodální stroje od a perspektiva lidí

Deep Neural Networks have rapidly become the most dominant approach to solve many complicated learning problems in recent times. Although initially inspired by biological neural networks, the current deep learning systems are much more motivated by practical engineering needs and performance requirements. And yet, some of these networks exhibit a lot of similarities with human brains. This thesis proposal focuses on highlighting the differences in the learning mechanisms of humans and deep learning systems and explores yet how recent work has established similarities between representations learnt by deep learning systems and cognitive data collected from the human brain. Furthermore, we look into the benefits of using brain-inspired techniques and experiments to help build better systems for natural language processing applications and the results of the experiments done so far. Lastly, we outline the proposal to direct our future work towards the completion of the thesis.

Hluboké neuronové sítě se v poslední době rychle staly nejdominantnějším přístupem k řešení mnoha komplikovaných problémů s učením. Přestože byly původně inspirovány biologickými neuronovými sítěmi, současné systémy hlubokého učení jsou mnohem více motivovány praktickými inženýrskými potřebami a požadavky na výkon. A přesto některé z těchto sítí vykazují mnoho podobností s lidskými mozky. Tento návrh diplomové práce se zaměřuje na zdůraznění rozdílů v mechanismech učení lidí a v systémech hlubokého učení a zkoumá, jak nedávná práce prokázala podobnosti mezi reprezentacemi získanými pomocí systémů hlubokého učení a kognitivními daty shromážděnými z lidského mozku. Dále se podíváme na výhody používání technik a experimentů inspirovaných mozkem, které pomáhají budovat lepší systémy pro aplikace zpracování přirozeného jazyka, a na výsledky dosud provedených experimentů. Nakonec nastíníme návrh směřovat naši budoucí práci k dokončení diplomové práce.


We present Eyetracked Multi-Modal Translation (EMMT), a dataset containing monocular eye movement recordings, audio data and 4-electrode wearable electroencephalogram (EEG) data of 43 participants while engaged in sight translation task supported by an image.

Představujeme soubor dat Eyetracked Multi-Modal Translation (EMMT), který obsahuje záznamy monokulárních očních pohybů, zvuková data a data 4elektrodového nositelného elektroencefalogramu (EEG) 43 účastníků, kteří se věnovali překladu z angličtiny do češtiny, a to na základě psaného textu a doprovodných obrázků.

Sunit Bhattacharya
Věra Kloudová
Vilém Zouhar
Ondřej Bojar


What do the eyes really see? An eye-tracking account of language processing

Co oči skutečně vidí? Výzkum zpracování jazyka pomocí metody eye tracking

This experimental study aims to investigate the translation process from English to Czech in a multimodal scenario by using an eye tracker.
We investigate specific aspects of translating ambiguous and unambiguous sentences, and simultaneously, we focus on the possible impact of visual information on the translation process. Thus, we show how mechanisms of visual search, as well as the presence and attention mechanisms involved in such translation processes, can be explored based on various eye-movement data, i.e., cognitive mechanisms involved in reading original sentences and producing the corresponding translation are studied using a plethora of eye-tracking-specific metrics.
Among other things, the paper demonstrates how the Stroop effect is visible in the experimental setup.

Cílem této experimentální studie je prozkoumat proces překladu z angličtiny do češtiny v multimodálním scénáři s využitím eye trackeru. Zkoumáme specifické aspekty překladu nejednoznačných a jednoznačných vět a současně se zaměřujeme na možný vliv vizuálních informací na proces překladu. Ukazujeme tak, jak lze na základě různých údajů o pohybu očí zkoumat mechanismy vizuálního vyhledávání, jakož i mechanismy přítomnosti a pozornosti zapojené do těchto překladatelských procesů, tj. kognitivní mechanismy zapojené do čtení originálních vět a vytváření odpovídajícího překladu studujeme pomocí několika metrik specifických pro sledování očí. Článek mimo jiné ukazuje, jak se v experimentálním uspořádání projevuje Stroopův efekt.


Team ÚFAL at CMCL 2022 Shared Task: Figuring out the correct recipe for predicting Eye-Tracking features using Pretrained Language Model

Tým ÚFAL na CMCL 2022 Sdílený úkol: Vymyslet správný recept pro předvídání funkcí sledování očí pomocí předem připraveného jazykového modelu

Eye-Tracking data is a very useful source of information to study cognition and especially language comprehension in humans. In this paper, we describe our systems for the CMCL 2022 shared task on predicting eye-tracking information. We describe our experiments with pretrained models like BERT and XLM and the different ways in which we used those representations to predict four eye-tracking features. Along with analysing the effect of using two different kinds of pretrained multilingual language models and different ways of pooling the tokenlevel representations, we also explore how contextual information affects the performance of the systems. Finally, we also explore if factors like augmenting linguistic information affect the predictions. Our submissions achieved an average MAE of 5.72 and ranked 5th in the shared task. The average MAE showed further reduction to 5.25 in post task evaluation.

Data sledování očí jsou velmi užitečným zdrojem informací pro studium kognice a zejména porozumění jazyku u lidí. V tomto článku popisujeme naše systémy pro sdílenou úlohu CMCL 2022 o předpovídání informací o sledování očí. Popisujeme naše experimenty s předem připravenými modely, jako jsou BERT a XLM, a různé způsoby, jak jsme tyto reprezentace použili k predikci čtyř funkcí sledování očí. Spolu s analýzou účinku použití dvou různých druhů předtrénovaných vícejazyčných jazykových modelů a různých způsobů sdružování reprezentací na úrovni tokenů také zkoumáme, jak kontextové informace ovlivňují výkon systémů. Nakonec také zkoumáme, zda faktory, jako je rozšíření jazykových informací, ovlivňují předpovědi. Naše příspěvky dosáhly průměrného MAE 5,72 a umístily se na 5. místě ve sdíleném úkolu. Průměrný MAE ukázal další snížení na 5,25 při hodnocení po úkolu.

Sunit Bhattacharya
Rishu Kumar
Ondřej Bojar


Sentence Ambiguity, Grammaticality and Complexity Probes

Sondy nejednoznačnosti, gramatiky a složitosti vět

It is unclear whether, how and where large pre-trained language models capture subtle linguistic traits like ambiguity, grammaticality and sentence complexity.
We present results of automatic classification of these traits and compare their viability and patterns across representation types.
We demonstrate that template-based datasets with surface-level artifacts should not be used for probing,
careful comparisons with baselines should be done
and that t-SNE plots should not be used to determine the presence of a feature among dense vectors representations. We also demonstrate how features might be highly localized in the layers for these models and get lost in the upper layers.

Není jasné, zda, jak a kde velké předem trénované jazykové modely zachycují jemné lingvistické rysy, jako je nejednoznačnost, gramatika a složitost vět.
Prezentujeme výsledky automatické klasifikace těchto znaků a porovnáváme jejich životaschopnost a vzorce napříč typy reprezentace.
Ukazujeme, že datové sady založené na šablonách s artefakty na úrovni povrchu by neměly být používány pro sondování,
měla by být provedena pečlivá srovnání se základními hodnotami
a že grafy t-SNE by se neměly používat k určení přítomnosti rysu mezi reprezentacemi hustých vektorů. Také ukazujeme, jak mohou být prvky vysoce lokalizovány ve vrstvách těchto modelů a ztratit se v horních vrstvách.

Sunit Bhattacharya
Vilém Zouhar
Ondřej Bojar


Why AI language models think bananas are green

Proč si AI jazykové modely myslí, že jsou banány zelené

In the beginning was the word, from which the universe, life, and people were created. At least that's how the Bible describes it. The words also gave rise to the LaMDA AI system, which can supposedly become self-aware and feel emotions such as love, sadness, or fear. At least that's how Google developer Blake Lemoine described it. But experts don't believe him. Why? Our guest is Jindřich Libovický, who works on automatic language processing at the Institute of Formal and Applied Linguistics at the Faculty of Mathematics and Physics of Charles University.

Na začátku bylo slovo, z toho pak vznikl vesmír, život i lidé. Tak to alespoň popisuje bible. Ze slov vznikl také AI systém LaMDA, který si údajně může uvědomovat sám sebe a cítí emoce jako je láska, smutek nebo strach. Tak to alespoň popsal vývojář Googlu Blake Lemoine. Experti mu ale nevěří. Proč? Naším hostem je Jindřich Libovický, který se automatickému zpracování jazyka věnuje v Ústavu formální a aplikované lingvistiky Matematicko-fyzikální fakulty Univerzity Karlovy.


Interpreting and Controlling Linguistic Features in Neural Networks’ Representations

Interpretace a řízení lingvistických funkcí v reprezentacích neuronových sítí

Neural networks have achieved state-of-the-art results in a variety of tasks in natural language processing. Nevertheless, neural models are black boxes; we do not understand the mechanisms behind their successes. I will present the tools and methodologies used to interpret black box models. The talk will primarily focus on the representations of Transformer-based language models and our novel method — orthogonal probe, which offers good insight into the network's hidden states. The results show that specific linguistic signals are encoded distinctly in the Transformer. Therefore, we can effectively separate their representations. Additionally, we demonstrate that our findings generalize to multiple diverse languages. Identifying specific information encoded in the network allows removing unwanted biases from the representation. Such an intervention increases system reliability for high-stakes applications.

Neuronové sítě dosáhly nejmodernějších výsledků v řadě úloh při zpracování přirozeného jazyka. Nicméně neurální modely jsou černé skříňky; nerozumíme mechanismům jejich úspěchů. Představím nástroje a metodiky používané k interpretaci modelů černé skříňky. Přednáška se zaměří především na reprezentace jazykových modelů založených na Transformeru a naši novou metodu – ortogonální sondu, která nabízí dobrý náhled na skryté stavy sítě. Výsledky ukazují, že specifické lingvistické signály jsou v transformátoru zakódovány zřetelně. Proto můžeme efektivně oddělit jejich reprezentace. Navíc prokazujeme, že naše zjištění zobecňují na více různých jazyků. Identifikace specifických informací zakódovaných v síti umožňuje odstranit nežádoucí zkreslení z reprezentace. Takový zásah zvyšuje spolehlivost systému pro aplikace s vysokými sázkami.


Don’t Forget About Pronouns: Removing Gender Bias in Language Models Without Losing Factual Gender Information

Nezapomínejte na zájmena: Odstranění genderové předpojatosti v jazykových modelech bez ztráty faktických informací o pohlaví

The representations in large language models contain multiple types of gender information. We focus on two types of such signals in English texts: factual gender information, which is a grammatical or semantic property, and gender bias, which is the correlation between a word and specific gender. We can disentangle the model’s embeddings and identify components encoding both types of information with probing. We aim to diminish the stereotypical bias in the representations while preserving the factual gender signal. Our filtering method shows that it is possible to decrease the bias of gender-neutral profession names without significant deterioration of language modeling capabilities. The findings can be applied to language generation to mitigate reliance on stereotypes while preserving gender agreement in coreferences.

Reprezentace ve velkých jazykových modelech obsahují více typů genderových informací. Zaměřujeme se na dva typy takových signálů v anglických textech: faktické genderové informace, což je gramatická nebo sémantická vlastnost, a genderové zkreslení, což je korelace mezi slovem a konkrétním pohlavím. Můžeme rozpojit vnoření modelu a identifikovat komponenty kódující oba typy informací sondováním. Naším cílem je snížit stereotypní zkreslení v reprezentacích při zachování faktického genderového signálu. Naše filtrační metoda ukazuje, že je možné snížit zkreslení genderově neutrálních profesních názvů bez výrazného zhoršení schopností jazykového modelování. Zjištění lze aplikovat na jazykovou generaci, aby se zmírnilo spoléhání na stereotypy při zachování genderové shody v koreferencích.


You Can Have Your Data and Balance It Too: Towards Balanced and Efficient Multilingual Models

Můžete mít svá data a také je vyvážit: Směrem k vyváženým a efektivním vícejazyčným modelům

Multilingual models have been widely used for cross-lingual transfer to low-resource languages. However, the performance on these languages is hindered by their underrepresentation in the pretraining data. To alleviate this problem, we propose a novel multilingual training technique based on teacher-student knowledge distillation. In this setting, we utilize monolingual teacher models optimized for their language. We use those teachers along with balanced (sub-sampled) data to distill the teachers' knowledge into a single multilingual student. Our method outperforms standard training methods in low-resource languages and retrains performance on high-resource languages while using the same amount of data. If applied widely, our approach can increase the representation of low-resource languages in NLP systems.

Vícejazyčné modely byly široce používány pro mezijazyčný přenos do jazyků s nízkými zdroji. Výkonu těchto jazyků však brání jejich nedostatečné zastoupení v datech předtrénování. Abychom tento problém zmírnili, navrhujeme novou vícejazyčnou školicí techniku založenou na destilaci znalostí učitele a studenta. V tomto prostředí využíváme jednojazyčné modely učitelů optimalizované pro jejich jazyk. Tyto učitele používáme spolu s vyváženými (subvzorkovanými) údaji k destilaci znalostí učitelů do jednoho vícejazyčného studenta. Naše metoda překonává standardní tréninkové metody v jazycích s nízkými zdroji a přeškoluje výkon v jazycích s vysokými zdroji při použití stejného množství dat. Pokud bude náš přístup aplikován široce, může zvýšit zastoupení jazyků s nízkými zdroji v systémech NLP.

Tomasz Limisiewicz
Dan Malkin
Gabriel Stanovsky


Neural Representations in Multi-modal and Multi-lingual Modeling (NEUREM3) is a
project funded by the Czech Science Foundation (GAČR) program “Research, Experimental Development and Innovation for the Support of Basic Research Grant Projects”
– EXPRO 2019 from January 2019 till December 2023. This report covers its first three
years, 2019–2021. The scientific work was articulated around 5 broad areas: Foundations, Interpretability and task-dependence, Tight integration, Robustness, and Relation
of neural representations to multi-lingual concepts. Its description is clustered according
to 5 tasks defined in the project proposal and several technical topics. In several of these,
we have reached beyond state-of-the-art results. Foreign cooperation in the project was
intensive ranging from hiring foreign specialists, through student interns in respected foreign laboratories, to synergies with EU and US projects. The team of the project is consolidated and has a good balance of top-class PI and co-PI, researchers/post-docs, and
both Czech and international PhD students. The project is competitive on the international level, the assessment is done via international technology evaluations (challenges),
bibliographic metrics, and organization of top international scientific events. NEUREM3
team efficiently cooperates and is at the core of building both Czech and international
speech/NLP/MT communities.
So far, the project led to a total of 96 publications of which 12 were in peer-reviewed
journals, 49 at top conferences, and 35 at local workshops, challenge and evaluation workshops, etc. We are also regularly releasing research data and code in open repositories.

Neurální reprezentace v multimodálním a vícejazyčném modelování (NEUREM3) je projekt financovaný Grantovou agenturou ČR (GAČR) program Výzkum, experimentální vývoj a inovace pro podporu grantových projektů základního výzkumu EXPRO 2019 od ledna 2019 do prosince 2023. Tato zpráva se týká prvních tří let 2019--2021. Vědecká práce se soustředila na 5 širokých oblastí: Základy, Interpretovatelnost a závislost na úkolu, Těsná integrace, Robustnost a Vztah neurálních reprezentací k vícejazyčným konceptům. Jeho popis je seskupený podle 5 úkolů definovaných v návrhu projektu a několika technických témat. V několika z nich jsme dosáhli nad rámec nejmodernějších výsledků. Zahraniční spolupráce na projektu byla intenzivní od najímání zahraničních specialistů, přes studentské stáže v respektovaných zahraničních laboratořích až po synergie s projekty EU a USA. Tým projektu je konsolidovaný a má dobrou rovnováhu mezi špičkovými PI a co-PI, výzkumníky/postdoktorandy a českými i zahraničními doktorandy. Projekt je konkurenceschopný na mezinárodní úrovni, hodnocení probíhá prostřednictvím mezinárodních technologických hodnocení (výzev), bibliografických metrik a pořádání špičkových mezinárodních vědeckých akcí. Tým NEUREM3 efektivně spolupracuje a je jádrem budování české i mezinárodní řečové/NLP/MT komunity. Dosud vedl projekt k celkem 96 publikacím, z nichž 12 bylo v recenzovaných časopisech, 49 na špičkových konferencích a 35 na místních workshopech, challenge a evaluačních workshopech atd. Pravidelně také zveřejňujeme výzkumná data a kód v otevřená úložiště.


CUNI Submission to the BUCC 2022 Shared Task on Bilingual Term Alignment

CUNI systém pro soutěžní úlohu BUCC 2022 ve vytváření bilingválních terminologických slovníků

We present our submission to the BUCC Shared Task on bilingual term alignment in comparable specialized corpora.
We devised three approaches using static embeddings with post-hoc alignment, the Monoses pipeline for unsupervised
phrase-based machine translation, and contextualized multilingual embeddings. We show that contextualized embeddings
from pretrained multilingual models lead to similar results as static embeddings but further improvement can be achieved
by task-specific fine-tuning. Retrieving term pairs from the running phrase tables of the Monoses systems can match this
enhanced performance and leads to an average precision of 0.88 on the train set.

Prezentujeme naše řešení soutěžní úlohy BUCC 2022 ve vytváření terminologických slovníků ze specializovaných korpusů. Použili jsme tři přístupy využívající statické vektorové reprezentace s post-hoc zarovnáním, nástroj Monoses pro neřízený strojový překlad a kontextové vektorové reprezentace termínů. Ukazujeme, že kontextové reprezentace z předtrénovaných vícejazyčných modelů vedou k podobným výsledkům jako statické reprezentace, ale lze dosáhnout dalšího zlepšení
pomocí dotrénování specifického pro daný úkol. Stejné kvalitě odpovídá slovník termínů získaný z frázových tabulek systému Monoses, který dosahuje průměrné přesnosti 0,88 na trénovacím slovníku.

Borek Požár
Klára Tauchmanová
Kristýna Neumannová
Ivana Kvapilíková
Ondřej Bojar


Global Coherence of Czech Texts in the Corpus-Based Perspective. Report on the current project of the Institute of Formal and Applied Linguistics MFF UK

Globální koherence českých textů a možnosti jejího korpusového zpracování. Zpráva o aktuálním projektu Ústavu formální a aplikované lingvistiky  MFF UK

Report on the current project of the Institute of Formal and Applied Linguistics MFF UK. The project is focused on theoretical research and subsequent corpus representation of the so-called global coherence in Czech written texts.

Zpráva o aktuálním projektu Ústavu formální a aplikované ligvistiky MFF UK. Od ledna 2020 probíhá tříletý projekt Globální koherence českých textů a možnosti jejího korpusového zpracování, zaštítěný Grantovou agenturou České republiky pod vedením Lucie Polákové. Projekt je zaměřen na teoretický výzkum a následné korpusové zachycení tzv. globální koherence v českých psaných textech.


Annotation of global text structures in Prague

Globální textové struktury a jejich anotace v Praze

The lecture describes the annotation of global coherence at the ÚFAL MFF UK, focusing in particular on the application of the Rhetorical Structure Theory to Czech texts.

Přednáška se zabývá anotací globální koherence na ÚFAL MFF UK, zaměřuje se zejména na aplikaci přístupu Rhetorical Structure Theory na české texty.


Rhetorical Structure Theory as a Model of Global Coherence

Rhetorical Structure Theory jako model globální koherence

For more than a decade, ÚFAL discourse-oriented research concentrated on the description of various linguistic aspects of local, “chain-like” coherence. Global coherence, on the other hand, assumes a hierarchical representation of smaller (clauses, sentences) and larger text units (e.g. paragraphs) and the existence of coherence relations between these units on all levels of the hierarchy. A single interconnected representation for the entire document is postulated, too.

In the lecture, one of the most influential models of global coherence will be introduced, the Rhetorical Structure Theory, along with its impact on corpus design, empirical annotation of coherence relations and natural language generation tasks.

Výzkum diskurzu na ÚFAL MFF se již více než deset let soustřeďuje na popis různých jazykových aspektů tzv. lokální "řetězové" koherence. Globální koherence naproti tomu předpokládá hierarchickou reprezentaci menších (klauze, věty) a větších textových jednotek (např. odstavce) a existenci koherenčních vztahů mezi těmito jednotkami na všech úrovních hierarchie. Přepokládá se také jediná spojitá reprezentace celého dokumentu.

Přednáška představí jeden z nejvlivnějších modelů globální koherence, Rhetorical Structure Theory, spolu s jeho vlivem na tvorbu korpusů, empirickou anotaci koherenčních vztahů a úlohy generování přirozeného jazyka.


CUNI systém pro soutěžní workshop MT4All

This paper describes our submission to the MT4All Shared Task in unsupervised machine translation from English to Ukrainian,
Kazakh and Georgian in the legal domain. In addition to the standard pipeline for unsupervised training (pretraining followed
by denoising and back-translation), we used supervised training on a pseudo-parallel corpus retrieved from the provided monolingual corpora. Our system scored significantly higher than the baseline hybrid unsupervised MT system

Tento článek popisuje naše řešení soutěžní úlohy MT4All v neřízeném strojovém překladu z angličtiny do ukrajinštiny,
kazaštiny a gruzínštiny v právnické doméně. Kromě standardního modelu trénovaného bez paralelních dat jsme použili supervizované trénování na pseudoparalelním korpusu získaném dolováním z poskytnutých jednojazyčných korpusů. Náš systém dosáhl výrazně vyššího skóre než baseline.


Neural Pipeline for Zero-Shot Data-to-Text Generation

Neuronová pipeline pro generování textu z dat bez trénovacích dat

In data-to-text (D2T) generation, training on in-domain data leads to overfitting to the data representation and repeating training data noise. We examine how to avoid finetuning pretrained language models (PLMs) on D2T generation datasets while still taking advantage of surface realization capabilities of PLMs. Inspired by pipeline approaches, we propose to generate text by transforming single-item descriptions with a sequence of modules trained on general-domain text-based operations: ordering, aggregation, and paragraph compression. We train PLMs for performing these operations on a synthetic corpus WikiFluent which we build from English Wikipedia. Our experiments on two major triple-to-text datasets — WebNLG and E2E — show that our approach enables D2T generation from RDF triples in zero-shot settings.

Při trénování systémů pro generování textu z dat na konkrétní doméně dochází k nadměrnému přizpůsobování modelů reprezentaci dat a opakování chyb v trénovacích datech na výstupu. Zkoumáme, jak se obejít bez dotrénovávání jazykových modelů na datasetech pro tuto úlohu a zároveň přitom využít schopností těchto modelů pro povrchovou realizaci. Inspirováni sekvenčními přístupy navrhujeme generovat text transformací krátkých textů pro jednotlivé položky pomocí posloupnosti modulů natrénovaných na obecných textových operacích: řazení, agregaci a kompresi odstavců. Modely pro provádění těchto operací trénujeme na syntetickém korpusu WikiFluent, který pro tento účel vytváříme z anglické Wikipedie. Naše experimenty na dvou významných datasetech pro převod RDF trojic na text — WebNLG a E2E — ukazují, že náš přístup umožňuje generování textu z RDF trojic i při absenci trénovacích dat.


The Czech translator learned Ukrainian quickly. It just sometimes mixes up the names of cities

Český překladač se naučil ukrajinsky rychle. Jen někdy plete jména měst

A new tool will help Czechs communicate with Ukrainians. The machine translator was trained by experts from the Faculty of Mathematics and Physics at Charles University in three weeks. It uses artificial intelligence and is said to be better than Google Translate. It makes different mistakes than humans.

V komunikaci s Ukrajinci pomůže Čechům nový nástroj. Strojový překladač vytrénovali odborníci z Matematicko-fyzikální fakulty UK za tři týdny. Využívá umělé inteligence a je prý lepší než Google Translate. Chybuje jinak než lidé.

Pavel Kasík
Jindřich Libovický
Jindřich Helcl
Michal Novák


CUNI Non-Autoregressive System for the WMT 22 Efficient Translation Shared Task

Neautoregresivní systém Univerzity Karlovy pro úlohu efektivního překladu na WMT 2022

We present a non-autoregressive system submission to the WMT 22 Efficient Translation Shared Task. Our system was used by Helcl et al. (2022)
in an attempt to provide fair comparison between non-autoregressive and autoregressive models. This submission is an effort to
establish solid baselines along with sound evaluation methodology,
particularly in terms of measuring the decoding speed. The model itself
is a 12-layer Transformer model trained with connectionist temporal classification on knowledge-distilled dataset by a strong autoregressive teacher model.

Představujeme neautoregresivní systém do sdílené úlohy efektivního překladu na WMT 22. Náš systém byl použit v Helcl et al. (2022)
ve snaze poskytnout spravedlivé srovnání mezi neautoregresivními a autoregresními modely. Tento příspěvek je snahou poskytnout základní výsledky neautoregresivních modelů spolu se správnou metodologií jejich hodnocení,
zejména z hlediska měření rychlosti dekódování. Samotný model
je 12vrstvý model Transformer trénovaný s konekcionistickou časovou klasifikací (CTC) na znalostně destilované datové sadě pomocí silného autoregresivního učitelského modelu.


Non-Autoregressive Machine Translation: It's Not as Fast as it Seems

Neautoregresivní neuronový strojový překlad není tak rychlý jak se může zdát

Efficient machine translation models are commercially important as they can increase inference speeds, and reduce costs and carbon emissions. Recently, there has been much interest in non-autoregressive (NAR) models, which promise faster translation. In parallel to the research on NAR models, there have been successful attempts to create optimized autoregressive models as part of the WMT shared task on efficient translation. In this paper, we point out flaws in the evaluation methodology present in the literature on NAR models and we provide a fair comparison between a state-of-the-art NAR model and the autoregressive submissions to the shared task. We make the case for consistent evaluation of NAR models, and also for the importance of comparing NAR models with other widely used methods for improving efficiency. We run experiments with a connectionist-temporal-classification-based (CTC) NAR model implemented in C++ and compare it with AR models using wall clock times. Our results show that, although NAR models are faster on  GPUs, with small batch sizes, they are almost always slower under more realistic usage conditions. We call for more realistic and extensive evaluation of NAR models in future work.

Efektivní modely strojového překladu jsou komerčně důležité, protože mohou zvýšit rychlost překladu a snížit náklady a emise uhlíku. V poslední době je velký zájem o neautoregresivní (NAR) modely, které slibují rychlejší překlad. Paralelně s výzkumem modelů NAR proběhly úspěšné pokusy o vytvoření optimalizovaných autoregresních modelů v rámci sdíleného úkolu WMT o efektivním překladu. V tomto článku poukazujeme na nedostatky v metodice hodnocení v literatuře o modelech NAR a poskytujeme spravedlivé srovnání mezi nejmodernějším modelem NAR a autoregresivními příspěvky ke sdílenému úkolu. Zastáváme důsledné hodnocení modelů NAR a také důležitost porovnávání modelů NAR s jinými široce používanými metodami pro zlepšení efektivity. Provádíme experimenty s modelem NAR založeným na konekcionisticko-temporální klasifikaci (CTC) implementovaným v C++ a porovnáváme jejich čas s autoregresivními modely AR. Naše výsledky ukazují, že ačkoli jsou modely NAR rychlejší na GPU, s malými velikostmi dávek, jsou téměř vždy pomalejší za reálnějších podmínek použití. V budoucí práci požadujeme realističtější a rozsáhlejší hodnocení modelů NAR.

Jindřich Helcl
Barry Haddow
Alexandra Birch


Neural architectures for character-level NLP

Neuronové architektury pro zpracování přirozeného jazyka po znacích

The success of deep learning NLP is often narrated as not assuming anything about the language and letting the data speak for itself. Although this is debatable on many levels, one thing is outstandingly suspicious: most state-of-the-art NLP models assume the existence of discrete tokens and use subword segmentation which combines rules with simple statistical heuristics. Avoiding explicit input segmentations is more difficult than it seems.

The first part of the talk will present neural edit distance, a novel interpretable architecture based on well-known Levenshtein distance that can be used for purely character-level tasks such as transliteration or cognate detection. In the second part of the talk, we will zoom out and have a look at character-level methods for neural machine translation. We will present how innovations in training and architectures design can improve translation quality. Despite this progress, we will show that character-level methods in machine translation still lack behind the subword-based models nearly in all respect that can be measured.

Úspěch hlubokého učení NLP je často popisován tak, že o jazyku nic nepředpokládáme a necháváme data mluvit sama za sebe. Ačkoli je to na mnoha úrovních diskutabilní, jedna věc je neobyčejně podezřelá: většina nejmodernějších NLP modelů předpokládá existenci diskrétních tokenů a používá segmentaci na podslova, která kombinuje pravidla s jednoduchými statistickými heuristikami. Vyhnout se explicitní segmentaci vstupi je obtížnější, než se zdá.

První část přednášky představí neurální neuronovou edistační vzdálenost, novou interpretovatelnou architekturu založenou na dobře známé Levenshteinově vzdálenosti, kterou lze použít pro čistě znakové úlohy, jako je transliterace nebo detekce kognátů. Ve druhé části přednášky si přiblížíme neuronový strojový překlad na úrovni znaků. Představíme, jak inovace v oblasti trénování a návrhu architektur mohou zlepšit kvalitu překladu. I přes tento pokrok se ukazuje, že metody na úrovni znaků ve strojovém překladu stále zaostávají za modely na bázi podslov téměř ve všech ohledech, které lze měřit.


Neural networks have dominated many areas of computer science in recent years, one of which is machine translation. In this talk, we discuss how machine translation using neural networks works, what are its strengths and weaknesses, and how we at the Faculty of Mathematics and Physics managed to develop a system for translation between Czech and Ukrainian in just two weeks that can compete with the translators of large companies.

Neuronové sítě v posledních letech dominují v mnoha oblastech informatiky a jednou z nich je i automatický překlad. V přednášce si ukážeme, jak strojový překlad pomocí neuronových sítí funguje, jaké jsou jeho silné a slabé stránky a také to, jak se nám na Matematicko-fyzikální fakultě podařilo během pouhých dvou týdnů vyvinout systém pro překlad mezi češtinou a ukrajinštinou, který může konkurovat překladačům velkých firem.


We propose the neural string edit distance model for string-pair matching and string transduction based on learnable string edit distance. We modify the original expectation-maximization learned edit distance algorithm into a differentiable loss function, allowing us to integrate it into a neural network providing a contextual representation of the input. We evaluate on cognate detection, transliteration, and grapheme-to-phoneme conversion, and show that we can trade off between performance and interpretability in a single framework. Using contextual representations, which are difficult to interpret, we match the performance of state-of-the-art string-pair matching models. Using static embeddings and a slightly different loss function, we force interpretability, at the expense of an accuracy drop.

Navrhujeme model neuronová editační vzdálenost pro párování řetězců a převod řetězců na základě naučené editační vzdálenosti. Upravili jsme původní MT algoritmus tak, aby využíval diferencovalnou ztrátovou funkci, což nám umožňuje integrovat ji do neuronové sítě poskytující kontextovou reprezentaci vstupu. Hodnotíme detekci kognatů, transliteraci a konverzi grafémů na fonémy a ukazujeme, že v jednom teoretickém rámci připravovat modely, kde jde proti sobě intepretovatelnost a přesnost. Pomocí kontextových reprezentací, které jsou ale hůře interpretovatelné, dosahuje stejné přesnosti jako nejlepší metody pro párování řetězců. Pomocí statických embedingů a mírně odlišné ztrátové funkce dokážeme vynutit interpretabilitu na úkor poklesu přesnosti.


Why don’t people use character-level machine translation?

Proč se nepoužívá strojový překlad po znacích?

We present a literature and empirical survey that critically assesses the state of the art in character-level modeling for machine translation (MT). Despite evidence in the literature that character-level systems are comparable with subword systems, they are virtually never used in competitive setups in WMT competitions. We empirically show that even with recent modeling innovations in character-level natural language processing, character-level MT systems still struggle to match their subword-based counterparts. Character-level MT systems show neither better domain robustness, nor better morphological generalization, despite being often so motivated. However, we are able to show robustness towards source side noise and that translation quality does not degrade with increasing beam size at decoding time.

V článku prezentuje přehled literatury a empirický průzkum, který kriticky hodnotí předchozí práci v oblasti strojového překladu na úrovni znaků. Navzdory tvrzením v literatuře, že systémy na úrovni znaků jsou srovnatelné se systémy, které pracují na úrovni podslov, prakticky nikdy se nepoužívají v soutěžních systémech WMT. Empiricky ukazujeme, že i s nedávnými inovacemi v modelování zpracování přirozeného jazyka na úrovni znaků se systémy strojového překladu na úrovni znaků stále obtížně vyrovnávají svým protějškům na bázi podslov. Strojový překlad na úrovni znaků nevykazuje ani lepší doménovou robustnost, ani lepší morfologické zobecnění, přestože to bývá často hlavní motivace pro jejich vývoj. Systémy zpracovávající vstup po znacích naopak vykazují velkou robustnost vůči šumu a že kvalita překladu neklesá ani s klesající mírou ořezávání během dekódování.

Jindřich Libovický
Helmut Schmid
Alexander Fraser


A talk summarizing the basics of large language models and their recent development.

Přednáška shrnující fungování velkých jazykových modelů a jejich nedávný vývoj.


Conversion in English and Czech: a corpus study of semantic relations between nouns and verbs

Konverze v angličtině a češtině: korpusová studie sémantických vztahů mezi substantivy a slovesy

Abstract
The aim of this MA thesis is to carry out a corpus-based contrastive study of the semantic
relations between verbs and nouns in conversion pairs in English and Czech. Pairs of verbs and
nouns like run.v – run.n, salt.n – salt.v in English and běžet/běhat ‘run.v’ – běh ‘run.n’, sůl
‘salt.n’ – solit ‘salt.v’ in Czech are taken to be the result of a word-formation process called
conversion, in which a new word belonging to a different word class is created without the
addition of any derivational affixes. Using a sample of 300 such pairs in both languages,
extracted from the British National Corpus for English and from the SYN2015 corpus for Czech,
we analyse and classify the different semantic relations existing between the nouns and verbs.
We adopt a cognitive approach and classify the semantic relations based on conceptual event
schemata and their elements. Because the nouns and/or verbs are often polysemous, the
semantic classification also accounts for the possibility of multiple semantic relations existing
between the verb and the noun in one conversion pair. In the analysis, we examine and compare
the frequencies with which the different semantic relations appear in the conversion pairs in
English and Czech, as well as the patterns of multiple semantic relations that appear together in
a single conversion pair.

Cílem této diplomové práce je provést korpusově založenou kontrastivní studii sémantických
vztahů mezi slovesy a substantivy v konverzních dvojicích v angličtině a češtině. Dvojice
sloves a substantiv jako run.v ‘běžet/běhat’ – run.n ‘běh’, salt.n ‘sůl’ – salt.v ‘solit’ v angličtině
a běžet/běhat – běh, sůl – solit v češtině jsou považovány za výsledky slovotvorného procesu
nazývaného konverze, ve kterém je vytvořeno nové slovo patřící k odlišnému slovnímu druhu
bez použití slovotvorných afixů. S použitím vzorku 300 takovýchto párů v obou jazycích,
získaného z Britského národního korpusu pro angličtinu a z korpusu SYN2015 pro češtinu,
analyzujeme a klasifikujeme sémantické vztahy mezi slovesy a substantivy. Zaujímáme
kognitivní přístup a sémantické vztahy klasifikujeme na základě konceptuálních schémat
událostí a jejich složek. Protože substantiva a/nebo slovesa jsou často polysémní, tato
sémantická klasifikace také počítá s možností existence více různých sémantických vztahů
mezi slovesem a substantivem v jedné konverzní dvojici. V rámci analýzy je zkoumána a
porovnána frekvence, se kterou se různé sémantické vztahy objevují v konverzních párech
v angličtině a češtině, a také vzorce více různých sémantických vztahů v rámci jednoho
konverzního páru.


Excerpt from the theatre play AI: When a Robot Writes a Play

Úryvek z divadelní hry AI: Když robot píše hru

A description of the project, an explanation of the functioning of the GPT-2 model and a sample from the script of the play.

Popis projektu, vysvětlení fungování modelu GPT-2 a ukázka ze scénáře divadelní hry.

1.0 THEaiTRobot
David Košťák
Daniel Hrbek
Rudolf Rosa
Ondřej Dušek


How does a machine learn a new language? Over the course of two weeks in March 2022, a team of experts from MFF UK trained a Ukrainian-Czech translator, which the public could immediately use for free thanks to the research infrastructure Lindat.cz, later also using the web interface (translator.cuni.cz) and the mobile application Charles Translator for Ukraine. This lecture will present the experience from the development and half a year of improvements and operation of this translator.

Jak se stroj učí nový jazyk? Během dvou týdnů v březnu 2022 tým odborníků z MFF UK natrénoval ukrajinsko-český překladač, který mohla veřejnost ihned zdarma používat díky výzkumné infrastruktuře Lindat.cz, později též pomocí webové (translator.cuni.cz) a mobilní aplikace Charles Translator for Ukraine. Tato přednáška představí zkušenosti z vývoje a půlročního vylepšování a provozování tohoto překladače.


Machine translation and artificial intelligence

The lecture will briefly present some of the tasks covered by computer linguistics, such as automatic correction of typos/grammar or automatic sentence analysis. The main focus will be on the role of machine translation, especially the development of various types of translators from English to Czech over the last decade. Today's best translators are based on artificial intelligence technologies, namely deep (artificial) neural networks,
and the quality of the resulting translation is close to that of a professional translation agency. Some translation errors are caused by translating individual sentences independently, which is solved by a newly published translator of whole documents. The lecture will also discuss how human translation differs from machine translation, how artificial neural networks differ from the human brain, and whether we can rely on machine translation.

Přednáška krátce představí některé úlohy, kterými se zabývá počítačová lingvistika, například automatickou opravu překlepů/gramatiky či automatický větný rozbor. Hlavní pozornost bude věnována úloze strojového překladu, zejména vývoji různých typů překladačů z angličtiny do češtiny během posledního desetiletí. Dnešní nejlepší překladače jsou založeny na technologiích umělé inteligence, konkrétně hlubokých (umělých) neuronových sítí,
a kvalita výsledného překladu se blíží úrovni profesionální překladatelské agentury. Některé překladové chyby jsou způsobeny překládáním jednotlivých vět nezávisle, což řeší nově zveřejněný překladač celých dokumentů. V přednášce bude též diskutováno, jak se liší lidský překlad od toho strojového, jak se liší umělé neuronové sítě od lidského mozku a zda se můžeme na strojový překlad spolehnout.


CUNI Systems for the WMT 22 Czech-Ukrainian Translation Task

Systémy Univerzity Karlovy pro soutěžní úkol WMT22 v česko-ukrajinském překladu

We present Charles University submissions to the WMT22 General Translation Shared Task on Czech-Ukrainian and Ukrainian-Czech machine translation. We present two constrained submissions based on block back-translation and tagged back-translation and experiment with rule-based romanization of Ukrainian. Our results show that romanization only has a minor effect on the translation quality. Further, we describe Charles Translator, a system developed in March 2022 as a response to the migration from Ukraine to the Czech Republic. Compared to our constrained systems, it did not use romanization and used some proprietary data sources.

Představujeme příspěvky Univerzity Karlovy do soutěžního úkolu WMT22 týkající se česko-ukrajinského a ukrajinsko-českého strojového překladu. Představujeme dvě systémy, které využívají omezená data.  Jeden využívá blokový zpětném překladu a druhý značený zpětném překladu. Dále experimentujeme s pravidlovou romanizací ukrajinského textu. Naše výsledky ukazují, že romanizace má na kvalitu překladu jen malý vliv. Dále popisujeme systém Charles Translator, který byl vyvinut v březnu 2022 jako reakce na migraci z Ukrajiny do České republiky. Oproti našim s omezenými data, nepoužíval romanizaci a využíval některé zdroje dat, které nebyly součástí soutěžního úkolu.

Martin Popel
Jindřich Libovický
Jindřich Helcl


DialogueScript: Using Dialogue Agents to Produce a Script

DialogueScript: Využití dialogových agentů pro tvorbu scénáře

We present a novel approach to generating scripts by using agents with different personality types. To manage character interaction in the script, we employ simulated dramatic networks. Automatic and human evaluation on multiple criteria shows that our approach outperforms a vanilla-GPT2-based baseline. We further introduce a new metric to evaluate dialogue consistency based on natural language inference and demonstrate its validity.

Představujeme nový přístup k generování scénářů pomocí agentů s různými typy osobnosti. Pro řízení interakce postav ve scénáři využíváme simulované dramatické sítě. Automatické a lidské hodnocení na více kritériích ukazuje, že náš přístup překonává základní úroveň založenou na vanilkovém GPT2. Dále zavádíme novou metriku pro hodnocení konzistence dialogu na základě inference přirozeného jazyka a demonstrujeme její platnost.

Patrícia Schmidtová
Dávid Javorský
Christián Mikláš
Tomáš Musil
Rudolf Rosa
Ondřej Dušek


THEaiTRE: Generating Theatre Play Scripts using Artificial Intelligence

THEaiTRE: Generování scénářů divadelních her pomocí umělé inteligence

In this book, we describe THEaiTRE, an interdisciplinary project combining theatre and computational linguistics, with its main result being a production and staging of the first computer-generated theatre play. The goal of the project was to explore the potential of current artificial intelligence techniques to be incorporated into theatre practice.

Within the project, we managed to generate scripts of two theatre plays, AI: When a Robot Writes a Play and Permeation. The plays were then staged, rehearsed and premiered in theatres. We dedicate the first part of this book to the process of creating and staging the actual plays and to various theatrical aspects of the project. This part of the book is accessible to any reader.

The scripts for the plays were created using our online interactive script generation tool called THEaiTRobot. As the tool is one of the main results of this project, the whole second part of this book is dedicated to the design of the tool and the research and experiments we performed. Most of that part of the book is quite technical, intended for a reader with some background in computer science and/or computational linguistics.

V této knize představujeme THEaiTRE, interdisciplinární projekt propojující divadlo a počítačovou lingvistiku, jehož hlavním výsledkem byla produkce a inscenace první počítačově vytvořené divadelní hry. Cílem projektu bylo prozkoumat potenciál současných technik umělé inteligence, které by mohly být začleněny do divadelní praxe.

V rámci projektu se nám podařilo vygenerovat scénáře dvou divadelních her, AI: Když robot píše hru a Prostoupení. Hry pak byly inscenovány, nazkoušeny a uvedeny v divadlech. První část této knihy věnujeme procesu tvorby a inscenování samotných her a různým divadelním aspektům projektu. Tato část knihy je přístupná všem čtenářům.

Scénáře ke hrám byly vytvořeny pomocí našeho online interaktivního nástroje na generování scénářů s názvem THEaiTRobot. Vzhledem k tomu, že tento nástroj je jedním z hlavních výsledků tohoto projektu, celá druhá část této knihy je věnována návrhu nástroje a provedenému výzkumu a experimentům. Většina této části knihy je spíše odborná, určená čtenáři s určitým vzděláním v oblasti informatiky a/nebo počítačové lingvistiky.

Patrícia Schmidtová
Rudolf Rosa
David Košťák
Tomáš Studeník
Daniel Hrbek
Tomáš Musil
Josef Doležal
Ondřej Dušek
David Mareček
Klára Vosecká
Marie Nováková
Petr Žabka
Alisa Zakhtarenko
Dominik Jurko
Martina Kinská
Tom Kocmi
Ondřej Bojar


Findings of the 2022 Conference on Machine Translation (WMT22)

The article presents the results of WMT22 translation shared tasks.

Článek prezentuje výsledky překladové soutěže WMT22, včetně automatických a ručních hodnocení.

Rachel Bawden
Ondřej Bojar
Rajen Chatterjee
Anton Dvorkovich
Christian Federmann
Mark Fishel
Markus Freitag
Thamme Gowda
Yvette Graham
Roman Grundkiewicz
Barry Haddow
Matthias Huck
Rebecca Knowles
Tom Kocmi
Philipp Koehn
Christof Monz
Makoto Morishita
Masaaki Nagata
Toshiaki Nakazawa
Matteo Negri
Michal Novák
Martin Popel
Maja Popović
Mariya Shmatova
Marco Turchi


Towards Establishing a Research Lineage via Identification of Significant Citations

Směrem k vytvoření výzkumné linie prostřednictvím identifikace významných citací

Finding the lineage of a research topic is crucial for understanding the prior state of the art and advancing scientific displacement. The deluge of scholarly articles makes it difficult to locate the most relevant previous work. It causes researchers to spend a considerable amount of time building up their literature list. Citations play a crucial role in discovering relevant literature. However, not all citations are created equal. The majority of the citations that a paper receives provide contextual and background information to the citing papers. In those cases, the cited paper is not central to the theme of citing papers. However, some papers build upon a given paper, further the research frontier. In those cases, the concerned cited paper plays a pivotal role in the citing paper. Hence, the nature of citation the former receives from the latter is significant. In this work, we discuss our investigations towards discovering significant citations of a given paper. We further show how we can leverage significant citations to build a research lineage via a significant citation graph. We demonstrate the efficacy of our idea with two real-life case studies. Our experiments yield promising results with respect to the current state-of-the-art in classifying significant citations, outperforming the earlier ones by a relative margin of 20 points in terms of precision. We hypothesize that such an automated system can facilitate relevant literature discovery and help identify knowledge flow for a particular category of papers.

Nalezení rodokmenu výzkumného tématu je klíčové pro pochopení předchozího stavu umění a postupujícího vědeckého posunu. Záplava odborných článků ztěžuje nalezení nejvhodnější předchozí práce. Výzkumníci tak tráví značné množství času sestavováním seznamu literatury. Citace hrají zásadní roli při objevování relevantní literatury. Nicméně ne všechny citace jsou vytvořeny stejně. Většina citací, které noviny obdrží, poskytuje podkladové a kontextové informace citujícím dokumentům. V těchto případech není citovaný dokument ústředním tématem citujících listin. Některé dokumenty však vycházejí z daného papíru, čímž se dále posouvá hranice výzkumu. V těchto případech hraje dotčený citovaný dokument v citujícím dokumentu stěžejní roli. Podstata citace, kterou prvně jmenovaný obdrží od druhého, je tedy významná. V této práci probíráme naše výzkumy směřující k objevení významných citací daného dokumentu. Dále ukazujeme, jak můžeme využít významné citace k sestavení výzkumné linie prostřednictvím významného citačního grafu. Účinnost naší myšlenky demonstrujeme dvěma případovými studiemi v reálném životě. Naše experimenty přinášejí slibné výsledky, pokud jde o současný stav klasifikace významných citací, předčí ty předchozí s relativním náskokem 20 bodů, pokud jde o přesnost. Předpokládáme, že takový automatizovaný systém může usnadnit vyhledávání příslušné literatury a pomoci identifikovat tok znalostí pro určitou kategorii papírů.

Tirthankar Ghosal
Piyush Tiwari
Robert Patton
Christopher Stahl


Towards Finding a Research Lineage Leveraging on Identification of Significant Citations

Směrem k nalezení výzkumného původu, který by se opíral o identifikaci významných citací.

Finding the lineage of a research topic is crucial for understanding the prior state of the art and advancing scientific displacement. The deluge of scholarly articles makes it difficult to locate the most relevant prior work and causes researchers to spend a considerable amount of time building up their literature list. Citations play a significant role in discovering relevant literature. However, not all citations are created equal. A majority of the citations that a paper receives are for providing contextual, and background information to the citing papers and are not central to the theme of those papers. However, some papers are pivotal to the citing paper and inspire or stem up the research in the citing paper. Hence the nature of citation the former receives from the latter is significant. In this work in progress paper, we discuss our preliminary idea towards establishing a lineage for a given research via identifying significant citations. We hypothesize that such an automated system can facilitate relevant literature discovery and help identify knowledge flow for at least a certain category of papers. The distal goal of this work is to identify the real impact of research work or a facility beyond direct citation counts.

Nalezení rodokmenu výzkumného tématu je klíčové pro pochopení předchozího stavu umění a postupujícího vědeckého posunu. Záplava odborných článků ztěžuje vyhledávání nejvýznamnějších předchozích prací a způsobuje, že výzkumníci tráví značné množství času sestavováním seznamu literatury. Citace hrají významnou roli při objevování relevantní literatury. Nicméně ne všechny citace jsou vytvořeny stejně. Většina citací, které redakce obdrží, slouží k poskytování kontextuálních a podkladových informací citujícím listinám a nejsou ústředním tématem těchto listin. Některé práce jsou však pro citující noviny stěžejní a inspirují nebo brzdí výzkum v citujících novinách. Z toho vyplývá, že podstata citace, kterou prvně jmenovaný obdrží od druhého, je významná. V tomto rozpracovaném dokumentu diskutujeme o naší předběžné myšlence vytvořit rodokmen pro daný výzkum prostřednictvím identifikace významných citací. Předpokládáme, že takový automatizovaný systém může usnadnit vyhledávání příslušné literatury a pomoci identifikovat tok znalostí alespoň pro určitou kategorii papírů. Distálním cílem této práce je zjistit skutečný dopad výzkumné práce nebo zařízení mimo přímá citační čísla.


Report on the SIGDial 2021 Special Session on Summarization of Dialogues and Multi-Party Meetings (SummDial)

Zpráva o zvláštním zasedání SIGDial 2021 o sumarizaci dialogů a vícestranných setkáních (SummDial)

The SummDial special session on summarization of dialogues and multi-party meetings was held virtually within the SIGDial 2021 conference on July 29, 2021. SummDial @ SIGDial 2021 aimed to bring together the speech, dialogue, and summarization communities to foster cross-pollination of ideas and fuel the discussions/collaborations to attempt this crucial and timely problem. When the pandemic has restricted most of our in-person interactions, the current scenario has forced people to go virtual, resulting in an information overload from frequent dialogues and meetings in the virtual environment. Summarization could help reduce the cognitive burden on the participants; however, multi-party speech summarization comes with its own set of challenges. The SummDial special session aimed to leverage the community intelligence to find effective solutions while also brainstorming the future of AI interventions in meetings and dialogues. We report the findings of the special session in this article. We organized the SummDial special session under the aegis of the EU-funded H2020 European Live Translator (ELITR) project.

Speciální zasedání SummDial o sumarizaci dialogů a setkání více stran se konalo prakticky v rámci konference SIGDial 2021 dne 29. července 2021. SummDial @ SIGDial 2021 si kladl za cíl spojit komunity zabývající se řečí, dialogem a sumarizací, aby se podpořilo vzájemné opylování myšlenek a podpořily diskuse/spolupráce při pokusu o tento zásadní a aktuální problém. Když pandemie omezila většinu našich osobních interakcí, současný scénář donutil lidi přejít na virtuální, což vyústilo v zahlcení informacemi z častých dialogů a setkání ve virtuálním prostředí. Shrnutí by mohlo pomoci snížit kognitivní zátěž účastníků, nicméně sumarizace projevů více stran přináší vlastní soubor výzev. Speciální zasedání SummDial si kladlo za cíl využít komunitní zpravodajství k nalezení efektivních řešení a zároveň brainstorming o budoucnosti intervencí umělé inteligence na zasedáních a dialozích. O výsledcích zvláštního zasedání informujeme v tomto článku. Speciální sekci SummDial jsme uspořádali pod záštitou projektu H2020 European Live Translator (ELITR) financovaného EU.

Tirthankar Ghosal
Muskaan Singh
Anna Nedoluzhko
Ondřej Bojar


D3.9 Report on Ontology and Vocabulary Collection and Publication

D3.9 Zpráva o shromažďování a zveřejňování ontologií a slovníků

The deliverable presents three detailed case studies for each of the main topical areas of SSHOC Task 3.1 “Multilingual Terminologies'' aiming to investigate NLP and MT approaches  in  view  of  providing resources  and  tools  to  foster  multilingual  access  to  SSH  content  across  different  languages  and improve  discovery  by  non-native  speakers.  A  set  of  multilingual  metadata  concepts,  multilingual vocabularies  and  automatically  extracted  multilingual  terminologies  has  been  delivered  as  freely, openly available data, fully corresponding to the FAIR  principles promoted within the EOSC, findable through the VLO and other CLARIN and SSHOC services.

Tento výstup představuje tři podrobné případové studie pro každou z hlavních tematických oblastí úkolu SSHOC 3.1 "Vícejazyčné terminologie", jejichž cílem je prozkoumat přístupy NLP a MT s ohledem na poskytování zdrojů a nástrojů pro podporu vícejazyčného přístupu k obsahu SSH v různých jazycích a zlepšení vyhledávání pro nerodilé mluvčí.  Soubor vícejazyčných metadatových konceptů, vícejazyčných slovníků a automaticky extrahovaných vícejazyčných terminologií byl dodán jako volně dostupná data, plně odpovídající zásadám FAIR prosazovaným v rámci EOSC, která lze nalézt prostřednictvím VLO a dalších služeb CLARIN a SSHOC.

Francesca Frontini
Federica Gamba
Monica Monachini
Daan Broeder
Kea Tijdens
Irena Vipavc Brvar


Synthesizing Training Data for Handwritten Music Recognition

Syntetizování trénovacích dat pro rozpoznávání ručně psaných notopisů

Handwritten music recognition is a challenging task that could be of great use if mastered, e.g., to improve the accessibility of archival manuscripts or to ease music composition. Many modern machine learning techniques, however, cannot be easily applied to this task because of the limited availability of high-quality training data. Annotating such data manually is expensive and thus not feasible at the necessary scale. This problem has already been tackled in other fields by training on automatically generated synthetic data. We bring this approach to handwritten music recognition and present a method to generate synthetic handwritten music images (limited to monophonic scores) and
show that training on such data leads to state-of-the-art results.

Rozpoznávání ručně psané hudby je náročná úloha, které může vést ke zlepšení dostupnosti archivních rukopisů nebo usnadnění hudební kompozice. Moderních metody strojového učení však nelze na tuto úlohu snadno aplikovat kvůli omezené dostupnosti kvalitních trénovacích dat. Ruční anotace takových dat je drahá, a proto není v potřebném měřítku proveditelná. Tento problém již byl v jiných oblastech vyřešen trénováním  na automaticky generovaných syntetických datech. V tomto článku používáme stejný přístup k rozpoznávání ručně psané hudby a představujeme metodu generování syntetických snímků ručně psaných hudebních zápisů a ukazujeme, že trénování na těchto datech vede k výborným výsledkům.


A Multitask Learning Approach for Fake News Detection: Novelty, Emotion, and Sentiment Lend a Helping Hand

Přístup pro učení se více úkolů pro detekci falešných zpráv: novinka, emoce a cit půjčí pomocnou ruku

The recent explosion in false information on social
media has led to intensive research on automatic fake news detection models and fact-checkers. Fake news and misinformation,
due to its peculiarity and rapid dissemination, have posed many
interesting challenges to the Natural Language Processing (NLP)
and Machine Learning (ML) community. Admissible literature
shows that novel information includes the element of surprise,
which is the principal characteristic for the amplification and
virality of misinformation. Novel and emotional information
attracts immediate attention in the reader. Emotion is the
presentation of a certain feeling or sentiment. Sentiment helps
an individual to convey his emotion through expression and
hence the two are co-related. Thus, Novelty of the news item
and thereafter detecting the Emotional state and Sentiment of
the reader appear to be three key ingredients, tightly coupled
with misinformation. In this paper we propose a deep multitask
learning model that jointly performs novelty detection, emotion
recognition, sentiment prediction, and misinformation detection.
Our proposed model achieves the state-of-the-art(SOTA) performance for fake news detection on three benchmark datasets,
viz. ByteDance, Fake News Challenge(FNC), and Covid-Stance
with 11.55%, 1.58%, and 21.76% improvement in accuracy,
respectively. The proposed approach also shows the efficacy over
the single-task framework with an accuracy gain of 11.53, 28.62,
and 14.31 percentage points for the above three datasets. The source code is available at https://github.com/Nish-19/MultitaskFake-News-NES

Nedávný výbuch falešných informací na sociálních
média vedla k intenzivnímu výzkumu automatických modelů fake news detection a ověřovačů faktů. Falešné zprávy a dezinformace,
vzhledem ke své zvláštnosti a rychlému šíření, představovaly mnoho
zajímavé výzvy v oblasti zpracování přirozeného jazyka (NLP)
a komunity Machine Learning (ML). Přípustná literatura
ukazuje, že neotřelé informace zahrnují moment překvapení,
což je hlavní charakteristika pro zesílení a
viralita dezinformací. Román a emocionální informace
přitahuje okamžitou pozornost čtenáře. Emoce jsou
prezentace určitého pocitu nebo sentimentu. Sentiment pomáhá
jedince, který by vyjadřoval své emoce prostřednictvím výrazu a
proto spolu tyto dvě věci souvisejí. Tedy novinka v novince
a následně zjištění emočního stavu a pocitu
čtečka vypadá jako tři klíčové ingredience, těsně spojené
s dezinformacemi. V tomto dokumentu navrhujeme hluboký multiúkol
učící se model, který společně provádí detekci novot, emocí
rozpoznávání, předpovídání nálad a odhalování dezinformací.
Náš navrhovaný model dosahuje nejmodernějších parametrů (SOTA) pro detekci falešných zpráv na třech srovnávacích datasetech,
viz. ByteDance, Fake News Challenge(FNC), a Covid-Stance
s 11,55%, 1,58% a 21,76% zlepšením přesnosti,
respektive. Navrhovaný přístup také ukazuje na účinnost
rámec jednoho úkolu se ziskem přesnosti 11,53, 28,62,
a 14,31 procentního bodu u výše uvedených tří souborů údajů. Zdrojový kód je dostupný na https://github.com/Nish-19/MultitaskFake-News-NES

Rina Kumari
Nischal Ashok
Tirthankar Ghosal
Asif Ekbal


Misinformation detection using multitask learning with mutual learning for novelty detection and emotion recognition

Detekce dezinformací pomocí víceúkolového učení se vzájemným učením pro detekci novot a rozpoznávání emocí

Fake news or misinformation is the information or stories intentionally created to deceive or mislead the readers. Nowadays, social media platforms have become the ripe grounds for misinformation, spreading them in a few minutes, which led to chaos, panic, and potential health hazards among people. The rapid dissemination and a prolific rise in the spread of fake news and misinformation create the most time-critical challenges for the Natural Language Processing (NLP) community. Relevant literature reveals that the presence of an element of surprise in the story is a strong driving force for the rapid dissemination of misinformation, which attracts immediate attention and invokes strong emotional stimulus in the reader. False stories or fake information are written to arouse interest and activate the emotions of people to spread it. Thus, false stories have a higher level of novelty and emotional content than true stories. Hence, Novelty of the news item and recognizing the Emotional state of the reader after reading the item seems two key tasks to tightly couple with misinformation Detection. Previous literature did not explore misinformation detection with mutual learning for novelty detection and emotion recognition to the best of our knowledge. Our current work argues that joint learning of novelty and emotion from the target text makes a strong case for misinformation detection. In this paper, we propose a deep multitask learning framework that jointly performs novelty detection, emotion recognition, and misinformation detection. Our deep multitask model achieves state-of-the-art (SOTA) performance for fake news detection on four benchmark datasets, viz. ByteDance, FNC, Covid-Stance and FNID with 7.73%, 3.69%, 7.95% and 13.38% accuracy gain, respectively. The evaluation shows that our multitask learning framework improves the performance over the single-task framework for four datasets with 7.8%, 28.62%, 11.46%, and 15.66% overall accuracy gain. We claim that textual novelty and emotion are the two key aspects to consider while developing an automatic fake news detection mechanism. The source code is available at https://github.com/Nish-19/Misinformation-Multitask-Attention-NE.

Falešné zprávy nebo dezinformace jsou informace nebo příběhy záměrně vytvořené s cílem oklamat nebo uvést čtenáře v omyl. V dnešní době se platformy sociálních médií staly zralým důvodem k dezinformacím a během několika minut je rozšířily, což vedlo k chaosu, panice a potenciálním zdravotním rizikům mezi lidmi. Rychlé šíření a plodný nárůst šíření falešných zpráv a dezinformací vytváří časově nejkritičtější výzvy pro komunitu zpracování přirozeného jazyka (NLP). Z příslušné literatury vyplývá, že přítomnost momentu překvapení v příběhu je silnou hnací silou rychlého šíření dezinformací, které přitahuje okamžitou pozornost a vyvolává ve čtenáři silné emocionální podněty. Falešné příběhy nebo falešné informace jsou psány, aby vzbudily zájem a aktivovaly emoce lidí, aby je šířili. Falešné příběhy mají tedy vyšší úroveň novosti a emočního obsahu než pravdivé příběhy. Z toho vyplývá, že novost zpravodajského příspěvku a rozpoznání emočního stavu čtenáře po přečtení příspěvku jsou dva klíčové úkoly, které úzce souvisejí s odhalováním dezinformací. Předchozí literatura nezkoumala detekci dezinformací vzájemným učením pro detekci novot a rozpoznávání emocí podle našeho nejlepšího vědomí. Naše současná práce tvrdí, že společné učení novosti a emocí z cílového textu je pádným argumentem pro odhalování dezinformací. V tomto dokumentu navrhujeme hluboký víceúčelový vzdělávací rámec, který společně provádí detekci novot, rozpoznávání emocí a detekci dezinformací. Náš hluboký multitask model dosahuje nejmodernějších výkonů (SOTA) pro detekci falešných zpráv na čtyřech srovnávacích datasetech, viz. ByteDance, FNC, Covid-Stance a FNID s přesností 7,73%, 3,69%, 7,95% a 13,38%. Z hodnocení vyplývá, že náš víceúkolový vzdělávací rámec zlepšuje výkon oproti jednoúkolovému rámci pro čtyři datové soubory o 7,8 %, 28,62 %, 11,46 % a 15,66 % celkového zisku přesnosti. Tvrdíme, že textová novinka a emoce jsou dva klíčové aspekty, které je třeba zvážit při vývoji automatického mechanismu detekce falešných zpráv. Zdrojový kód je dostupný na adrese https://github.com/Nish-19/Misinformation-Multitask-Attention-NE.


What the fake? Probing misinformation detection standing on the shoulder of novelty and emotion

Co je to za padělek? Zkoumání detekce dezinformací stojící na rameni novosti a emocí

One of the most time-critical challenges for the Natural Language Processing (NLP) community is to combat the spread of fake news and misinformation. Existing approaches for misinformation detection use neural network models, statistical methods, linguistic traits, fact-checking strategies, etc. However, the menace of fake news seems to grow more vigorous with the advent of humongous and unusually creative language models. Relevant literature reveals that one major characteristic of the virality of fake news is the presence of an element of surprise in the story, which attracts immediate attention and invokes strong emotional stimulus in the reader. In this work, we leverage this idea and propose textual novelty detection and emotion prediction as the two tasks relating to automatic misinformation detection. We re-purpose textual entailment for novelty detection and use the models trained on large-scale datasets of entailment and emotion to classify fake information. Our results correlate with the idea as we achieve state-of-the-art (SOTA) performance (7.92%, 1.54%, 17.31% and 8.13% improvement in terms of accuracy) on four large-scale misinformation datasets. We hope that our current probe will motivate the community to explore further research on misinformation detection along this line. The source code is available at the GitHub.2

Jednou z časově nejkritičtějších výzev pro komunitu zpracování přirozeného jazyka (NLP) je boj proti šíření falešných zpráv a dezinformací. Stávající přístupy k odhalování dezinformací využívají modely neurální sítě, statistické metody, jazykové znaky, strategie ověřování faktů atd. Zdá se však, že hrozba falešných zpráv s příchodem humorných a neobvykle kreativních jazykových modelů sílí. Z příslušné literatury vyplývá, že jedním z hlavních rysů virality falešných zpráv je přítomnost momentu překvapení v příběhu, který přitahuje okamžitou pozornost a vyvolává ve čtenáři silné emocionální podněty. Při této práci tuto myšlenku zužitkujeme a navrhujeme jako dva úkoly související s automatickou detekcí dezinformací detekci textových novinek a předvídání emocí. Pro detekci novot používáme znovu účelové textové obnosy a k třídění falešných informací využíváme modely trénované na rozsáhlých datových souborech obnosů a emocí. Naše výsledky korelují s myšlenkou, protože dosahujeme nejmodernějších výsledků (SOTA) ve čtyřech rozsáhlých souborech dezinformačních dat (7,92%, 1,54%, 17,31% a 8,13% zlepšení z hlediska přesnosti). Doufáme, že naše současná sonda bude motivovat komunitu k dalšímu výzkumu odhalování dezinformací v tomto směru. Zdrojový kód je dostupný na GitHub.2


Working Group 1 (What counts as a word?) in Timothy Baldwin, William Croft, Joakim Nivre, and Agata Savary (eds.): Universals of Linguistic Idiosyncrasy in Multilingual Computational Linguistics (Report from Dagstuhl Seminar 21351)

Pracovní skupina 1 (Co se počítá jako slovo?) v Timothy Baldwin, William Croft, Joakim Nivre, and Agata Savary (eds.): Univerzálie jazykových zvláštností v mnohojazyčné počítačové lingvistice (Zpráva z Dagstuhlského semináře 21351)

Computational linguistics builds models that can usefully process and produce language and that can increase our understanding of linguistic phenomena. From the computational perspective, language data are particularly challenging notably due to their variable degree of idiosyncrasy (unexpected properties shared by few peer objects), and the pervasiveness of non-compositional phenomena such as multiword expressions (whose meaning cannot be straightforwardly deduced from the meanings of their components, e.g. red tape, by and large, to pay a visit and to pull one’s leg) and constructions (conventional associations of forms and meanings). Additionally, if models and methods are to be consistent and valid across languages, they have to face specificities inherent either to particular languages, or to various linguistic traditions.
These challenges were addressed by the Dagstuhl Seminar 21351 entitled "Universals of Linguistic Idiosyncrasy in Multilingual Computational Linguistics", which took place on 30-31 August 2021. Its main goal was to create synergies between three distinct though partly overlapping communities: experts in typology, in cross-lingual morphosyntactic annotation and in multiword expressions. This report documents the program and the outcomes of the seminar. We present the executive summary of the event, reports from the 3 Working Groups and abstracts of individual talks and open problems presented by the participants.

Počítačová lingvistika vytváří modely, které jsou užitečné při zpracování a generování jazyka a které mohou zlepšit naše porozumění jazykovým jevům. Z pohledu počítačového zpracování představují jazyková data výzvu hlavně kvůli jejich různému stupni idiosynkrazie (nečekané vlastnosti, které má jen několik podobných objektů) a kvůli všudypřítomným nekompozicionálním jevům, jako jsou víceslovné výrazy (jejichž význam nelze jednoduše odvodit z významů jednotlivých částí, např. angl. red tape, by and large, to pay a visit a to pull one’s leg).

Francis Tyers
Ekaterina Vylomova
Daniel Zeman
Tim Zingler


MiRANews: Dataset and Benchmarks for Multi-Resource-Assisted News Summarization

MiRANews: Datová sada a benchmarky pro sumarizaci zpráv asistovanou více zdroji

One of the most challenging aspects of current single-document news summarization is that the summary often contains `extrinsic hallucinations', i.e., facts that are not present in the source document, which are often derived via world knowledge. This causes summarisation systems to act more like open-ended language models tending to hallucinate facts that are erroneous. In this paper, we mitigate this problem with the help of multiple supplementary resource documents assisting the task. We present a new dataset MiRANews and benchmark existing summarisation models.  In contrast to multi-document summarization, which addresses multiple events from several source documents, we still aim at generating a summary for a single document. We show via data analysis that it's not only the models which are to blame: more than 27% of facts mentioned in the gold summaries of MiRANews are better grounded on assisting documents than in the main source articles. An error analysis of generated summaries from pretrained models fine-tuned on MiRANews reveals that this has an even bigger effects on models: assisted summarisation reduces 55% of  hallucinations when compared to single-document summarisation models trained on the main article only.

Jedním z nejobtížnějších aspektů současné sumarizace zpráv z jednoho dokumentu je to, že souhrn často obsahuje "extrinsické halucinace", tj. fakta, která nejsou obsažena ve zdrojovém dokumentu a která jsou často odvozena prostřednictvím znalosti světa. To způsobuje, že se sumarizační systémy chovají spíše jako otevřené jazykové modely se sklonem k halucinacím faktů, které jsou chybné. V tomto článku tento problém zmírňujeme pomocí doplňkových zdrojových dokumentů, které pomáhají při řešení úlohy. Představujeme novou datovou sadu MiRANews a srovnáváme stávající sumarizační modely.  Na rozdíl od vícedokumentové sumarizace, která se zabývá více událostmi z několika zdrojových dokumentů, se stále zaměřujeme na generování souhrnu pro jeden dokument. Pomocí analýzy dat ukazujeme, že na vině nejsou jen modely: více než 27 % faktů uvedených ve zlatých souhrnech MiRANews je lépe podloženo v pomocných dokumentech než v hlavních zdrojových článcích. Analýza chyb vygenerovaných souhrnů z předtrénovaných modelů dotrénovaných na MiRANews ukazuje, že to má na modely ještě větší vliv: asistovaná sumarizace snižuje počet halucinací o 55 % ve srovnání s modely pro sumarizaci jednotlivých dokumentů trénovanými pouze na hlavním článku.

Xinnuo Xu
Ondřej Dušek
Shashi Narayan
Verena Rieser
Ioannis Konstas


AggGen: Ordering and Aggregating while Generating

AggGen: řazení a agregace během generování

We present AggGen (pronounced ‘again’) a data-to-text model which re-introduces two explicit sentence planning stages into neural data-to-text systems: input ordering and input aggregation. In contrast to previous work using sentence planning, our model is still end-to-end: AggGen performs sentence planning at the same time as generating text by learning latent alignments (via semantic facts) between input representation and target text. Experiments on the WebNLG and E2E challenge data show that by using fact-based alignments our approach is more interpretable, expressive, robust to noise, and easier to control, while retaining the advantages of end-to-end systems in terms of fluency. Our code is available at https://github.com/XinnuoXu/AggGen.

Představujeme model AggGen (vyslovuje se "again"), který do neuronových systémů pro převod dat na text znovu zavádí dvě explicitní fáze plánování vět: řazení a agregaci vstupů. Na rozdíl od předchozích prací využívajících plánování vět je náš model stále end-to-end: AggGen provádí plánování vět současně s generováním textu tím, že se učí latentní zarovnání (prostřednictvím sémantických faktů) mezi vstupní reprezentací a cílovým textem. Experimenty na datech ze soutěží WebNLG a E2E ukazují, že díky použití zarovnání na základě faktů je náš přístup interpretovatelnější, expresivnější, odolnější vůči šumu a snadněji kontrolovatelný, přičemž si zachovává výhody end-to-end systémů z hlediska plynulosti. Náš kód je k dispozici na adrese https://github.com/XinnuoXu/AggGen.

Xinnuo Xu
Ondřej Dušek
Verena Rieser
Ioannis Konstas


INNOVATORS at SemEval-2021 Task-11: A Dependency Parsing and BERT-based model for Extracting Contribution Knowledge from Scientific Papers

INNOVATOŘI v SemEval-2021 Úkol-11: Model založený na analýze závislosti a BERT pro získávání poznatků o příspěvku z vědeckých dokumentů

In this work, we describe our system submission to the SemEval 2021 Task 11: NLP Contribution Graph Challenge. We attempt all the three sub-tasks in the challenge and report our results. Subtask 1 aims to identify the contributing sentences in a given publication. Subtask 2 follows from Subtask 1 to extract the scientific term and predicate phrases from the identified contributing sentences. The final Subtask 3 entails extracting triples (subject, predicate, object) from the phrases and categorizing them under one or more defined information units. With the NLPContributionGraph Shared Task, the organizers formalized the building of a scholarly contributions-focused graph over NLP scholarly articles as an automated task. Our approaches include a BERT-based classification model for identifying the contributing sentences in a research publication, a rule-based dependency parsing for phrase extraction, followed by a CNN-based model for information units classification, and a set of rules for triples extraction. The quantitative results show that we obtain the 5th, 5th, and 7th rank respectively in three evaluation phases. We make our codes available at https://github.com/HardikArora17/SemEval-2021-INNOVATORS.

V této práci popisujeme naše systémové předkládání úkolu SemEval 2021 11: NLP Contribution Graph Challenge. Vyzkoušíme všechny tři dílčí úkoly výzvy a podáme zprávu o výsledcích. Cílem dílčího úkolu 1 je identifikovat přispívající věty v dané publikaci. Dílčí úkol č. 2 vyplývá z dílčího úkolu č. 1, jehož cílem je vyjmout vědecký termín a predikovat věty z označených přispívajících vět. Závěrečný dílčí úkol 3 spočívá ve vyjmutí trojic (předmět, predikát, objekt) z frází a jejich kategorizaci do jedné nebo více definovaných informačních jednotek. Sdíleným úkolem NLPContributionGraph organizátoři formalizovali vytvoření odborně zaměřeného grafu nad odbornými články NLP jako automatizovaný úkol. Mezi naše přístupy patří klasifikační model založený na BERT pro identifikaci přispívajících vět ve výzkumné publikaci, analýza závislosti založená na pravidlech pro extrakci frází, následovaná modelem podle CNN pro klasifikaci informačních jednotek a soubor pravidel pro extrakci trojice. Kvantitativní výsledky ukazují, že pátou, pátou a sedmou příčku získáváme ve třech fázích hodnocení. Naše kódy jsou dostupné na https://github.com/HardikArora17/SemEval-2021-INNOVATORS.

Hardik Arora
Tirthankar Ghosal
Sandeep Kumar
Suraj Singh Patwal
Phil Gooch


This paper provides the description of
shared tasks to the WAT 2021 by our
team “NLPHut”. We have participated
in the English→Hindi Multimodal translation task, English→Malayalam Multimodal translation task, and Indic Multilingual translation task. We have used
the state-of-the-art Transformer model
with language tags in different settings
for the translation task and proposed a
novel “region-specific” caption generation
approach using a combination of image
CNN and LSTM for the Hindi and Malayalam image captioning. Our submission
tops in English→Malayalam Multimodal
translation task (text-only translation, and
Malayalam caption), and ranks secondbest in English→Hindi Multimodal translation task (text-only translation, and Hindi
caption). Our submissions have also performed well in the Indic Multilingual translation tasks.

Tento článek obsahuje popis sdílených úloh na WAT 2021 podle našeho tým "NLPHut". Zúčastnili jsme se úlohy multimodálního překladu angličtina→hindština, úlohy multimodálního překladu angličtina→malajština a úlohy vícejazyčného překladu z indických jazyků. Použili jsme nejmodernější model Transformeru
s jazykovými značkami v různých nastaveních
pro překladatelskou úlohu a navrhli jsme
nové "regionálně specifické" generování titulků využívající kombinaci obrazových
CNN a LSTM pro hindštinu a malajalamštinu. Náš příspěvek v angličtině→malajálamštině Multimodální
překladatelské úlohy (překlad pouze textu a titulků) a na druhém místě v úloze multimodálního překladu angličtina→hindština (překlad pouze textu a titulků). Naše příspěvky si vedly dobře také v indických vícejazyčných překladových úlohách.

Shantipriya Parida
Subhadarshi Panda
Ketan Kotwal
Amulya Ratna Dash
Satya Ranjan Dash
Yashvardhan Sharma
Petr Motlíček
Ondřej Bojar


The Translator in the 21st Century (panel discussion)

Překladatel v 21. století (panelová diskuse)

Presentation of the technological possibilities of the translator in the 21st century and projects dedicated to research and evaluation of machine translation at ÚFAL.

Představení technologických možností překladatele ve 21. století a projektů věnujících se výzkumu a hodnocení strojového překladu na ÚFAL.


Machine translation: a jerk, or a bastard?

The lecture focused on the differences between machine and human translation - can we tell at a glance what is translated by a human and what by a machine? Is there only one correct translation? How is the quality of a translation assessed?

Přednáška se zaměřovala na rozdíly mezi strojovým a lidským překladem – poznáme na první pohled, co přeložil člověk a co stroj? Existuje jen jeden správný překlad? Jak se hodnotí kvalita překladu?


Detecting Post-edited References and Their Effect on Human Evaluation

Detekce posteditovaných referenčních překladů a jejich vliv na lidské hodnocení překladu

This paper provides a quick overview of possible methods how to detect that reference translations were actually created by post-editing
an MT system. Two methods based on automatic metrics are presented: BLEU difference
between the suspected MT and some other
good MT and BLEU difference using additional references. These two methods revealed
a suspicion that the WMT 2020 Czech reference is based on MT. The suspicion was confirmed in a manual analysis by finding concrete proofs of the post-editing procedure in
particular sentences. Finally, a typology of
post-editing changes is presented where typical errors or changes made by the post-editor
or errors adopted from the MT are classified.

Článek poskytuje stručný přehled možných metod, jak zjistit, že referenční překlady byly ve skutečnosti vytvořeny posteditací strojového překladu. Využity byly dvě metody založené na automatických metrikách: 1. rozdíl BLEU mezi podezřelým MT a některým jiným
dobrým MT a 2. rozdíl BLEU s využitím dalších referencí. Tyto dvě metody odhalily
podezření, že oficiální reference z WMT 2020 je ve skutečnosti posteditovaný strojový překlad. Toto podezření bylo potvrzeno při manuální analýze zjištěním konkretních dokladů o posteditačním postupu. Také byla vytvořena typologie
posteditačních změn, kde jsou uvedeny některé chyby nebo změny provedené posteditorem, nebo také chyby převzaté ze strojového překladu.


ÚFAL at MultiLexNorm 2021: Improving Multilingual Lexical Normalization by Fine-tuning ByT5

ÚFAL na MultiLexNorm 2021: Zlepšení vícejazyčné lexikální normalizace dotrénováním modelu ByT5

We present the winning entry to the Multilingual Lexical Normalization (MultiLexNorm) shared task at W-NUT 2021 (van der Goot et al., 2021a), which evaluates lexical-normalization systems on 12 social media datasets in 11 languages. We base our solution on a pre-trained byte-level language model, ByT5 (Xue et al., 2021a), which we further pre-train on synthetic data and then fine-tune on authentic normalization data. Our system achieves the best performance by a wide margin in intrinsic evaluation, and also the best performance in extrinsic evaluation through dependency parsing. The source code is released at https://github.com/ufal/multilexnorm2021 and the fine-tuned models at https://huggingface.co/ufal.

Představujeme vítězný systém z Multilingual Lexical Normalization (MultiLexNorm) Shared Task na W-NUT 2021 (van der Goot et al., 2021a), který vyhodnocuje lexikálně-normalizační systémy na 12 datasetech sociálních médií v 11 jazycích. Naše řešení zakládáme na předtrénovaném jazykovém modelu ByT5 (Xue et al., 2021a), který dále trénujeme na syntetických datech a poté dotrénováváme na autentických normalizačních datech. Náš systém dosahuje nejlepších výsledků s velkým náskokem v intrinsic hodnocení a také nejlepších výsledků v extrinsic vyhodnocení prostřednictvím syntaktické analýzy. Zdrojový kód je uvolněn na https://github.com/ufal/multilexnorm2021 a natrénované modely na https://huggingface.co/ufal.


European Language Grid: A Joint Platform for the European Language Technology Community

Evropská jazyková síť: společná platforma pro komunitu evropských jazykových technologií

Europe is a multilingual society, in which dozens of languages are spoken. The only option to enable and to benefit from multilingualism is through Language Technologies (LT), i.e., Natural Language Processing and Speech Technologies. We describe the European Language Grid (ELG), which is targeted to evolve into the primary platform and marketplace for LT in Europe by providing one umbrella platform for the European LT landscape, including research and industry, enabling all stakeholders to upload, share and distribute their services, products and resources. At the end of our EU project, which will establish a legal entity in 2022, the ELG will provide access to approx. 1300 services for all European languages as well as thousands of data sets.

Evropa je mnohojazyčná společnost, v níž se hovoří desítkami jazyků. Jedinou možností, jak mnohojazyčnost umožnit a využít, jsou jazykové technologie (LT), tj. technologie zpracování přirozeného jazyka a řeči. Popisujeme evropskou jazykovou síť (European Language Grid, ELG), která se má vyvinout v primární platformu a tržiště LT v Evropě tím, že poskytne jednu zastřešující platformu pro evropský LT prostor, včetně výzkumu a průmyslu, která umožní všem zúčastněným stranám nahrávat, sdílet a distribuovat své služby, produkty a zdroje. Na konci projektu, který v roce 2022 vytvoří právní subjekt, poskytne ELG přístup k cca. 1300 služeb pro všechny evropské jazyky a tisíce datových souborů.

Georg Rehm
Stelios Piperidis
Kalina Bontcheva
Jan Hajič
Victoria Arranz
Andrejs Vasiljevs
Gerhard Backfried
José Manuel Gómez-Pérez
Ulrich Germann
Chris Callison-Burch
Ronald Feldstein
Stefanie Hegele
Florian Kintzel
Katrin Marheinecke
Julian Moreno-Schneider
Dimitris Galanis
Penny Labropoulou
Miltos Deligiannis
Katerina Gkirtzou
Athanasia Kolovou
Dimitris Gkoumas
Leon Voukoutis
Ian Roberts
Jana Hamrlová
Dušan Variš
Lukáš Kačena
Khalid Choukri
Valérie Mapelli
Mickaël Rigault
Julija Melnika
Miro Jánošík
Katja Prinz
Andres Garcia-Silva
Cristian Berrio
Ondřej Klejch
Steve Renals


Lost in Interpreting: Speech Translation from Source or Interpreter?

Ztraceno v tlumočení: Překládat řeč z originálu nebo z tlumočení?

Abstrakt je pouze v angličtině.

Interpreters facilitate multi-lingual meetings but the affordable set of languages is often smaller than what is needed. Automatic simultaneous speech translation can extend the set of provided languages. We investigate if such an automatic system should rather follow the original speaker, or an interpreter to achieve better translation quality at the cost of increased delay. To answer the question, we release Europarl Simultaneous Interpreting Corpus (ESIC), 10 hours of recordings and transcripts of European Parliament speeches in English, with simultaneous interpreting into Czech and German. We evaluate quality and latency of speaker-based and interpreter-based spoken translation systems from English to Czech. We study the differences in implicit simplification and summarization of the human interpreter compared to a machine translation system trained to shorten the output to some extent. Finally, we perform human evaluation to measure information loss of each of these approaches.

Dominik Macháček
Matúš Žilinec
Ondřej Bojar


CUNI-NU System at Biocreative VIII Track 5: Multi-label Topic Classification of COVID-19 Articles using Dual Attention with SPECTRE

Systém UK-NU v soutěži Biocreative VIII Track 5: Víceznačková klasifikace tématu v článcích o COVID-19 s využitím dvojité attention se SPECTRE

Subject-Article classification is an important problem in
Scholarly Document Processing to address the huge information overload in the scholarly space. This paper describes the
approach of our team CUNI-NU for the Biocreative VII-Track
5 challenge: Litcovid multi-label topic classification for
COVID-19 literature [1]. The concerned task aims to automate
the manual curation of biomedical articles into seven distinct
labels, specifically for the LitCovid data repository. Our best
performing model makes use of the SPECTER [2] document
embeddings for representing abstract, and titles of scientific
articles followed by a Dual-Attention [3] mechanism to perform the multi-label categorization. We achieve significantly
better performance than the baseline methods. We make our code available at https://github.com/Nid989/
CUNI-NU-Biocreative-Track5

Klasifikace předmětných článků je důležitým problémem
Schosimilar Document Processing to address the huge information overload in the scholarly space. Tento dokument popisuje
přístup našeho týmu CUNI-NU pro Biocreative VII-Track 5 challenge: Litcovid multilabel topic classification for
COVID-19 literatura [1]. Cílem dotčeného úkolu je automatizovat
manuální nakládání s biomedicínskými předměty do sedmi různých
značek, konkrétně pro datové úložiště LitCovid. Naše nejlepší
model používá dokument SPECTER [2]
zápatí pro reprezentaci abstraktních, a tituly vědeckých
články následované mechanismem Dual-Attention [3] do perform multilabel kategorizace. Dosáhli jsme významného lepší výkon než základní metody. Děláme
náš kód dostupný na https://github.com/Nid989/
CUNI-NU-Biocreative-Track5

Aakash Bhatnagar
Nidhir Bhavsar
Muskaan Singh
Tirthankar Ghosal


Towards a Versatile Intelligent Conversational Agent as Personal Assistant for Migrants

Směrem k všestrannému inteligentnímu konverzačnímu agentovi jako osobnímu asistentovi pro migranty

We present a knowledge-driven multilingual conversational agent (referred to as ``MyWelcome Agent'') that acts as personal assistant for migrants in the contexts of their reception and integration. In order to also account for tasks that go beyond communication and require advanced service coordination skills, the architecture of the proposed platform separates the dialogue management service from the agent behavior including the service selection and planning. The involvement of genuine agent planning strategies in the design of personal assistants, which tend to be limited to dialogue management tasks, makes the proposed agent significantly more versatile and intelligent. To ensure high quality verbal interaction, we draw upon state-of-the-art multilingual spoken language understanding and generation technologies.

Článek popisuje znalostního vícejazyčného konverzačního agenta "MyWelcome Agent", který funguje jako osobní asistent migrantů v kontextu jejich přijímání a integrace.

Leo Wanner
Matthias Klusch
Athanasios Mavropoulos
Emmanuel Jamin
Victor Martin Puchades
Gerard Casamayor
Jan Černocký
Steffi Davey
Mónica Domínguez
Ekaterina Egorova
Jens Grivolla
Gloria Elena Jaramillo Rojas
Anastasios Karakostas
Dimos Ntioudis
Pavel Pecina
Oleksander Sobko
Stefanos Vrochidis
Lena Wertmann


Using a Parallel Corpus to Adapt the Flesch Reading Ease Formula to Czech

Použití paralelního korpusu pro adaptaci vzorce Flesch Reading Ease na češtinu

Text readability metrics assess how much effort a reader must put into comprehending a given text. They are e.g., used to choose appropriate readings for different student proficiency levels, or to make sure that crucial information is efficiently conveyed (e.g., in an emergency). Flesch Reading Ease is such a globally used formula that it is even integrated into the MS Word Processor. However, its constants are language dependent. The original formula was created for English. So far it has been adapted to several European languages, Bangla, and Hindi. This paper describes the Czech adaptation, with the language-dependent constants optimized by a machine-learning algorithm working on parallel corpora of Czech with English, Russian, Italian, and French.

Metriky srozumitelnosti textu hodnotí, kolik úsilí musí čtenář vynaložit na porozumění danému textu. Používají se např. K výběru vhodných materiálů pro četbu pro různé úrovně znalostí studentů nebo k zajištění efektivního přenosu důležitých informací (např. V případě nouze). Flesch Reading Ease je natolik globálně používaný vzorec, že je dokonce integrován do textového procesoru MS. Jeho konstanty jsou však závislé na jazyce. Původní vzorec byl vytvořen pro angličtinu. Doposud byl přizpůsoben několika evropským jazykům, bengálštině a hindštině. Tento článek popisuje českou adaptaci, přičemž jazykově závislé konstanty jsou optimalizovány algoritmem strojového učení pracujícím na paralelních korpusech češtiny s angličtinou, ruštinou, italštinou a francouzštinou.


Adaptation of Classic Readability Metrics to Czech

Adaptace klasických metrik srozumitelnosti textu na češtinu

We have fitted four classic readability metrics to Czech, using InterCorp (a parallel corpus with manual sentence alignment), CzEng 2.0 (a large parallel corpus of crawled web texts),  and the optimize.curve fit algorithm from the SciPy library. The adapted metrics are: Flesch Reading Ease, Flesch-Kincaid Grade Level, Coleman-Liau Index, and Automated Readability Index. We describe the details of the procedure and present satisfactory results. Besides, we discuss the sensitivity of these metrics to text paraphrases and correlation of readability scores with empirically observed reading comprehension, as well as the adaptation of Flesch Reading Ease to Czech from Russian.

Adaptovali jsme na češtinu čtyři klasické metriky srozumitelnosti na základě dat InterCorp (paralelní korpus s ručním zarovnáním vět)a CzEng 2.0 (velký paralelní korpus procházených webových textů) a algoritmu optimize.curve z knihovny SciPy. Adaptované metriky jsou: Flesch Reading Ease, Flesch-Kincaid Grade Level, Coleman-Liau Index a Automated Readability Index. Popisujeme podrobnosti postupu a předkládáme uspokojivé výsledky. Kromě toho diskutujeme citlivost těchto metrik na textové parafráze a korelaci skóre srozumitelnosti s empiricky pozorovaným porozuměním čtenému a také adaptaci Flesch Reading Ease na češtinu z ruštiny.


Přesnost v neuronových generátorech textu

While neural-network-based approaches have significantly increased the fluency of machine-generated text, they are prone to accuracy errors, such as leaving out parts of the input (omissions) or generating output that is not grounded in any input (hallucination). This problem becomes especially apparent with lower amounts of training data, generation of longer texts, and noise in the training data. All of these conditions are very common for natural language generation (NLG) tasks.

In this talk, I will show several example approaches aiming to produce more accurate outputs within an NLG system, or to detect errors in an NLG system output. I will specifically focus on sequence-to-sequence neural architectures with pretrained language models and their
extensions. I will mostly discuss generation of text from structured data, but I will also make comparisons to the situation in summarization or dialogue response generation.

Přestože přístupy založené na neuronových sítích výrazně zvýšily plynulost strojově generovaného textu, jsou náchylné k chybám v přesnosti, jako je vynechávání částí vstupu (opomenutí) nebo generování výstupu, který nemá oporu v žádném vstupu (halucinace). Tento problém se projevuje zejména při menším množství trénovacích dat, generování delších textů nebo šumu v trénovacích datech. Všechny tyto podmínky jsou pro úlohy generování přirozeného jazyka (NLG) velmi časté.

V této přednášce ukážu několik příkladů přístupů zaměřených na vytváření přesnějších výstupů v rámci systému NLG nebo na odhalování chyb ve výstupech systému NLG. Konkrétně se zaměřím na neuronové architektury sequence-to-sequence s předtrénovanými jazykovými modely a jejich rozšíření. Budu se zabývat především generováním textu ze strukturovaných dat, ale uvedu i srovnání se situací při sumarizaci nebo generování dialogových odpovědí.