Neural Representations in Multi-modal and Multi-lingual Modeling (NEUREM3) is a
project funded by the Czech Science Foundation (GAČR) program “Research, Experimental Development and Innovation for the Support of Basic Research Grant Projects”
– EXPRO 2019 from January 2019 till December 2023. This report covers its first three
years, 2019–2021. The scientific work was articulated around 5 broad areas: Foundations, Interpretability and task-dependence, Tight integration, Robustness, and Relation
of neural representations to multi-lingual concepts. Its description is clustered according
to 5 tasks defined in the project proposal and several technical topics. In several of these,
we have reached beyond state-of-the-art results. Foreign cooperation in the project was
intensive ranging from hiring foreign specialists, through student interns in respected foreign laboratories, to synergies with EU and US projects. The team of the project is consolidated and has a good balance of top-class PI and co-PI, researchers/post-docs, and
both Czech and international PhD students. The project is competitive on the international level, the assessment is done via international technology evaluations (challenges),
bibliographic metrics, and organization of top international scientific events. NEUREM3
team efficiently cooperates and is at the core of building both Czech and international
speech/NLP/MT communities.
So far, the project led to a total of 96 publications of which 12 were in peer-reviewed
journals, 49 at top conferences, and 35 at local workshops, challenge and evaluation workshops, etc. We are also regularly releasing research data and code in open repositories.

Neurální reprezentace v multimodálním a vícejazyčném modelování (NEUREM3) je projekt financovaný Grantovou agenturou ČR (GAČR) program Výzkum, experimentální vývoj a inovace pro podporu grantových projektů základního výzkumu EXPRO 2019 od ledna 2019 do prosince 2023. Tato zpráva se týká prvních tří let 2019--2021. Vědecká práce se soustředila na 5 širokých oblastí: Základy, Interpretovatelnost a závislost na úkolu, Těsná integrace, Robustnost a Vztah neurálních reprezentací k vícejazyčným konceptům. Jeho popis je seskupený podle 5 úkolů definovaných v návrhu projektu a několika technických témat. V několika z nich jsme dosáhli nad rámec nejmodernějších výsledků. Zahraniční spolupráce na projektu byla intenzivní od najímání zahraničních specialistů, přes studentské stáže v respektovaných zahraničních laboratořích až po synergie s projekty EU a USA. Tým projektu je konsolidovaný a má dobrou rovnováhu mezi špičkovými PI a co-PI, výzkumníky/postdoktorandy a českými i zahraničními doktorandy. Projekt je konkurenceschopný na mezinárodní úrovni, hodnocení probíhá prostřednictvím mezinárodních technologických hodnocení (výzev), bibliografických metrik a pořádání špičkových mezinárodních vědeckých akcí. Tým NEUREM3 efektivně spolupracuje a je jádrem budování české i mezinárodní řečové/NLP/MT komunity. Dosud vedl projekt k celkem 96 publikacím, z nichž 12 bylo v recenzovaných časopisech, 49 na špičkových konferencích a 35 na místních workshopech, challenge a evaluačních workshopech atd. Pravidelně také zveřejňujeme výzkumná data a kód v otevřená úložiště.


Connectives with both Arguments External: A Survey on Czech

Konektory s oběma externími argumenty: sonda v češtině

This paper investigates discourse connectives whose position in a text deviates from the usual setting - namely connectives that occur in neither of the two arguments - and as such present a challenge for discourse parsers.

Článek se věnuje textovým konektorům, jejichž pozice v textu se liší od obvyklých pozic spojek a textově-propojovacích částic a adverbií. Jsou to takové konektory, které se nevyskytují ani v jednom z textových segmentů, které propojují - a jako takové představují výzvu pro automatickou analýzu diskurzu.


Neural Pipeline for Zero-Shot Data-to-Text Generation

Neuronová pipeline pro generování textu z dat bez trénovacích dat

In data-to-text (D2T) generation, training on in-domain data leads to overfitting to the data representation and repeating training data noise. We examine how to avoid finetuning pretrained language models (PLMs) on D2T generation datasets while still taking advantage of surface realization capabilities of PLMs. Inspired by pipeline approaches, we propose to generate text by transforming single-item descriptions with a sequence of modules trained on general-domain text-based operations: ordering, aggregation, and paragraph compression. We train PLMs for performing these operations on a synthetic corpus WikiFluent which we build from English Wikipedia. Our experiments on two major triple-to-text datasets — WebNLG and E2E — show that our approach enables D2T generation from RDF triples in zero-shot settings.

Při trénování systémů pro generování textu z dat na konkrétní doméně dochází k nadměrnému přizpůsobování modelů reprezentaci dat a opakování chyb v trénovacích datech na výstupu. Zkoumáme, jak se obejít bez dotrénovávání jazykových modelů na datasetech pro tuto úlohu a zároveň přitom využít schopností těchto modelů pro povrchovou realizaci. Inspirováni sekvenčními přístupy navrhujeme generovat text transformací krátkých textů pro jednotlivé položky pomocí posloupnosti modulů natrénovaných na obecných textových operacích: řazení, agregaci a kompresi odstavců. Modely pro provádění těchto operací trénujeme na syntetickém korpusu WikiFluent, který pro tento účel vytváříme z anglické Wikipedie. Naše experimenty na dvou významných datasetech pro převod RDF trojic na text — WebNLG a E2E — ukazují, že náš přístup umožňuje generování textu z RDF trojic i při absenci trénovacích dat.


Non-Autoregressive Machine Translation: It's Not as Fast as it Seems

Neautoregresivní neuronový strojový překlad není tak rychlý jak se může zdát

Efficient machine translation models are commercially important as they can increase inference speeds, and reduce costs and carbon emissions. Recently, there has been much interest in non-autoregressive (NAR) models, which promise faster translation. In parallel to the research on NAR models, there have been successful attempts to create optimized autoregressive models as part of the WMT shared task on efficient translation. In this paper, we point out flaws in the evaluation methodology present in the literature on NAR models and we provide a fair comparison between a state-of-the-art NAR model and the autoregressive submissions to the shared task. We make the case for consistent evaluation of NAR models, and also for the importance of comparing NAR models with other widely used methods for improving efficiency. We run experiments with a connectionist-temporal-classification-based (CTC) NAR model implemented in C++ and compare it with AR models using wall clock times. Our results show that, although NAR models are faster on  GPUs, with small batch sizes, they are almost always slower under more realistic usage conditions. We call for more realistic and extensive evaluation of NAR models in future work.

Efektivní modely strojového překladu jsou komerčně důležité, protože mohou zvýšit rychlost překladu a snížit náklady a emise uhlíku. V poslední době je velký zájem o neautoregresivní (NAR) modely, které slibují rychlejší překlad. Paralelně s výzkumem modelů NAR proběhly úspěšné pokusy o vytvoření optimalizovaných autoregresních modelů v rámci sdíleného úkolu WMT o efektivním překladu. V tomto článku poukazujeme na nedostatky v metodice hodnocení v literatuře o modelech NAR a poskytujeme spravedlivé srovnání mezi nejmodernějším modelem NAR a autoregresivními příspěvky ke sdílenému úkolu. Zastáváme důsledné hodnocení modelů NAR a také důležitost porovnávání modelů NAR s jinými široce používanými metodami pro zlepšení efektivity. Provádíme experimenty s modelem NAR založeným na konekcionisticko-temporální klasifikaci (CTC) implementovaným v C++ a porovnáváme jejich čas s autoregresivními modely AR. Naše výsledky ukazují, že ačkoli jsou modely NAR rychlejší na GPU, s malými velikostmi dávek, jsou téměř vždy pomalejší za reálnějších podmínek použití. V budoucí práci požadujeme realističtější a rozsáhlejší hodnocení modelů NAR.

Jindřich Helcl
Barry Haddow
Alexandra Birch


Neural architectures for character-level NLP

Neuronové architektury pro zpracování přirozeného jazyka po znacích

The success of deep learning NLP is often narrated as not assuming anything about the language and letting the data speak for itself. Although this is debatable on many levels, one thing is outstandingly suspicious: most state-of-the-art NLP models assume the existence of discrete tokens and use subword segmentation which combines rules with simple statistical heuristics. Avoiding explicit input segmentations is more difficult than it seems.

The first part of the talk will present neural edit distance, a novel interpretable architecture based on well-known Levenshtein distance that can be used for purely character-level tasks such as transliteration or cognate detection. In the second part of the talk, we will zoom out and have a look at character-level methods for neural machine translation. We will present how innovations in training and architectures design can improve translation quality. Despite this progress, we will show that character-level methods in machine translation still lack behind the subword-based models nearly in all respect that can be measured.

Úspěch hlubokého učení NLP je často popisován tak, že o jazyku nic nepředpokládáme a necháváme data mluvit sama za sebe. Ačkoli je to na mnoha úrovních diskutabilní, jedna věc je neobyčejně podezřelá: většina nejmodernějších NLP modelů předpokládá existenci diskrétních tokenů a používá segmentaci na podslova, která kombinuje pravidla s jednoduchými statistickými heuristikami. Vyhnout se explicitní segmentaci vstupi je obtížnější, než se zdá.

První část přednášky představí neurální neuronovou edistační vzdálenost, novou interpretovatelnou architekturu založenou na dobře známé Levenshteinově vzdálenosti, kterou lze použít pro čistě znakové úlohy, jako je transliterace nebo detekce kognátů. Ve druhé části přednášky si přiblížíme neuronový strojový překlad na úrovni znaků. Představíme, jak inovace v oblasti trénování a návrhu architektur mohou zlepšit kvalitu překladu. I přes tento pokrok se ukazuje, že metody na úrovni znaků ve strojovém překladu stále zaostávají za modely na bázi podslov téměř ve všech ohledech, které lze měřit.


We propose the neural string edit distance model for string-pair matching and string transduction based on learnable string edit distance. We modify the original expectation-maximization learned edit distance algorithm into a differentiable loss function, allowing us to integrate it into a neural network providing a contextual representation of the input. We evaluate on cognate detection, transliteration, and grapheme-to-phoneme conversion, and show that we can trade off between performance and interpretability in a single framework. Using contextual representations, which are difficult to interpret, we match the performance of state-of-the-art string-pair matching models. Using static embeddings and a slightly different loss function, we force interpretability, at the expense of an accuracy drop.

Navrhujeme model neuronová editační vzdálenost pro párování řetězců a převod řetězců na základě naučené editační vzdálenosti. Upravili jsme původní MT algoritmus tak, aby využíval diferencovalnou ztrátovou funkci, což nám umožňuje integrovat ji do neuronové sítě poskytující kontextovou reprezentaci vstupu. Hodnotíme detekci kognatů, transliteraci a konverzi grafémů na fonémy a ukazujeme, že v jednom teoretickém rámci připravovat modely, kde jde proti sobě intepretovatelnost a přesnost. Pomocí kontextových reprezentací, které jsou ale hůře interpretovatelné, dosahuje stejné přesnosti jako nejlepší metody pro párování řetězců. Pomocí statických embedingů a mírně odlišné ztrátové funkce dokážeme vynutit interpretabilitu na úkor poklesu přesnosti.


Why don’t people use character-level machine translation?

Proč se nepoužívá strojový překlad po znacích?

We present a literature and empirical survey that critically assesses the state of the art in character-level modeling for machine translation (MT). Despite evidence in the literature that character-level systems are comparable with subword systems, they are virtually never used in competitive setups in WMT competitions. We empirically show that even with recent modeling innovations in character-level natural language processing, character-level MT systems still struggle to match their subword-based counterparts. Character-level MT systems show neither better domain robustness, nor better morphological generalization, despite being often so motivated. However, we are able to show robustness towards source side noise and that translation quality does not degrade with increasing beam size at decoding time.

V článku prezentuje přehled literatury a empirický průzkum, který kriticky hodnotí předchozí práci v oblasti strojového překladu na úrovni znaků. Navzdory tvrzením v literatuře, že systémy na úrovni znaků jsou srovnatelné se systémy, které pracují na úrovni podslov, prakticky nikdy se nepoužívají v soutěžních systémech WMT. Empiricky ukazujeme, že i s nedávnými inovacemi v modelování zpracování přirozeného jazyka na úrovni znaků se systémy strojového překladu na úrovni znaků stále obtížně vyrovnávají svým protějškům na bázi podslov. Strojový překlad na úrovni znaků nevykazuje ani lepší doménovou robustnost, ani lepší morfologické zobecnění, přestože to bývá často hlavní motivace pro jejich vývoj. Systémy zpracovávající vstup po znacích naopak vykazují velkou robustnost vůči šumu a že kvalita překladu neklesá ani s klesající mírou ořezávání během dekódování.

Jindřich Libovický
Helmut Schmid
Alexander Fraser


Semantic Textual Similarity: An NLP-focused comprehensive Survey

Semantics is a central concept to natural language understanding.
A qualitative measure to perceive language semantics is to measure the similarity between texts. Semantic Textual Similarity finds applications in almost
all major areas of Natural Language Processing (NLP) including textual entailment, summarization, machine translation, etc. Despite major progress in
the recent years, especially with the intrusion of deep learning in NLP, mea-
suring semantic textual similarity, especially for longer texts, is still a chal-
lenging and open research problem. The ambiguous nature of language makes
semantic similarity more challenging and difficult to model. It is trivial to
produce examples of sentence pairs which are superficially similar but bear a
very different meaning and vice-versa. To address this problem, several type
of methods have been proposed over the years which span from traditional
knowledge-based methods to recent ones relying on deep neural networks and
large volumes of that data. Here in this work, we present a comprehensive sys-
tematic review of the various semantic similarity techniques. We emphasize the
various paradigms of semantic similarity measurement and resources available
to aid further research on this crucial topic. Our systematic literature review
would aid the reader to know about the evolution of semantic similarity techniques, the latest state-of-the-art methods, datasets to work-upon, challenges
and hence identify the research gaps.

Muskaan Singh
Tirthankar Ghosal
Ondřej Bojar


Towards Establishing a Research Lineage via Identification of Significant Citations

Směrem k vytvoření výzkumné linie prostřednictvím identifikace významných citací

Finding the lineage of a research topic is crucial for understanding the prior state of the art and advancing scientific displacement. The deluge of scholarly articles makes it difficult to locate the most relevant previous work. It causes researchers to spend a considerable amount of time building up their literature list. Citations play a crucial role in discovering relevant literature. However, not all citations are created equal. The majority of the citations that a paper receives provide contextual and background information to the citing papers. In those cases, the cited paper is not central to the theme of citing papers. However, some papers build upon a given paper, further the research frontier. In those cases, the concerned cited paper plays a pivotal role in the citing paper. Hence, the nature of citation the former receives from the latter is significant. In this work, we discuss our investigations towards discovering significant citations of a given paper. We further show how we can leverage significant citations to build a research lineage via a significant citation graph. We demonstrate the efficacy of our idea with two real-life case studies. Our experiments yield promising results with respect to the current state-of-the-art in classifying significant citations, outperforming the earlier ones by a relative margin of 20 points in terms of precision. We hypothesize that such an automated system can facilitate relevant literature discovery and help identify knowledge flow for a particular category of papers.

Nalezení rodokmenu výzkumného tématu je klíčové pro pochopení předchozího stavu umění a postupujícího vědeckého posunu. Záplava odborných článků ztěžuje nalezení nejvhodnější předchozí práce. Výzkumníci tak tráví značné množství času sestavováním seznamu literatury. Citace hrají zásadní roli při objevování relevantní literatury. Nicméně ne všechny citace jsou vytvořeny stejně. Většina citací, které noviny obdrží, poskytuje podkladové a kontextové informace citujícím dokumentům. V těchto případech není citovaný dokument ústředním tématem citujících listin. Některé dokumenty však vycházejí z daného papíru, čímž se dále posouvá hranice výzkumu. V těchto případech hraje dotčený citovaný dokument v citujícím dokumentu stěžejní roli. Podstata citace, kterou prvně jmenovaný obdrží od druhého, je tedy významná. V této práci probíráme naše výzkumy směřující k objevení významných citací daného dokumentu. Dále ukazujeme, jak můžeme využít významné citace k sestavení výzkumné linie prostřednictvím významného citačního grafu. Účinnost naší myšlenky demonstrujeme dvěma případovými studiemi v reálném životě. Naše experimenty přinášejí slibné výsledky, pokud jde o současný stav klasifikace významných citací, předčí ty předchozí s relativním náskokem 20 bodů, pokud jde o přesnost. Předpokládáme, že takový automatizovaný systém může usnadnit vyhledávání příslušné literatury a pomoci identifikovat tok znalostí pro určitou kategorii papírů.

Tirthankar Ghosal
Piyush Tiwari
Robert Patton
Christopher Stahl


Towards Finding a Research Lineage Leveraging on Identification of Significant Citations

Směrem k nalezení výzkumného původu, který by se opíral o identifikaci významných citací.

Finding the lineage of a research topic is crucial for understanding the prior state of the art and advancing scientific displacement. The deluge of scholarly articles makes it difficult to locate the most relevant prior work and causes researchers to spend a considerable amount of time building up their literature list. Citations play a significant role in discovering relevant literature. However, not all citations are created equal. A majority of the citations that a paper receives are for providing contextual, and background information to the citing papers and are not central to the theme of those papers. However, some papers are pivotal to the citing paper and inspire or stem up the research in the citing paper. Hence the nature of citation the former receives from the latter is significant. In this work in progress paper, we discuss our preliminary idea towards establishing a lineage for a given research via identifying significant citations. We hypothesize that such an automated system can facilitate relevant literature discovery and help identify knowledge flow for at least a certain category of papers. The distal goal of this work is to identify the real impact of research work or a facility beyond direct citation counts.

Nalezení rodokmenu výzkumného tématu je klíčové pro pochopení předchozího stavu umění a postupujícího vědeckého posunu. Záplava odborných článků ztěžuje vyhledávání nejvýznamnějších předchozích prací a způsobuje, že výzkumníci tráví značné množství času sestavováním seznamu literatury. Citace hrají významnou roli při objevování relevantní literatury. Nicméně ne všechny citace jsou vytvořeny stejně. Většina citací, které redakce obdrží, slouží k poskytování kontextuálních a podkladových informací citujícím listinám a nejsou ústředním tématem těchto listin. Některé práce jsou však pro citující noviny stěžejní a inspirují nebo brzdí výzkum v citujících novinách. Z toho vyplývá, že podstata citace, kterou prvně jmenovaný obdrží od druhého, je významná. V tomto rozpracovaném dokumentu diskutujeme o naší předběžné myšlence vytvořit rodokmen pro daný výzkum prostřednictvím identifikace významných citací. Předpokládáme, že takový automatizovaný systém může usnadnit vyhledávání příslušné literatury a pomoci identifikovat tok znalostí alespoň pro určitou kategorii papírů. Distálním cílem této práce je zjistit skutečný dopad výzkumné práce nebo zařízení mimo přímá citační čísla.


Report on the SIGDial 2021 Special Session on Summarization of Dialogues and Multi-Party Meetings (SummDial)

Zpráva o zvláštním zasedání SIGDial 2021 o sumarizaci dialogů a vícestranných setkáních (SummDial)

The SummDial special session on summarization of dialogues and multi-party meetings was held virtually within the SIGDial 2021 conference on July 29, 2021. SummDial @ SIGDial 2021 aimed to bring together the speech, dialogue, and summarization communities to foster cross-pollination of ideas and fuel the discussions/collaborations to attempt this crucial and timely problem. When the pandemic has restricted most of our in-person interactions, the current scenario has forced people to go virtual, resulting in an information overload from frequent dialogues and meetings in the virtual environment. Summarization could help reduce the cognitive burden on the participants; however, multi-party speech summarization comes with its own set of challenges. The SummDial special session aimed to leverage the community intelligence to find effective solutions while also brainstorming the future of AI interventions in meetings and dialogues. We report the findings of the special session in this article. We organized the SummDial special session under the aegis of the EU-funded H2020 European Live Translator (ELITR) project.

Speciální zasedání SummDial o sumarizaci dialogů a setkání více stran se konalo prakticky v rámci konference SIGDial 2021 dne 29. července 2021. SummDial @ SIGDial 2021 si kladl za cíl spojit komunity zabývající se řečí, dialogem a sumarizací, aby se podpořilo vzájemné opylování myšlenek a podpořily diskuse/spolupráce při pokusu o tento zásadní a aktuální problém. Když pandemie omezila většinu našich osobních interakcí, současný scénář donutil lidi přejít na virtuální, což vyústilo v zahlcení informacemi z častých dialogů a setkání ve virtuálním prostředí. Shrnutí by mohlo pomoci snížit kognitivní zátěž účastníků, nicméně sumarizace projevů více stran přináší vlastní soubor výzev. Speciální zasedání SummDial si kladlo za cíl využít komunitní zpravodajství k nalezení efektivních řešení a zároveň brainstorming o budoucnosti intervencí umělé inteligence na zasedáních a dialozích. O výsledcích zvláštního zasedání informujeme v tomto článku. Speciální sekci SummDial jsme uspořádali pod záštitou projektu H2020 European Live Translator (ELITR) financovaného EU.

Tirthankar Ghosal
Muskaan Singh
Anna Nedoluzhko
Ondřej Bojar


D3.9 Report on Ontology and Vocabulary Collection and Publication

D3.9 Zpráva o shromažďování a zveřejňování ontologií a slovníků

The deliverable presents three detailed case studies for each of the main topical areas of SSHOC Task 3.1 “Multilingual Terminologies'' aiming to investigate NLP and MT approaches  in  view  of  providing resources  and  tools  to  foster  multilingual  access  to  SSH  content  across  different  languages  and improve  discovery  by  non-native  speakers.  A  set  of  multilingual  metadata  concepts,  multilingual vocabularies  and  automatically  extracted  multilingual  terminologies  has  been  delivered  as  freely, openly available data, fully corresponding to the FAIR  principles promoted within the EOSC, findable through the VLO and other CLARIN and SSHOC services.

Tento výstup představuje tři podrobné případové studie pro každou z hlavních tematických oblastí úkolu SSHOC 3.1 "Vícejazyčné terminologie", jejichž cílem je prozkoumat přístupy NLP a MT s ohledem na poskytování zdrojů a nástrojů pro podporu vícejazyčného přístupu k obsahu SSH v různých jazycích a zlepšení vyhledávání pro nerodilé mluvčí.  Soubor vícejazyčných metadatových konceptů, vícejazyčných slovníků a automaticky extrahovaných vícejazyčných terminologií byl dodán jako volně dostupná data, plně odpovídající zásadám FAIR prosazovaným v rámci EOSC, která lze nalézt prostřednictvím VLO a dalších služeb CLARIN a SSHOC.

Francesca Frontini
Federica Gamba
Monica Monachini
Daan Broeder
Kea Tijdens
Irena Vipavc Brvar


Synthesizing Training Data for Handwritten Music Recognition

Syntetizování trénovacích dat pro rozpoznávání ručně psaných notopisů

Handwritten music recognition is a challenging task that could be of great use if mastered, e.g., to improve the accessibility of archival manuscripts or to ease music composition. Many modern machine learning techniques, however, cannot be easily applied to this task because of the limited availability of high-quality training data. Annotating such data manually is expensive and thus not feasible at the necessary scale. This problem has already been tackled in other fields by training on automatically generated synthetic data. We bring this approach to handwritten music recognition and present a method to generate synthetic handwritten music images (limited to monophonic scores) and
show that training on such data leads to state-of-the-art results.

Rozpoznávání ručně psané hudby je náročná úloha, které může vést ke zlepšení dostupnosti archivních rukopisů nebo usnadnění hudební kompozice. Moderních metody strojového učení však nelze na tuto úlohu snadno aplikovat kvůli omezené dostupnosti kvalitních trénovacích dat. Ruční anotace takových dat je drahá, a proto není v potřebném měřítku proveditelná. Tento problém již byl v jiných oblastech vyřešen trénováním  na automaticky generovaných syntetických datech. V tomto článku používáme stejný přístup k rozpoznávání ručně psané hudby a představujeme metodu generování syntetických snímků ručně psaných hudebních zápisů a ukazujeme, že trénování na těchto datech vede k výborným výsledkům.


A Multitask Learning Approach for Fake News Detection: Novelty, Emotion, and Sentiment Lend a Helping Hand

Přístup pro učení se více úkolů pro detekci falešných zpráv: novinka, emoce a cit půjčí pomocnou ruku

The recent explosion in false information on social
media has led to intensive research on automatic fake news detection models and fact-checkers. Fake news and misinformation,
due to its peculiarity and rapid dissemination, have posed many
interesting challenges to the Natural Language Processing (NLP)
and Machine Learning (ML) community. Admissible literature
shows that novel information includes the element of surprise,
which is the principal characteristic for the amplification and
virality of misinformation. Novel and emotional information
attracts immediate attention in the reader. Emotion is the
presentation of a certain feeling or sentiment. Sentiment helps
an individual to convey his emotion through expression and
hence the two are co-related. Thus, Novelty of the news item
and thereafter detecting the Emotional state and Sentiment of
the reader appear to be three key ingredients, tightly coupled
with misinformation. In this paper we propose a deep multitask
learning model that jointly performs novelty detection, emotion
recognition, sentiment prediction, and misinformation detection.
Our proposed model achieves the state-of-the-art(SOTA) performance for fake news detection on three benchmark datasets,
viz. ByteDance, Fake News Challenge(FNC), and Covid-Stance
with 11.55%, 1.58%, and 21.76% improvement in accuracy,
respectively. The proposed approach also shows the efficacy over
the single-task framework with an accuracy gain of 11.53, 28.62,
and 14.31 percentage points for the above three datasets. The source code is available at https://github.com/Nish-19/MultitaskFake-News-NES

Nedávný výbuch falešných informací na sociálních
média vedla k intenzivnímu výzkumu automatických modelů fake news detection a ověřovačů faktů. Falešné zprávy a dezinformace,
vzhledem ke své zvláštnosti a rychlému šíření, představovaly mnoho
zajímavé výzvy v oblasti zpracování přirozeného jazyka (NLP)
a komunity Machine Learning (ML). Přípustná literatura
ukazuje, že neotřelé informace zahrnují moment překvapení,
což je hlavní charakteristika pro zesílení a
viralita dezinformací. Román a emocionální informace
přitahuje okamžitou pozornost čtenáře. Emoce jsou
prezentace určitého pocitu nebo sentimentu. Sentiment pomáhá
jedince, který by vyjadřoval své emoce prostřednictvím výrazu a
proto spolu tyto dvě věci souvisejí. Tedy novinka v novince
a následně zjištění emočního stavu a pocitu
čtečka vypadá jako tři klíčové ingredience, těsně spojené
s dezinformacemi. V tomto dokumentu navrhujeme hluboký multiúkol
učící se model, který společně provádí detekci novot, emocí
rozpoznávání, předpovídání nálad a odhalování dezinformací.
Náš navrhovaný model dosahuje nejmodernějších parametrů (SOTA) pro detekci falešných zpráv na třech srovnávacích datasetech,
viz. ByteDance, Fake News Challenge(FNC), a Covid-Stance
s 11,55%, 1,58% a 21,76% zlepšením přesnosti,
respektive. Navrhovaný přístup také ukazuje na účinnost
rámec jednoho úkolu se ziskem přesnosti 11,53, 28,62,
a 14,31 procentního bodu u výše uvedených tří souborů údajů. Zdrojový kód je dostupný na https://github.com/Nish-19/MultitaskFake-News-NES

Rina Kumari
Nischal Ashok
Tirthankar Ghosal
Asif Ekbal


Misinformation detection using multitask learning with mutual learning for novelty detection and emotion recognition

Detekce dezinformací pomocí víceúkolového učení se vzájemným učením pro detekci novot a rozpoznávání emocí

Fake news or misinformation is the information or stories intentionally created to deceive or mislead the readers. Nowadays, social media platforms have become the ripe grounds for misinformation, spreading them in a few minutes, which led to chaos, panic, and potential health hazards among people. The rapid dissemination and a prolific rise in the spread of fake news and misinformation create the most time-critical challenges for the Natural Language Processing (NLP) community. Relevant literature reveals that the presence of an element of surprise in the story is a strong driving force for the rapid dissemination of misinformation, which attracts immediate attention and invokes strong emotional stimulus in the reader. False stories or fake information are written to arouse interest and activate the emotions of people to spread it. Thus, false stories have a higher level of novelty and emotional content than true stories. Hence, Novelty of the news item and recognizing the Emotional state of the reader after reading the item seems two key tasks to tightly couple with misinformation Detection. Previous literature did not explore misinformation detection with mutual learning for novelty detection and emotion recognition to the best of our knowledge. Our current work argues that joint learning of novelty and emotion from the target text makes a strong case for misinformation detection. In this paper, we propose a deep multitask learning framework that jointly performs novelty detection, emotion recognition, and misinformation detection. Our deep multitask model achieves state-of-the-art (SOTA) performance for fake news detection on four benchmark datasets, viz. ByteDance, FNC, Covid-Stance and FNID with 7.73%, 3.69%, 7.95% and 13.38% accuracy gain, respectively. The evaluation shows that our multitask learning framework improves the performance over the single-task framework for four datasets with 7.8%, 28.62%, 11.46%, and 15.66% overall accuracy gain. We claim that textual novelty and emotion are the two key aspects to consider while developing an automatic fake news detection mechanism. The source code is available at https://github.com/Nish-19/Misinformation-Multitask-Attention-NE.

Falešné zprávy nebo dezinformace jsou informace nebo příběhy záměrně vytvořené s cílem oklamat nebo uvést čtenáře v omyl. V dnešní době se platformy sociálních médií staly zralým důvodem k dezinformacím a během několika minut je rozšířily, což vedlo k chaosu, panice a potenciálním zdravotním rizikům mezi lidmi. Rychlé šíření a plodný nárůst šíření falešných zpráv a dezinformací vytváří časově nejkritičtější výzvy pro komunitu zpracování přirozeného jazyka (NLP). Z příslušné literatury vyplývá, že přítomnost momentu překvapení v příběhu je silnou hnací silou rychlého šíření dezinformací, které přitahuje okamžitou pozornost a vyvolává ve čtenáři silné emocionální podněty. Falešné příběhy nebo falešné informace jsou psány, aby vzbudily zájem a aktivovaly emoce lidí, aby je šířili. Falešné příběhy mají tedy vyšší úroveň novosti a emočního obsahu než pravdivé příběhy. Z toho vyplývá, že novost zpravodajského příspěvku a rozpoznání emočního stavu čtenáře po přečtení příspěvku jsou dva klíčové úkoly, které úzce souvisejí s odhalováním dezinformací. Předchozí literatura nezkoumala detekci dezinformací vzájemným učením pro detekci novot a rozpoznávání emocí podle našeho nejlepšího vědomí. Naše současná práce tvrdí, že společné učení novosti a emocí z cílového textu je pádným argumentem pro odhalování dezinformací. V tomto dokumentu navrhujeme hluboký víceúčelový vzdělávací rámec, který společně provádí detekci novot, rozpoznávání emocí a detekci dezinformací. Náš hluboký multitask model dosahuje nejmodernějších výkonů (SOTA) pro detekci falešných zpráv na čtyřech srovnávacích datasetech, viz. ByteDance, FNC, Covid-Stance a FNID s přesností 7,73%, 3,69%, 7,95% a 13,38%. Z hodnocení vyplývá, že náš víceúkolový vzdělávací rámec zlepšuje výkon oproti jednoúkolovému rámci pro čtyři datové soubory o 7,8 %, 28,62 %, 11,46 % a 15,66 % celkového zisku přesnosti. Tvrdíme, že textová novinka a emoce jsou dva klíčové aspekty, které je třeba zvážit při vývoji automatického mechanismu detekce falešných zpráv. Zdrojový kód je dostupný na adrese https://github.com/Nish-19/Misinformation-Multitask-Attention-NE.


What the fake? Probing misinformation detection standing on the shoulder of novelty and emotion

Co je to za padělek? Zkoumání detekce dezinformací stojící na rameni novosti a emocí

One of the most time-critical challenges for the Natural Language Processing (NLP) community is to combat the spread of fake news and misinformation. Existing approaches for misinformation detection use neural network models, statistical methods, linguistic traits, fact-checking strategies, etc. However, the menace of fake news seems to grow more vigorous with the advent of humongous and unusually creative language models. Relevant literature reveals that one major characteristic of the virality of fake news is the presence of an element of surprise in the story, which attracts immediate attention and invokes strong emotional stimulus in the reader. In this work, we leverage this idea and propose textual novelty detection and emotion prediction as the two tasks relating to automatic misinformation detection. We re-purpose textual entailment for novelty detection and use the models trained on large-scale datasets of entailment and emotion to classify fake information. Our results correlate with the idea as we achieve state-of-the-art (SOTA) performance (7.92%, 1.54%, 17.31% and 8.13% improvement in terms of accuracy) on four large-scale misinformation datasets. We hope that our current probe will motivate the community to explore further research on misinformation detection along this line. The source code is available at the GitHub.2

Jednou z časově nejkritičtějších výzev pro komunitu zpracování přirozeného jazyka (NLP) je boj proti šíření falešných zpráv a dezinformací. Stávající přístupy k odhalování dezinformací využívají modely neurální sítě, statistické metody, jazykové znaky, strategie ověřování faktů atd. Zdá se však, že hrozba falešných zpráv s příchodem humorných a neobvykle kreativních jazykových modelů sílí. Z příslušné literatury vyplývá, že jedním z hlavních rysů virality falešných zpráv je přítomnost momentu překvapení v příběhu, který přitahuje okamžitou pozornost a vyvolává ve čtenáři silné emocionální podněty. Při této práci tuto myšlenku zužitkujeme a navrhujeme jako dva úkoly související s automatickou detekcí dezinformací detekci textových novinek a předvídání emocí. Pro detekci novot používáme znovu účelové textové obnosy a k třídění falešných informací využíváme modely trénované na rozsáhlých datových souborech obnosů a emocí. Naše výsledky korelují s myšlenkou, protože dosahujeme nejmodernějších výsledků (SOTA) ve čtyřech rozsáhlých souborech dezinformačních dat (7,92%, 1,54%, 17,31% a 8,13% zlepšení z hlediska přesnosti). Doufáme, že naše současná sonda bude motivovat komunitu k dalšímu výzkumu odhalování dezinformací v tomto směru. Zdrojový kód je dostupný na GitHub.2


Working Group 1 (What counts as a word?) in Timothy Baldwin, William Croft, Joakim Nivre, and Agata Savary (eds.): Universals of Linguistic Idiosyncrasy in Multilingual Computational Linguistics (Report from Dagstuhl Seminar 21351)

Pracovní skupina 1 (Co se počítá jako slovo?) v Timothy Baldwin, William Croft, Joakim Nivre, and Agata Savary (eds.): Univerzálie jazykových zvláštností v mnohojazyčné počítačové lingvistice (Zpráva z Dagstuhlského semináře 21351)

Computational linguistics builds models that can usefully process and produce language and that can increase our understanding of linguistic phenomena. From the computational perspective, language data are particularly challenging notably due to their variable degree of idiosyncrasy (unexpected properties shared by few peer objects), and the pervasiveness of non-compositional phenomena such as multiword expressions (whose meaning cannot be straightforwardly deduced from the meanings of their components, e.g. red tape, by and large, to pay a visit and to pull one’s leg) and constructions (conventional associations of forms and meanings). Additionally, if models and methods are to be consistent and valid across languages, they have to face specificities inherent either to particular languages, or to various linguistic traditions.
These challenges were addressed by the Dagstuhl Seminar 21351 entitled "Universals of Linguistic Idiosyncrasy in Multilingual Computational Linguistics", which took place on 30-31 August 2021. Its main goal was to create synergies between three distinct though partly overlapping communities: experts in typology, in cross-lingual morphosyntactic annotation and in multiword expressions. This report documents the program and the outcomes of the seminar. We present the executive summary of the event, reports from the 3 Working Groups and abstracts of individual talks and open problems presented by the participants.

Počítačová lingvistika vytváří modely, které jsou užitečné při zpracování a generování jazyka a které mohou zlepšit naše porozumění jazykovým jevům. Z pohledu počítačového zpracování představují jazyková data výzvu hlavně kvůli jejich různému stupni idiosynkrazie (nečekané vlastnosti, které má jen několik podobných objektů) a kvůli všudypřítomným nekompozicionálním jevům, jako jsou víceslovné výrazy (jejichž význam nelze jednoduše odvodit z významů jednotlivých částí, např. angl. red tape, by and large, to pay a visit a to pull one’s leg).

Francis Tyers
Ekaterina Vylomova
Daniel Zeman
Tim Zingler


MiRANews: Dataset and Benchmarks for Multi-Resource-Assisted News Summarization

MiRANews: Datová sada a benchmarky pro sumarizaci zpráv asistovanou více zdroji

One of the most challenging aspects of current single-document news summarization is that the summary often contains `extrinsic hallucinations', i.e., facts that are not present in the source document, which are often derived via world knowledge. This causes summarisation systems to act more like open-ended language models tending to hallucinate facts that are erroneous. In this paper, we mitigate this problem with the help of multiple supplementary resource documents assisting the task. We present a new dataset MiRANews and benchmark existing summarisation models.  In contrast to multi-document summarization, which addresses multiple events from several source documents, we still aim at generating a summary for a single document. We show via data analysis that it's not only the models which are to blame: more than 27% of facts mentioned in the gold summaries of MiRANews are better grounded on assisting documents than in the main source articles. An error analysis of generated summaries from pretrained models fine-tuned on MiRANews reveals that this has an even bigger effects on models: assisted summarisation reduces 55% of  hallucinations when compared to single-document summarisation models trained on the main article only.

Jedním z nejobtížnějších aspektů současné sumarizace zpráv z jednoho dokumentu je to, že souhrn často obsahuje "extrinsické halucinace", tj. fakta, která nejsou obsažena ve zdrojovém dokumentu a která jsou často odvozena prostřednictvím znalosti světa. To způsobuje, že se sumarizační systémy chovají spíše jako otevřené jazykové modely se sklonem k halucinacím faktů, které jsou chybné. V tomto článku tento problém zmírňujeme pomocí doplňkových zdrojových dokumentů, které pomáhají při řešení úlohy. Představujeme novou datovou sadu MiRANews a srovnáváme stávající sumarizační modely.  Na rozdíl od vícedokumentové sumarizace, která se zabývá více událostmi z několika zdrojových dokumentů, se stále zaměřujeme na generování souhrnu pro jeden dokument. Pomocí analýzy dat ukazujeme, že na vině nejsou jen modely: více než 27 % faktů uvedených ve zlatých souhrnech MiRANews je lépe podloženo v pomocných dokumentech než v hlavních zdrojových článcích. Analýza chyb vygenerovaných souhrnů z předtrénovaných modelů dotrénovaných na MiRANews ukazuje, že to má na modely ještě větší vliv: asistovaná sumarizace snižuje počet halucinací o 55 % ve srovnání s modely pro sumarizaci jednotlivých dokumentů trénovanými pouze na hlavním článku.

Xinnuo Xu
Ondřej Dušek
Shashi Narayan
Verena Rieser
Ioannis Konstas


AggGen: Ordering and Aggregating while Generating

AggGen: řazení a agregace během generování

We present AggGen (pronounced ‘again’) a data-to-text model which re-introduces two explicit sentence planning stages into neural data-to-text systems: input ordering and input aggregation. In contrast to previous work using sentence planning, our model is still end-to-end: AggGen performs sentence planning at the same time as generating text by learning latent alignments (via semantic facts) between input representation and target text. Experiments on the WebNLG and E2E challenge data show that by using fact-based alignments our approach is more interpretable, expressive, robust to noise, and easier to control, while retaining the advantages of end-to-end systems in terms of fluency. Our code is available at https://github.com/XinnuoXu/AggGen.

Představujeme model AggGen (vyslovuje se "again"), který do neuronových systémů pro převod dat na text znovu zavádí dvě explicitní fáze plánování vět: řazení a agregaci vstupů. Na rozdíl od předchozích prací využívajících plánování vět je náš model stále end-to-end: AggGen provádí plánování vět současně s generováním textu tím, že se učí latentní zarovnání (prostřednictvím sémantických faktů) mezi vstupní reprezentací a cílovým textem. Experimenty na datech ze soutěží WebNLG a E2E ukazují, že díky použití zarovnání na základě faktů je náš přístup interpretovatelnější, expresivnější, odolnější vůči šumu a snadněji kontrolovatelný, přičemž si zachovává výhody end-to-end systémů z hlediska plynulosti. Náš kód je k dispozici na adrese https://github.com/XinnuoXu/AggGen.

Xinnuo Xu
Ondřej Dušek
Verena Rieser
Ioannis Konstas


INNOVATORS at SemEval-2021 Task-11: A Dependency Parsing and BERT-based model for Extracting Contribution Knowledge from Scientific Papers

INNOVATOŘI v SemEval-2021 Úkol-11: Model založený na analýze závislosti a BERT pro získávání poznatků o příspěvku z vědeckých dokumentů

In this work, we describe our system submission to the SemEval 2021 Task 11: NLP Contribution Graph Challenge. We attempt all the three sub-tasks in the challenge and report our results. Subtask 1 aims to identify the contributing sentences in a given publication. Subtask 2 follows from Subtask 1 to extract the scientific term and predicate phrases from the identified contributing sentences. The final Subtask 3 entails extracting triples (subject, predicate, object) from the phrases and categorizing them under one or more defined information units. With the NLPContributionGraph Shared Task, the organizers formalized the building of a scholarly contributions-focused graph over NLP scholarly articles as an automated task. Our approaches include a BERT-based classification model for identifying the contributing sentences in a research publication, a rule-based dependency parsing for phrase extraction, followed by a CNN-based model for information units classification, and a set of rules for triples extraction. The quantitative results show that we obtain the 5th, 5th, and 7th rank respectively in three evaluation phases. We make our codes available at https://github.com/HardikArora17/SemEval-2021-INNOVATORS.

V této práci popisujeme naše systémové předkládání úkolu SemEval 2021 11: NLP Contribution Graph Challenge. Vyzkoušíme všechny tři dílčí úkoly výzvy a podáme zprávu o výsledcích. Cílem dílčího úkolu 1 je identifikovat přispívající věty v dané publikaci. Dílčí úkol č. 2 vyplývá z dílčího úkolu č. 1, jehož cílem je vyjmout vědecký termín a predikovat věty z označených přispívajících vět. Závěrečný dílčí úkol 3 spočívá ve vyjmutí trojic (předmět, predikát, objekt) z frází a jejich kategorizaci do jedné nebo více definovaných informačních jednotek. Sdíleným úkolem NLPContributionGraph organizátoři formalizovali vytvoření odborně zaměřeného grafu nad odbornými články NLP jako automatizovaný úkol. Mezi naše přístupy patří klasifikační model založený na BERT pro identifikaci přispívajících vět ve výzkumné publikaci, analýza závislosti založená na pravidlech pro extrakci frází, následovaná modelem podle CNN pro klasifikaci informačních jednotek a soubor pravidel pro extrakci trojice. Kvantitativní výsledky ukazují, že pátou, pátou a sedmou příčku získáváme ve třech fázích hodnocení. Naše kódy jsou dostupné na https://github.com/HardikArora17/SemEval-2021-INNOVATORS.

Hardik Arora
Tirthankar Ghosal
Sandeep Kumar
Suraj Singh Patwal
Phil Gooch


This paper provides the description of
shared tasks to the WAT 2021 by our
team “NLPHut”. We have participated
in the English→Hindi Multimodal translation task, English→Malayalam Multimodal translation task, and Indic Multilingual translation task. We have used
the state-of-the-art Transformer model
with language tags in different settings
for the translation task and proposed a
novel “region-specific” caption generation
approach using a combination of image
CNN and LSTM for the Hindi and Malayalam image captioning. Our submission
tops in English→Malayalam Multimodal
translation task (text-only translation, and
Malayalam caption), and ranks secondbest in English→Hindi Multimodal translation task (text-only translation, and Hindi
caption). Our submissions have also performed well in the Indic Multilingual translation tasks.

Tento článek obsahuje popis sdílených úloh na WAT 2021 podle našeho tým "NLPHut". Zúčastnili jsme se úlohy multimodálního překladu angličtina→hindština, úlohy multimodálního překladu angličtina→malajština a úlohy vícejazyčného překladu z indických jazyků. Použili jsme nejmodernější model Transformeru
s jazykovými značkami v různých nastaveních
pro překladatelskou úlohu a navrhli jsme
nové "regionálně specifické" generování titulků využívající kombinaci obrazových
CNN a LSTM pro hindštinu a malajalamštinu. Náš příspěvek v angličtině→malajálamštině Multimodální
překladatelské úlohy (překlad pouze textu a titulků) a na druhém místě v úloze multimodálního překladu angličtina→hindština (překlad pouze textu a titulků). Naše příspěvky si vedly dobře také v indických vícejazyčných překladových úlohách.

Shantipriya Parida
Subhadarshi Panda
Ketan Kotwal
Amulya Ratna Dash
Satya Ranjan Dash
Yashvardhan Sharma
Petr Motlíček
Ondřej Bojar


The Translator in the 21st Century (panel discussion)

Překladatel v 21. století (panelová diskuse)

Presentation of the technological possibilities of the translator in the 21st century and projects dedicated to research and evaluation of machine translation at ÚFAL.

Představení technologických možností překladatele ve 21. století a projektů věnujících se výzkumu a hodnocení strojového překladu na ÚFAL.


Machine translation: a jerk, or a bastard?

The lecture focused on the differences between machine and human translation - can we tell at a glance what is translated by a human and what by a machine? Is there only one correct translation? How is the quality of a translation assessed?

Přednáška se zaměřovala na rozdíly mezi strojovým a lidským překladem – poznáme na první pohled, co přeložil člověk a co stroj? Existuje jen jeden správný překlad? Jak se hodnotí kvalita překladu?


Detecting Post-edited References and Their Effect on Human Evaluation

Detekce posteditovaných referenčních překladů a jejich vliv na lidské hodnocení překladu

This paper provides a quick overview of possible methods how to detect that reference translations were actually created by post-editing
an MT system. Two methods based on automatic metrics are presented: BLEU difference
between the suspected MT and some other
good MT and BLEU difference using additional references. These two methods revealed
a suspicion that the WMT 2020 Czech reference is based on MT. The suspicion was confirmed in a manual analysis by finding concrete proofs of the post-editing procedure in
particular sentences. Finally, a typology of
post-editing changes is presented where typical errors or changes made by the post-editor
or errors adopted from the MT are classified.

Článek poskytuje stručný přehled možných metod, jak zjistit, že referenční překlady byly ve skutečnosti vytvořeny posteditací strojového překladu. Využity byly dvě metody založené na automatických metrikách: 1. rozdíl BLEU mezi podezřelým MT a některým jiným
dobrým MT a 2. rozdíl BLEU s využitím dalších referencí. Tyto dvě metody odhalily
podezření, že oficiální reference z WMT 2020 je ve skutečnosti posteditovaný strojový překlad. Toto podezření bylo potvrzeno při manuální analýze zjištěním konkretních dokladů o posteditačním postupu. Také byla vytvořena typologie
posteditačních změn, kde jsou uvedeny některé chyby nebo změny provedené posteditorem, nebo také chyby převzaté ze strojového překladu.


ÚFAL at MultiLexNorm 2021: Improving Multilingual Lexical Normalization by Fine-tuning ByT5

ÚFAL na MultiLexNorm 2021: Zlepšení vícejazyčné lexikální normalizace dotrénováním modelu ByT5

We present the winning entry to the Multilingual Lexical Normalization (MultiLexNorm) shared task at W-NUT 2021 (van der Goot et al., 2021a), which evaluates lexical-normalization systems on 12 social media datasets in 11 languages. We base our solution on a pre-trained byte-level language model, ByT5 (Xue et al., 2021a), which we further pre-train on synthetic data and then fine-tune on authentic normalization data. Our system achieves the best performance by a wide margin in intrinsic evaluation, and also the best performance in extrinsic evaluation through dependency parsing. The source code is released at https://github.com/ufal/multilexnorm2021 and the fine-tuned models at https://huggingface.co/ufal.

Představujeme vítězný systém z Multilingual Lexical Normalization (MultiLexNorm) Shared Task na W-NUT 2021 (van der Goot et al., 2021a), který vyhodnocuje lexikálně-normalizační systémy na 12 datasetech sociálních médií v 11 jazycích. Naše řešení zakládáme na předtrénovaném jazykovém modelu ByT5 (Xue et al., 2021a), který dále trénujeme na syntetických datech a poté dotrénováváme na autentických normalizačních datech. Náš systém dosahuje nejlepších výsledků s velkým náskokem v intrinsic hodnocení a také nejlepších výsledků v extrinsic vyhodnocení prostřednictvím syntaktické analýzy. Zdrojový kód je uvolněn na https://github.com/ufal/multilexnorm2021 a natrénované modely na https://huggingface.co/ufal.


European Language Grid: A Joint Platform for the European Language Technology Community

Evropská jazyková síť: společná platforma pro komunitu evropských jazykových technologií

Europe is a multilingual society, in which dozens of languages are spoken. The only option to enable and to benefit from multilingualism is through Language Technologies (LT), i.e., Natural Language Processing and Speech Technologies. We describe the European Language Grid (ELG), which is targeted to evolve into the primary platform and marketplace for LT in Europe by providing one umbrella platform for the European LT landscape, including research and industry, enabling all stakeholders to upload, share and distribute their services, products and resources. At the end of our EU project, which will establish a legal entity in 2022, the ELG will provide access to approx. 1300 services for all European languages as well as thousands of data sets.

Evropa je mnohojazyčná společnost, v níž se hovoří desítkami jazyků. Jedinou možností, jak mnohojazyčnost umožnit a využít, jsou jazykové technologie (LT), tj. technologie zpracování přirozeného jazyka a řeči. Popisujeme evropskou jazykovou síť (European Language Grid, ELG), která se má vyvinout v primární platformu a tržiště LT v Evropě tím, že poskytne jednu zastřešující platformu pro evropský LT prostor, včetně výzkumu a průmyslu, která umožní všem zúčastněným stranám nahrávat, sdílet a distribuovat své služby, produkty a zdroje. Na konci projektu, který v roce 2022 vytvoří právní subjekt, poskytne ELG přístup k cca. 1300 služeb pro všechny evropské jazyky a tisíce datových souborů.

Georg Rehm
Stelios Piperidis
Kalina Bontcheva
Jan Hajič
Victoria Arranz
Andrejs Vasiljevs
Gerhard Backfried
José Manuel Gómez-Pérez
Ulrich Germann
Chris Callison-Burch
Ronald Feldstein
Stefanie Hegele
Florian Kintzel
Katrin Marheinecke
Julian Moreno-Schneider
Dimitris Galanis
Penny Labropoulou
Miltos Deligiannis
Katerina Gkirtzou
Athanasia Kolovou
Dimitris Gkoumas
Leon Voukoutis
Ian Roberts
Jana Hamrlová
Dušan Variš
Lukáš Kačena
Khalid Choukri
Valérie Mapelli
Mickaël Rigault
Julija Melnika
Miro Jánošík
Katja Prinz
Andres Garcia-Silva
Cristian Berrio
Ondřej Klejch
Steve Renals


Lost in Interpreting: Speech Translation from Source or Interpreter?

Ztraceno v tlumočení: Překládat řeč z originálu nebo z tlumočení?

Abstrakt je pouze v angličtině.

Interpreters facilitate multi-lingual meetings but the affordable set of languages is often smaller than what is needed. Automatic simultaneous speech translation can extend the set of provided languages. We investigate if such an automatic system should rather follow the original speaker, or an interpreter to achieve better translation quality at the cost of increased delay. To answer the question, we release Europarl Simultaneous Interpreting Corpus (ESIC), 10 hours of recordings and transcripts of European Parliament speeches in English, with simultaneous interpreting into Czech and German. We evaluate quality and latency of speaker-based and interpreter-based spoken translation systems from English to Czech. We study the differences in implicit simplification and summarization of the human interpreter compared to a machine translation system trained to shorten the output to some extent. Finally, we perform human evaluation to measure information loss of each of these approaches.

Dominik Macháček
Matúš Žilinec
Ondřej Bojar


CUNI-NU System at Biocreative VIII Track 5: Multi-label Topic Classification of COVID-19 Articles using Dual Attention with SPECTRE

Systém UK-NU v soutěži Biocreative VIII Track 5: Víceznačková klasifikace tématu v článcích o COVID-19 s využitím dvojité attention se SPECTRE

Subject-Article classification is an important problem in
Scholarly Document Processing to address the huge information overload in the scholarly space. This paper describes the
approach of our team CUNI-NU for the Biocreative VII-Track
5 challenge: Litcovid multi-label topic classification for
COVID-19 literature [1]. The concerned task aims to automate
the manual curation of biomedical articles into seven distinct
labels, specifically for the LitCovid data repository. Our best
performing model makes use of the SPECTER [2] document
embeddings for representing abstract, and titles of scientific
articles followed by a Dual-Attention [3] mechanism to perform the multi-label categorization. We achieve significantly
better performance than the baseline methods. We make our code available at https://github.com/Nid989/
CUNI-NU-Biocreative-Track5

Klasifikace předmětných článků je důležitým problémem
Schosimilar Document Processing to address the huge information overload in the scholarly space. Tento dokument popisuje
přístup našeho týmu CUNI-NU pro Biocreative VII-Track 5 challenge: Litcovid multilabel topic classification for
COVID-19 literatura [1]. Cílem dotčeného úkolu je automatizovat
manuální nakládání s biomedicínskými předměty do sedmi různých
značek, konkrétně pro datové úložiště LitCovid. Naše nejlepší
model používá dokument SPECTER [2]
zápatí pro reprezentaci abstraktních, a tituly vědeckých
články následované mechanismem Dual-Attention [3] do perform multilabel kategorizace. Dosáhli jsme významného lepší výkon než základní metody. Děláme
náš kód dostupný na https://github.com/Nid989/
CUNI-NU-Biocreative-Track5

Aakash Bhatnagar
Nidhir Bhavsar
Muskaan Singh
Tirthankar Ghosal


Towards a Versatile Intelligent Conversational Agent as Personal Assistant for Migrants

Směrem k všestrannému inteligentnímu konverzačnímu agentovi jako osobnímu asistentovi pro migranty

We present a knowledge-driven multilingual conversational agent (referred to as ``MyWelcome Agent'') that acts as personal assistant for migrants in the contexts of their reception and integration. In order to also account for tasks that go beyond communication and require advanced service coordination skills, the architecture of the proposed platform separates the dialogue management service from the agent behavior including the service selection and planning. The involvement of genuine agent planning strategies in the design of personal assistants, which tend to be limited to dialogue management tasks, makes the proposed agent significantly more versatile and intelligent. To ensure high quality verbal interaction, we draw upon state-of-the-art multilingual spoken language understanding and generation technologies.

Článek popisuje znalostního vícejazyčného konverzačního agenta "MyWelcome Agent", který funguje jako osobní asistent migrantů v kontextu jejich přijímání a integrace.

Leo Wanner
Matthias Klusch
Athanasios Mavropoulos
Emmanuel Jamin
Victor Martin Puchades
Gerard Casamayor
Jan Černocký
Steffi Davey
Mónica Domínguez
Ekaterina Egorova
Jens Grivolla
Gloria Elena Jaramillo Rojas
Anastasios Karakostas
Dimos Ntioudis
Pavel Pecina
Oleksander Sobko
Stefanos Vrochidis
Lena Wertmann


Using a Parallel Corpus to Adapt the Flesch Reading Ease Formula to Czech

Použití paralelního korpusu pro adaptaci vzorce Flesch Reading Ease na češtinu

Text readability metrics assess how much effort a reader must put into comprehending a given text. They are e.g., used to choose appropriate readings for different student proficiency levels, or to make sure that crucial information is efficiently conveyed (e.g., in an emergency). Flesch Reading Ease is such a globally used formula that it is even integrated into the MS Word Processor. However, its constants are language dependent. The original formula was created for English. So far it has been adapted to several European languages, Bangla, and Hindi. This paper describes the Czech adaptation, with the language-dependent constants optimized by a machine-learning algorithm working on parallel corpora of Czech with English, Russian, Italian, and French.

Metriky srozumitelnosti textu hodnotí, kolik úsilí musí čtenář vynaložit na porozumění danému textu. Používají se např. K výběru vhodných materiálů pro četbu pro různé úrovně znalostí studentů nebo k zajištění efektivního přenosu důležitých informací (např. V případě nouze). Flesch Reading Ease je natolik globálně používaný vzorec, že je dokonce integrován do textového procesoru MS. Jeho konstanty jsou však závislé na jazyce. Původní vzorec byl vytvořen pro angličtinu. Doposud byl přizpůsoben několika evropským jazykům, bengálštině a hindštině. Tento článek popisuje českou adaptaci, přičemž jazykově závislé konstanty jsou optimalizovány algoritmem strojového učení pracujícím na paralelních korpusech češtiny s angličtinou, ruštinou, italštinou a francouzštinou.


Adaptation of Classic Readability Metrics to Czech

Adaptace klasických metrik srozumitelnosti textu na češtinu

We have fitted four classic readability metrics to Czech, using InterCorp (a parallel corpus with manual sentence alignment), CzEng 2.0 (a large parallel corpus of crawled web texts),  and the optimize.curve fit algorithm from the SciPy library. The adapted metrics are: Flesch Reading Ease, Flesch-Kincaid Grade Level, Coleman-Liau Index, and Automated Readability Index. We describe the details of the procedure and present satisfactory results. Besides, we discuss the sensitivity of these metrics to text paraphrases and correlation of readability scores with empirically observed reading comprehension, as well as the adaptation of Flesch Reading Ease to Czech from Russian.

Adaptovali jsme na češtinu čtyři klasické metriky srozumitelnosti na základě dat InterCorp (paralelní korpus s ručním zarovnáním vět)a CzEng 2.0 (velký paralelní korpus procházených webových textů) a algoritmu optimize.curve z knihovny SciPy. Adaptované metriky jsou: Flesch Reading Ease, Flesch-Kincaid Grade Level, Coleman-Liau Index a Automated Readability Index. Popisujeme podrobnosti postupu a předkládáme uspokojivé výsledky. Kromě toho diskutujeme citlivost těchto metrik na textové parafráze a korelaci skóre srozumitelnosti s empiricky pozorovaným porozuměním čtenému a také adaptaci Flesch Reading Ease na češtinu z ruštiny.


Přesnost v neuronových generátorech textu

While neural-network-based approaches have significantly increased the fluency of machine-generated text, they are prone to accuracy errors, such as leaving out parts of the input (omissions) or generating output that is not grounded in any input (hallucination). This problem becomes especially apparent with lower amounts of training data, generation of longer texts, and noise in the training data. All of these conditions are very common for natural language generation (NLG) tasks.

In this talk, I will show several example approaches aiming to produce more accurate outputs within an NLG system, or to detect errors in an NLG system output. I will specifically focus on sequence-to-sequence neural architectures with pretrained language models and their
extensions. I will mostly discuss generation of text from structured data, but I will also make comparisons to the situation in summarization or dialogue response generation.

Přestože přístupy založené na neuronových sítích výrazně zvýšily plynulost strojově generovaného textu, jsou náchylné k chybám v přesnosti, jako je vynechávání částí vstupu (opomenutí) nebo generování výstupu, který nemá oporu v žádném vstupu (halucinace). Tento problém se projevuje zejména při menším množství trénovacích dat, generování delších textů nebo šumu v trénovacích datech. Všechny tyto podmínky jsou pro úlohy generování přirozeného jazyka (NLG) velmi časté.

V této přednášce ukážu několik příkladů přístupů zaměřených na vytváření přesnějších výstupů v rámci systému NLG nebo na odhalování chyb ve výstupech systému NLG. Konkrétně se zaměřím na neuronové architektury sequence-to-sequence s předtrénovanými jazykovými modely a jejich rozšíření. Budu se zabývat především generováním textu ze strukturovaných dat, ale uvedu i srovnání se situací při sumarizaci nebo generování dialogových odpovědí.


THEaiTRobot demo for the exhibition Who is afraid of artificial intelligence

THEaiTRobot demo pro výstavu Kdo se bojí umělé inteligence

Who's afraid of artificial intelligence?
Come to the Goethe-Institut thematic space and find out how literature is made with the help of robots!

https://www.goethe.de/ins/cz/en/ver.cfm?event_id=22345514

Kdo se bojí umělé inteligence.
Přijďte do tematického prostoru Goethe-Institutu a zjistěte, jak s pomocí robotů vzniká literatura!

https://www.goethe.de/ins/cz/cs/ver.cfm?event_id=22345514

Alisa Zakhtarenko
Rudolf Rosa
Ondřej Dušek


FINDINGS OF THE IWSLT 2021 EVALUATION CAMPAIGN

The evaluation campaign of the International
Conference on Spoken Language Translation
(IWSLT 2021) featured this year four shared
tasks: (i) Simultaneous speech translation, (ii)
Offline speech translation, (iii) Multilingual
speech translation, (iv) Low-resource speech
translation. A total of 22 teams participated
in at least one of the tasks. This paper de-
scribes each shared task, data and evaluation
metrics, and reports results of the received submissions.

Hodnotící kampaň Mezinárodní konference o překladu z mluveného jazyka
(IWSLT 2021) letos představila čtyři společné
úkoly: (i) Simultánní překlad mluvené řeči, (ii) Offline překlad mluvené řeči, (iii) Vícejazyčný
překlad řeči, (iv) překlad řeči s malým množstvím zdrojů. Celkem se zúčastnilo 22 týmů
alespoň na jedné z úloh. Tento článek popisuje každou společnou úlohu, data a hodnocení.
metriky a uvádí výsledky obdržených podání.

Antonios Anastasopoulos
Ondřej Bojar
Jacob Bremerman
Roldano Cattoni
Maha Elbayad
Marcello Federico
Xutai Ma
Satoshi Nakamura
Matteo Negri
Jan Niehues
Juan Pino
Elizabeth Salesky
Sebastian Stüker
Katsuhito Sudoh
Marco Turchi
Alex Waibel
Changhan Wang
Matthew Wiesner


Optional valency complementations in Czech light verb constructions

Fakultativní volná doplnění v konstrukcích s kategoriálním slovesem v češtině

This paper addresses Czech light verb constructions, partly revising principles of their syntactic structure formation formulated within the Functional Generative Description. It argues that obligatoriness of valency complementations should be reflected in these principles. Namely, the role of optional valency complementations of light verbs played in this process has been analyzed. This analysis has shown that in the cases where light verbs do not provide a sufficient number of valency complementations for the surface expression of semantic participants of predicative nouns, semantic participants of nouns make use of optional verbal complementations. In such cases, semantic participants can be expressed on the surface, either as optional verbal complementation or as nominal complementation. The distribution of verbal and nominal complementations have been observed in 1,600 light verb constructions extracted from the Czech National Corpus, with the result that the surface expression of these participants through the optional verbal complementations is strongly preferred (88% of verbal complementations and 12% of nominal ones).

Příspěvek se zabývá konstrukcemi s kategoriálním slovesem v češtině. Částěčně reviduje pravidla pro formování syntaktické struktury těchto konstrukcí navržená v rámci funkčního generativního popisu, a to zejména s ohledem na roli fakultativních volných doplnění kategoriálních sloves v těchto konstrukcích. Provedená analýza ukazuje, že v případech, kdy kategoriální slovesa neposkytují dostatečný počet valenčních doplnění pro povrchové vyjádření sémantických participantů jména, využívají participanty pro své povrchové vyjádření i fakultativní volná doplnění slovesa. Distribuce slovesných a jmenných doplnění analyzovaná v 1 600 konstrukcích s kategoriálním slovesem ukázala, že povrchové vyjádření participantů jména skrze fakultativní volná doplnění kategoriálního slovesa je v češtině silně preferováno (88% fakultativních volných doplnění slovesa oproti 12% valenčních doplnění jména).


Reflexives in the VALLEX Lexicon: Syntactic Reflexivity and Reciprocity

Reflexiva ve slovníku VALLEX: Syntaktická reflexivita a reciprocita

Reflexives, encoding a variety of meanings, pose a great challenge for both theoretical and lexicographic description. As they are associated with changes in morphosyntactic properties of verbs, their description is highly relevant for verb valency. In Czech, reflexives function as the reflexive personal pronoun and as verbal affixes. In this paper, we address those language phenomena that are encoded by the reflexive personal pronoun, i.e., reflexivity and reciprocity.
We introduce the lexicographic representation of these two language phenomena in the VALLEX lexicon, a valency lexicon of Czech verbs, accounting for the role of the reflexives with respect to the valency structure of verbs. This representation makes use of the division of the lexicon into a data component and a grammar component. It takes into account that reflexivity and reciprocity are conditioned by the semantic properties of verbs on the one hand and that morphosyntactic changes brought about by these phenomena are systemic on the other.
About one third of the lexical units contained in the data component of the lexicon are assigned the information on reflexivity and/or reciprocity in the form of pairs of the affected valency complementations (2,039 on reflexivity and 2,744 on reciprocity). A set of rules is formulated in the grammar component (3 rules for reflexivity and 18 rules for reciprocity). These rules derive the valency frames underlying syntactically reflexive and reciprocal constructions from the valency frames describing non-reflexive and non-reciprocal constructions. Finally, the proposed representation makes it possible to determine which lexical units of verbs create ambiguous constructions that can be interpreted either as reflexive or as reciprocal.

Reflexiva představují velkou výzvu pro teoretický i lexikografický popis jazyka. Vzhledem ke změnám morfo-syntaktických vlastností sloves, která s sebou užití reflexiv nese, je jejich zachycení a popis vysoce relevantní pro slovesnou valenci. V češtině fungují reflexiva buď jako reflexivní osobní zájmeno, nebo jako morfém tvořící slovesné lemma či slovesný tvar. V tomto příspěvku se zabýváme těmi jazykovými jevy, které jsou kódovány reflexivním osobním zájmenem, tj. reflexivitou a reciprocitou.
Lexikografické znázornění těchto dvou jazykových jevů zpracováváme v rámci Valenčního slovníku českých sloves VALLEX. Reprezentace ve VALLEXu využívá rozdělení lexikonu na datovou a gramatickou komponentu; bere v úvahu, že reflexivita i reciprocita jsou podmíněny sémantickými vlastnostmi sloves, ovšem morfologické změny vyvolané těmito jevy jsou systémové a lze je popsat pomocí pravidel.
Zhruba třetina lexikálních jednotek obsažených v datové komponentě lexikonu má přiřazenu informaci o možném užití v reflexivních a/nebo recipročních konstrukcí, a to v podobě párů dotčených valenčních komplementů (2 039 u reflexivity a 2 744 u reciprocity). Dále je v gramatické komponentě formulován soubor pravidel pro odvození valenčních rámců pro syntakticky reflexní a reciproční konstrukce, která se aplikují na základové valenční rámce popisující nereflexní a nereferenční konstrukce (3 pravidla pro reflexivitu a 18 pravidel pro reciprocitu). V příspěvku se dále diskutují situace, kdy lexikální jednotky sloves vytvářejí nejednoznačné konstrukce, které mohou být vykládány buď jako reflexivní, nebo jako reciproční.

Václava Kettnerová
Markéta Lopatková
Anna Vernerová


EUNIC AI Science Café Series: AI & Theatre

EUNIC AI Science Café Series: AI & divadlo

Over the past decades an increasing number of performing artists and technologists have brought robots to the center stage in their performances. AI has taken roles such as comedy improvisers, storytellers, actors, dancers, and choreographers, disrupting the traditional two-way human actor-human audience interaction. By presenting this talk we try to challenge the idea that live performance is a specifically human activity and explore different forms of human-AI interactions in the theatre. What story does AI tell? What emotions can it generate? Do you think artificial intelligence is able to create an enjoyable theatre script? Can a robot become a playwright? Does the perfect theater evening exist, produced by an autonomous machine?

V posledních desetiletích stále větší počet vystupujících umělců a technologů přivedl roboty na středové pódium při jejich vystoupeních. AI si přisvojila role komediálních improvizátorů, vypravěčů, herců, tanečníků a choreografů, čímž narušila tradiční obousměrnou lidskou herecko-lidskou diváckou interakci. Předložením této přednášky se snažíme zpochybnit myšlenku, že živé představení je specificky lidskou činností, a prozkoumat různé formy interakce mezi člověkem a umělou inteligencí v divadle. Jaký příběh Al vypráví? Jaké emoce to může vyvolat? Myslíte si, že umělá inteligence je schopna vytvořit příjemný divadelní scénář? Může se robot stát dramatikem? Existuje dokonalý divadelní večer, který vyprodukuje autonomní stroj?

Tracy Harwood
Piotr Mirowski
Marcel Karnapke
Rudolf Rosa


Report on the 6th Workshop on Search-Oriented Conversational AI (SCAI 2021)

Zpráva o 6. workshopu na téma konverzační umělá inteligence zaměřená na vyhledávání

The 6th edition of the Search-Oriented Conversational AI workshop (SCAI 2021) was organised as a discussion platform on conversational AI for intelligent information access. The workshop was designed to be multidisciplinary, bringing together researchers and practitioners across the fields of natural language processing (NLP), information retrieval (IR), machine learning (ML) and human-computer interaction (HCI). The workshop included four sessions featuring invited talks, a separate poster session, and a session discussing the results of a shared task on conversational question answering (SCAI-QReCC).

Šestý ročník workshopu Search-Oriented Conversational AI (SCAI 2021) byl uspořádán jako diskusní platforma o konverzační umělé inteligenci pro inteligentní přístup k informacím. Workshop byl koncipován jako multidisciplinární a spojil výzkumné pracovníky a odborníky z praxe napříč obory zpracování přirozeného jazyka (NLP), vyhledávání informací (IR), strojového učení (ML) a interakce člověk-počítač (HCI). Workshop zahrnoval čtyři sekce, na nichž zazněly pozvané přednášky, samostatnou posterovou sekci a sekci, na níž se diskutovalo o výsledcích soutěže v konverzačním zodpovídání otázek (SCAI-QReCC).

Svitlana Vakulenko
Ondřej Dušek
Leigh Clark


Defining And Detecting Inconsistent System Behavior in Task-oriented Dialogues

Definice a detekce nekonzistentního chování systému v asistivních dialozích

We present experiments on automatically detecting inconsistent behavior of task-oriented dialogue systems from the context. We enrich the bAbI/DSTC2 data (Bordes et al., 2017) with automatic annotation of dialogue inconsistencies, and we demonstrate that inconsistencies correlate with failed dialogues. We hypothesize that using a limited dialogue history and predicting the next user turn can improve inconsistency classiﬁcation. While both hypotheses are conﬁrmed for a memory-networks-based dialogue model, it does not hold for a training based on the GPT-2 language model, which benefits most from using full dialogue history and achieves a 0.99 accuracy score.

Představujeme experimenty s automatickým odhalováním nekonzistentního chování na základě kontextu u dialogových systémů orientovaných na úkoly. Obohacujeme data bAbI/DSTC2 (Bordes et al., 2017) o automatickou anotaci nekonzistencí v dialogu a ukazujeme, že nekonzistence korelují s neúspěšnými dialogy. Předpokládáme, že použití omezené historie dialogů a předvídání dalšího tahu uživatele může zlepšit klasifikaci nekonzistencí. Zatímco obě hypotézy se potvrzují pro dialogový model založený na memory networks, neplatí pro trénování jazykového modelu GPT-2, který nejvíce těží z použití úplné historie dialogu a dosahuje 99% přesnosti.

Léon-Paul Schaub
Vojtěch Hudeček
Daniel Štancl
Ondřej Dušek
Patrick Paroubek


AuGPT: Auxiliary Tasks and Data Augmentation for End-To-End Dialogue with Pre-Trained Language Models

AuGPT: Pomocné úlohy a augmentace dat pro end-to-end dialog s předtrénovanými jazykovými modely

Attention-based pre-trained language models such as GPT-2 brought considerable progress to end-to-end dialogue modelling. However, they also present considerable risks for task-oriented dialogue, such as lack of knowledge grounding or diversity. To address these issues, we introduce modified training objectives for language model finetuning, and we employ massive data augmentation via back-translation to increase the diversity of the training data. We further examine the possibilities of combining data from multiples sources to improve performance on the target dataset. We carefully evaluate our contributions with both human and automatic methods. Our model substantially outperforms the baseline on the MultiWOZ data and shows competitive performance with state of the art in both automatic and human evaluation.

Předtrénované jazykové modely založené na attention, jako je GPT-2, přinesly značný pokrok v modelování dialogů "end-to-end". Pro dialog zaměřený na úkoly však představují také značná rizika, jako je nedostatečná podloženost fakty nebo rozmanitost odpovědí. Abychom tyto problémy vyřešili, zavádíme modifikované trénovací cíle pro dotrénování jazykového modelu a využíváme masivní augmentaci dat pomocí zpětného překladu, abychom zvýšili rozmanitost trénovacích dat. Dále zkoumáme možnosti kombinace dat z více zdrojů s cílem zlepšit výkonnost na cílové datové sadě. Naše příspěvky pečlivě vyhodnocujeme pomocí lidských i automatických metod. Náš model podstatně překonává základní model na datech MultiWOZ a vykazuje výkon konkurenceschopný se současným stavem techniky při automatickém i lidském hodnocení.

Jonáš Kulhánek
Vojtěch Hudeček
Tomáš Nekvinda
Ondřej Dušek


AuGPT: Dialogue with Pre-trained Language Models and Data Augmentation

AuGPT: Dialog s předtrénovanými jazykovými modely a augmentací dat

Attention-based pre-trained language models such as GPT-2 brought considerable progress to end-to-end dialogue modelling. However, they also present considerable risks for task-oriented dialogue, such as lack of knowledge grounding or diversity. To address these issues, we introduce modified training objectives for language model finetuning, and we employ massive data augmentation via back-translation to increase the diversity of the training data. We further examine the possibilities of combining data from multiples sources to improve performance on the target dataset. We carefully evaluate our contributions with both human and automatic methods. Our model achieves state-of-the-art performance on the MultiWOZ data and shows competitive performance in human evaluation.

Předtrénované jazykové modely založené na attention, jako je GPT-2, přinesly značný pokrok v end-to-end modelování dialogů. Pro dialog zaměřený na úkoly však představují také značná rizika, jako je nedostatečná korespondence s databází nebo nedostatek rozmanitosti odpovědí. Abychom tyto problémy vyřešili, zavádíme pro doladění jazykového modelu modifikované trénovací cíle a využíváme masivní rozšíření trénovacích dat pomocí zpětného překladu, čímž zvyšujeme jejich rozmanitost. Dále zkoumáme možnosti kombinace dat z více zdrojů s cílem zlepšit výkonnost na cílové datové sadě. Naše příspěvky pečlivě vyhodnocujeme pomocí ručních i automatických metod. Náš model dosahuje nejlepších výsledků na datové sadě MultiWOZ a vykazuje konkurenceschopný výkon při lidském hodnocení.


Realita mnohojazyčného strojového překladu

Our book "The Reality of Multi-Lingual Machine Translation" discusses the benefits and perils of using more than two languages in machine translation systems. While focused on the particular task of sequence-to-sequence processing and multi-task learning, the book targets somewhat beyond the area of natural language processing. Machine translation is for us a prime example of deep learning applications where human skills and learning capabilities are taken as a benchmark that many try to match and surpass. We document that some of the gains observed in multi-lingual translation may result from simpler effects than the assumed cross-lingual transfer of knowledge.

In the first, rather general part, the book will lead you through the motivation for multi-linguality, the versatility of deep neural networks especially in sequence-to-sequence tasks to complications of this learning. We conclude the general part with warnings against too optimistic and unjustified explanations of the gains that neural networks demonstrate.

In the second part, we fully delve into multi-lingual models, with a particularly careful examination of transfer learning as one of the more straightforward approaches utilizing additional languages. The recent multi-lingual techniques, including massive models, are surveyed and practical aspects of deploying systems for many languages are discussed. The conclusion highlights the open problem of machine understanding and reminds of two ethical aspects of building large-scale models: the inclusivity of research and its ecological trace.

Naše kniha „The Reality of Multi-Lingual Machine Translation“ pojednává o výhodách a nebezpečích používání více než dvou jazyků v systémech strojového překladu. I když se kniha zaměřuje na konkrétní úkol zpracování sekvencí a víceúkolového učení (multi-task learning), cílí i poněkud mimo oblast zpracování přirozeného jazyka. Strojový překlad je pro nás ukázkovým příkladem aplikací hlubokého učení, kde jsou lidské dovednosti a schopnosti učení brány jako laťka, kterou se mnozí snaží dosáhnout a překonat. Dokumentujeme, že některé z výdobytků pozorovaných v mnohojazyčném překladu mohou vyplývat z jednodušších důvodů, než je předpokládaný přenos znalostí napříč jazyky.

V první, spíše obecné části vás kniha provede motivací pro mnohojazyčnost, univerzálností hlubokých neuronových sítí zejména v úlohách typu sequence-to-sequence až ke komplikacím tohoto učení. Obecnou část uzavíráme varováním před příliš optimistickým a neopodstatněným vysvětlením zlepšení, které neuronové sítě demonstrují.

Ve druhé části se plně ponoříme do mnohojazyčných modelů, se zvlášť pečlivým zkoumáním učení přenosem (transfer learning) jako jednoho z přímočařejších přístupů využívajících další jazyky. Zkoumány jsou současné vícejazyčné techniky, včetně masivních modelů, a diskutovány jsou praktické aspekty nasazení mnohojazyčných systémů. Závěr knihy zdůrazňuje otevřený problém strojového porozumění a připomíná dva etické aspekty budování rozsáhlých modelů: inkluzivnost výzkumu a jeho ekologický dopad.


Surprise Language Challenge: Developing a Neural Machine Translation System between Pashto and English in Two Months

Jazyková výzva s překvapením: Vývoj systému neurálního strojového překladu mezi paštštinou a angličtinou za dva měsíce

In the media industry, the focus of global reporting can shift overnight. There is a compelling
need to be able to develop new machine translation systems in a short period of time, in order to more efficiently cover quickly developing stories. As part of the low-resource machine
translation project GoURMET, we selected a surprise language for which a system had to be
built and evaluated in two months (February and March 2021). The language selected was
Pashto, an Indo-Iranian language spoken in Afghanistan, Pakistan and India. In this period we
completed the full pipeline of development of a neural machine translation system: data crawling, cleaning, aligning, creating test sets, developing and testing models, and delivering them
to the user partners. In this paper we describe the rapid data creation process, and experiments
with transfer learning and pretraining for Pashto-English. We find that starting from an existing
large model pre-trained on 50 languages leads to far better BLEU scores than pretraining on
one high-resource language pair with a smaller model. We also present human evaluation of
our systems, which indicates that the resulting systems perform better than a freely available
commercial system when translating from English into Pashto direction, and similarly when
translating from Pashto into English.

V mediálním průmyslu se zaměření globálního zpravodajství může přes noc změnit. Existuje přesvědčivá
potřeba být schopni vyvinout nové systémy strojového překladu v krátkém časovém období, aby bylo možné efektivněji pokrýt rychle se vyvíjející příběhy. Jako součást stroje s nízkými zdroji
překladatelského projektu GOURMET jsme náhodně vybrali jazyk, pro který musel být systém
postaveno a vyhodnoceno za dva měsíce (únor a březen 2021). Vybraný jazyk byl
Paštština, indoíránský jazyk používaný v Afghánistánu, Pákistánu a Indii. V tomto období jsme
dokončili celý proces vývoje systému neuronového strojového překladu: procházení dat, čištění, zarovnání, vytváření testovacích sad, vývoj a testování modelů a jejich poskytování
uživatelským partnerům. V tomto článku popisujeme rychlý proces vytváření dat a experimenty
s transferovým učením a přípravou na paštskou angličtinu. Zjišťujeme, že začínáme od existujícího
velký model předem proškolený na 50 jazycích vede k mnohem lepším výsledkům BLEU než předtrénování na
jeden vysoce zdrojový jazykový pár s menším modelem. Uvádíme také lidské hodnocení
naše systémy, což naznačuje, že výsledné systémy fungují lépe než volně dostupné
komerční systém při překladu z angličtiny do paštštiny a podobně při
překlad z paštštiny do angličtiny.

Alexandra Birch
Barry Haddow
Antonio Valerio Miceli Barone
Jindřich Helcl
Jonas Waldendorf
Felipe Sánchez-Martínez
Mikel L. Forcada
Víctor M. Sánchez-Cartagena
Juan Antonio Pérez-Ortiz
Miquel Esplà-Gomis
Wilker Aziz
Lina Murady
Sevi Sariisik
Peggy van der Kreeft
Kay MacQuarrie


Integrating TEITOK and KonText/PMLTQ at LINDAT

Integrace TEITOK a KonText/PMLTQ na LINDAT

In this paper we describe how the TEITOK corpus platform was integrated with the KonText and PML-TQ corpus platforms at LINDAT to provide document visualization for both existing and future resources at LINDAT. TEITOK is an online platform for searching, viewing, and editing corpora, where corpus files are stored as annotated TEI/XML files. The TEITOK integration also means LINDAT resources will become available in TEI/XML format, and searchable in CWB on top of existing tools at the institute. Although the integration described in this paper is specific for LINDAT, the method should be applicable to the integration of TEITOK or similar tools into an existing corpus architecture.

V tomto příspěvku popisujeme, jak byla korpusová platforma TEITOK integrována s korpusovými platformami KonText a PML-TQ v LINDAT, aby poskytla vizualizaci dokumentů pro stávající i budoucí zdroje v LINDAT. TEITOK je online platforma pro vyhledávání, prohlížení a úpravy korpusů, kde jsou soubory korpusu ukládány jako anotované soubory TEI / XML. Integrace TEITOK také znamená, že zdroje LINDAT budou k dispozici ve formátu TEI / XML a lze je vyhledávat v CWB nad rámec stávajících nástrojů ústavu. Ačkoli integrace popsaná v tomto článku je specifická pro LINDAT, tato metoda by měla být použitelná pro integraci TEITOK nebo podobných nástrojů do existující korpusové architektury.


Deep Universal Dependencies is a collection of treebanks derived semi-automatically from Universal Dependencies. It contains additional deep-syntactic and semantic annotations. Version of Deep UD corresponds to the version of UD it is based on. Note however that some UD treebanks have been omitted from Deep UD.

Deep Universal Dependencies (hluboké univerzální závislosti) je sbírka treebanků poloautomaticky odvozených z Universal Dependencies. Obsahuje přídavné hloubkově-syntaktické a sémantické anotace. Verze Deep UD odpovídá verzi UD, na které je založena. Mějte však na paměti, že některé treebanky UD nebyly do Deep UD zahrnuty.


The GEM Benchmark: Natural Language Generation, its Evaluation and Metrics

Benchmark GEM: Generování přirozeného jazyka, jeho evaluace a metriky

We introduce GEM, a living benchmark for natural language Generation (NLG), its Evaluation, and Metrics. Measuring progress in NLG relies on a constantly evolving ecosystem of automated metrics, datasets, and human evaluation standards. Due to this moving target, new models often still evaluate on divergent anglo-centric corpora with well-established, but flawed, metrics. This disconnect makes it challenging to identify the limitations of current models and opportunities for progress. Addressing this limitation, GEM provides an environment in which models can easily be applied to a wide set of tasks and in which evaluation strategies can be tested. Regular updates to the benchmark will help NLG research become more multilingual and evolve the challenge alongside models. This paper serves as the description of the data for the 2021 shared task at the associated GEM Workshop.

Představujeme GEM, živý benchmark pro generování přirozeného jazyka (NLG), jeho evaluaci a metriky. Měření pokroku v oblasti NLG se opírá o neustále se vyvíjející ekosystém automatizovaných metrik, datových sad a standardů lidské evaluace. Vzhledem k tomuto pohyblivému cíli se nové modely často stále vyhodnocují na odlišných anglocentrických korpusech s dobře zavedenými, ale chybnými metrikami. Tato nesouvislost ztěžuje identifikaci omezení současných modelů a příležitostí k pokroku. GEM toto omezení řeší a poskytuje prostředí, v němž lze modely snadno aplikovat na široký soubor úloh a v němž lze testovat evaluační strategie. Pravidelné aktualizace benchmarku pomohou výzkumu NLG stát se více mnohojazyčným a rozvíjet úlohu spolu s modely. Tento článek slouží jako popis dat pro sdílenou úlohu 2021 na souvisejícím workshopu GEM.

Sebastian Gehrmann
Tosin Adewumi
Karmanya Aggarwal
Pawan Sasanka Ammanamanchi
Aremu Anuoluwapo
Antoine Bosselut
Kyathi Raghavi Chandu
Miruna Clinciu
Dipanjan Das
Kaustubh D. Dhole
Wanyu Du
Esin Durmus
Ondřej Dušek
Chris Emezue
Varun Gangal
Cristina Garbacea
Tatsunori Hashimoto
Yufang Hou
Yacine Yernite
Harsh Jhamtani
Yangfeng Ji
Shailza Jolly
Mihir Kale
Dhruv Kumar
Faisal Ladhak
Aman Madaan
Mounica Maddela
Khyati Mahajan
Saad Mahamood
Bodhisattwa Prasad Majumder
Pedro Henrique Martins
Angelina McMillan-Major
Simon Mille
Emiel van Miltenburg
Moin Nadeem
Shashi Narayan
Vitaly Nikolaev
Rubungo Andre Niyongabo
Salomey Osei
Ankur Parikh
Laura Perez-Beltrachini
Niranjan Ramesh Rao
Vikas Raunak
Juan Diego Rodriguez
Sashank Santhanam
Joao Sedoc
Thibault Sellam
Samira Shaikh
Anastasia Shimorina
Marco Antonio Sobrevilla Cabezudo
Hendrik Strobelt
Nishant Subramani
Wei Xu
Diyi Yang
Akhila Yerukola
Jiawei Zhou


"Getting on the page": The practical accord of material resources in educational interaction

Praktický soulad materiálních prostředků ve vzdělávací interakci

This article explicates the notion of ‘practical accord’, encompassing the routine nonproblematic relationship of material artifacts and textual objects that provides the necessary grounds for further classroom work. Practical accord consists of courses of action that are temporally aligned with structured objects such as series of pages, slides or questions, ordered as a sequence of steps. Grounded in the video-based analysis of a single case, the article argues that such practical accord can be a necessary requirement for an educative activity to take place in an orderly way in the classroom. The analysis focuses on a particular instance of three students working with a shared laptop and a paper worksheet, and losing their grasp of the relationship between the screen and the sheet. The identified practices used to get back ‘on the page’ include the verbal and gestural constitution of the screen and the sheet as two separate objects that are related through instructions provided on the screen, which serves as a link between two independent but interrelated numbering systems used to organise the on-screen material and the questions on the worksheet. The article concludes with a discussion of the notion of practical accord with regard to instructed action and gestalt contextures.

Tento článek vysvětluje pojem „praktický soulad“, zahrnující rutinní neproblematický vztah hmotných artefaktů a textových předmětů, který poskytuje nezbytný základ pro práci ve třídě. Analýza videonahrávky interakce se zaměřuje na konkrétní případ tří studentů, kteří společně pracují se sdíleným notebookem a papírovým pracovním listem.


Rewatching a video clip in classroom work with digital oral history

Opakované sledování videoklipu ve třídě během práce s digitální orální historií

This paper focuses on rewatching sequences in classroom work with digital oral history, i.e., participants conducting a second watching of a video clip that they have already seen. I provide a detailed examination of how the participants initiate rewatching using speech and embodied conduct. They treat the video clip as a structured object containing an already familiar succession of utterances by the narrator. The rewatching sequences are closed when the participants have identified a particular utterance within the video that they can treat as a solution to a previously encountered ambiguity. To do this, they search for the relevant utterances by manipulating the time marker on the screen and stabilize them by pausing the clip. The participants thus exhibit a local temporary competence in rewatching and manipulating video clips as topics and resources in classroom tasks.

Článek se zaměřuje na sekvence opětovného sledování ve školní práci s digitální orální historií, tj. na účastníky provádějící druhé sledování videoklipu, který již jednou viděli. Podrobně zkoumám, jak účastníci zahajují přehrávání pomocí řeči a ztělesněného chování. K videoklipu přistupují jako ke strukturovanému objektu obsahujícímu již známý sled promluv vypravěče. Sekvence opakovaného sledování se uzavřou, když účastníci v rámci videa naleznou konkrétní promluvu, který mohou považovat za řešení dříve zjištěné nejednoznačnosti. K tomu vyhledávají relevantní promluvy manipulací s časovou značkou na obrazovce a stabilizují je zastavením klipu. Účastníci tak vykazují místní dočasnou kompetenci opětovně sledovat videoklipy a manipulovat s nimi jako s relevantními tématy a zdroji při řešení úkolů ve školní třídě.


Discussion after the performance AI: When a Robot Writes a Play

Diskuze po představení AI: Když robot píše hru

What does the robot think about, how does it feel and can it write a play? Snippets from the life of artificial intelligence in its own words. Futuristic Little Prince of the postpandemic era.

Every reprise will be followed by a debate with experts in artificial intelligence and theater makers. The show is not only a testament to the current capabilities of computer technology, but also an engaging vision of the future world inspired by the sci-fi classics.

O čem robot přemýšlí, co cítí a dokáže napsat divadelní hru? Střípky ze života umělé inteligence jejími vlastními slovy. Futuristický Malý princ z doby postpandemické.

Inscenace, po jejíž každé repríze následuje debata s odborníky na umělou inteligenci i divadelními tvůrci, je nejen svědectvím o současných schopnostech počítačových technologií, ale i poutavou vizí budoucího světa inspirující se v klasikách žánru sci-fi.


AI: When a Robot Writes a Play (theatre programme)

AI: Když robot píše hru (divadelní program)

On the occasion of the centenary of Karel Čapek's play R.U.R, the Švanda Theatre prepared a presentation of a unique project THEAITRE that examines whether artificial intelligence can write a play. Within a few months, the computer generated images from the life of a robot that has to face the joys and sorrows of everyday life. And it revealed to us how it perceives basic human issues such as birth, dying, the desire for love, the search for jobs, or aging.

Švandovo divadlo při příležitosti stoletého výročí premiéry hry R.U.R  Karla Čapka uvádí prezentaci unikátního projektu THEAITRE, který zkoumá, zda umělá inteligence dokáže napsat divadelní hru. Během několika měsíců počítač generoval obrazy ze života robota, který musí čelit radostem a strastem každodenního života. A odkryl nám, jak vnímá základní lidské otázky jako je narození, umírání, touha po lásce, hledání pracovních příležitostí, či stárnutí.

Martina Kinská
David Košťák
Ondřej Dušek
Rudolf Rosa


Transferring Word-Formation Networks Between Languages

In this article, we present a proof-of-concept method for creating word-formation networks by transferring information from another language. The proposed algorithm utilizes an existing word-formation network and parallel texts and creates a low-precision and moderate-recall network in a language, for which no manual annotations need to be available. We then extend the coverage of the resulting network by using it to train a machine-learning method and applying the resulting model to a larger lexicon, obtaining a moderate-precision and high-recall result. The approach is evaluated on French, German and Czech against existing word-formation networks in those languages.

V tomto článku představujeme metodu pro vytváření slovotvorných sítí pomocí přenosu informací z jiného jazyka. Navrhovaný algoritmus využívá existující slovotvornou síť a paralelní texty a vytváří síť s nízkou precision a středním recallem v jazyce, pro který nemusí být k dispozici manuální anotace. Recall výsledné sítě pak rozšířujeme tím, že ji využijeme k natrénování metody strojového učení a výsledný model aplikujeme na větší slovník, čímž získáme výsledek s obdobnou precision, ale vyšším recallem. Přístup je vyhodnocován proti existujícím slovotvorným sítím ve francouzštině, němčině a češtině.