The Czech RST Discourse Treebank 1.0 (CzRST-DT 1.0) is a dataset of 54 Czech journalistic texts manually annotated using the Rhetorical Structure Theory (RST). Each text document in the treebank is represented as a single tree-like structure, the nodes (discourse units) are interconnected through hierarchical rhetorical relations.

Czech RST Discourse Treebank 1.0 (CzRST-DT 1.0) je soubor 54 českých publicistických textů ručně anotovaných v rámci Reorie rétorické struktury (RST). Každý dokument v treebanku je reprezentován jako jediná spojitá stromová struktura, uzly (jednotky diskurzu) jsou vzájemně propojeny hierarchickými rétorickými vztahy.

Lucie Poláková
Šárka Zikánová
Jiří Mírovský
Eva Hajičová


Boosting Unsupervised Machine Translation with Pseudo-Parallel Data

Vylepšení nesupervizovaného strojového překladu pomocí pseudoparalelních dat

Even with the latest developments in deep learning and large-scale language modeling, the task of machine translation (MT) of low-resource languages remains a challenge.  Neural MT systems can be trained in an unsupervised way without any translation resources but the quality lags behind, especially in truly low-resource conditions. We propose a training strategy that relies on pseudo-parallel sentence pairs mined from monolingual corpora in addition to synthetic sentence pairs back-translated from monolingual corpora. We experiment with different training schedules and reach an improvement of up to 14.5 BLEU points (English to Ukrainian) over a baseline trained on back-translated data only.

I přes nejnovější pokroky v hlubokém učení a trénování velkých jazykových modelech, strojového překlad z nízkozdrojových jazyků zůstává výzvou. Systémy neuronového strojového překladu lze trénovat nesupervizovaně, aniž by byly k dispozici jakékoli překladové zdroje, ale kvalita překladu není dostačující, zejména v podmínkách skutečně nízkozdrojových jazyků. Navrhujeme trénovací strategii, která spočívá v použití pseudoparalelních větných dvojic nalezených v monolingválních korpusech. Provádíme experimenty s různými tréninkovými plány a dosahujeme zlepšení až o 14,5 bodů BLEU (z angličtiny do ukrajinštiny) oproti základnímu modelu trénovanému pouze na zpětně přeložených datech.


Low-Resource Machine Translation Systems for Indic Languages

Nízkozdrojové systémy strojového překladu pro indické jazyky

We present the submission of the CUNI team to the WMT23 shared task in translation between English and Assamese, Khasi, Mizo, and Manipuri. All our systems were pretrained on the task of multilingual masked language modelling and denoising auto-encoding. Our primary systems for translation into English were further pretrained for multilingual MT in all four language directions and fine-tuned on the limited parallel data available for each language pair separately. We used online back-translation for data augmentation. The same systems were submitted as contrastive for translation out of English where the multilingual MT pretraining step seemed to harm the translation performance. Other contrastive systems used additional pseudo-parallel data mined from monolingual corpora.

Představujeme příspěvek týmu CUNI do soutěžní úlohy WMT23 v překladu mezi angličtinou a asámštinou, khásíjštinou, mizo a manipurštinou. Všechny naše systémy byly předtrénovány na úkolu multilingválního modelování jazyka a odstraňování šumu. Naše primární systémy pro překlad do angličtiny byly dále předtrénovány pro vícejazyčný strojový překlad ve všech čtyřech směrech a doladěny na omezeném množství paralelních dat dostupných pro každý jazykový pár zvlášť. Pro zvýšení množství trénovacích dat jsme použili zpětný překlad (back-translation). Stejné systémy byly odeslány jako kontrastní pro překlad z angličtiny, kde se zdálo, že krok předtrénování vícejazyčného strojového překladu škodí. Ostatní kontrastní systémy využívaly navíc pseudoparalelní data získaná z monolingválních korpusů.


Mind the Labels: Describing Relations in Knowledge Graphs With Pretrained Models

Na popiscích záleží: Popisování relací ve znalostních grafech pomocí předtrénovaných modelů

Pretrained language models (PLMs) for data-to-text (D2T) generation can use human-readable data labels such as column headings, keys, or relation names to generalize to out-of-domain examples. However, the models are well-known in producing semantically inaccurate outputs if these labels are ambiguous or incomplete, which is often the case in D2T datasets. In this paper, we expose this issue on the task of descibing a relation between two entities. For our experiments, we collect a novel dataset for verbalizing a diverse set of 1,522 unique relations from three large-scale knowledge graphs (Wikidata, DBPedia, YAGO). We find that although PLMs for D2T generation expectedly fail on unclear cases, models trained with a large variety of relation labels are surprisingly robust in verbalizing novel, unseen relations. We argue that using data with a diverse set of clear and meaningful labels is key to training D2T generation systems capable of generalizing to novel domains.

Předtrénované jazykové modely pro generování textu z dat mohou pro zobecnění na příklady z jiných domén používat lidsky čitelné popisky dat, jako jsou záhlaví sloupců, klíče nebo názvy relací. Je však známo, že tyto modely vytvářejí sémanticky nepřesné výstupy, pokud jsou tyto popisky nejednoznačné nebo neúplné, což je častý případ datových sad pro generování textu z dat. V tomto článku tento problém odhalujeme na úloze popisu vztahu mezi dvěma entitami. Pro naše experimenty shromažďujeme novou datovou sadu pro verbalizaci 1 522 unikátních vztahů ze tří rozsáhlých znalostních grafů (Wikidata, DBPedia, YAGO). Zjistili jsme, že ačkoli PLM pro generování D2T očekávaně selhávají v nejasných případech, modely natrénované s velkým množstvím značek vztahů jsou překvapivě robustní při verbalizaci nových, neznámých vztahů. Tvrdíme, že používání dat s různorodou sadou jasných a smysluplných štítků je klíčem k trénování systémů pro generování textu z dat, které jsou schopny generalizovat na nové domény.

Zdeněk Kasner
Ioannis Konstas
Ondřej Dušek


TabGenie: A Toolkit for Table-to-Text Generation

TabGenie: Sada nástrojů pro generování textu z tabulek

Heterogenity of data-to-text generation datasets limits the research on data-to-text generation systems. We present TabGenie - a toolkit which enables researchers to explore, preprocess, and analyze a variety of data-to-text generation datasets through the unified framework of table-to-text generation. In TabGenie, all inputs are represented as tables with associated metadata. The tables can be explored through a web interface, which also provides an interactive mode for debugging table-to-text generation, facilitates side-by-side comparison of generated system outputs, and allows easy exports for manual analysis. Furthermore, TabGenie is equipped with command line processing tools and Python bindings for unified dataset loading and processing. We release TabGenie as a PyPI package and provide its open-source code and a live demo at https://github.com/kasnerz/tabgenie.

Heterogenita souborů dat pro generování dat na text omezuje výzkum systémů pro generování dat na text. Představujeme TabGenie - sadu nástrojů, která umožňuje výzkumníkům zkoumat, předzpracovávat a analyzovat různé datové sady pro generování dat na text prostřednictvím jednotného rámce generování dat z tabulky na text. V TabGenie jsou všechny vstupy reprezentovány jako tabulky s přidruženými metadaty. Tabulky lze zkoumat prostřednictvím webového rozhraní, které rovněž poskytuje interaktivní režim pro ladění generování tabulky na text, usnadňuje vzájemné porovnávání výstupů generovaného systému a umožňuje snadný export pro manuální analýzu. TabGenie je navíc vybaven nástroji pro zpracování z příkazového řádku a vazbami na Python pro jednotné načítání a zpracování datových sad. TabGenie uvolňujeme jako balíček PyPI a poskytujeme jeho kód s otevřeným zdrojovým kódem a živou ukázku na adrese https://github.com/kasnerz/tabgenie.

Zdeněk Kasner
Ekaterina Garanina
Ondřej Plátek
Ondřej Dušek


Critic-Driven Decoding for Mitigating Hallucinations in Data-to-text Generation

Dekódování řízené kritiky pro zmírnění halucinací při generování dat do textu

Hallucination of text ungrounded in the input is a well-known problem in neural data-to-text generation. Many methods have been proposed to mitigate it, but they typically require altering model architecture or collecting additional data, and thus cannot be easily applied to an existing model. In this paper, we explore a new way to mitigate hallucinations by combining the probabilistic output of a generator language model (LM) with the output of a special “text critic” classifier, which guides the generation by assessing the match between the input data and the text generated so far. Our method does not need any changes to the underlying LM’s architecture or training procedure and can thus be combined with any model and decoding operating on word probabilities. The critic does not need any additional training data, using the base LM’s training data and synthetic negative examples. Our experimental results show that our method improves over the baseline on the WebNLG and OpenDialKG benchmarks

Halucinace textu, který není podložen vstupem, je dobře známým problémem při neuronovém generování textu z dat. Bylo navrženo mnoho metod k jeho zmírnění, ale obvykle vyžadují změnu architektury modelu nebo sběr dalších dat, a proto je nelze snadno aplikovat na stávající model. V tomto článku zkoumáme nový způsob zmírnění halucinací kombinací pravděpodobnostního výstupu generativního jazykového modelu (LM) s výstupem speciálního klasifikátoru "textového kritika", který řídí generování na základě posouzení shody mezi vstupními daty a dosud vygenerovaným textem. Naše metoda nepotřebuje žádné změny v architektuře základního LM ani v trénovacím postupu, a lze ji tedy kombinovat s jakýmkoli modelem a dekódováním pracujícím s pravděpodobnostmi slov. Kritik nepotřebuje žádná další trénovací data, používá trénovací data základního LM a syntetické negativní příklady. Naše experimentální výsledky ukazují, že naše metoda je lepší než baseline na benchmarcích WebNLG a OpenDialKG.


CUNI Submission to MRL 2023 Shared Task on Multi-lingual Multi-task Information Retrieval

Systém Univerzity Karlovy pro MRL 2023 Shared Task on Multi-lingual Multi-task Information Retrieval

We present the Charles University system for the MRL 2023 Shared Task on Multi-lingual Multi-task Information Retrieval.

The goal of the shared task was to develop systems for named entity recognition and question answering in several under-represented languages.

Our solutions to both subtasks rely on the translate-test approach.

We first translate the unlabeled examples into English using a multilingual machine translation model.

Then, we run inference on the translated data using a strong task-specific model.

Finally, we project the labeled data back into the original language.

To keep the inferred tags on the correct positions in the original language, we propose a method based on scoring the candidate positions using a label-sensitive translation model.

In both settings, we experiment with finetuning the classification models on the translated data.

However, due to a domain mismatch between the development data and the shared task validation and test sets, the finetuned models could not outperform our baselines.

Představujeme systém Univerzity Karlovy pro MRL 2023 Shared Task on Multi-lingual Multi-task Information Retrieval.

Cílem sdíleného úkolu bylo vyvinout systémy pro rozpoznávání pojmenovaných entit a odpovídání na otázky v několika málo zastoupených jazycích.

Naše řešení obou dílčích úkolů spočívají v překladu testovacích dat.

Nejprve automaticky přeložíme nezpracovaná data do angličtiny vícejazyčným modelem.

Poté použijeme silný, pro danou úlohu specifický model trénovaný na Angličtině.

Nakonec promítneme klasifikovaná data zpět do původního jazyka.

Abychom uchovali odvozené značky na správných pozicích v původním jazyce, navrhujeme metodu založenou na hodnocení kandidátských pozic pomocí modelu překladu citlivého na označení.

V obou nastaveních experimentujeme s doladěním klasifikačních modelů na přeložených datech.

Kvůli nesouladu domény mezi vývojovými daty a sdílenými sadami ověřování úloh a testů však vyladěné modely nepřekonaly výsledky našich základních experimentů.


Is a Prestigious Job the same as a Prestigious Country? A Case Study on Multilingual Sentence Embeddings and European Countries

Je prestižní zaměstnání to samé jako prestižní země? Případová studie vícejazyčných větných embedingů a evropských zemí

We study how multilingual sentence representations capture European countries and occupations and how this differs across European languages. We prompt the models with templated sentences that we machine-translate into 12 European languages and analyze the most prominent dimensions in the embeddings. Our analysis reveals that the most prominent feature in the embedding is the geopolitical distinction between Eastern and Western Europe and the country's economic strength in terms of GDP. When prompted specifically for job prestige, the embedding space clearly distinguishes high and low-prestige jobs. The occupational dimension is uncorrelated with the most dominant country dimensions in three out of four studied models. The exception is a small distilled model that exhibits a connection between occupational prestige and country of origin, which is a potential source of nationality-based discrimination. Our findings are consistent across languages.

Zkoumáme, jak vícejazyčné reprezentace vět zachycují evropské země a povolání a jak se to liší v jednotlivých evropských jazycích. Promptujeme modely pomocí šablonovitých vět, které strojově překládáme do 12 evropských jazyků, a analyzujeme nejvýraznější dimenze v reprezentacích. Naše analýza ukazuje, že nejvýraznějším rysem v embeddingu je geopolitické rozlišení mezi východní a západní Evropou a ekonomická síla země z hlediska HDP. Při dotazování konkrétně na prestiž zaměstnání, reprezentace jasně rozlišují zaměstnání s vysokou a nízkou prestiží. Dimenze povolání nekoreluje s nejdominantnějšími dimenzemi zemí ve třech ze čtyř zkoumaných modelů. Výjimkou je malý destilovaný model, který vykazuje souvislost mezi prestiží povolání a zemí původu, což je potenciální zdroj diskriminace na základě národnosti. Naše zjištění jsou konzistentní napříč jazyky.


Large Language Models: Second Paradigm Change in Multilingual NLP within five years?

Velké jazykové modely: Druhá změna paradigmatu v mezijazykovém NLP za posledních 5 let?

Less than five years after the invention of masked language modeling changed the mainstream methodology natural language processing (NLP), we are experiencing another paradigm change. Large generative language models (LLMs) with prompt engineering and in-context learning drastically reduce the amount of labeled data needed for NLP and change how we formulate tasks. In monolingual setups, many of the tricks from the previous time work well with LLMs, however, in cross-lingual tasks, it does not seem to be the case. In this talk, we will discuss this unusual situation and speculate what it means for not only our future research.

Necelých pět let poté, co vynález maskovaného modelování jazyka změnil hlavní proud zpracování přirozeného jazyka (NLP), zažíváme další změnu paradigmatu. Velké generativní jazykové modely (LLM) s prompt engineeringem a učením v kontextu drasticky snižují množství anotovaných dat potřebných pro NLP a mění způsob, jakým formulujeme úlohy. Pro jednojazyčné ulohy funguje mnoho triků z dřívější doby dobře, nicméně v mezijazykových úlohách tomu tak není. V této přednášce budeme diskutovat o této neobvyklé situaci a spekulovat, co to znamená nejen pro náš budoucí výzkum.


Moral Values in Language Models across Langauges

Morální hodnoty v jazykových modelech napříč jazyky

The talk introduced the basic typology of language models in the first part. The second part summarized our study "Speaking Multiple Languages Affects the Moral Bias of Language Models" published in Findings of ACL this year.

Přednáška v první části popsala základní typologii jazykových modelů. V druhé části popisovala naši studii "Speaking Multiple Languages Affects the Moral Bias of Language Models", která vyšla ve Findings of ACL v tomto roce.


Neural Language Models: Is this the Artificial Intelligence?

Neuronové jazykové modely: To už je ta umělá inteligence?

A talk summarizing the basics of large language models and their recent development.

Přednáška shrnující fungování velkých jazykových modelů a jejich nedávný vývoj.


From machine learning to language models

The talk introduced basic machine learning concepts and how we got from basic machine learning to large language models.

Přednáška představila základní koncepty strojového učení a jak se od nich dospělo k velkým jazykovým modelů.


Why do the big language models know Czech, Slovak, German... even though nobody teaches them?

Proč umí velké jazykové modely česky, slovensky, německy..., i když je to pořádně nikdo neučí?

The lecture introduced the basic concepts of large language models. The next part discussed where the models' multilingual capabilities come from and how well the models work across languages.

Přednáška představila základní koncepty velkých jazykových modelů. V další části se věnovala tomu, kde se berou vícejazyčné schopnosti modelů a jak dobře fungují modely napříč jazyky.


Large language models: What does large and language mean here?

Velké jazykové modely: Co znamená velké a co jazykové?

The talk introduced large language models: their training and application, and related research conducted at ÚFAL MFF UK.

Přednáška představila velké jazykové modely: metody trénování, jejich využí a s nimi související výzkum na ÚFAL MFF UK.


Panel diskussion: Large language models in Czech and Slovak

Panelová diskuse: Velké jazykomodely české a slovenské

The panel discussion focused on the functioning of the current major language models for Czech and Slovak. The panelists were, besides Jindřich Libovický from ÚFAL MFF UK, also representatives of Czech and Slovak companies (Seznam.cz, Gerulata Technologies, Mediaboard), who shared with the audience their experiences with Czech and Slovak language models.

Panelová diskuse se věnovala fungování současných velkých jazykových modelů pro češtinu a slovenštinu. Panelisté byli kromě Jindřich Libovického z ÚFAL MFF UK také zástupci českých a slovenských firem (Seznam.cz, Gerulata Technologies, Mediaboard), kteří sdíleli s posluchači svoje zkušenosti s češtinou a slovenštinou v jazykovéch modelech.

Jindřich Libovický
Jakub Náplava
Petr Šimeček
Filip Uhlárik


Morphological complexity of verbs across the frequency spectrum in Czech, English, German and Spanish

Morfologická komplexita sloves napříč frekvenčním spektrem v češtine, angličtině, němčině a španělštině

In this paper, we use corpus data and data from lexical resources to examine the relationship between the complexity of verbs’ morphological structure and their frequency in four different languages. The analysis shows that morphological complexity is not evenly distributed across the frequency spectrum and its distribution is dependent on the language and its morphological characteristics.
Morphological complexity has been a focus of research in typology (Stump 2017, Berdicevskis et al. 2018, Çöltekin & Rama 2022) using measures based mainly on inflectional morphology (e.g., mean size of paradigm, morphological feature entropy). In contrast, we focus on the complexity of basic forms in the lexicon – whether they contain only the root (and possibly inflectonal affixes), or also derivatonal affixes and/or multiple roots. With decreasing token frequency, the complexity of the verbs’ morphematic structure and the number of verbs sharing the same root is expected to grow.
We analyze the verbal lexicon in Czech, English, German and Spanish. As data for the analysis, we use verb lists extracted from corpora (Čermák et al. 2000, BNC Consortium 2007, Geyken 2007, Real Academia Española 2014) which, despite some language-specific decisions in lemmatization and tagging, are comparable in size (1000 million) and genre composition.

V tomto příspěvku využíváme korpusová data a data z lexikálních zdrojů ke zkoumání vztahu mezi složitostí morfematické struktury sloves a jejich frekvencí ve čtyřech různých jazycích. Analýza ukazuje, že morfologická složitost není rovnoměrně rozložena v celém frekvenčním spektru a její rozložení závisí na jazyce a jeho morfologických charakteristikách.
Morfologická komplexita byla předmětem výzkumu v typologii (Stump 2017, Berdicevskis et al. 2018, Çöltekin & Rama 2022), přičemž byly používány míry založené především na flektivní morfologii (např. průměrná velikost paradigmatu, entropie morfologických rysů). My se naopak zaměřujeme na komplexnost základních forem sloves ve slovní zásobě - zda obsahují pouze kořen (a případně flektivní afixy), nebo také derivační afixy a/nebo více kořenů. S klesající frekvencí tokenů se očekává, že složitost morfematické struktury sloves a počet sloves sdílejících stejný kořen poroste.
Analyzujeme slovesné lexikum v češtině, angličtině, němčině a španělštině. Jako data pro analýzu používáme seznamy sloves získané z korpusů (Čermák et al. 2000, BNC Consortium 2007, Geyken 2007, Real Academia Española 2014), které jsou i přes některá jazykově specifická rozhodnutí při lemmatizaci a tagování srovnatelné co do velikosti (1000 milionů) i žánrového složení.


Barriers and enabling factors for error analysis in NLG research

Překážky a podpůrné faktory pro analýzu chyb ve výzkumu NLG

Earlier research has shown that few studies in Natural Language Generation (NLG) evaluate their system outputs using an error analysis, despite known limitations of automatic evaluation metrics and human ratings. This position paper takes the stance that error analyses should be encouraged, and discusses several ways to do so. This paper is not just based on our shared experience as authors, but we also distributed a survey as a means of public consultation. We provide an overview of existing barriers to carry out error analyses, and proposes changes to improve error reporting in the NLG literature.

Dřívější výzkum ukázal, že jen málo studií v oblasti generování přirozeného jazyka (Natural Language Generation - NLG) hodnotí výstupy svých systémů pomocí analýzy chyb, a to navzdory známým omezením automatických hodnotících metrik a lidských hodnocení. Tento poziční článek zastává stanovisko, že analýzu chyb je třeba podporovat, a diskutuje několik způsobů, jak toho dosáhnout. Tento článek není založen pouze na našich společných zkušenostech jako autorů, ale také jsme rozeslali průzkum jako prostředek veřejné konzultace. Poskytujeme přehled stávajících překážek pro provádění chybových analýz a navrhujeme změny ke zlepšení reportování chyb v literatuře NLG.

Emiel van Miltenburg
Miruna Clinciu
Ondřej Dušek
Dimitra Gkatzia
Stephanie Inglis
Leo Leppänen
Saad Mahamood
Stephanie Schoch
Craig Thomson
Luou Wen


The Role of Compounds in Human vs. Machine Translation Quality

Role složenin v kvalitě lidského a strojového překladu

We focus on the production of German compounds in English-to-German manual and automatic translation. On the example of WMT21 news translation test set, we observe that even the best MT systems produce much fewer compounds compared to three independent manual translations. Despite this striking difference, we observe that this insufficiency is not apparent in manual evaluation methods that target the overall translation quality (DA and MQM). Simple automatic methods like BLEU somewhat surprisingly provide a better indication of this quality aspect. Our manual analysis of system outputs, including our freshly trained Transformer models, confirms that current deep neural systems operating at the level of subword units are capable of constructing novel words, including novel compounds. This effect however cannot be measured using static dictionaries of compounds such as GermaNet. German compounds thus pose an interesting challenge for future development of MT systems.

Zaměřujeme se na tvorbu německých složenin v ručním a automatickém překladu z angličtiny do němčiny. Na příkladu testovací sady pro překlad zpráv WMT21 pozorujeme, že i nejlepší MT systémy produkují mnohem méně složenin ve srovnání se třemi nezávislými ručními překlady. Navzdory tomuto markantnímu rozdílu pozorujeme, že tato nedostatečnost není patrná u metod manuálního hodnocení, které se zaměřují na celkovou kvalitu překladu (DA a MQM). Jednoduché automatické metody, jako je BLEU, poněkud překvapivě poskytují lepší ukazatel tohoto aspektu kvality. Naše manuální analýza výstupů systému, včetně čerstvě natrénovaného modelu, potvrzuje, že současné hluboké neuronové systémy pracující na úrovni dílčích slovních jednotek jsou schopny konstruovat nová slova, včetně nových složenin. Tento efekt však nelze měřit pomocí statických slovníků složenin, jako je GermaNet. Německé složeniny tak představují zajímavou výzvu pro budoucí vývoj MT systémů.


Workflow and Metadata Challenges in the ParlaMint Project: Insights from Building the ParlaMint-UA Corpus

Workflow a metadata výzvy v projektu parlamint: nahlédnutí na tvorbu korpusu ParlaMint-UA

The speeches in ParlaMint corpora of parliamentary proceedings are marked by their speaker,
and the speakers are then paired with various metadata, also with their time-delimited affiliations with political parties or parliamentary groups. These are stored separately, and are also
associated with further information. This paper discusses the addition of metadata on political
parties and parliamentary groups, encoding their political position on various issues, in particular their categorisation on the left-to-right political spectrum. The paper explains our sources for
this information, the process of data collection, and its encoding in the corpora. This additional
metadata should be of interest to parliamentary data research, while the methodology developed
could be used to add further metadata to the ParlaMint corpora.

Projevy v korpusu ParlaMint parlamentních jednání jsou označeny jejich mluvčím a mluvčí jsou pak spárováni s různými metadaty, také s jejich časově ohraničenou příslušností k politickým stranám nebo parlamentním skupinám. Ta jsou uložena odděleně a jsou také
spojena s dalšími informacemi. Tato práce pojednává o doplnění metadat o politických stranách a parlamentních skupinách, kódování jejich politického postoje k různým otázkám, zejména jejich kategorizaci na levo-pravém politickém spektru. Práce vysvětluje naše zdroje pro tyto informace, proces sběru dat a jejich kódování v korpusu. Tato dodatečná metadata by měla být zajímavá pro parlamentní výzkum dat, zatímco vyvinutá metodika
by mohla být použita pro doplnění dalších metadat do korpusu ParlaMint.


Překladač Charles Translator for Ukraine

The lecture will present the Czech-Ukrainian translation service Charles Translator for Ukraine developed within two weeks in March 2022.

Přednáška představí česko-ukrajinský překladač Charles Translator for Ukraine vyvinutý během dvou týdnů v březnu 2022.


The Functional Relevance of Probed Information: A Case Study

Recent studies have shown that transformer models like BERT rely on number information encoded in their representations of sentences’ subjects and head verbs when performing subject-verb agreement. However, probing experiments suggest that subject number is also encoded in the representations of all words in such sentences. In this paper, we use causal interventions to show that BERT only uses the subject plurality information encoded in its representations of the subject and words that agree with it in number. We also demonstrate that current probing metrics are unable to determine which words’ representations contain functionally relevant information. This both provides a revised view of subject-verb agreement in language models, and suggests potential pitfalls for current probe usage and evaluation.

Nedávné studie ukázaly, že modely transformátorů, jako je BERT, spoléhají na číselné informace zakódované v jejich reprezentacích předmětů vět a hlavových sloves při provádění shody předmět-sloveso. Nicméně, sondovací experimenty naznačují, že číslo předmětu je také zakódováno v reprezentacích všech slov v takových větách. V tomto článku používáme kauzální intervence, abychom ukázali, že BERT používá pouze informace o pluralitě předmětu zakódované ve svých reprezentacích předmětu a slov, která s ním v počtu souhlasí. Ukazujeme také, že současné měřicí metriky nejsou schopny určit, která reprezentace slov obsahuje funkčně relevantní informace. To poskytuje revidovaný pohled na shodu předmětu a slovesa v jazykových modelech a naznačuje potenciální úskalí pro současné použití a hodnocení sond.

Michael Hanna
Roberto Zamparelli
David Mareček


Learning capabilities in Transformer Neural Networks

Schopnosti učení v transformerových neuronových sítích

Although the contemporary neural networks, inspired by biological neurons, were able to reach human-like performance on many tasks in recent years, their optimization (learning) process is still very far from the one observed in humans.
This thesis investigates various aspects of learning in the current state-of-the-art Transformer neural networks, the dominant architecture in the current neural language processing.
Firstly, we measure the level of generalization in Transformers using several probing experiments based on the idea of adversarial evaluation. Secondly, we explore their potential for incremental learning when combined with regularization using the elastic weight consolidation approach.
Lastly, we propose a modular extension of the existing Transformer architecture enabling subnetwork selection conditioned on the intermediate hidden layer outputs and analyze the attributes of this network modularization.
We investigate our hypotheses mainly within the scope of neural machine translation and multilingual translation showing the limitations of the original Transformer and the elastic weights consolidation regularization while presenting promising results of the novel modular Transformer architecture.

Přestože současné neuronové sítě, inspirované biologickými neurony, byly v posledních letech schopny dosáhnout lidské úrovně na mnoha úlohách, proces jejich optimalizace (učení) je stále velmi odlišný od procesů pozorovaných u lidí.
Tato práce zkoumá různé aspekty učení současných neuronových sítí Transformer, převládající architektury pro zpracování přirozeného jazyka. V první části zkoumáme úroveň generalizace v Transformerech pomocí analytických experimentů založených na myšlence adversariální evaluace.
V části druhé pak zkoumáme jejich potenciál pro kontinuální učení s použitím regularizace založené na elastické konsolidaci vah.
V závěru práce navrhujeme modulární rozšíření stávající sítě Transformer umožňující výběr podsítí podmíněný zpracovaným vstupem spolu s demonstrací vlastností této síťové modularizace.
Naše hypotézy testujeme především v kontextu neuronového strojového překladu a vícejazyčného překladu, přičemž naměřené výsledky odhalují limity původního Transformeru i metody regularizace pomocí elastické konsolidace vah.
Navíc prezentujeme slibné výsledky navržené modulární architektury Transformeru.


Semantic Accuracy in Natural Language Generation

Sémantická přesnost při generování přirozeného jazyka

A presentation for incoming Master's students in the LCT program. In the first part, I introduced selected interesting research projects at the Institute of Formal and Applied Linguistics. In the second part I presented my research in the area of semantic accuracy in natural language generation.

Prezentace pro nastupující studenty magisterského programu LCT. V první části prezentace jsem uvedla vybrané zajímavé výzkumní projekty na ÚFAL MFF. V druhé části jsem představila svůj výzkum v oblasti sémantické přesnosti při generování přirozeného jazyka.


Semantic Accuracy in Natural Language Generation: A Thesis Proposal

Sémantická přesnost při generování přirozeného jazyka: teze disertace

With the fast-growing popularity of current
large pre-trained language models (LLMs), it
is necessary to dedicate efforts to making them
more reliable. In this thesis proposal, we aim
to improve the reliability of natural language
generation systems (NLG) by researching the
semantic accuracy of their outputs. We look at
this problem from the outside (evaluation) and
from the inside (interpretability). We propose
a novel method for evaluating semantic accuracy and discuss the importance of working
towards a unified and objective benchmark for
NLG metrics. We also review interpretability
approaches which could help us pinpoint the
sources of inaccuracies within the models and
explore potential mitigation strategies.

S rychle rostoucí popularitou současných velkých předtrénovaných jazykových modelů (LLM) je
nutné věnovat úsilí tomu, aby byly
spolehlivější. V tomto návrhu disertační práce si klademe za cíl zlepšit spolehlivost systémů generování přirozeného jazyka (NLG) zkoumáním
sémantické přesnosti jejich výstupů. Na
tento problém se díváme zvenčí (evaluace) a
zevnitř (interpretabilita). Navrhujeme
novou metodu pro hodnocení sémantické přesnosti a diskutujeme o důležitosti výzkumu směřujícímu k jednotnému a objektivnímu srovnávání automatických NLG metrik. Také přezkoumáváme přístupy z interpretability, které by nám mohly pomoci určit
zdroje nepřesností v rámci modelů a
prozkoumat možné strategie pro zmírnění těchto nepřesností.


Semantic Textual Similarity: An NLP-focused comprehensive Survey

Semantics is a central concept to natural language understanding.
A qualitative measure to perceive language semantics is to measure the similarity between texts. Semantic Textual Similarity finds applications in almost
all major areas of Natural Language Processing (NLP) including textual entailment, summarization, machine translation, etc. Despite major progress in
the recent years, especially with the intrusion of deep learning in NLP, mea-
suring semantic textual similarity, especially for longer texts, is still a chal-
lenging and open research problem. The ambiguous nature of language makes
semantic similarity more challenging and difficult to model. It is trivial to
produce examples of sentence pairs which are superficially similar but bear a
very different meaning and vice-versa. To address this problem, several type
of methods have been proposed over the years which span from traditional
knowledge-based methods to recent ones relying on deep neural networks and
large volumes of that data. Here in this work, we present a comprehensive sys-
tematic review of the various semantic similarity techniques. We emphasize the
various paradigms of semantic similarity measurement and resources available
to aid further research on this crucial topic. Our systematic literature review
would aid the reader to know about the evolution of semantic similarity techniques, the latest state-of-the-art methods, datasets to work-upon, challenges
and hence identify the research gaps.

Muskaan Singh
Tirthankar Ghosal
Ondřej Bojar


The Unbearable Lightness of Morph Classification

In light of the recent push for the creation and unification of large morphologically annotated resources, there is a call for (preferably language-independent, low-resource) methods of morph classification. This paper reports on a pilot experiment on morph classification of the Czech language. We have performed two experiments - root morph recognition and complete morph classification. By exploiting simple quantitative methods and - in some cases - available Czech morphological resources, we have achieved morph-level precision of respectively 96.7 % and 88.3 %.

V souvislosti s nově vznikajícími morfologicky anotovanými datovými zdroji vzniká poptávka po metodách (ideálně jazykově nezávislých a nenáročných na trénovací data) schopných klasifikovat morfy. V tomto článku shrnujeme experiment s klasifikací českých morfů. Experiment byl realizován ve dvou verzích, rozpoznávání pouze kořenových morfů a kompletní klasifikace. Dosažená úspěšnost na úrovni morfů byla 96,7 %, respektive 88,3 %.


Identification of root morphs in morphologically segmented data

Rozpoznávání kořenových morfů v morfologicky segmentovaných datech

As a result of the ongoing push for unification, extension and integration of morphological resources, need arises for reliable low-resource morph classification, especially root identification. The paper reports on our experiments with multiple root identification methods with various degrees of supervision, tested on several Indo-European languages, showing, among others, that given morphological segmentation, surprisingly good root identification can be achieved using simple unsupervised statistical methods, the main bottlenecks being compounding and homomorphy resolution.

V rámci standardizace a rozšiřování datových zdrojů pro morfologii vzniká potřeba spolehlivých metod pro klasifikaci morfů, zejména pro rozpoznávání kořenů. Článek shrnuji naše experimenty s různými metodami, s různým stupněm supervize. Vyhodnocení jsme provedli na několika indoevropských jazycích. Mimo jiné se ukázalo, že k překvapivě dobrým výsledkům vedou neřízené statistické metody. Problematickými tématy při rozpoznávání kořenových morfů zůstává skládání slov a homomorfie.

Vojtěch John
Magda Ševčíková
Zdeněk Žabokrtský


Proceedings of the 23rd Annual Meeting of the Special Interest Group on Discourse and Dialogue

Sborník příspěvků z 23. výročního zasedání Zvláštní zájmové skupiny pro diskurz a dialog

The SIGDIAL conference is a premier publication venue for research in discourse and dialogue. This year the conference is organized as a hybrid event with both in-person and remote participation on September 7-9, 2022, at Heriot-Watt University, Edinburgh, Scotland, and is hosted by the Interaction Lab and the National Robotarium.

Konference SIGDIAL je předním publikačním fórem pro výzkum diskurzu a dialogu. Letos je konference pořádána jako hybridní akce s osobní i vzdálenou účastí ve dnech 7.-9. září 2022 na Heriot-Watt University ve skotském Edinburghu a hostí ji Interaction Lab a National Robotarium.

Oliver Lemon
Dilek Hakkani-Tur
Junyi Jessy Li
Arash Ashrafzadeh
Daniel Hernández Garcia
Malihe Alikhani
David Vandyke
Ondřej Dušek


Novelty Detection: A Perspective from Natural Language Processing

Detekce novosti: Pohled ze strany zpracování přiřozeného jazyka

The quest for new information is an inborn human trait and has always been quintessential for human survival and progress. Novelty drives curiosity, which in turn drives innovation. In Natural Language Processing (NLP), Novelty Detection refers to finding text that has some new information to offer with respect to whatever is earlier seen or known. With the exponential growth of information all across the Web, there is an accompanying menace of redundancy. A considerable portion of the Web contents are duplicates, and we need efficient mechanisms to retain new information and filter out redundant information. However, detecting redundancy at the semantic level and identifying novel text is not straightforward because the text may have less lexical overlap yet convey the same information. On top of that, non-novel/redundant information in a document may have assimilated from multiple source documents, not just one. The problem surmounts when the subject of the discourse is documents, and numerous prior documents need to be processed to ascertain the novelty/non-novelty of the current one in concern. In this work, we build upon our earlier investigations for document-level novelty detection and present a comprehensive account of our efforts toward the problem. We explore the role of pre-trained Textual Entailment (TE) models to deal with multiple source contexts and present the outcome of our current investigations. We argue that a multipremise entailment task is one close approximation toward identifying semantic-level non-novelty. Our recent approach either performs comparably or achieves significant improvement over the latest reported results on several datasets and across several related tasks (paraphrasing, plagiarism, rewrite). We critically analyze our performance with respect to the existing state of the art and show the superiority and promise of our approach for future investigations. We also present our enhanced dataset TAP-DLND 2.0 and several baselines to the community for further research on document-level novelty detection.

Článek kriticky analyzuje současné metody detekce novosti a propaguje metodu textového vyplývání zahrnující více premis.

Tirthankar Ghosal
Tanik Saikh
Tameesh Biswas
Asif Ekbal
Pushpak Bhattacharyya


Semi-supervised learning in Optical Music Recognition

Automatické rozpoznávání notových zápisů s využitím neanotovaných dat

Optical music recognition (OMR) is a niche subfield of computer vision, where some labeled datasets exist, but there is an order of magnitude more unlabeled data available. Recent advances in the field happened largely thanks to the adoption of deep learning. However, such neural networks are trained using labeled data only. Semi-supervised learning is a set of techniques that aim to incorporate unlabeled data during training to produce more capable models. We have modified a state-of-the-art object detection archi- tecture and designed a semi-supervised training scheme to utilize unlabeled data. These modifications have successfully allowed us to train the architecture in an unsupervised setting, and our semi-supervised experiments indicate improvements to training stability and reduced overfitting.

Optické rozpoznávání notových zápisů je úzký podobor počítačového vidění, který sice disponuje určitým množstvím anotovaných datasetů, nicméně má k dispozici řádově větší množství neanotovaných dat. Tento obor se v poslední době vyvíjí zejména díky aplikaci hlubokého učení, ale na trénování neuronových sítí se zatím používají pouze anotovaná data. Semi-supervised learning je podoblast strojového učení, zbývající se sou- časným učením z anotovaných a neanotovaných dat. Cílem je získat lepší modely, než kdybychom trénovali pouze z anotovaných dat. V této práci jsme upravili existující ar- chitekturu, používanou pro detekci hudebních symbolů, a navrhli jsme způsob, jakým ji trénovat v semi-supervised režimu. Upravená architektura je schopná učit se reprezentace i z neanotovaných dat a ve srovnání se svojí původní variantou má stabilnější trénování.


Obstacles with Synthesizing Training Data for OMR

Překážky při syntéze trénovacích dat pro optické rozpoznávání notopisů

Training with synthetic data has been successfully used in many domains of deep learning where authentic training data is scarce. Optical Music Recognition (OMR), especially recognition of handwritten music, greatly benefits from training on synthetic data too. In this paper, we explore the challenges of synthesizing images of sheets of music for training deep learning OMR models and compare such synthesis to the process of digital music engraving. We also contrast that with the architecture of our synthesizer prototype, which was used to achieve state-ofthe-art results by training on the synthetic images only.

Generování syntetických dat je metoda, jak řešit nedostatek trénovacích dat, která se již osvědčila v mnoha doménách hlubokého učení. Pro optické rozpoznávání notopisů, obzvláště ručně psaných, můžeme tuto metodu aplikovat také. V tomto článku prozkoumáváme překážky spojené se syntézou obrázků notopisů pro trénování hlubokých neuronových sítí na jejich rozpoznávání. Proces syntézy také porovnáváme s tradičním sázením notopisů pro účely tisku. Jako ukázkový příklad popisujeme architekturu našeho syntezátoru, se kterým se nám podařilo dosáhnout velmi dobrých výsledků díky trénování pouze na jeho syntetických datech.


Conjunctions as Means of Textual Cohesion in Czech of Non-Native Speakers

Spojky jako prostředky textové koheze v češtině nerodilých mluvčích

L’utilisation des conjonctions comme outil de cohésion textuelle dans le tchèque de locuteurs non-natifs

The article analyzes the way conjunctions are used in texts. More specifically, it explores whether texts of different genres written by non-native speakers of Czech differ in the number and type of conjunctions used as basic means of textual cohesion. The results of the research demonstrate that the frequency of conjunctions is related to the character of the selected stylistic procedures. More complex texts (in terms of text construction and organization), such as argumentation and narration, contain a higher number of conjunctions than descriptive and informative texts.

Článek analyzuje způsob užívání spojek v textech, resp. odpovídá na otázku, zda se texty různých žánrů psané nerodilými mluvčími češtiny liší v počtu a druhu používaných spojek jako základních prostředků textové koheze. Výsledky výzkumu ukázaly, že frekvence výskytu spojek souvisí s charakterem vybraných stylových postupů. Složitější postupy (z hlediska výstavby a organizace textu), jako je úvaha a vyprávění, obsahují vyšší počet spojek než postupy popisný a informační.

Dans cet article, nous nous sommes consacrés à l’étude des modalités d’utilisation des conjonctions dans différents textes. Plus précisément nous nous sommes demandé si des textes relevant de différents genres rédigés en tchèque par des non-natifs diffèrent dans l’utilisation, en nombre et en nature, des conjonctions utilisées comme outils primaires de la cohésion textuelle. Les résultats de notre étude montrent que la fréquence des occurrences des conjonctions dépend du procédé compositionnel appliqué dans le texte. Les procédés plus complexes (du point de vue de leur construction et de l’organisation du texte), comme les procédés argumentatif et narratif, présentent un plus grand nombre de conjonctions que les types descriptif et informatif.

Kateřina Rysová
Magdaléna Rysová
Eva Hajičová


The Seventh Workshop on Search-Oriented Conversational Artificial Intelligence (SCAI'22)

Sedmý workshop o konverzační umělé inteligenci orientované na vyhledávání (SCAI'22)

The goal of the seventh edition of SCAI (https://scai.info) is to bring together and further grow a community of researchers and practitioners interested in conversational systems for information access. The previous iterations of the workshop already demonstrated the breadth and multidisciplinarity inherent in the design and development of conversational search agents. The proposed shift from traditional web search to search interfaces enabled via human-like dialogue leads to a number of challenges, and although such challenges have received more attention in the recent years, there are many pending research questions that should be addressed by the information retrieval community and can largely benefit from a collaboration with other research fields, such as natural language processing, machine learning, human-computer interaction and dialogue systems. This workshop is intended as a platform enabling a continuous discussion of the major research challenges that surround the design of search-oriented conversational systems. This year, participants have the opportunity to meet in person and have more in-depth interactive discussions with a full-day onsite workshop.

Cílem sedmého ročníku SCAI (https://scai.info) je sdružit a dále rozvíjet komunitu výzkumníků a odborníků z praxe, kteří se zajímají o konverzační systémy pro přístup k informacím. Již předchozí opakování workshopu ukázala šíři a multidisciplinaritu, která je vlastní návrhu a vývoji konverzačních vyhledávacích agentů. Navrhovaný přechod od tradičního vyhledávání na webu k vyhledávacím rozhraním používajícím dialog podobný lidskému vede k řadě výzev, a přestože se těmto výzvám v posledních letech věnuje větší pozornost, existuje mnoho nevyřešených výzkumných otázek, kterými by se měla zabývat komunita zaměřená na vyhledávání informací a které mohou do značné míry těžit ze spolupráce s dalšími výzkumnými obory, jako je zpracování přirozeného jazyka, strojové učení, interakce člověka s počítačem a dialogové systémy. Tento workshop je zamýšlen jako platforma umožňující průběžnou diskusi o hlavních výzkumných výzvách, které provázejí návrh konverzačních systémů orientovaných na vyhledávání. Letos mají účastníci možnost osobního setkání a hlubší interaktivní diskuse díky celodennímu workshopu na místě.

Gustavo Penha
Svitlana Vakulenko
Ondřej Dušek
Leigh Clark
Vaishali Pal
Vaibhav Adlakha


The aim of this talk is to describe the use that M.A. and Ph.D. students at the Institute of Translation Studies, Charles University, Faculty of Arts, make of text corpora, tools and technologies not as translation resources but as objects of their M.A. and Ph.D. theses research. First, the definitions of the terms text corpus, tool and technology used in the study are reviewed. Then M.A. and Ph.D. theses using corpora, tools and technologies are described. The study analyses the extent to which students employ the above-mentioned resources in their theses as research objects, and which topics they cover. Special attention is paid to the use of machine translation and to the theses researched in cooperation with the Institute of Formal and Applied Linguistics, Charles University, Faculty of Mathematics and Physics.

Cílem přednášky je popsat, jak studenti magisterského a doktorského studia na Ústavu translatologie FF UK využívají textové korpusy, nástroje a technologie nikoli jako překladatelské zdroje, ale jako objekty výzkumu svých magisterských a doktorských prací. Nejprve je uveden přehled definic pojmů textový korpus, nástroj a technologie, které jsou ve studii používány. Poté jsou popsány magisterské a doktorské práce využívající korpusy, nástroje a technologie. Studie analyzuje, do jaké míry studenti využívají výše uvedené zdroje ve svých pracích jako objekty výzkumu a jaká témata pokrývají. Zvláštní pozornost je věnována využití strojového překladu a diplomovým pracím řešeným ve spolupráci s Ústavem formální a aplikované lingvistiky Matematicko-fyzikální fakulty Univerzity Karlovy.


Machine and human translation: options and limitations

Možnosti a meze strojového a lidského překladu

The talk focuses on the differences between human and machine translation in the English - Czech direction, points out the principles of machine translation and the possibilities of its use. Using examples, it presents typical mistakes of human translators and machine translators, and compares the output of several machine translators. It focuses on news texts, but also examples of literary texts.

Příspěvek se zaměřuje na rozdíly mezi lidským a strojovým překladem ve směru angličtina - čeština, poukazuje na principy fungování strojového překladu a možnosti jeho využití. Na ukázkách představuje typické chyby lidských překladatelů a strojových překaldačů, srovnává výstupy z několika strojových překladačů. Zaměřuje se na zpravodajské texty, ale ukázkově i na texty literární.


What could (or maybe should) MT researchers know about translation (theory)?

Co by badatelé z oblasti MT mohli (nebo možná měli) vědět o (teorii) překladu?

Translation Studies (TS) and MT research have many common goals, the most important among them being the study of translation between two or more languages: be it human or machine translation. However, exchange between the two disciplines has been rather rare so far. In TS, we have been making use of technologies, the integration of advanced quantitative research methodologies, and MT outputs in recent years, e.g., for post-editing research. Similarly, MT could benefit from what has been explored and what has played an important role in TS in the past decades. The talk will focus on several key phenomena and basic approaches and theories that TS works with: 1. a concept of functional translation theory, e.g., how different types of texts differ and how their translation for different purposes varies, 2. typical features of translational language as a linguistic variant (what is „translationese“?), 3. potential sources of translation difficulties: what should (not only) MT researchers be aware of, and 4. translation quality, evaluation, and criticism in TS.

Translatologie (TS) a výzkum MT mají mnoho společných cílů, z nichž nejdůležitější je studium překladu mezi dvěma nebo více jazyky: ať už jde o lidský nebo strojový překlad. Interakce mezi oběma disciplínami však byla dosud spíše vzácná. V TS v posledních letech využíváme technologie, integraci pokročilých kvantitativních výzkumných metodik a výstupy MT, např. pro výzkum posteditace. Stejně tak by MT mohl těžit z toho, co bylo prozkoumáno a co hrálo důležitou roli v TS v minulých desetiletích. Přednáška se zaměří na několik klíčových jevů a základních přístupů a teorií, s nimiž TS pracuje: 1. pojetí teorie funkčního překladu, např. jak se liší různé typy textů a jak se liší jejich překlad pro různé účely, 2. typické rysy překladatelštiny, 3. potenciální zdroje překladatelských obtíží: čeho by si měli být (nejen) výzkumníci MT vědomi, a 4. kvalita překladu, hodnocení a kritika v TS.


A Comparison of Professional and Student Performance in Simultaneous Interpreting as a Basis for Further Research in Automatic Simultaneous Speech Translation

Srovnání profesionálních a studentských výkonů v simultánním tlumočení jako základ pro další výzkum v oblasti automatického simultánního překladu mluvené řeči

Automatic simultaneous speech translation is a process of translating speech to text by a system in real-time. We believe that the quality of such systems can be further increased by incorporating linguistic features and strategies observed in human interpreting. Therefore, we propose an analysis of various types of translation departures in human simultaneous interpretation (SI), investigating and comparing them between professional and student interpreters.
We present a pilot study focusing on the analysis of two audit speeches. Both speeches were remotely interpreted by an M. A. student of interpreting (with at least two semesters of SI) from the Institute of Translation Studies, Faculty of Arts, Charles University, and a professional interpreter (with at least 10 years of experience). The remote SI was performed in the direction English-to-Czech (from B language to A language). All interpreters were given the topic of both speeches and keywords in advance.
Our research concerns the quality of interpreting in the sense of transferring the content of the original speech. We employ the taxonomy of translation departures designed by Barik (1971) describing omissions, additions, substitutions and semantic errors, albeit with some adaptations and extensions, especially concerning grammar errors and formal defects (Kopczyński 1980).
We plan to have these and other types of speeches interpreted by more students and professionals so that we can conduct a larger study and make our results more comparable. Our intention for future research is to explore the differences in types of translation departures in human SI and automatic simultaneous speech translation.

Automatický simultánní překlad mluvené řeči je proces překladu mluvené řeči do textu pomocí překladače v reálném čase. Domníváme se, že kvalitu těchto systémů lze dále zvýšit začleněním jazykových vlastností a strategií pozorovaných při lidském tlumočení. Proto navrhujeme analýzu různých typů posunů při překladu v lidském simultánním tlumočení (SI) a zkoumáme a porovnáváme je mezi profesionálními tlumočníky a studenty.
Předkládáme pilotní studii zaměřenou na analýzu dvou projevů z oblasti auditu. Oba projevy byly tlumočeny na dálku studentem magisterského oboru tlumočnictví (s minimálně dvěma semestry simultánního tlumočení) z Ústavu translatologie Filozofické fakulty Univerzity Karlovy a profesionálním tlumočníkem (s minimálně desetiletou praxí). Simultánní tlumočení na dálku probíhalo ve směru angličtina-čeština (z jazyka B do jazyka A). Všichni tlumočníci dostali předem témata obou projevů a klíčová slova.
Náš výzkum se týká kvality tlumočení ve smyslu přenosu obsahu původního projevu. Používáme typologii posunů v překladu navrženou Barikem (1971) popisující vynechávky, doplnění, záměny a sémantické chyby, i když s některými úpravami a rozšířeními, zejména pokud jde o gramatické chyby a formální nedostatky (Kopczyński 1980).
Plánujeme, že tyto a další typy projevů necháme tlumočit více studenty a odborníky, abychom mohli provést rozsáhlejší studii a naše výsledky byly srovnatelnější. Naším záměrem do budoucna je prozkoumat rozdíly v typech posunů v překladu při lidském simultánním tlumočení a automatickém simultánním překladu řeči.

Věra Kloudová
Petra Vavroušová Mračková
Dávid Javorský
Ondřej Bojar


Prosodic Phrasing of Good Speakers in English and Czech

Prozodické členění u dobrých mluvčích v angličtině a češtině

Prosodic patterning is known to affect the impression that speakers make on their listeners. This study explores prosodic phrasing in good public speakers of American English and Czech. Czech is a West Slavic language whose intonation is reported to be flatter and prosodic phrases longer than in English. We analyzed prosodic characteristics of 10 speakers of Czech and American English who appeared in TED Talks, assuming such appearance to be a mark of a “good speaker.” Our objective was to see whether prosodic phrasing will be more similar in these public speeches between the two languages. We measured the length of prosodic phrases, speech rate in each phrase, and pitch range and melodic variability in the entire phrase, as well as in its pre-nuclear and nuclear portion. The number of syllables per phrase was higher in Czech than in English, although phrases were generally very short in both languages. The melodic indicators confirm smaller melodic variability in Czech even in publicly performed TED Talks. Overall, our results show that there are differences between Czech and English prosodic phrasing in good public speakers but that the genre also affects phrasing. Prosodic rendition—especially prosodic phrase length and melodic variability—is therefore a vital, albeit somewhat language-specific aspect of speech performance which public speakers should pay close attention to, both in their native language and in foreign languages.

Je známo, že vrozce prozodického členění ovlivňují dojem, kterým mluvčí působí na posluchače. Tato studie zkoumá prozodické frázování u dobrých veřejných řečníků americké angličtiny a češtiny. Čeština je západoslovanský jazyk, jehož intonace je údajně plošší a prozodické fráze delší než v angličtině. Analyzovali jsme prozodické charakteristiky deseti mluvčích češtiny a americké angličtiny, kteří vystoupili na konferenci TED Talks, přičemž jsme předpokládali, že takové vystoupení je znakem "dobrého řečníka". Naším cílem bylo zjistit, zda si prozodické frázování bude v těchto veřejných projevech mezi oběma jazyky podobnější. Měřili jsme délku prozodických frází, tempo řeči v jednotlivých frázích a tónový rozsah a melodickou variabilitu v celé frázi i v její předjaderné a jaderné části. Počet slabik v jedné frázi byl v češtině vyšší než v angličtině, ačkoli fráze byly v obou jazycích obecně velmi krátké. Melodické ukazatele potvrzují menší melodickou variabilitu v češtině i ve veřejných projevech. Celkově naše výsledky ukazují, že mezi českým a anglickým prozodickým frázováním u dobrých řečníků existují rozdíly, ale že frázování ovlivňuje i žánr. Prozodické ztvárnění - zejména délka prozodických frází a melodická variabilita - je tedy důležitým, i když do jisté míry jazykově specifickým aspektem řečového výkonu, kterému by veřejní mluvčí měli věnovat velkou pozornost, a to jak ve svém rodném jazyce, tak v jazycích cizích.


The SIGMORPHON 2022 Shared Task on Morpheme Segmentation

Morfematická segmentace jako soutěžní úloha při SIGMORPHON 2022

The SIGMORPHON 2022 shared task on morpheme segmentation challenged systems to decompose a word into a sequence of morphemes and covered most types of morphology: compounds, derivations, and inflections. Subtask 1, word-level morpheme segmentation, covered 5 million words in 9 languages (Czech, English, Spanish, Hungarian, French, Italian, Russian, Latin, Mongolian) and received 13 system submissions from 7 teams and the best system averaged 97.29% F1 score across all languages, ranging English (93.84%) to Latin (99.38%). Subtask 2, sentence-level morpheme segmentation, covered 18,735 sentences in 3 languages (Czech, English, Mongolian), received 10 system submissions from 3 teams, and the best systems outperformed all three state-of-the-art subword tokenization methods (BPE, ULM, Morfessor2) by 30.71% absolute. To facilitate error analysis and support any type of future studies, we released all system predictions, the evaluation script, and all gold standard datasets.

Cílem systémů účastnících se v morfosegmentační úloze při workshopu SIGMORPHON 2022 bylo rozdělit slovo na sekvenci morfémů a pokrýt přitom většinu morfologických procesů (inflexi, derivaci a skládání). Podúloha 1 byla zaměřená na rozdělování 5 miliónů slov v 9 jazycích (čeština, angličtina, španělština, maďarština, francouzština, italština, ruština, latina, mongolština). Zúčastnilo se 13 systémů od 7 týmů, přičemž nejlepší systém dosáhl průměrné úspěšnosti 97.29% F1, s rozsahem hodnot od 93.84% pro angličtinu po 99.38% pro latinu.
Druhý podúkol byl zaměřený na segmentaci slov ve větném kontextu, celkam 18.735 vět pro tři jazyky (čeština, angličtina, mongolština). Zúčastnilo se 10 systémů od 3 týmů. Nejlepší systémy překročily dosavadní nejlepší metody od 30.71 % absolutně. Pro zjednodušení chybové analýzy a přípravu budoucích studií jsme všechny predikce zveřejnili.

Khuyagbaatar Batsuren
Gábor Bella
Aryaman Arora
Viktor Martinovic
Kyle Gorman
Zdeněk Žabokrtský
Amarsanaa Ganbold
Šárka Dohnalová
Magda Ševčíková
Kateřina Pelegrinová
Fausto Giunchiglia
Ryan Cotterell
Ekaterina Vylomova


Prezentation about ÚFAL projects and PhD project.

Prezentace o projektech na ÚFALu a PhD projektu Multi-Source Speech Translation pro mgr. studenty na LCT Summer School 30.8.2022, délka 15 minut.


Simultaneous Multi-Source Speech Translation

One-hour presentation about simultaneous multi-source speech translation, Continuos Rating as human evaluation of SimST and correlation with MT metrics.

Hodinová prezentace o vícezdrojovém simultánním překladu řeči, evaluaci Continuous Rating a korelaci s MT metrikami.


Annotation of Dramatic Situations in Theater Play Scripts

Anotace dramatických situací v divadelních scénářích

We defined 58 dramatic situations and annotated them in 19 play scripts. Then we selected only 5 well-recognized dramatic situations and annotated further 33 play scripts. In this version of the data, we release only play scripts that can be freely distributed, which is 9 play scripts. One play is annotated independently by three annotators.

Definovali jsme 58 dramatických situací a anotovali je v 19 divadelních scénářích. Poté jsme vybrali pouze 5 dobře známých dramatických situací a okomentovali dalších 33 herních scénářů. V této verzi dat vydáváme pouze herní skripty, které lze volně šířit, což je 9 herních skriptů. Jedna hra je anotována nezávisle třemi anotátory.

David Mareček
Marie Nováková
Klára Vosecká
Josef Doležal
Rudolf Rosa


We present the script of the theatre play Permeation (Prostoupení), which was written by artificial intelligence within the THEaiTRE project.

Představujeme scénář divadelní hry Permeation (Prostoupení), kterou napsala umělá inteligence v rámci projektu THEaiTRE.

2.0 THEaiTRobot
Josef Doležal
Klára Vosecká
Tomáš Musil
David Mareček
Rudolf Rosa


Can artificial intelligence replace writers, playwrights, screenwriters? How did the world's first play written by artificial intelligence come to be? How did the play presented in Prague's Švanda Theatre receive audiences and critics? What are the limits of artificial intelligence in creating works of art? And is it art? We will talk about this in Zátiší on Radio 1 with Tomáš Studeník, the initiator and manager of the project “TheAItre, can a robot write a play?”, and Rudolf Rosa, an expert on artificial intelligence.

Dokáže umělá inteligence nahradit spisovatele, autory divadelních her, scénáristy? Jak vznikala první divadelní hra na světě napsaná umělou inteligencí? Jak hru uvedenou v pražském Švandově divadle přijali diváci a kritici? Jaké jsou limity umělé inteligence při tvorbě uměleckých děl? A jedná se vůbec o umění? O tom si v Zátiší na Radiu 1 budeme povídat s Tomášem Studeníkem, iniciátorem a manažerem projektu “TheAItre, může robot napsat divadelní hru?”, a Rudolfem Rosou, expertem na umělou inteligenci.


End-to-end dialogové systémy - kde leží budoucnost konverzačního AI?

A brief introduction to neural language models for task-oriented dialogue (with a focus on our recent experiments).

Stručný úvod do neuronových jazykových modelů pro dialog zaměřený na úkoly (se zaměřením na naše nedávné experimenty).


Large Neural Language Models for Data-to-text Generation

Velké neuronové jazykové modely pro generování textu z dat

Current research state-of-the-art in automatic data-to-text generation, a major task in natural language generation, is dominated by large language models based on the Transformer neural network architecture. These models are capable of producing lifelike, natural texts; however, they are hard to control and often do not adhere to the input data, omitting important content or producing "hallucinated" text which is not grounded in the input data. In this talk, I will first show the basic operation principles of the large language models. I will then detail our experiments aiming at higher accuracy of generated text in two ways: (1) improving accuracy of the generating language models themselves, (2) automatically detecting errors in generated texts.

Současnému stavu výzkumu v oblasti automatického generování dat na text, což je hlavní úloha při generování přirozeného jazyka, dominují velké jazykové modely založené na architektuře neuronových sítí Transformer. Tyto modely jsou schopny vytvářet realistické, přirozené texty; jsou však obtížně kontrolovatelné a často se nedrží vstupních dat, vynechávají důležitý obsah nebo vytvářejí "halucinovaný" text, který nemá oporu ve vstupních datech. V této přednášce nejprve ukážu základní principy fungování velkých jazykových modelů. Poté podrobně popíši naše experimenty zaměřené na vyšší přesnost generovaného textu, a to dvěma způsoby: (1) zlepšením přesnosti samotných generujících jazykových modelů, (2) automatickou detekcí chyb v generovaných textech.


A brief introduction to dialogue systems with a specific focus on neural models.

Stručný úvod do dialogových systémů se zvláštním zaměřením na neuronové modely.


Natural language generation is a task in which a computer uses some input data to produce a comprehensible and fluent message in, for example, English or Czech. How does it work?

Generování přirozeného jazyka je úloha, při níž počítač na základě nějakých vstupních dat vytvoří srozumitelné a plynulé sdělení např. v angličtině nebo češtině. Jak funguje?


Combining Static and Contextualised Multilingual Embeddings

Kombinace statický a kontextuálních embedingů

Static and contextual multilingual embeddings have complementary strengths. Static embeddings, while less expressive than contextual language models, can be more straightforwardly aligned across multiple languages. We combine the strengths of static and contextual models to improve multilingual representations. We extract static embeddings for 40 languages from XLM-R, validate those embeddings with cross-lingual word retrieval, and then align them using VecMap. This results in high-quality, highly multilingual static embeddings. Then we apply a novel continued pre-training approach to XLM-R, leveraging the high quality alignment of our static embeddings to better align the representation space of XLM-R. We show positive results for multiple complex semantic tasks. We release the static embeddings and the continued pre-training code. Unlike most previous work, our continued pre-training approach does not require parallel text.

Statické a kontextové vícejazyčné embeddingy mají komplementární přednosti. Statické embeddingy, i když jsou méně expresivní než kontextové jazykové modely, se dají lépe párovat mezi jazyky. V tomto článku kombinujeme přednosti statických a kontextových, čímž docílíme vyšší kvality vícejazyčných kontextových embedingů. Z modelu XLM-R extrahujeme statické embeddingy pro 40 jazyků, validujeme jejich kvalitu pomocí indukce dvojjazyčných slovníků a pak je zarovnáváme pomocí nástroje VecMap. Výsledkem jsou vysoce kvalitní, vysoce vícejazyčné statické embeddingy. Poté aplikujeme nový přístup pokračujícího pre-training modelu XLM-R, kde využíváme tyto statické embeddingy pro lepší zarovnání reprezentačního prostoru XLM-R. Náš postup dosazuje pozitivních výsledků pro sémanticky náročných úloh. Statické embeddingy a kód pokračujícího pre-training jsou veřejně dostupné. Na rozdíl od většiny předchozí práce náš přístup pokračujícího pre-training nevyžaduje paralelní text.

Katharina Hämmerl
Jindřich Libovický
Alexander Fraser


Computational Literary Studies Infrastructure (CLSINFRA): a H2020 Research Infrastructure Project that aids to connect researchers, data, and methods

Computational Literary Studies Infrastructure (CLSINFRA): Výzkumná infrastruktura H2020, která pomáhá propojit výzkumníky, data a metody

The aim of this poster is to provide an overview of the principal objectives of the newly started H2020
Computational Literary Studies (CLS) project- https://www.clsinfra.io. CLS is a infrastructure project
works to develop and bring together resources of high-quality data, tools and knowledge to aid new
approaches to studying literature in the digital age. Conducting computational literary studies has a
number of challenges and opportunities from multilingual and bringing together distributing
information. At present, the landscape of literary data is diverse and fragmented. Even though many
resources are currently available in digital libraries, archives, repositories, websites or catalogues, a lack
of standardisation hinders how they are constructed, accessed and the extent to which they are reusable
(Ciotti 2014). CLS project aims to federate these resources, with the tools needed to interrogate them,
and with a widened base of users, in the spirit of the FAIR and CARE principles (Wilkinson et al. 2016).
The resulting improvements will benefit researchers by bridging gaps between greater- and lesser-
resourced communities in computational literary studies and beyond, ultimately offering opportunities
to create new research and insight into our shared and varied European cultural heritage.
Rather than building entirely new resources for literary studies, the project is committed to exploiting
and connecting the already-existing efforts and initiatives, in order to acknowledge and utilize the
immense human labour that has already been undertaken. Therefore, the project builds on recently-
compiled high-quality literary corpora, such as DraCor and ELTeC (Fischer et al. 2019, Burnard et al. 2021,
Schöch et al. in press), integrates existing tools for text analysis, e.g. TXM, stylo, multilingual NLP
pipelines (Heiden 2010, Eder et al. 2016), and takes advantage of deep integration with two other
infrastructural projects, namely the CLARIN and DARIAH ERICs. Consequently, the project aims at
building a coherent ecosystem to foster the technical and intellectual findability and accessibility of
relevant data. The ecosystem consists of (1) resources, i.e. text collections for drama, poetry and prose in
several languages, (2) tools, (3) methodological and theoretical considerations, (4) a network of CLS
scholars based at different European institutions, (5) a system of short-term research stays for both early
career researchers and seasoned scholars, (6) a repository for training materials, as well as (7) an
efficient dissemination strategy. This is achieved through a collaboration between participating
institutions: Institute of Polish Language at the Polish Academy of Sciences, Poland; University of
Potsdam, Germany; Austrian Academy of Sciences, Austria; National University of Distance Education,
Spain; École Normale Supérieure de Lyon, France; Humboldt University of Berlin, German; Charles
University, Czech Republic; Digital Research Infrastructure for the Arts and Humanities, France; Ghent
Centre for Digital Humanities, Ghent University, Belgium; Belgrade Centre for Digital Humanities, Serbia;
Huygens Institute for the History of the Netherlands (Royal Netherlands Academy of Arts and Sciences),
Netherlands; Trier Center for Digital Humanities, Trier University, Germany; Moore Institute, National
University of Ireland Galway, Ireland;

Cílem tohoto posteru je poskytnout přehled hlavních cílů nově zahájeného H2020
Projekt Computational Literary Studies (CLS) – https://www.clsinfra.io. CLS je infrastrukturní projekt
pracuje na vývoji a sdružování zdrojů vysoce kvalitních dat, nástrojů a znalostí na pomoc novým
přístupy ke studiu literatury v digitálním věku. Vedení počítačových literárních studií má a
množství výzev a příležitostí z vícejazyčnosti a spojení distribuce
informace. V současnosti je krajina literárních dat různorodá a roztříštěná. I když mnozí
zdroje jsou v současnosti dostupné v digitálních knihovnách, archivech, úložištích, webových stránkách nebo katalozích, nedostatek
standardizace brání tomu, jak jsou konstruovány, zpřístupněny a do jaké míry jsou znovu použitelné
(Ciotti 2014). Cílem projektu CLS je spojit tyto zdroje s nástroji potřebnými k jejich dotazování,
a s rozšířenou základnou uživatelů, v duchu principů FAIR a CARE (Wilkinson et al. 2016).
Výsledná zlepšení budou přínosem pro výzkumníky tím, že překlenou mezery mezi většími a menšími
komunity v oblasti počítačových literárních studií i mimo ni, které v konečném důsledku nabízejí příležitosti
vytvořit nový výzkum a vhled do našeho sdíleného a rozmanitého evropského kulturního dědictví.
Spíše než budování zcela nových zdrojů pro literární vědu se projekt zavázal k využívání
a propojování již existujících snah a iniciativ za účelem uznání a využití
obrovská lidská práce, která již byla vykonána. Proto projekt navazuje na nedávné
sestavil vysoce kvalitní literární korpusy, jako jsou DraCor a ELTeC (Fischer et al. 2019, Burnard et al. 2021,
Schöch a kol. v tisku), integruje stávající nástroje pro analýzu textu, např. TXM, stylo, vícejazyčné NLP
potrubí (Heiden 2010, Eder et al. 2016) a využívá výhody hluboké integrace se dvěma dalšími
infrastrukturní projekty, jmenovitě konsorcia CLARIN a DARIAH ERIC. V důsledku toho si projekt klade za cíl
budování koherentního ekosystému pro podporu technické a intelektuální nalezitelnosti a dostupnosti
relevantní údaje. Ekosystém se skládá z (1) zdrojů, tedy sbírek textů pro drama, poezii a prózu
několik jazyků, (2) nástroje, (3) metodologické a teoretické úvahy, (4) síť CLS
vědeckých pracovníků působících v různých evropských institucích, (5) systém krátkodobých výzkumných pobytů pro oba brzy
kariérní výzkumníci a zkušení učenci, (6) úložiště školicích materiálů a také (7) an
efektivní strategie šíření. Toho je dosaženo prostřednictvím spolupráce mezi zúčastněnými
instituce: Ústav polského jazyka při Polské akademii věd, Polsko; univerzita
Postupim, Německo; Rakouská akademie věd, Rakousko; Národní univerzita distančního vzdělávání,
Španělsko; École Normale Supérieure de Lyon, Francie; Humboldtova univerzita v Berlíně, německy; Charlesi
univerzita, Česká republika; Digitální výzkumná infrastruktura pro umění a humanitní vědy, Francie; Gent
Centrum digitálních humanitních věd, Univerzita v Gentu, Belgie; Bělehradské centrum pro digitální humanitní vědy, Srbsko;
Huygensův institut pro dějiny Nizozemska (Královská nizozemská akademie umění a věd),
Holandsko; Trier Center for Digital Humanities, Trier University, Německo; Mooreův institut, národní
Irská univerzita Galway, Irsko;

Julie Birkholz
Ingo Börner
Silvie Cinková
Sally Chambers
Karina van Dalen-Oskam
Tess Dejaeghere
Julia Dudar
Maciej Eder
Jennifer Edmond
Vicky Garnett
Michal Křen
Michał Mrugalski
Ciara Lynn Murphy
Carolin Odebrecht
Eliza Papaki
Marco Raciti
Lisanne van Rossum
Christof Schöch
Srishti Sharma
Justin Tonra
Erszsébet Tóth-Czifra
Peer Trilcke


CLS Infra Computational Literary Studies Infrastructure

Infrastruktura CLS pro počítačovou literární vědu

Computational Literary Studies Infrastructure, funded by the Horizon2020 grant scheme, is a four-year, pan-European project that aims to unify the diverse landscape of computational text analysis, in terms of available texts, tools, methods, practices and so forth, within its growing international user community. The project started out in February 2021, meaning that it has been underway for just over a year. In our poster we discuss the various deliverables and activities that have come out of the CLS INFRA project in its first quarter to give an idea of its impact in practice.

Computational Literary Studies Infrastructure, financovaný z grantového schématu Horizont 2020, je čtyřletý celoevropský projekt, jehož cílem je sjednotit rozmanité prostředí počítačové analýzy textů, pokud jde o dostupné texty, nástroje, metody, postupy atd. její rostoucí mezinárodní komunita uživatelů. Projekt byl zahájen v únoru 2021, což znamená, že probíhá něco málo přes rok. V našem plakátu diskutujeme o různých výstupech a aktivitách, které vzešly z projektu CLS INFRA v jeho prvním čtvrtletí, abychom si udělali představu o jeho dopadu v praxi.

Julie Birkholz
Ingo Börner
Sally Chambers
Vera Charvat
Silvie Cinková
Karina van Dalen-Oskam
Tess Dejaeghere
Julia Dudar
Matej Ďurčo
Jennifer Edmond
Evgeniia Fileva
Frank Fischer
Serge Heiden
Michal Křen
Bartłomiej Kunda
Michał Mrugalski
Ciara Lynn Murphy
Carolin Odebrecht
Marco Raciti
Salvador Ros
Christof Schöch
Artjoms Šeļa
Toma Tasovac
Justin Tonra
Erszsébet Tóth-Czifra
Peer Trilcke
Maciej Eder
Lisanne van Rossum


FINDINGS OF THE IWSLT 2022 EVALUATION CAMPAIGN

The evaluation campaign of the 19th International Conference on Spoken Language Translation featured eight shared tasks: (i) Simultaneous speech translation, (ii) Offline speech translation, (iii) Speech to speech translation, (iv) Low-resource speech translation, (v) Multilingual speech translation, (vi) Dialect speech translation, (vii) Formality control for speech translation, (viii) Isometric speech translation. A total of 27 teams participated in at least one of the shared tasks. This paper details, for each shared task, the purpose of the task, the data that were released, the evaluation metrics that were applied, the submissions that were received and the results that were achieved.

Hodnoticí kampaň 19. Mezinárodní konference o překladu z mluveného jazyka (IWSLT 2021) letos představila osm sdílených úkolů: (i) Simultánní překlad mluvené řeči, (ii) Offline překlad mluvené řeči, (iii) Překlad řeči na řeč, (iv) Překlad řeči s malým množstvím zdrojů, (v) Vícejazyčný překlad řeči, (vi) Překlad řeči v dialektu, (vii) Kontrola formality pro překlad řeči, (viii) Izometrický překlad řeči. Celkem se zúčastnilo 27 týmů alespoň na jedné z úloh. Tento dokument u každého sdíleného úkolu podrobně popisuje účel úkolu, zveřejněná data, použité metriky hodnocení, obdržené podání a dosažené výsledky.

Antonios Anastasopoulos
Loïc Barrault
Luisa Bentivogli
Marcely Zanon Boito
Ondřej Bojar
Roldano Cattoni
Anna Currey
Georgiana Dinu
Kevin Duh
Maha Elbayad
Clara Emmanuel
Yannick Estève
Marcello Federico
Christian Federmann
Souhir Gahbiche
Hongyu Gong
Roman Grundkiewicz
Barry Haddow
Benjamin Hsu
Dávid Javorský
Věra Kloudová
Surafel Melaku Lakew
Xutai Ma
Prashant Mathur
Paul McNamee
Kenton Murray
Maria Nadejde
Satoshi Nakamura
Matteo Negri
Jan Niehues
Xing Niu
John Ortega
Juan Pino
Elizabeth Salesky
Yun Tang
Matthias Sperber
Sebastian Stuker
Katsuhito Sudoh
Marco Turchi
Yogesh Virkar
Alex Waibel
Changhan Wang
Shinji Watanabe


Hausa Visual Genome: A Dataset for Multi-Modal English to Hausa Machine Translation

Hausa Visual Genome: Dataset pro multimodální překlad mezi angličtinou a hausa

Multi-modal Machine Translation (MMT) enables the use of visual information to enhance the quality of translations. The visual
information can serve as a valuable piece of context information to decrease the ambiguity of input sentences. Despite the increasing
popularity of such a technique, good and sizeable datasets are scarce, limiting the full extent of their potential. Hausa, a Chadic language,
is a member of the Afro-Asiatic language family. It is estimated that about 100 to 150 million people speak the language, with more than
80 million indigenous speakers. This is more than any of the other Chadic languages. Despite a large number of speakers, the Hausa
language is considered low-resource in natural language processing (NLP). This is due to the absence of sufficient resources to implement
most NLP tasks. While some datasets exist, they are either scarce, machine-generated, or in the religious domain. Therefore, there is a
need to create training and evaluation data for implementing machine learning tasks and bridging the research gap in the language. This
work presents the Hausa Visual Genome (HaVG), a dataset that contains the description of an image or a section within the image in
Hausa and its equivalent in English. To prepare the dataset, we started by translating the English description of the images in the Hindi
Visual Genome (HVG) into Hausa automatically. Afterward, the synthetic Hausa data was carefully post-edited considering the respective
images. The dataset comprises 32,923 images and their descriptions that are divided into training, development, test, and challenge test set.
The Hausa Visual Genome is the first dataset of its kind and can be used for Hausa-English machine translation, multi-modal research, and
image description, among various other natural language processing and generation tasks.

Multimodální strojový překlad umožňuje zapojit do překladu vizuální informaci. Článek představuje dataset pro experimenty s multimodálním překladem mezi angličtinou a jazykem hausa.

Idris Abdulmumin
Satya Ranjan Dash
Musa Abdullahi Dawud
Shantipriya Parida
Shamsddeen Muhammad
Ibrahim Sa'id Ahmad
Subhadarshi Panda
Ondřej Bojar
Bashir Shehu Galadanci
Bello Shehu Bello


A Balanced Data Approach for Evaluating Cross-Lingual Transfer: Mapping the Linguistic Blood Bank

Vyvážený datový přístup pro hodnocení translingvistického přenosu: Mapování lingvistické krevní banky

We show that the choice of pretraining languages affects downstream cross-lingual transfer for BERT-based models. We inspect zero-shot performance in balanced data conditions to mitigate data size confounds, classifying pretraining languages that improve downstream performance as donors, and languages that are improved in zero-shot performance as recipients. We develop a method of quadratic time complexity in the number of languages to estimate these relations, instead of an exponential exhaustive computation of all possible combinations. We find that our method is effective on a diverse set of languages spanning different linguistic features and two downstream tasks. Our findings can inform developers of large-scale multilingual language models in choosing better pretraining configurations.

Ukazujeme, že výběr jazyků pro předškolení ovlivňuje následný přenos mezi jazyky pro modely založené na BERT. Zkoumáme nulový výkon v vyvážených datových podmínkách, abychom zmírnili matoucí velikost dat, klasifikujeme jazyky pro předškolení, které zlepšují následný výkon, jako dárce a jazyky, které se zlepšují v nulovém výkonu, jako příjemce. Vyvíjíme metodu kvadratické časové složitosti v počtu jazyků, abychom tyto vztahy odhadli, místo exponenciálního vyčerpávajícího výpočtu všech možných kombinací. Zjišťujeme, že naše metoda je účinná na různorodou sadu jazyků zahrnující různé jazykové vlastnosti a dva navazující úkoly. Naše zjištění mohou informovat vývojáře rozsáhlých vícejazyčných jazykových modelů při výběru lepších konfigurací pro předškolení.

Dan Malkin
Tomasz Limisiewicz
Gabriel Stanovsky


Reflexives as Part of Verb Lexemes in the VALLEX Lexicon

Reflexiva tvořící součást lexému a jejich popis ve slovníku VALLEX

Reflexivity represents one of the core research tasks in current linguistics. As the use of reflexives, encoding a variety of meanings, typically brings about changes in verb valency, the description of reflexivity is highly relevant – among others – also for valency oriented studies. In this paper, we address the reflexive in Czech categorized as a derivational morpheme (e.g., zlomit ‘to break something’ --> zlomit se ‘to break; to crack’), with the focus on valency behavior of reflexive verbs as represented in the valency lexicon of Czech verbs VALLEX.

In the data component of the lexicon, reflexive verbs, i.e., verbs with reflexive lexemes, are captured in separate lexicon entries, represented by respective verb lemma(s) containing the free reflexive morpheme se or si. In VALLEX, there are 922 lexical entries for reflexive verbs described in 1 545 lexical units represented by 1 525 verb lemmas (this number covers almost one quarter of lexical units and one third of verb lemmas in the lexicon). Reflexive verbs can be divided into two groups: into those without any non-reflexive counterpart (reflexiva tantum, 208 lexical units represented by 177 verb lemmas) and into those for which a non-reflexive base verb can be identified (derived reflexive verbs, 1 337 lexical units represented by 1 348 verb
lemmas). Those derived reflexive verbs that are directly related to their non-reflexive base verbs are classified into seven types on the ground of their relation to the non-reflexive counterparts, captured in the data component of the lexicon by the value of the attribute reflexverb.

Further, the relation of derived reflexive verbs and their respective non-reflexive counterparts is described by formal rules comprised in the grammar component of the lexicon (19 rules in total), which provide the information on changes in the mapping of semantic participants onto valency complementations.

Adekvátní popis reflexivity patří ke stěžejním výzkumným úkolům současné lingvistiky. Přítomnost reflexiva obvykle přináší změny valence, proto je popis reflexivity vysoce relevantní m.j. též pro studie zaměřené na slovesnou valenci. V této práci se zabýváme reflexivními slovesy v češtině, která lze charakterizovat jako slovesa obsahující slovotvorný morfém (např. zlomit --> zlomit se), se zaměřením na valenční chování těchto sloves a jejich popis ve valenčním lexikonu českých sloves VALLEX.

V datové komponentě slovníku jsou reflexivní slovesa zachycena v samostatných slovníkových záznamech, které jsou reprezentovány příslušnými slovesnými lemmaty (obsahujícími volný reflexivní morfém se nebo si). Ve VALLEXu identifikujeme 922 lexikálních záznamů pro reflexivní slovesa, které popisují celkem 1 545 lexikálních jednotek reprezentovaných 1 525 slovesmými lemmaty (toto číslo pokrývá téměř jednu čtvrtinu lexikálních jednotek a jednu třetinu slovesných lemmat ve slovníku). Reflexivní slovesa lze rozdělit do dvou skupin: na slovesa bez nereflexivního základového slovesa (reflexiva tantum, 208 lexikálních jednotek reprezentovaných 177 slovesnými lemmaty) a na slovesa, u nichž lze identifikovat nereflexivní základní sloveso (odvozená reflexivní slovesa, 1 337 lexikálních jednotek reprezentovaných 1 348 slovesnými lemmaty). Odvozená reflexivní slovesa, která jsou přímo odvozena od nereflexivních základových sloves, řadíme do sedmi typů na základě jejich vztahu k nereflexivním základovým slovesům (v datové komponentě je tento vztah zachycen v atributu reflexverb).

Vztah odvozených reflexních sloves a jejich příslušných nereflexních protějšků je dále popsán formálními pravidly obsaženými v gramatické složce lexikonu (celkem 19 pravidel), která poskytují informace o změnách v mapování sémantických participantů na odpovídající valenční doplnění.

Václava Kettnerová
Markéta Lopatková
Anna Vernerová


Permeation (Czech premiere of a theatre play)

Prostoupení (česká premiéra divadelní hry)

Czech premiere of the second theatre play generated within the THEaiTRE project.

Česká premiéra druhé divadelní hry vygenerované v rámci projektu THEaiTRE.

Josef Doležal
2.0 THEaiTRobot
Daniel Hrbek
Rudolf Rosa
Tomáš Studeník


Discussion after the double performance of AI: When a Robot Writes a Play and Permeation

Diskuze po dvojpředstavení AI: Když robot píše hru a Prostoupení

What does the robot think about, how does it feel and can it write a play? Snippets from the life of artificial intelligence in its own words. Futuristic Little Prince of the postpandemic era.
Every reprise will be followed by a debate with experts in artificial intelligence and theater makers. The show is not only a testament to the current capabilities of computer technology, but also an engaging vision of the future world inspired by the sci-fi classics.

O čem robot přemýšlí, co cítí a dokáže napsat divadelní hru? Střípky ze života umělé inteligence jejími vlastními slovy. Futuristický Malý princ z doby postpandemické.
Inscenace, po jejíž každé repríze následuje debata s odborníky na umělou inteligenci i divadelními tvůrci, je nejen svědectvím o současných schopnostech počítačových technologií, ale i poutavou vizí budoucího světa inspirující se v klasikách žánru sci-fi.


Multimodality for NLP-Centered Applications: Resources, Advances and Frontiers

Multimodalita pro aplikace zpracovní přirozeného jazyka: Zdroje, pokroky, hranice

With the development of multimodal systems and natural language generation techniques, the resurgence of multimodal datasets has attracted significant research interests, which aims to provide new information to enrich the representation of textual data. However, there remains a lack of a comprehensive survey for this task. To this end, we take the first step and present a thorough review of this research field. This paper provides an overview of a publicly available dataset with different modalities according to the applications. Furthermore, we discuss the new frontier and give our thoughts. We hope this survey of multimodal datasets can provide the community with quick access and a general picture of the multimodal dataset for specific Natural Language Processing (NLP) applications and motivates future researches. In this context, we release the collection of all multimodal datasets easily accessible here: https://github.com/drmuskangarg/Multimodal-datasets

Přehledový článek představuje první krok k souhrnné prezentaci veřejně dostupných datasetů pro multimodální experimenty.

Muskan Garg
Seema Wazarkar
Muskaan Singh
Ondřej Bojar


Combining Noisy Semantic Signals with Orthographic Cues: Cognate Induction for the Indic Dialect Continuum

Kombinace sémantických a pravopisných rysů pro detekci kognátů v indickém dialektovém kontinuu

We present a novel method for unsupervised cognate/borrowing identification from monolingual corpora designed for low and extremely low resource scenarios, based on combining noisy semantic signals from joint bilingual spaces with orthographic cues modelling sound change.  We apply our method  to the North Indian dialect continuum, containing several dozens of dialects and languages spoken by more than 100 million people. Many of these languages are zero-resource and therefore natural language processing for them is non-existent. We first collect monolingual data for 26 Indic languages, 16 of which were previously zero-resource, and perform exploratory character, lexical and subword cross-lingual alignment experiments for the first time at this scale on this dialect continuum. We create bilingual evaluation lexicons against Hindi for 20 of the languages. We then apply our cognate identification method on the data, and show that our method outperforms both traditional orthography baselines as well as EM-style learnt edit distance matrices. To the best of our knowledge, this is the first work to combine traditional orthographic cues with noisy bilingual embeddings to tackle unsupervised cognate detection in a (truly) low-resource setup, showing that even noisy bilingual embeddings can act as good guides for this task. We release our multilingual dialect corpus, called HinDialect, as well as our scripts for evaluation data collection and cognate induction.

Představujeme novou neřízenou metodu pro hledání kognátů v monolinguálních datech při scénářích s malými a extrémně malými daty. Metoda kombinuje zašumělý sémantický signál ze sdruženého bilinguálního prostoru s pravopisnými rysy modelujícími zvukové změny. Metodu aplikujeme na severoindické dialektové kontinuum, které pokrývá několik desítek jazyků a dialektů. Pro mnoho z těchto jazyků neexistovaly žádné datové zdroje, nástroje pro zpracování přirozeného jazyka pro tyto jazyky tedy v podstatě také neexistovaly. Nejprve jsme shromáždili monolinguální korpusy pro 26 indických jazyků, z nichž pro 16 dosud neexistovaly datové zdroje, a provedli jsme na nich řadu pilotních experimentů. Pro 20 jazyků jsme vytvořili překladové slovníky do hindštiny. Následně jsme aplikovali naši metodu pro hledání kognátů a doložili jsme, že její úspěšnost překonává klasické systémy založené jenom na pravopisných rysech i metody založené na řetězcové podobnosti natrénované způsobem EM. Jsme přesvědčeni, že naše práce jako první kombinuje využití pravopisných rysů se zašumělými bilinguálními embeddingy a umožňuje hledání kognátů v situacích se skutečně kritickým nedostatkem dat. Naši vícejazyčnou datovou sadu jsme zveřejnili pod názvem HinDialect, zdrojové kódy jsme zveřejnili také.

Niyati Bafna
Josef Genabith
Cristina España-Bonet
Zdeněk Žabokrtský


Constrained Decoding for Technical Term Retention in English-Hindi MT

Omezené dekódování pro zachování odborných termínů v anglicko-hindském MT

Technical terms may require special handling
when the target audience is bilingual,
depending on the cultural and educational
norms of the society in question. In particular,
certain translation scenarios may require
“term retention” i.e.
preserving of the
source language technical terms in the target
language output to produce a fluent and
comprehensible codeswitched sentence.
We show that a standard transformerbased
machine translation model can be adapted
easily to perform this task with little or no
damage to the general quality of its output.
We present an EnglishtoHindi model that is
trained to obey a “retain” signal, i.e. it can
perform the required codeswitching on a list
of terms, possibly unseen, provided at runtime.
We perform automatic evaluation using BLEU
as well as F1 metrics on the list of retained
terms; we also collect manual judgments on
the quality of the output sentences.

Technické termíny mohou vyžadovat zvláštní zacházení, pokud je cílová skupina dvojjazyčná, v závislosti na kulturních a vzdělávacích
normách dané společnosti. Zejména některé překladové situace mohou vyžadovat „zachování termínů“, tj. ponechání technických termínů zdrojového jazyka v cílovém jazyce výstupu, aby vznikla plynulá a srozumitelná věta.
Ukazujeme, že standardní model strojového překladu založený na Transformeru lze snadno přizpůsobit k dosažení tohoto cíle, aniž by přitom trpěla kvalita jeho výstupu obecně.
Představujeme anglicko-hindský model, který je natrénovat k uposlechnutí signálu „zachování“, tj. za běhu zajistí, že vybrané termíny nebudou přeloženy. Navrženou metodu vyhodnocujeme automatickými metrikami (BLEU pro překlad obecně, F1 pro zachování termínů), i ručně (celková kvalita výstupních vět).


Subword-based Cross-lingual Transfer of Embeddings from Hindi to Marathi and Nepali

Přenos slovních embeddingů z hindštiny do maratštiny a nepálštiny na základě podslovných jednotek

Word embeddings are growing to be a crucial resource in the field of NLP for any language. This work introduces a novel technique for static subword embeddings transfer for Indic languages from a relatively higher resource language to a genealogically related low resource language. We primarily work with Hindi-Marathi, simulating a low-resource scenario for Marathi, and confirm observed trends on Nepali. We demonstrate the consistent benefits of unsupervised morphemic segmentation on both source and target sides over the treatment performed by fastText. Our best-performing approach uses an EM-style approach to learning bilingual subword embeddings; we also
show, for the first time, that a trivial “copy-
and-paste” embeddings transfer based on even perfect bilingual lexicons is inadequate in capturing language-specific relationships. We find that our approach substantially outperforms the fastText baselines for both Marathi and Nepali on the Word Similarity task as well as WordNet-Based Synonymy Tests; on the former task, its performance for Marathi is close to that of pretrained fastText embeddings that use three orders of magnitude more Marathi data.

Slovní embeddingy jsou ve zpracování přirozeného jazyka čím dál podstatnější komponentou. Tento článek představuje novou metodu pro přenos statických podslovných embeddings z jazyka s relativním dostatkem zdrojů do jazyka s nedostatkem zdrojů. Primárně pracujeme s jazykovým párem hindština-márátština, přičemž pro márátštinu je nedostatek zdrojů pouze simulovaný a výsledky dále potvrzujme na nepálštině. Náš přístup výrazně překonává baseline fastText pro oba jazyky na úlohách podobnost slov a testování synonymie. Na první úloze je úspěšnost na máráštině dokonce srovnatelná s úspěšností standardní metody při využití o tři řády většího množství dat.

 We primarily work with Hindi-Marathi, simulating a low-resource scenario for Marathi, and confirm observed trends on Nepali. We demonstrate the consistent benefits of unsupervised morphemic segmentation on both source and target sides over the treatment performed by fastText. Our best-performing approach uses an EM-style approach to learning bilingual subword embeddings; we also show, for the first time, that a trivial “copy-and-paste” embeddings transfer based on even
perfect bilingual lexicons is inadequate in cap-
turing language-specific relationships. We find that our approach substantially outperforms the fastText baselines for both Marathi and Nepali on the Word Similarity task as well as WordNet-Based Synonymy Tests; on the former task, its  performance for Marathi is close to that of pretrained fastText embeddings that use three orders of magnitude more Marathi data.