ufal/bilingual-abstracts-corpus huggingface dataset:
CUNI Non-Autoregressive System for the WMT 22 Efficient Translation Shared Task
Neautoregresivní systém Univerzity Karlovy pro úlohu efektivního překladu na WMT 2022
Year: 2022
Authors: Jindřich Helcl

Abstract (English):
We present a non-autoregressive system submission to the WMT 22 Efficient Translation Shared Task. Our system was used by Helcl et al. (2022)
in an attempt to provide fair comparison between non-autoregressive and autoregressive models. This submission is an effort to 
establish solid baselines along with sound evaluation methodology, 
particularly in terms of measuring the decoding speed. The model itself
is a 12-layer Transformer model trained with connectionist temporal classification on knowledge-distilled dataset by a strong autoregressive teacher model.

Abstract (Czech):
Představujeme neautoregresivní systém do sdílené úlohy efektivního překladu na WMT 22. Náš systém byl použit v Helcl et al. (2022)
ve snaze poskytnout spravedlivé srovnání mezi neautoregresivními a autoregresními modely. Tento příspěvek je snahou poskytnout základní výsledky neautoregresivních modelů spolu se správnou metodologií jejich hodnocení,
zejména z hlediska měření rychlosti dekódování. Samotný model
je 12vrstvý model Transformer trénovaný s konekcionistickou časovou klasifikací (CTC) na znalostně destilované datové sadě pomocí silného autoregresivního učitelského modelu.
Non-Autoregressive Machine Translation: It's Not as Fast as it Seems
Neautoregresivní neuronový strojový překlad není tak rychlý jak se může zdát
Year: 2022
Authors: Jindřich Helcl, Barry Haddow, Alexandra Birch

Abstract (English):
Efficient machine translation models are commercially important as they can increase inference speeds, and reduce costs and carbon emissions. Recently, there has been much interest in non-autoregressive (NAR) models, which promise faster translation. In parallel to the research on NAR models, there have been successful attempts to create optimized autoregressive models as part of the WMT shared task on efficient translation. In this paper, we point out flaws in the evaluation methodology present in the literature on NAR models and we provide a fair comparison between a state-of-the-art NAR model and the autoregressive submissions to the shared task. We make the case for consistent evaluation of NAR models, and also for the importance of comparing NAR models with other widely used methods for improving efficiency. We run experiments with a connectionist-temporal-classification-based (CTC) NAR model implemented in C++ and compare it with AR models using wall clock times. Our results show that, although NAR models are faster on  GPUs, with small batch sizes, they are almost always slower under more realistic usage conditions. We call for more realistic and extensive evaluation of NAR models in future work.

Abstract (Czech):
Efektivní modely strojového překladu jsou komerčně důležité, protože mohou zvýšit rychlost překladu a snížit náklady a emise uhlíku. V poslední době je velký zájem o neautoregresivní (NAR) modely, které slibují rychlejší překlad. Paralelně s výzkumem modelů NAR proběhly úspěšné pokusy o vytvoření optimalizovaných autoregresních modelů v rámci sdíleného úkolu WMT o efektivním překladu. V tomto článku poukazujeme na nedostatky v metodice hodnocení v literatuře o modelech NAR a poskytujeme spravedlivé srovnání mezi nejmodernějším modelem NAR a autoregresivními příspěvky ke sdílenému úkolu. Zastáváme důsledné hodnocení modelů NAR a také důležitost porovnávání modelů NAR s jinými široce používanými metodami pro zlepšení efektivity. Provádíme experimenty s modelem NAR založeným na konekcionisticko-temporální klasifikaci (CTC) implementovaným v C++ a porovnáváme jejich čas s autoregresivními modely AR. Naše výsledky ukazují, že ačkoli jsou modely NAR rychlejší na GPU, s malými velikostmi dávek, jsou téměř vždy pomalejší za reálnějších podmínek použití. V budoucí práci požadujeme realističtější a rozsáhlejší hodnocení modelů NAR.
Neural architectures for character-level NLP
Neuronové architektury pro zpracování přirozeného jazyka po znacích
Year: 2022
Authors: Jindřich Libovický

Abstract (English):
The success of deep learning NLP is often narrated as not assuming anything about the language and letting the data speak for itself. Although this is debatable on many levels, one thing is outstandingly suspicious: most state-of-the-art NLP models assume the existence of discrete tokens and use subword segmentation which combines rules with simple statistical heuristics. Avoiding explicit input segmentations is more difficult than it seems.

The first part of the talk will present neural edit distance, a novel interpretable architecture based on well-known Levenshtein distance that can be used for purely character-level tasks such as transliteration or cognate detection. In the second part of the talk, we will zoom out and have a look at character-level methods for neural machine translation. We will present how innovations in training and architectures design can improve translation quality. Despite this progress, we will show that character-level methods in machine translation still lack behind the subword-based models nearly in all respect that can be measured.

Abstract (Czech):
Úspěch hlubokého učení NLP je často popisován tak, že o jazyku nic nepředpokládáme a necháváme data mluvit sama za sebe. Ačkoli je to na mnoha úrovních diskutabilní, jedna věc je neobyčejně podezřelá: většina nejmodernějších NLP modelů předpokládá existenci diskrétních tokenů a používá segmentaci na podslova, která kombinuje pravidla s jednoduchými statistickými heuristikami. Vyhnout se explicitní segmentaci vstupi je obtížnější, než se zdá.

První část přednášky představí neurální neuronovou edistační vzdálenost, novou interpretovatelnou architekturu založenou na dobře známé Levenshteinově vzdálenosti, kterou lze použít pro čistě znakové úlohy, jako je transliterace nebo detekce kognátů. Ve druhé části přednášky si přiblížíme neuronový strojový překlad na úrovni znaků. Představíme, jak inovace v oblasti trénování a návrhu architektur mohou zlepšit kvalitu překladu. I přes tento pokrok se ukazuje, že metody na úrovni znaků ve strojovém překladu stále zaostávají za modely na bázi podslov téměř ve všech ohledech, které lze měřit.
Neural networks and machine translation
Neuronové sítě a strojový překlad
Year: 2022
Authors: Jindřich Libovický

Abstract (English):
Neural networks have dominated many areas of computer science in recent years, one of which is machine translation. In this talk, we discuss how machine translation using neural networks works, what are its strengths and weaknesses, and how we at the Faculty of Mathematics and Physics managed to develop a system for translation between Czech and Ukrainian in just two weeks that can compete with the translators of large companies.

Abstract (Czech):
Neuronové sítě v posledních letech dominují v mnoha oblastech informatiky a jednou z nich je i automatický překlad. V přednášce si ukážeme, jak strojový překlad pomocí neuronových sítí funguje, jaké jsou jeho silné a slabé stránky a také to, jak se nám na Matematicko-fyzikální fakultě podařilo během pouhých dvou týdnů vyvinout systém pro překlad mezi češtinou a ukrajinštinou, který může konkurovat překladačům velkých firem.
Neural String Edit Distance
Neuronová editační vzdálenost
Year: 2022
Authors: Jindřich Libovický, Alexander Fraser

Abstract (English):
We propose the neural string edit distance model for string-pair matching and string transduction based on learnable string edit distance. We modify the original expectation-maximization learned edit distance algorithm into a differentiable loss function, allowing us to integrate it into a neural network providing a contextual representation of the input. We evaluate on cognate detection, transliteration, and grapheme-to-phoneme conversion, and show that we can trade off between performance and interpretability in a single framework. Using contextual representations, which are difficult to interpret, we match the performance of state-of-the-art string-pair matching models. Using static embeddings and a slightly different loss function, we force interpretability, at the expense of an accuracy drop.

Abstract (Czech):
Navrhujeme model neuronová editační vzdálenost pro párování řetězců a převod řetězců na základě naučené editační vzdálenosti. Upravili jsme původní MT algoritmus tak, aby využíval diferencovalnou ztrátovou funkci, což nám umožňuje integrovat ji do neuronové sítě poskytující kontextovou reprezentaci vstupu. Hodnotíme detekci kognatů, transliteraci a konverzi grafémů na fonémy a ukazujeme, že v jednom teoretickém rámci připravovat modely, kde jde proti sobě intepretovatelnost a přesnost. Pomocí kontextových reprezentací, které jsou ale hůře interpretovatelné, dosahuje stejné přesnosti jako nejlepší metody pro párování řetězců. Pomocí statických embedingů a mírně odlišné ztrátové funkce dokážeme vynutit interpretabilitu na úkor poklesu přesnosti.
Why don’t people use character-level machine translation?
Proč se nepoužívá strojový překlad po znacích?
Year: 2022
Authors: Jindřich Libovický, Helmut Schmid, Alexander Fraser

Abstract (English):
We present a literature and empirical survey that critically assesses the state of the art in character-level modeling for machine translation (MT). Despite evidence in the literature that character-level systems are comparable with subword systems, they are virtually never used in competitive setups in WMT competitions. We empirically show that even with recent modeling innovations in character-level natural language processing, character-level MT systems still struggle to match their subword-based counterparts. Character-level MT systems show neither better domain robustness, nor better morphological generalization, despite being often so motivated. However, we are able to show robustness towards source side noise and that translation quality does not degrade with increasing beam size at decoding time.

Abstract (Czech):
V článku prezentuje přehled literatury a empirický průzkum, který kriticky hodnotí předchozí práci v oblasti strojového překladu na úrovni znaků. Navzdory tvrzením v literatuře, že systémy na úrovni znaků jsou srovnatelné se systémy, které pracují na úrovni podslov, prakticky nikdy se nepoužívají v soutěžních systémech WMT. Empiricky ukazujeme, že i s nedávnými inovacemi v modelování zpracování přirozeného jazyka na úrovni znaků se systémy strojového překladu na úrovni znaků stále obtížně vyrovnávají svým protějškům na bázi podslov. Strojový překlad na úrovni znaků nevykazuje ani lepší doménovou robustnost, ani lepší morfologické zobecnění, přestože to bývá často hlavní motivace pro jejich vývoj. Systémy zpracovávající vstup po znacích naopak vykazují velkou robustnost vůči šumu a že kvalita překladu neklesá ani s klesající mírou ořezávání během dekódování.
The age of large language models
Doba velkých jazykových modelů
Year: 2022
Authors: Jindřich Libovický, Jindřich Helcl

Abstract (English):
A talk summarizing the basics of large language models and their recent development.

Abstract (Czech):
Přednáška shrnující fungování velkých jazykových modelů a jejich nedávný vývoj.
Conversion in English and Czech: a corpus study of semantic relations between nouns and verbs
Konverze v angličtině a češtině: korpusová studie sémantických vztahů mezi substantivy a slovesy
Year: 2022
Authors: Hana Hledíková

Abstract (English):
Abstract
The aim of this MA thesis is to carry out a corpus-based contrastive study of the semantic
relations between verbs and nouns in conversion pairs in English and Czech. Pairs of verbs and
nouns like run.v – run.n, salt.n – salt.v in English and běžet/běhat ‘run.v’ – běh ‘run.n’, sůl
‘salt.n’ – solit ‘salt.v’ in Czech are taken to be the result of a word-formation process called
conversion, in which a new word belonging to a different word class is created without the
addition of any derivational affixes. Using a sample of 300 such pairs in both languages,
extracted from the British National Corpus for English and from the SYN2015 corpus for Czech,
we analyse and classify the different semantic relations existing between the nouns and verbs.
We adopt a cognitive approach and classify the semantic relations based on conceptual event
schemata and their elements. Because the nouns and/or verbs are often polysemous, the
semantic classification also accounts for the possibility of multiple semantic relations existing
between the verb and the noun in one conversion pair. In the analysis, we examine and compare
the frequencies with which the different semantic relations appear in the conversion pairs in
English and Czech, as well as the patterns of multiple semantic relations that appear together in
a single conversion pair.

Abstract (Czech):
Cílem této diplomové práce je provést korpusově založenou kontrastivní studii sémantických
vztahů mezi slovesy a substantivy v konverzních dvojicích v angličtině a češtině. Dvojice
sloves a substantiv jako run.v ‘běžet/běhat’ – run.n ‘běh’, salt.n ‘sůl’ – salt.v ‘solit’ v angličtině
a běžet/běhat – běh, sůl – solit v češtině jsou považovány za výsledky slovotvorného procesu
nazývaného konverze, ve kterém je vytvořeno nové slovo patřící k odlišnému slovnímu druhu
bez použití slovotvorných afixů. S použitím vzorku 300 takovýchto párů v obou jazycích,
získaného z Britského národního korpusu pro angličtinu a z korpusu SYN2015 pro češtinu,
analyzujeme a klasifikujeme sémantické vztahy mezi slovesy a substantivy. Zaujímáme
kognitivní přístup a sémantické vztahy klasifikujeme na základě konceptuálních schémat
událostí a jejich složek. Protože substantiva a/nebo slovesa jsou často polysémní, tato
sémantická klasifikace také počítá s možností existence více různých sémantických vztahů
mezi slovesem a substantivem v jedné konverzní dvojici. V rámci analýzy je zkoumána a
porovnána frekvence, se kterou se různé sémantické vztahy objevují v konverzních párech
v angličtině a češtině, a také vzorce více různých sémantických vztahů v rámci jednoho
konverzního páru.
Excerpt from the theatre play AI: When a Robot Writes a Play
Úryvek z divadelní hry AI: Když robot píše hru
Year: 2022
Authors: 1.0 THEaiTRobot, David Košťák, Daniel Hrbek, Rudolf Rosa, Ondřej Dušek

Abstract (English):
A description of the project, an explanation of the functioning of the GPT-2 model and a sample from the script of the play.

Abstract (Czech):
Popis projektu, vysvětlení fungování modelu GPT-2 a ukázka ze scénáře divadelní hry.
Charles Translator for Ukraine
Charles Translator for Ukraine
Year: 2022
Authors: Martin Popel

Abstract (English):
How does a machine learn a new language? Over the course of two weeks in March 2022, a team of experts from MFF UK trained a Ukrainian-Czech translator, which the public could immediately use for free thanks to the research infrastructure Lindat.cz, later also using the web interface (translator.cuni.cz) and the mobile application Charles Translator for Ukraine. This lecture will present the experience from the development and half a year of improvements and operation of this translator.

Abstract (Czech):
Jak se stroj učí nový jazyk? Během dvou týdnů v březnu 2022 tým odborníků z MFF UK natrénoval ukrajinsko-český překladač, který mohla veřejnost ihned zdarma používat díky výzkumné infrastruktuře Lindat.cz, později též pomocí webové (translator.cuni.cz) a mobilní aplikace Charles Translator for Ukraine. Tato přednáška představí zkušenosti z vývoje a půlročního vylepšování a provozování tohoto překladače.
Machine translation and artificial intelligence
Strojový překlad a umělá inteligence
Year: 2022
Authors: Martin Popel

Abstract (English):
The lecture will briefly present some of the tasks covered by computer linguistics, such as automatic correction of typos/grammar or automatic sentence analysis. The main focus will be on the role of machine translation, especially the development of various types of translators from English to Czech over the last decade. Today's best translators are based on artificial intelligence technologies, namely deep (artificial) neural networks,
and the quality of the resulting translation is close to that of a professional translation agency. Some translation errors are caused by translating individual sentences independently, which is solved by a newly published translator of whole documents. The lecture will also discuss how human translation differs from machine translation, how artificial neural networks differ from the human brain, and whether we can rely on machine translation.

Abstract (Czech):
Přednáška krátce představí některé úlohy, kterými se zabývá počítačová lingvistika, například automatickou opravu překlepů/gramatiky či automatický větný rozbor. Hlavní pozornost bude věnována úloze strojového překladu, zejména vývoji různých typů překladačů z angličtiny do češtiny během posledního desetiletí. Dnešní nejlepší překladače jsou založeny na technologiích umělé inteligence, konkrétně hlubokých (umělých) neuronových sítí,
a kvalita výsledného překladu se blíží úrovni profesionální překladatelské agentury. Některé překladové chyby jsou způsobeny překládáním jednotlivých vět nezávisle, což řeší nově zveřejněný překladač celých dokumentů. V přednášce bude též diskutováno, jak se liší lidský překlad od toho strojového, jak se liší umělé neuronové sítě od lidského mozku a zda se můžeme na strojový překlad spolehnout.
CUNI Systems for the WMT 22 Czech-Ukrainian Translation Task
Systémy Univerzity Karlovy pro soutěžní úkol WMT22 v česko-ukrajinském překladu
Year: 2022
Authors: Martin Popel, Jindřich Libovický, Jindřich Helcl

Abstract (English):
We present Charles University submissions to the WMT22 General Translation Shared Task on Czech-Ukrainian and Ukrainian-Czech machine translation. We present two constrained submissions based on block back-translation and tagged back-translation and experiment with rule-based romanization of Ukrainian. Our results show that romanization only has a minor effect on the translation quality. Further, we describe Charles Translator, a system developed in March 2022 as a response to the migration from Ukraine to the Czech Republic. Compared to our constrained systems, it did not use romanization and used some proprietary data sources.

Abstract (Czech):
Představujeme příspěvky Univerzity Karlovy do soutěžního úkolu WMT22 týkající se česko-ukrajinského a ukrajinsko-českého strojového překladu. Představujeme dvě systémy, které využívají omezená data.  Jeden využívá blokový zpětném překladu a druhý značený zpětném překladu. Dále experimentujeme s pravidlovou romanizací ukrajinského textu. Naše výsledky ukazují, že romanizace má na kvalitu překladu jen malý vliv. Dále popisujeme systém Charles Translator, který byl vyvinut v březnu 2022 jako reakce na migraci z Ukrajiny do České republiky. Oproti našim s omezenými data, nepoužíval romanizaci a využíval některé zdroje dat, které nebyly součástí soutěžního úkolu.
DialogueScript: Using Dialogue Agents to Produce a Script
DialogueScript: Využití dialogových agentů pro tvorbu scénáře
Year: 2022
Authors: Patrícia Schmidtová, Dávid Javorský, Christián Mikláš, Tomáš Musil, Rudolf Rosa, Ondřej Dušek

Abstract (English):
We present a novel approach to generating scripts by using agents with different personality types. To manage character interaction in the script, we employ simulated dramatic networks. Automatic and human evaluation on multiple criteria shows that our approach outperforms a vanilla-GPT2-based baseline. We further introduce a new metric to evaluate dialogue consistency based on natural language inference and demonstrate its validity.

Abstract (Czech):
Představujeme nový přístup k generování scénářů pomocí agentů s různými typy osobnosti. Pro řízení interakce postav ve scénáři využíváme simulované dramatické sítě. Automatické a lidské hodnocení na více kritériích ukazuje, že náš přístup překonává základní úroveň založenou na vanilkovém GPT2. Dále zavádíme novou metriku pro hodnocení konzistence dialogu na základě inference přirozeného jazyka a demonstrujeme její platnost.
THEaiTRE: Generating Theatre Play Scripts using Artificial Intelligence
THEaiTRE: Generování scénářů divadelních her pomocí umělé inteligence
Year: 2022
Authors: Patrícia Schmidtová, Rudolf Rosa, David Košťák, Tomáš Studeník, Daniel Hrbek, Tomáš Musil, Josef Doležal, Ondřej Dušek, David Mareček, Klára Vosecká, Marie Nováková, Petr Žabka, Alisa Zakhtarenko, Dominik Jurko, Martina Kinská, Tom Kocmi, Ondřej Bojar

Abstract (English):
In this book, we describe THEaiTRE, an interdisciplinary project combining theatre and computational linguistics, with its main result being a production and staging of the first computer-generated theatre play. The goal of the project was to explore the potential of current artificial intelligence techniques to be incorporated into theatre practice.

Within the project, we managed to generate scripts of two theatre plays, AI: When a Robot Writes a Play and Permeation. The plays were then staged, rehearsed and premiered in theatres. We dedicate the first part of this book to the process of creating and staging the actual plays and to various theatrical aspects of the project. This part of the book is accessible to any reader.

The scripts for the plays were created using our online interactive script generation tool called THEaiTRobot. As the tool is one of the main results of this project, the whole second part of this book is dedicated to the design of the tool and the research and experiments we performed. Most of that part of the book is quite technical, intended for a reader with some background in computer science and/or computational linguistics.

Abstract (Czech):
V této knize představujeme THEaiTRE, interdisciplinární projekt propojující divadlo a počítačovou lingvistiku, jehož hlavním výsledkem byla produkce a inscenace první počítačově vytvořené divadelní hry. Cílem projektu bylo prozkoumat potenciál současných technik umělé inteligence, které by mohly být začleněny do divadelní praxe.

V rámci projektu se nám podařilo vygenerovat scénáře dvou divadelních her, AI: Když robot píše hru a Prostoupení. Hry pak byly inscenovány, nazkoušeny a uvedeny v divadlech. První část této knihy věnujeme procesu tvorby a inscenování samotných her a různým divadelním aspektům projektu. Tato část knihy je přístupná všem čtenářům.

Scénáře ke hrám byly vytvořeny pomocí našeho online interaktivního nástroje na generování scénářů s názvem THEaiTRobot. Vzhledem k tomu, že tento nástroj je jedním z hlavních výsledků tohoto projektu, celá druhá část této knihy je věnována návrhu nástroje a provedenému výzkumu a experimentům. Většina této části knihy je spíše odborná, určená čtenáři s určitým vzděláním v oblasti informatiky a/nebo počítačové lingvistiky.
Findings of the 2022 Conference on Machine Translation (WMT22)
Výsledky konference WMT 2022
Year: 2022
Authors: Rachel Bawden, Ondřej Bojar, Rajen Chatterjee, Anton Dvorkovich, Christian Federmann, Mark Fishel, Markus Freitag, Thamme Gowda, Yvette Graham, Roman Grundkiewicz, Barry Haddow, Matthias Huck, Rebecca Knowles, Tom Kocmi, Philipp Koehn, Christof Monz, Makoto Morishita, Masaaki Nagata, Toshiaki Nakazawa, Matteo Negri, Michal Novák, Martin Popel, Maja Popović, Mariya Shmatova, Marco Turchi

Abstract (English):
The article presents the results of WMT22 translation shared tasks.

Abstract (Czech):
Článek prezentuje výsledky překladové soutěže WMT22, včetně automatických a ručních hodnocení.