When a Robot Writes a Play: Automatically Generating a Theatre Play Script

Když robot píše hru: automatická tvorba divadelního scénáře

We inform about AI: When a Robot Writes a Play, a theatre play with a mostly artificially generated script. We describe the THEaiTRobot 1.0 tool, which was used to generate the script. We discuss various issues encountered in the process, including those that we solved to some extent as well as those which we plan to solve in a future version of the system.

Informujeme o AI: Když robot píše hru, divadelní hře s převážně uměle vytvořeným scénářem. Popisujeme nástroj THEaiTRobot 1.0, který byl použit ke generování scénáře. Diskutujeme o různých problémech, se kterými se v procesu setkáváme, včetně těch, které jsme do určité míry vyřešili, i těch, které plánujeme vyřešit v budoucí verzi systému.


In February 2021, we staged the first theatre play for which 90% of the script was automatically generated by an artificial intelligence system.

The THEaiTRobot system is based on the GPT-2 language model, created by the OpenAI consortium, complemented with automated translation. We had to adapt the model in various ways, especially to avoid repetitiveness and forgetting of context, and to stick to a limited set of characters. As input for the system, we used short starting prompts (scene setting and first few lines of dialogue), prepared by a dramaturge, which were expanded into full scenes by THEaiTRobot. The script was then post-edited and put on stage. Reviews mostly noted that AI cannot really write a good play (yet), but acknowledged that the performance was mostly interesting and entertaining to watch.

We faced numerous limitations with our approach. We could only generate individual scenes independently, with a limited number of characters, and with the character personalities often randomly switching and merging. Also, the system does not see beyond the text of the script, lacking the understanding of the relation of the script to what is happening on stage. We are currently working on a new version of the system, which should improve on some of the issues, while also further minimizing the amount of human influence. It should also incorporate the concept of dramatic situations into the generation process.

The THEaiTRE project is related to other similar attempts, such as the play Lifestyle of the Richard and Family, the musical Beyond the Fence, the short movie Sunspring, or the performances of the Improbotics theatre group, all of which use automatically generated content to some extent. Our play stands out among these projects by being rather long (60 minutes) while having a very high proportion of automatically generated content (90%).

V únoru 2021 jsme zinscenovali první divadelní hru, pro kterou bylo 90% scénáře automaticky generováno systémem umělé inteligence.

Systém THEaiTRobot je založen na jazykovém modelu GPT-2, který vytvořilo konsorcium OpenAI a který je doplněn o automatický překlad. Model jsme museli různě upravovat, zejména abychom se vyhnuli opakování a zapomínání kontextu, a abychom se drželi omezeného souboru postav. Jako vstup do systému jsme použili krátké úvodní výzvy (scénické nastavení a prvních pár řádků dialogu), připravené dramaturgem, které THEaiTRobot rozšířil do celých scén. Scénář byl následně posteditován a uveden na scénu. Recenze většinou zaznamenaly, že AI neumí napsat dobrou hru (zatím), ale uznaly, že představení bylo hlavně zajímavé a zábavné.

Se svým přístupem jsme čelili mnoha omezením. Mohli jsme generovat pouze jednotlivé scény nezávisle, s omezeným počtem postav a s charaktery, které se často náhodně zaměňují a slučují. Systém také nevidí za text scénáře, chybí mu porozumění vztahu scénáře k tomu, co se děje na jevišti. V současné době pracujeme na nové verzi systému, která by měla některé problémy zlepšit a zároveň dále minimalizovat množství lidského vlivu. Měl by také do procesu začlenit koncept dramatických situací.

Projekt THEaiTRE souvisí s dalšími podobnými pokusy, jako je hra Životní styl Richarda a rodiny, muzikál Za plotem, krátký film Sluneční jaro nebo představení divadelní skupiny Improbotics, které do jisté míry využívají automaticky generovaný obsah. Naše hra mezi těmito projekty vyniká tím, že je poměrně dlouhá (60 minut) a zároveň má velmi vysoký podíl automaticky generovaného obsahu (90%).


Panel Discussion: “AI. Or the Future of the Arts?”

Panelová diskuze: "AI. Nebo budoucnost umění?"

The panel follows the Czech theater performance “AI: When a Robot Writes a Play”, which was written by the help of an AI system and – narrated by a robot – deals with the quest for belonging in an alienated world. With the makers of the play and other artists working with AI, we will explore to what extent AI systems can imitate human creativity and what this imitation says about our understanding of art and society. Beyond the fear of computers replacing humans, we want to discuss what new possibilities AI can offer to art and how artists can think critically and originally about new technologies.

Panel sleduje české divadelní představení „AI: When a Robot Writes a Play“, které bylo napsáno s pomocí systému AI a – namluveno robotem – pojednává o hledání sounáležitosti v odcizeném světě. S tvůrci hry a dalšími umělci pracujícími s umělou inteligencí prozkoumáme, do jaké míry mohou systémy umělé inteligence imitovat lidskou tvořivost a co tato imitace vypovídá o našem chápání umění a společnosti. Kromě strachu z toho, že počítače nahradí člověka, chceme diskutovat o tom, jaké nové možnosti může umělec nabídnout umění a jak umělci mohou kriticky a originálně přemýšlet o nových technologiích.


Discussion after the screening of AI: When a Robot Writes a Play

Diskuze po promítání AI: Když robot píše hru

What does the robot think about, how does it feel and can it write a play? Snippets from the life of artificial intelligence in its own words. Futuristic Little Prince of the postpandemic era.

Every reprise will be followed by a debate with experts in artificial intelligence and theater makers. The show is not only a testament to the current capabilities of computer technology, but also an engaging vision of the future world inspired by the sci-fi classics.

O čem robot přemýšlí, co cítí a dokáže napsat divadelní hru? Střípky ze života umělé inteligence jejími vlastními slovy. Futuristický Malý princ z doby postpandemické.

Inscenace, po jejíž každé repríze následuje debata s odborníky na umělou inteligenci i divadelními tvůrci, je nejen svědectvím o současných schopnostech počítačových technologií, ale i poutavou vizí budoucího světa inspirující se v klasikách žánru sci-fi.

Rudolf Rosa
David Košťák
Josef Doležal
Tomáš Musil
Patrícia Schmidtová
Dominik Jurko


Inverting R.U.R. with Artificial Intelligence: THEaiTRobot is Generating a Theatre Play Script to Mark 100 Years of Čapek's Work

Invertování R.U.R. s umělou inteligencí: THEaiTRobot vytváří scénář divadelní hry k označení 100 let Čapkova díla

Karel Čapek's R.U.R. was the first theatrical play written by a human about robots (and humans). It premiered on 25 January 1921. A hundred years later, with all the current advances in natural language processing and artificial neural networks, we have turned the idea around in our THEaiTRE project. On 25 January 2021, we will premiere "AI: When a robot writes a play" ("AI: Když robot píše hru"), a theatre play about humans (and robots) written by our artificial intelligence called THEaiTRobot. It is made possible by computational linguists joining forces with theatre experts for this unique research project. What is this project about and how has it been developed? What challenges have we faced? What does the AI-generated script look like? ...and do we actually want AI to create art?

R.U.R. Karla Čapka byla první divadelní hra napsaná člověkem o robotech (a lidech). Premiéru měl 25. ledna 1921. O sto let později, se všemi současnými pokroky ve zpracování přirozeného jazyka a umělých neuronových sítích, jsme v našem projektu THEaiTRE tuto myšlenku otočili. 25. ledna 2021 budeme mít premiéru "AI: When a robot writes a play" ("AI: robot píše hru"), divadelní hru o lidech (a robotech), kterou napsala naše umělá inteligence THEaiTRobot. Umožňují to počítačoví lingvisté, kteří pro tento unikátní výzkumný projekt spojují své síly s divadelními odborníky. O co v tomto projektu jde a jak byl vyvinut? Jakým výzvám jsme čelili? Jak ten umělou inteligencí vytvořený scénář vypadá? ...a opravdu chceme, aby umělá inteligence vytvářela umění?

Rudolf Rosa
Patrícia Schmidtová
Klára Vosecká


Invertování R.U.R. s umělou inteligencí: THEaiTRobot vytváří scénář divadelní hry k uctění 100 let Čapkova díla

Inverting R.U.R. with Artificial Intelligence.
Čapek anniversary.
Generating Theatre Plays.
Output Examples.
View of a Theatre Expert.

Invertování R.U.R. s umělou inteligencí.
Čapkovo výročí.
Vytváření divadelních her.
Příklady výstupů.
Pohled divadelního experta.


WMT21 Marian translation model (ca-oc multi-task)

WMT21 překladový model pro systém Marian (ca-oc, multi-task)

Marian NMT model for Catalan to Occitan translation. It is a multi-task model, producing also a phonemic transcription of the Catalan source. The model was submitted to WMT'21 Shared Task on Multilingual Low-Resource Translation for Indo-European Languages as a CUNI-Contrastive system for Catalan to Occitan.

Překladový model z katalánštiny do okcitánštiny pro systém Marian. Je to multi-task model kromě okcitánskeho překladu produkující rovněž fonémický zápis katalánskeho zdroje.


Ptakopět data: the dataset for experiments on outbound translation

Ptakopět data: data pro experimenty s odchozím strojovým překladem

The dataset used for the Ptakopět experiment on outbound machine translation. It consists of screenshots of web forms with user queries entered. The queries are available also in a text form. The dataset comprises two language versions: English and Czech. Whereas the English version has been fully post-processed (screenshots cropped, queries within the screenshots highlighted, dataset split based on its quality etc.), the Czech version is raw as it was collected by the annotators.

Data použity pro experiment Ptakopět s odchozím strojovým překladem.


The LMU Munich System for the WMT 2021 Large-Scale Multilingual Machine Translation Shared Task

Systém LMU Mnichov pro soutěžní úkol vícejazyčném strojovém překladu na WMT21

This paper describes the submission of LMU Munich to the  WMT  2021  multilingual machine translation task for small track #1, which studies translation between 6 languages (Croatian,  Hungarian,  Estonian,  Serbian,  Macedonian, English) in 30 directions. We investigate the extent to which bilingual translation systems can influence multilingual translation systems.   More specifically,  we trained 30 bilingual translation systems, covering all language pairs, and used data augmentation techniques such as back-translation and knowledge distillation to improve the multilingual translation systems.  Our best translation system scores 5 to 6 BLEU higher than a strong baseline system provided by the organizers (Goyal et al.,2021).   As  seen  in  the  Dynalab  leaderboard, our  submission  is  the  only  fully  constrained submission that uses only the corpus provided by  the  organizers  and  does  not  use  any  pre-trained models

Tato práce popisuje soutěžní systém pro vícejazyčný strojový překlad LMU Mnichov do WMT 2021 pro úlohu č. 1, která studuje překlad mezi 6 jazyky (chorvatština, maďarština, estonština, srbština, makedonština, angličtina) ve 30 směrech. Zkoumáme, do jaké míry mohou dvojjazyčné překladové systémy ovlivňovat mnohojazyčné překladové systémy. Konkrétně jsme natrénovali 30 dvojjazyčných překladových systémů, které pokrývají všechny jazykové dvojice, a použili jsme techniky pro rozšíření dat, jako je zpětný překlad a destilace znalostí.. Náš nejlepší překladový systém má o 5 až 6 BLEU vyšší skóre než silný základní systém poskytovaný organizátory (Goyal et al.,2021). Jak je vidět v žebříčku Dynalabu, náš systém je jediným systémem, který využívá pouze korpus poskytnutý organizátory a nepoužívá žádné předtrénované modely

Wen Lai
Jindřich Libovický
Alexander Fraser


Argument Mining for Scholarly Document Processing: Taking Stock and Looking Ahead

Argument Těžba pro Schopodobně zpracování dokumentů: skládání zásob a vyhlížení

Argument mining targets structures in natural language related to interpretation and persuasion which are central to scientific communication. Most scholarly discourse involves interpreting experimental evidence and attempting to persuade other scientists to adopt the same conclusions. While various argument mining studies have addressed student essays and news articles, those that target scientific discourse are still scarce. This paper surveys existing work in argument mining of scholarly discourse, and provides an overview of current models, data, tasks, and applications. We identify a number of key challenges confronting argument mining in the scientific domain, and suggest some possible solutions and future directions.

Argument těžby se zaměřuje na struktury v přirozeném jazyce související s tlumočením a přesvědčováním, které jsou pro vědeckou komunikaci stěžejní. Většina vědecké rozpravy zahrnuje interpretaci experimentálních důkazů a snahu přesvědčit ostatní vědce, aby přijali stejné závěry. Různé studie o těžbě argumentů se sice zabývaly studentskými eseji a zpravodajskými články, ale těch, které se zaměřují na vědecký diskurz, je stále málo. Tento dokument zkoumá stávající práci v oblasti argumentační těžby odborného diskurzu a poskytuje přehled o aktuálních modelech, datech, úkolech a aplikacích. Určujeme řadu klíčových výzev, před nimiž stojí argumentační těžba ve vědecké oblasti, a navrhujeme některá možná řešení a budoucí směry.

Khalid Al-Khatib
Tirthankar Ghosal
Yufang Hou
Anita De-Waard
Dayne Freitag


Diacritics Restoration using BERT with Analysis on Czech language

Oprava diakritiky pomocí modelu BERT s analýzou na českém jazyce

We propose a new architecture for diacritics restoration based on contextualized embeddings, namely BERT, and we evaluate it on 12 languages with diacritics. Furthermore, we conduct a detailed error analysis on Czech, a morphologically rich language with a high level of diacritization. Notably, we manually annotate all mispredictions, showing that roughly 44% of
them are actually not errors, but either plausible variants (19%), or the system corrections of erroneous data (25%). Finally, we categorize the real errors in detail. We release the code at https://github.com/ufal/bert-diacritics-restoration.

V příspěvku představujeme novou architekturu pro obnovu diakritiky založenou na kontextualizovaných vektorových reprezentacích, konkrétně BERT, a vyhodnocujeme ji ve dvanácti jazycích s diakritikou. Dále jsme provedli detailní chybovou analýzu v češtině, jazyce s bohatou morfologií a vysokou úrovní diakritizace. Zejména jsme ručně anotovali všechny chybné predikce a ukázali jsme, že zhruba 44% z chybně určené diakritizace nepředstavují skutečné chyby, nýbrž z 19% paralelní přijatelné varianty nebo dokonce systémové opravy diakritizace indukované různými chybami v datech (25%). Nakonec jsme také detailně kategorizovali skutečné chyby systému. Zdrojový kód jsme vydali zde: https://github.com/ufal/bert-diacritics-restoration.

Jakub Náplava
Milan Straka
Jana Straková


Understanding Model Robustness to User-generated Noisy Texts

Porozumění robustnosti modelů vzhledem k uživatelským textům se šumem

Sensitivity of deep-neural models to input noise is known to be a challenging problem. In NLP, model performance often deteriorates with naturally occurring noise, such as spelling errors. To mitigate this issue, models may leverage artificially noised data. However, the amount and type of generated noise has so far been determined arbitrarily. We therefore propose to model the errors statistically from grammatical-error-correction corpora. We present a thorough evaluation of several state-of-the-art NLP systems' robustness in multiple languages, with tasks including morpho-syntactic analysis, named entity recognition, neural machine translation, a subset of the GLUE benchmark and reading comprehension. We also compare two approaches to address the performance drop: a) training the NLP models with noised data generated by our framework; and b) reducing the input noise with external system for natural language correction. The code is released at https://github.com/ufal/kazitext.

Citlivost modelů hlubokého neuronového učení k šumu na vstupu je známý a výrazný problém. Při strojovém zpracování přirozeného jazyka se výkon modelu často zhoršuje při přirozeně se vyskytujícím šumu, například při překlepech a pravopisných chybách. Aby se tomuto problém zabránilo, modely často využívají data s uměle vytvořenými chybami. Ovšem množství a typ takto generovaného šumu bylo dosud určováno libovolně. My proto navrhujeme modelovat chyby statisticky z korpusů pro opravy gramatiky. Předkládáme pečlivou evaluaci několika současných nástrojů strojového zpracování textu co do robustnosti v několika jazycích a úlohách, včetně morfo-syntaktické analýzy, rozpoznávání pojmenovaných entit, neuronového strojového překladu, podmnožiny úloh v GLUE a porozumění textu. Dále srovnáváme dva přístupy pro zamezení zhoršení výkonu: a) trénování modelů za použití dat se šumem zavedeným pomocí našeho modelu; a b) redukci vstupního šumu pomocí externího nástroje pro kontrolu gramatiky. Zdrojový kód je vydán na adrese https://github.com/ufal/kazitext.

Jakub Náplava
Martin Popel
Milan Straka
Jana Straková


Findings of the 2021 Conference on Machine Translation (WMT21)

This paper presents the results of the news
translation task, the multilingual low-resource
translation for Indo-European languages, the
triangular translation task, and the automatic
post-editing task organised as part of the Conference on Machine Translation (WMT) 2021.
In the news task, participants were asked to
build machine translation systems for any of
10 language pairs, to be evaluated on test
sets consisting mainly of news stories. The
task was also opened up to additional test
suites to probe specific aspects of translation. In the Similar Language Translation
(SLT) task, participants were asked to develop systems to translate between pairs of
similar languages from the Dravidian and Romance family as well as French to two sim-
ilar low-resource Manding languages (Bambara and Maninka). In the Triangular MT
translation task, participants were asked to
build a Russian to Chinese translator, given
parallel data in Russian-Chinese, Russian-
English and English-Chinese. In the mul-
tilingual low-resource translation for Indo-
European languages task, participants built
multilingual systems to translate among Romance and North-Germanic languages. The task was designed to deal with the translation of documents in the cultural heritage domain for relatively low-resourced languages.
In the automatic post-editing (APE) task, participants were asked to develop systems capable to correct the errors made by an unknown
machine translation systems.

Tento článek představuje výsledky soutěže strojových překladačů pro indoevropské jazyky a dalších úloh automatického překladu
a post-editační úlohy, které byly uspořádány v rámci konference o strojovém překladu (WMT) 2021.

Farhad Akhbardeh
Arkady Arkhangorodsky
Magdalena Biesialska
Ondřej Bojar
Rajen Chatterjee
Vishrav Chaudhary
Marta R. Costa-Jussà
Cristina España-Bonet
Angela Fan
Christian Federmann
Markus Freitag
Yvette Graham
Roman Grundkiewicz
Barry Haddow
Leonie Harter
Kenneth Heafield
Christopher M. Homan
Matthias Huck
Kwabena Amponsah-Kaakyire
Jungo Kasai
Daniel Khashabi
Kevin Knight
Tom Kocmi
Philipp Koehn
Nicholas Lourie
Christof Monz
Makoto Morishita
Masaaki Nagata
Ajay Nagesh
Toshiaki Nakazawa
Matteo Negri
Santanu Pal
Allahsera Tapo
Marco Turchi
Valentin Vydrin
Marcos Zampieri


Overview of the 8th Workshop on Asian Translation

Přehled 8. workshopu o překladech do asijských jazyků

This paper presents the results of the shared
tasks from the 8th workshop on Asian translation (WAT2021). For the WAT2021, 28 teams
participated in the shared tasks and 24 teams
submitted their translation results for the human evaluation. We also accepted 5 research
papers. About 2,100 translation results were
submitted to the automatic evaluation server,
and selected submissions were manually evaluated.

Tento dokument představuje výsledky sdílených úkolů z 8. workshopu o překladech do asijských jazyků (WAT2021). WAT2021 se účastnilo 28 týmů a 24 týmů předložilo výsledky překladů pro lidské hodnocení. Obdrželi jsme také 5 článků. Zhruba 2100 výsledků překladů bylo odevzdáno na automatickém hodnotícím serveru a vybraná podání byla vyhodnocena ručně.

Toshiaki Nakazawa
Hideki Nakayma
Chenchen Ding
Raj Dabre
Shohei Higashiyama
Hideya Mino
Isao Goto
Win Pa Pa
Anoop Kunchukuttan
Shantipriya Parida
Ondřej Bojar
Chenhui Chu
Akiko Eriguchi
Kaori Abe
Yusuke Oda
Sadao Kurohashi


In a short sketch, we present the THEaiTRE project and say how robots write plays.

V krátkém vstupu představíme projekt THEaiTRE a řekneme jak roboti píšou divadelní hry.

Tomáš Kyselka
Tomáš Studeník
Rudolf Rosa


The Question, the Curiosity, the Provocation

Discussion about the production and project of the Švanda Theater AI: When a Robot Writes a Play held after the on-line premiere on February 18, 2021.

Diskuze o inscenaci a projektu Švandova divadla AI: Když robot píše hru, uskutečněná po on-line premiéře 18. února 2021.

David Hrbek
Tomáš Studeník
Rudolf Rosa
Ondřej Dušek
Daniel Hrbek
David Košťák
Jan Romportl


AI: WHEN A ROBOT WRITES A PLAY • professional discussion

AI: KDYŽ ROBOT PÍŠE HRU • odborná diskuze (CZ)

In the debate following the production of AI: When a Robot Writes a Play, the question that was present from the very beginning of the entire THEaiTRE project is discussed, and that is whether AI can write a play. How do experts from various fields of IT see it? How do theatre creators who had to deal with the text that AI created from 90% see it? How does AI work with creativity? And what other horizons does AI go to besides the field of art?

V debatě navazující na inscenaci „AI: Když robot píše hru‟ se probírá otázka, která stála u zrodu celého projektu THEaiTRE, zda AI dokáže napsat divadelní hru. Jak to vidí experti z nejrůznějších oborů IT? Jak to vidí divadelní tvůrci, kteří se s textem, jež AI z 90% vytvořila, museli potýkat? Jak to má AI s kreativitou? A k jakým horizontům se AI ubírá nejen v oblasti umění?

David Hrbek
Daniel Hrbek
Tomáš Studeník
Rudolf Rosa
David Košťák
Ondřej Dušek
Jan Romportl


AI: KDYŽ ROBOT PÍŠE HRU • odborná diskuze


In 2019, the innovator Tomáš Studeník came up with an idea to celebrate one hundred years since the first performance of Karel Čapeks play RUR (which brought the word "robot" into the world) in an unconventional way – by a theatre play written not by a human, but by artificial intelligence. Based on this idea, a team was formed consisting of computer scientists from Charles University Faculty of Mathematics and Physics (led by computational linguist Rudolf Rosa) and theatre-makers from the Švanda Theater and students of The Academy of Performing Arts in Prague (led by the head of the Švanda Theater, director and pedagogue Daniel Hrbek). By mutual cooperation and debate, they decided to answer the question of whether artificial intelligence is able to write a play and how it will behave when processing such a task.

Every reprise will be followed by a debate with experts in artificial intelligence and theater makers. The show is not only a testament to the current capabilities of computer technology, but also an engaging vision of the future world inspired by the sci-fi classics.

Při příležitosti oslavy sto let od prvního uvedení Čapkovy hry R. U. R. (která přinesla světu mj. slovo „robot“) navrhl Tomáš Studeník  v roce 2019 divadelní kus, jehož autorem by nebyl člověk, ale chytrý software – tzv. umělá inteligence (Artificial Intelligence – AI). Na základě této myšlenky vznikl tým složený z informatiků Matematicko-fyzikální fakulty Univerzity Karlovy (v čele s počítačovým lingvistou Rudolfem Rosou), divadelníků ze Švandova divadla a studentů DAMU (vedený ředitelem Švandova divadla, režisérem a pedagogem Danielem Hrbkem). Ve vzájemné kooperaci a debatě se rozhodli odpovědět na otázku, zda je umělá inteligence schopna napsat divadelní hru a jak se při zpracování takového úkolu bude chovat. Projekci této neobvyklé divadelní hry uvedeme v sále Mozartea Arcidiecézního muzea Olomouc.

Inscenace, po jejíž každé repríze následuje debata s odborníky na umělou inteligenci i divadelními tvůrci, je nejen svědectvím o současných schopnostech počítačových technologií, ale i poutavou vizí budoucího světa inspirující se v klasikách žánru sci-fi.

David Hrbek
Daniel Hrbek
David Košťák
Rudolf Rosa
Jan Romportl


SLTev: Comprehensive Evaluation of Spoken Language Translation

SLTev: Nástroj pro ucelené vyhodnocování překladu mluveného slova

Automatic evaluation of Machine Translation(MT)  quality  has  been  investigated  over  several  decades.   Spoken  Language  Translation (SLT), especially when simultaneous, needs to consider additional criteria and does not have a standard evaluation procedure and a widely used  toolkit.    To  fill  the  gap,  we  introduce SLTev, an open-source tool for assessing SLT in a comprehensive way.   SLTev reports the quality,  latency,  and  stability  of  an  SLT  candidate output based on the time-stamped transcript  and  reference  translation  into  a  target language.  For quality, we rely on sacreBLEU which provides MT evaluation measures such as chrF or BLEU. For latency, we propose two new scoring techniques.  For stability, we extend  the  previously  defined  measures  with  a normalized Flicker in our work.  We also propose a new averaging of older measures. A preliminary version of SLTev was used in the IWSLT  2020 SHARED  TASK.  Moreover, a  growing  collection  of  test  datasets  directly accessible by SLTev are provided for system evaluation comparable across papers.

Automatické hodnocení kvality strojového překladu (MT) bylo zkoumáno po několik desetiletí. Strojový překlad mluveného jazyka (SLT), zejména simultánní, musí zvážit další kritéria a nemá standardní postup hodnocení a široce využívanou sadu nástrojů. Abychom zaplnili tuto mezeru, představujeme SLTev, open-source nástroj pro komplexní hodnocení SLT. SLTev informuje o kvalitě, latenci a stabilitě výstupu kandidáta SLT na základě časově vyznačeného přepisu a překladu odkazu do cílového jazyka. Pokud jde o kvalitu, spoléháme na SacreBLEU, která poskytuje MT hodnotící opatření, jako je chrF nebo BLEU. Pro latenci navrhujeme dvě nové bodovací techniky. V zájmu stability rozšiřujeme dříve definovaná opatření normalizovaným flickerem v naší práci. Navrhujeme také nové zprůměrování starších metod. V projektu IWSLT 2020 SHARED TASK byla použita předběžná verze programu SLTev. Navíc se rozšiřuje sbírka testovacích datových souborů, které jsou přímo přístupné přes SLTev, pro hodnocení systémů srovnatelných napříč papíry.

Ebrahim Ansari
Ondřej Bojar
Barry Haddow
Mohammad Mahmoudi


SynSemClass for German: Extending a Multilingual Verb Lexicon

SynSemClass pro němčinu: Rozšíření multilingválního slovníku sloves

We present the concept of extending a multilingual verb lexicon
also to include German. In this lexicon, verbs are grouped by meaning
and by semantic properties (following frame semantics) to form multilingual
classes, linking Czech and English verbs. Entries are further linked
to external lexical resources like VerbNet and PropBank. In this paper,
we present our plan also to include German verbs, by experimenting
with word alignments to obtain candidates linked to existing English
entries, and identify possible approaches to obtain semantic role information.
We further identify German-specific lexical resources to link to.
This small-scale pilot study aims to provide a blueprint for extending a
lexical resource with a new language.

Představujeme koncept rozšíření vícejazyčného slovesného slovníku, který bude zahrnovat také němčinu. V tomto slovníku jsou zatím zahrnuta česká a anglická slovesa a seskupena podle významu a sémantických vlastností. Položky jsou dále propojeny s externími lexikálními zdroji jako VerbNet a PropBank. V tomto článku představujeme náš plán zahrnout také německá slovesa jako kandidáty propojené s existujícími anglickými a českými slovesy.
Také identifikujeme specifické německé lexikální zdroje, se kterými bude slovník provázán.
Cílem této pilotní studie malého rozsahu je poskytnout návrh na rozšíření již existujícího
lexikálního zdroje o nový jazyk.

Peter Bourgonje
Karolina Zaczynska
Julián Moreno-Schneider
Georg Rehm
Zdeňka Urešová
Jan Hajič


In the open air, we will show a recording of the online premiere of the first Czech play the dialogue of which was generated by artificial intelligence. Next is a sit-down with the creators of a unique work on the joys and tribulations of everyday life from the robot's point of view. The unconventional performance of the Švandova Theatre in Prague was created in collaboration with DAMU and the Mathematical Physics Faculty of Charles University, and will be on view at Strž before the play is released in front of the audience of the Smíchov scene. Daniel Hrbek (music and direction), Martina Kinská (dramaturgy), Rudolf Rosa (computer linguist)... and a representative of the acting ensemble of the Švanda Theatre.

Pod širým nebem promítneme záznam online premiéry první české divadelní hry, jejíž dialogy vygenerovala umělá inteligence. Následuje beseda s tvůrci unikátního díla o radostech a strastech každodenního života z pohledu robota. Netradiční představení Švandova divadla v Praze vzniklo ve spolupráci s DAMU a Matematicko-fyzikální fakultou Univerzity Karlovy a na Strži bude k vidění ještě před uvedením hry před diváky smíchovské scény. Účast přislíbili: Daniel Hrbek (hudba a režie), Martina Kinská (dramaturgyně), Rudolf Rosa (počítačový lingvista)... a zástupce hereckého souboru Švandova divadla.


Discussion after the performance AI: When a Robot Writes a Play

Diskuze po představení AI: Když robot píše hru

What does the robot think about, how does it feel and can it write a play? Snippets from the life of artificial intelligence in its own words. Futuristic Little Prince of the postpandemic era.

Every reprise will be followed by a debate with experts in artificial intelligence and theater makers. The show is not only a testament to the current capabilities of computer technology, but also an engaging vision of the future world inspired by the sci-fi classics.

O čem robot přemýšlí, co cítí a dokáže napsat divadelní hru? Střípky ze života umělé inteligence jejími vlastními slovy. Futuristický Malý princ z doby postpandemické.

Inscenace, po jejíž každé repríze následuje debata s odborníky na umělou inteligenci i divadelními tvůrci, je nejen svědectvím o současných schopnostech počítačových technologií, ale i poutavou vizí budoucího světa inspirující se v klasikách žánru sci-fi.


THEaiTRE
Is a research project celebrating the 100th year anniversary of the premiere of the theater play R.U.R by author Karel Čapek, in which, the word “robot” was used for the first time in 1921. To celebrate this 100 years old jubilee Institute of Formal and Applied Linguistics  at the Faculty of Mathematics and Physics of the Charles University joined together with Švanda Theater in Smíchov and the organizers of Hackathons CEE Hacks to face their robots with a new challenge, not previously seen in its full extent - to make artificial intelligence write a screenplay.
The first phase of the project culminated with the premiere of a theater production AI: When a robot writes a play with the purpose to create a screenplay made up of dialogues generated by artificial intelligence. The second phase is currently in the making, staged for 2022 when another premier with a more sophisticated linguistic model will be introduced.
This project was funded by the Technology Agency of the Czech Republic in cooperation with prg.ai and the Theater Faculty of the Academy of Performing Arts in Prague.
Rudolf Rosa will talk about the technical background of the project (how artificial intelligence generates a screenplay), David Košťák will talk about the creation of this particular screenplay and Daniel Hrbek will summarize the process of the play´s production.

THEaiTRE
Je výzkumný projekt oslavující sté výročí premiéry divadelní hry R.U.R od autora Karla Čapka, ve které bylo slovo „robot“ poprvé použito v roce 1921. Na oslavu tohoto 100 let starého jubilea se spojil Institut formální a aplikované lingvistiky na Matematicko-fyzikální fakultě Univerzity Karlovy se Švandovým divadlem na Smíchově s organizátory Hackathons CEE Hacks, aby čelili svým robotům s novou výzvou, dosud nevídanou v plném rozsahu - aby umělá inteligence napsala scénář.
První fáze projektu vyvrcholila premiérou divadelní inscenace AI: Když robot píše hru s cílem vytvořit scénář složený z dialogů vytvořených umělou inteligencí. V současné době se připravuje druhá fáze, která bude uspořádána na rok 2022, kdy bude představen další premiér s propracovanějším jazykovým modelem.
Tento projekt financovala Technologická agentura České republiky ve spolupráci s prg.ai a Divadelní fakultou Akademie múzických umění v Praze.
Rudolf Rosa promluví o technickém zázemí projektu (jak umělá inteligence vytváří scénář), David Košťák promluví o vytvoření tohoto konkrétního scénáře a Daniel Hrbek shrne proces tvorby hry.


AI: When a Robot Writes a Play (online premiere of the theatre play)

AI: Když robot píše hru (online premiéra divadelní hry)

What does the robot think about, how does it feel and can it write a play? Snippets from the life of artificial intelligence in its own words. Futuristic Little Prince of the postpandemic era.

The story of the robot, which after the death of its master was left at the mercy of various individuals of human society, balances on a thin line between absurd black comedy with existential drama.

An "autobiographical" play written by artificial intelligence that talks about the search for closeness of someone in a world where people have not known or are not able to make simple contact with each other for some time, and in which the path of one person to another is the hardest to cover.

O čem robot přemýšlí, co cítí a dokáže napsat divadelní hru? Střípky ze života umělé inteligence jejími vlastními slovy. Futuristický Malý princ z doby postpandemické.

Příběh robota, který po smrti svého mistra zůstal vydán napospas nejrůznějším vzorkům z lidské společnosti, balancuje na hranici absurdní černé komedie a existenciálního dramatu.

„Autobiografická“ hra umělé inteligence o hledání blízkosti ve světě, který již nějakou dobu nezná či neumí prostý kontakt, a v němž je tak tou nejhůře zdolatelnou vzdáleností cesta jednoho člověka k druhému.

Daniel Hrbek
1.0 THEaiTRobot
Tomáš Studeník
David Košťák
Martina Kinská
Rudolf Rosa
Ondřej Dušek
Tom Kocmi
David Mareček
Tomáš Musil
Patrícia Schmidtová
Dominik Jurko
Ondřej Bojar
Klára Vosecká
Josef Doležal
Marie Nováková
Petr Žabka


IITP-CUNI@3C: Supervised Approaches for Citation Classification (Task A) and Citation Significance Detection (Task B)

IITP-CUNI@3C: Dozorované přístupy ke klasifikaci citací (úkol A) a detekci významnosti citací (úkol B)

Citations are crucial to a scientific discourse. Besides providing additional contexts to research papers, citations act as trackers of the direction of research in a field and as an important measure in understanding the impact of a research publication. With the rapid growth in research publications, automated solutions for identifying the purpose and influence of citations are becoming very important. The 3C Citation Context Classification Task organized as part of the Second Workshop on Scholarly Document Processing @ NAACL 2021 is a shared task to address the aforementioned problems. In this paper, we present our team, IITP-CUNI@3C’s submission to the 3C shared tasks. For Task A, citation context purpose classification, we propose a neural multi-task learning framework that harnesses the structural information of the research papers and the relation between the citation context and the cited paper for citation classification. For Task B, citation context influence classification, we use a set of simple features to classify citations based on their perceived significance. We achieve comparable performance with respect to the best performing systems in Task A and superseded the majority baseline in Task B with very simple features.

Citace jsou pro vědecký diskurz klíčové. Vedle poskytování dodatečných kontextů výzkumným dokumentům působí citace jako sledovatelé směru výzkumu v určité oblasti a jako důležité měřítko pro pochopení dopadu výzkumné publikace. S rychlým růstem publikací ve výzkumu začínají být velmi důležitá automatizovaná řešení pro identifikaci účelu a vlivu citací. Úloha 3C Citation Context Classification Task organizovaná v rámci druhého semináře o zpracovávání dokumentů Schopodobně @ NAACL 2021 je sdíleným úkolem pro řešení výše uvedených problémů. V tomto příspěvku představujeme náš tým, IITP-CUNI@3C, který se hlásí ke sdíleným úkolům 3C. Pro úkol A, citační kontextovou klasifikaci účelu, navrhujeme neurální víceúčelový vzdělávací rámec, který využívá strukturální informace výzkumných prací a vztah mezi citačním kontextem a citovaným dokumentem pro citační klasifikaci. Pro úkol B, citační kontext ovlivňuje klasifikaci, používáme sadu jednoduchých funkcí pro klasifikaci citací na základě jejich vnímaného významu. Dosahujeme srovnatelného výkonu s ohledem na systémy s nejlepšími výsledky v úkolu A a nahradili jsme většinovou základní linii v úkolu B velmi jednoduchými funkcemi.

Kamal Kaushik Varanasi
Tirthankar Ghosal
Piyush Tiwari
Muskaan Singh


Additional Context Helps! Leveraging Cited Paper Information To Improve Citation Classification

Další kontext pomáhá! Zlepšit klasifikaci citací

With the rapid growth in research publications, automated solutions to tackle scholarly information overload is growing  more  relevant.  Correctly  identifying  the  intent  of  the  citations  is  one  such  task  that  finds  applications  ranging from predicting scholarly impact, finding idea propagation, to text summarization to establishing more informative citation indexers. In this in-progress work, we leverage the cited paper’s information and demonstrate that this helps in the effective classification of citation intents. We propose a neural multi-task learning framework that harnesses the structural information of the research papers and the relation between the citation context and the  cited  paper  for  citation  classification.  Our  initial  experiments  on  three  benchmark  citation  classification  datasets show that with incorporating cited paper information (title), our neural model achieves a new state of the art on the ACL-ARC dataset with an absolute increase of 5.3% in the F1 score over the previous best model. Our approach also outperforms the submissions made in the 3C Shared task: Citation Context Classification with an increase of 8% and 3.6%over the previous best Public F1-macro and Private F1-macro scores respectively.

S rychlým růstem publikací ve výzkumu nabývají na významu automatizovaná řešení, která mají řešit přetížení vědeckých informací. Správné určení záměru citací je jedním z takových úkolů, který vyhledává aplikace od předpovídání vědeckého dopadu, hledání šíření myšlenek, přes sumarizaci textu až po vytvoření informativnějších citačních indexů. V této probíhající práci využíváme informace z citovaného dokumentu a prokazujeme, že to pomáhá při efektivní klasifikaci citačních záměrů. Navrhujeme neurální víceúčelový vzdělávací rámec, který využívá strukturální informace z výzkumných prací a vztah mezi citačním kontextem a citovaným dokumentem pro citační klasifikaci. Naše počáteční experimenty se třemi datovými soubory pro klasifikaci referenčních citací ukazují, že se začleněním citovaných papírových informací (názvu) náš neurální model dosahuje na datovém souboru ACL-ARC nového stavu s absolutním nárůstem F1 skóre o 5,3% oproti předchozímu nejlepšímu modelu. Náš přístup rovněž předčí podání v rámci 3C Shared task: Citation Context Classification s nárůstem o 8 % resp. 3,6 % oproti předchozímu nejlepšímu skóre Public F1-macro a Private F1-macro.

Kamal Kaushik Varanasi
Tirthankar Ghosal
Valia Kordoni


The ParCzech 3.0 corpus is the third version of ParCzech consisting of stenographic protocols that record the Chamber of Deputies’ meetings held in the 7th term (2013-2017) and the current 8th term (2017-Mar 2021). The protocols are provided in their original HTML format, Parla-CLARIN TEI format, and the format suitable for Automatic Speech Recognition. The corpus is automatically enriched with the morphological, syntactic, and named-entity annotations using the procedures UDPipe 2 and NameTag 2. The audio files are aligned with the texts in the annotated TEI files.

Korpus ParCzech 3.0 je třetí verze ParCzech, který obsahuje stenografické protokoly sedmého volebního období (2013-2017) a současného 8. období (2017-březen 2021). Protokoly jsou v jejich původním HTML formátu, v Parla-CLARIN  TEI formátu a ve formátu vhodném pro automatické rozpoznávání řeči. Korpus je automaticky obohacen o morfologii, syntax a jmenné entity programy UDPipe 2 a NameTag 2. Audio soubory jsou zarovnané s texty v anotovaných TEI souborech

Matyáš Kopp
Vladislav Stankov
Ondřej Bojar
Barbora Hladká
Pavel Straňák


ParCzech 3.0: A Large Czech Speech Corpus with Rich Metadata

ParCzech 3.0: Velký český mluvený korpus s bohatými metadaty

We present ParCzech 3.0, a speech corpus of the Czech parliamentary speeches from The Czech Chamber of Deputies which took place from 25th November 2013 to 1st April 2021.

Different from previous speech corpora of Czech, we preserve not just orthography but also all the available metadata (speaker identities, gender, web pages links, affiliations committees, political groups, etc.) and complement this with automatic morphological and syntactic annotation, and named entities recognition. The corpus is encoded in the TEI format which allows for a straightforward and versatile exploitation.

The rather rich metadata and annotation make the corpus relevant for a~wide audience of researchers ranging from engineers in the speech community to theoretical linguists studying rhetorical patterns at scale.

Uvádíme ParCzech 3.0, mluvený korpus záznamů jednání Poslanecké sněmovny Parlamentu České republiky z období od 25. listopadu 2013 do 1. dubna 2021.

Na rozdíl od předchozích mluvených korpusů češtiny zachováváme nejen ortografii, ale také všechna dostupná metadata (identitu mluvčích, pohlaví, hypertextové odkazy, příslušnosti, politické strany atd.) a doplňujeme je automatickou morfologickou a syntaktickou anotací a rozpoznáním pojmenovaných entit. Korpus je kódován ve formátu TEI, který umožňuje přímočaré a mnohostranné využití.

Díky bohatým metadatům a anotaci je korpus relevantní pro široké spektrum výzkumníků od inženýrů v oblasti rozpoznávání řeči až po teoretické lingvisty zkoumající rétorické vzorce z rozsáhlých materiálů.

Matyáš Kopp
Vladislav Stankov
Jan Oldřich Krůza
Pavel Straňák
Ondřej Bojar


AI: When Robot Writes a Play – A Drama Entirely Written by Artificial Intelligence

AI: Když robot píše hru – Drama kompletně napsané umělou inteligencí

AI: When a robot writes a play.
Celebrating the anniversary of Karel Čapek.
How it's done.
Examples of outputs.
View of a dramaturge.

AI: Když robot píše hru.
Oslava výročí Karla Čapka.
Jak je to uděláno.
Příklady výstupů.
Pohled dramaturga.


Discussion after the screening of AI: When a Robot Writes a Play

Diskuze po promítání AI: Když robot píše hru


The University of Edinburgh’s English-German and English-Hausa Submissions to the WMT21 News Translation Task

Systémy Edinburské univerzity pro anglicko-německý a anglicko-haušský překlad ke sdílené úloze překladu zpráv na WMT21

This paper presents the University of Edinburgh’s constrained submissions of English-German and English-Hausa systems to the
WMT 2021 shared task on news translation.
We build En-De systems in three stages: corpus filtering, back-translation, and fine-tuning.
For En-Ha we use an iterative back-translation
approach on top of pre-trained En-De models
and investigate vocabulary embedding mapping.

Tento článek představuje anglicko-německé a anglicko-hauské systémy z Edinburské univerzity pro sdílenou úlohu na WMT 2021 týkající se překladu zpráv.
En-De systémy budujeme ve třech fázích: korpusové filtrování, zpětný překlad a jemné ladění.
Pro En-Ha používáme iterativní zpětný překlad
přístup na vrchol předtrénovaných modelů En-De
a zkoumat mapování vkládání slovní zásoby.

Pinzhen Chen
Jindřich Helcl
Ulrich Germann
Laurie Burchell
Nikolay Bogoychev
Antonio Valerio Miceli Barone
Jonas Waldendorf
Alexandra Birch
Kenneth Heafield


Universal Dependencies (Univerzální závislosti)

Universal Dependencies (UD) is a framework for morphosyntactic annotation of human language, which to date has been used to create treebanks for more than 100 languages. In this article, we outline the linguistic theory of the UD framework, which draws on a long tradition of typologically oriented grammatical theories. Grammatical relations between words are centrally used to explain how predicate-argument structures are encoded morphosyntactically in different languages while morphological features and part-of-speech classes give the properties of words. We argue that this theory is a good basis for cross-linguistically consistent annotation of typologically diverse languages in a way that supports computational natural language understanding as well as broader linguistic studies.

Universal Dependencies (UD) je formalismus pro morfologickou a syntaktickou anotaci, který byl dosud použit při tvorbě treebanků pro více než 100 přirozených jazyků. V tomto článku nastiňujeme lingvistickou teorii UD, která staví na dlouhé tradici typologicky orientovaných gramatických teorií. V centru stojí gramatické vztahy mezi slovy, které objasňují, jaké morfosyntaktické strategie používají různé jazyky k zakódování struktury predikátů a jejich argumentů. Morfologické rysy a slovní druhy popisují vlastnosti slov. Tvrdíme, že tato teorie poskytuje dobrý základ pro mezijazykově konzistentní anotaci typologicky rozmanitých jazyků způsobem, který podporuje jak počítačové porozumění přirozenému jazyku, tak širší jazykovědné studie.

Marie-Catherine de Marneffe
Christopher Manning
Joakim Nivre
Daniel Zeman


Discovering Dialogue Slots with Weak Supervision

Hledání dialogových slotů se slabou supervizí

Task-oriented dialogue systems typically require manual annotation of dialogue slots in training data, which is costly to obtain.
We propose a method that eliminates this requirement:
We use weak supervision from existing linguistic annotation models to identify potential slot candidates, then automatically identify domain-relevant slots by using clustering algorithms.
Furthermore, we use the resulting slot annotation to train a neural-network-based tagger that is able to perform slot tagging with no human intervention.
This tagger is trained solely on the outputs of our method and thus does not rely on any labeled data.

Our model demonstrates state-of-the-art performance in slot tagging without labeled training data on four different dialogue domains. Moreover, we find that slot annotations discovered by our model significantly improve the performance of an end-to-end dialogue response generation model, compared to using no slot annotation at all.

Dialogové systémy orientované na úkoly obvykle vyžadují manuální anotaci dialogových slotů v trénovacích datech, jejichž získání je nákladné.
Navrhujeme metodu, která tento požadavek eliminuje:
K identifikaci potenciálních kandidátů na sloty využíváme slabou supervizi z existujících modelů pro lingvistickou anotaci a poté automaticky identifikujeme doménově relevantní sloty pomocí clusterovacích algoritmů.
Dále používáme výslednou anotaci slotů k natrénování taggeru založeného na neuronové síti, který je schopen provádět tagování slotů bez lidského zásahu.
Tento tagger je trénován výhradně na výstupech naší metody, a není tedy závislý na žádných označených datech.

Náš model vykazuje špičkový výkon v označování slotů bez anotovaných trénovacích dat na čtyřech různých dialogových doménách. Kromě toho jsme zjistili, že anotace slotů zjištěné naším modelem výrazně zlepšují výkonnost end-to-end modelu pro generování odpovědi v dialogu v porovnání s modelem, který anotace slotů vůbec nepoužívá.


Readability of professional and administrative texts in Czech - why to study it and how to measure it?

Srozumitelnost českého odborného a úředního textu - proč se jí zabývat a jak ji měřit

Text comprehension is one of the key skills that are learned during the school years. On the one
hand, reading literacy is fundamental for successful comprehension, on the other hand, comprehension
success is determined by textual features, i.e. its readability. Text readability thus presents an
important issue — from both the reception (people may not be able to comprehend a text fully due
to its low readability) and production perspective (people may not be able to produce a well readable
text). The current study presents an experimental method for measuring readability of Czech texts
of various genres based on the triangulation of (1) the rate of correct answers on comprehension
questions, (2) intra-textual features, and (3) subjective assessment of text readability. The method
is discussed in depth and individual steps are illustrated on an example of a research in progress
under the project Linguistic Factors of Readability in Czech Administrative and Educational Texts.

Porozumění textu je jednou z klíčových dovedností, které se učíme během školních let. Jednak je  základem úspěšného porozumění čtenářská gramotnost, jednak textové vlastnosti, tj. jeho srozumitelnost. Srozumitelnosttak představuje
důležitý problém - jak recepce (lidé nemusí být schopni plně porozumět textu kvůli)
k jeho nízké čitelnosti), tak produkce (lidé nemusí být schopni vytvořit dobře srozumitelný
text). Současná studie představuje experimentální metodu měření srozumitelnosti českých textů
různých žánrů na základě triangulace (1) míry správných odpovědí na porozumění
otázky, (2) intratextových rysů a (3) subjektivního hodnocení čitelnosti textu. Metoda
je podrobně diskutována a jednotlivé kroky jsou ilustrovány na příkladu probíhajícího výzkumu
v rámci projektu Lingvistické faktory pochopitelnosti v českých administrativních a vzdělávacích textech.

Jan Chromý
Silvie Cinková
Jana Šamánková


An Introductory Overview of Evaluating Facts and Attitudes in Diplomatic Discourse

Úvodní přehled hodnotících faktů a postojů v diplomatickém diskurzu

This is a work-in-progress paper on evaluative
analysis of different approaches to managing representations of facts and attitudes in linguistics. The aim of
this comparative analysis is to find the most suitable approach for developing an annotation scheme in order to
build a dictionary of attitudinal expressions during the further stages of the project. Among the approaches analyzed
are the Appraisal Theory, the scheme developed by
Bednarek, as well as sentiment analysis and opinion
mining techniques, and argument mining. The
results of the current paper should be considered as the first
step in the research of distinguishing facts and attitudes in
diplomatic speeches of the United Nations Security Council.

Toto je rozpracovaný dokument o hodnotící
analýze různých přístupů k nakládání s reprezentacemi faktů a postojů v lingvistice. Cílem
této srovnávací analýzy je najít nejvhodnější přístup pro vývoj schématu anotací za účelem vybudování slovníku postojových výrazů v dalších fázích projektu. Mezi analyzovanými přístupy
jsou Appraisal Theory, schéma vyvinuté
Bednárkovou a také analýza sentimentu a techniky opinion miningu a argument miningu. Výsledky tohoto článku by měly být považovány za první
krok ve výzkumu rozlišování faktů a postojů v
diplomatických projevech Rady bezpečnosti OSN.


Zlepšování neuronového strojového překladu

Machine Translation is a task of automatically translating text from one language
into another. In recent years, solutions based on neural networks have dominated
the field.
In this talk I will give a short introduction to the topic and mention a few tricks
that can be used to improve the final quality of translation. I will also share my
experience from participating in one of the longest-running international Machine
Translation competitions.

Strojový překlad je úkol automatického překládání textu z jednoho jazyka do druhého. V posledních letech tomuto oboru dominovala řešení založená na neuronových sítích.
V této prezentaci uvedu krátký úvod k tématu a zmíním několik postupů, které lze použít ke zlepšení konečné kvality překladu. Podělím se také o své zkušenosti z účasti na jedné z nejdéle probíhajících mezinárodních strojově překladatelských soutěží.


Just Ask! Evaluating Machine Translation by Asking and Answering Questions

Jen se ptej! Vyhodnocování strojového překladu pomocí otázek a odpovědí

In this paper, we show that automatically-generated questions and answers can be used to evaluate the quality of Machine Translation systems. Building on recent work on the evaluation of abstractive text summarization, we propose a new metric for system-level Machine Translation evaluation, compare it with other state-of-the-art solutions, and show its robustness by conducting experiments for various translation directions.

V této práci ukazujeme, že automaticky generované otázky a odpovědi mohou být použity k hodnocení kvality strojových překladatelských systémů. V návaznosti na nedávnou práci na hodnocení abstraktní sumarizace textu navrhujeme novou metriku pro systémové hodnocení strojového překladu, porovnáme ji s ostatními nejmodernějšími řešeními a prokážeme její robustnost provedením experimentů pro různé překladatelské směry.

Mateusz Krubiński
Erfan Ghadery
Pavel Pecina
Marie-Francine Moens


In this paper, we describe our submission to the WMT 2021 Metrics Shared Task. We use the automatically-generated questions and answers to evaluate the quality of Machine Translation (MT) systems. Our submission builds upon the recently proposed MTEQA framework. Experiments on WMT20 evaluation datasets show that at the system-level the MTEQA metric achieves performance comparable with other state-of-the-art solutions, while considering only a certain amount of information from the whole translation.

V tomto dokumentu popisujeme naši účast ve WMT 2021 Metrics Shared Task. Automaticky generované otázky a odpovědi používáme k hodnocení kvality systémů strojového překladu. Naše experimenty jsou založeny na nedávno navržené metodě MTEQA. Pokusy s vyhodnocovacími datovými soubory WMT20 ukazují, že na systémové úrovni dosahuje MTEQA výkonu srovnatelného s jinými nejmodernějšími řešeními, přičemž zohledňuje je velmi omezené informace z celého překladu.


Solving SCAN Tasks with Data Augmentation and Input Embeddings

Řešení SCAN úloh pomocí zdrojových embedingů a augmentace dat

We address the compositionality challenge presented by the SCAN benchmark. Using data augmentation and a modification of the standard seq2seq architecture with attention, we achieve SOTA results on all the relevant tasks from the benchmark, showing the models can generalize to words used in unseen contexts. We propose an extension of the benchmark by a harder task, which cannot be solved by the
proposed method.

Řešení úloh z benchmarku SCAN, který testuje schopnost neuronových sítí využít kompozicionalitu. Návrh nové úlohy, kde prezentované řešení selhává.


Sampling and Filtering of Neural Machine Translation Distillation Data

Výběr a filtrace dat pro destilaci v neuronovém strojovém překladu

Ve většině scénářů destilace nebo krádeže neuronových strojových překladů se k výcviku nového modelu (studenta) používá hypotéza s nejvyšším bodovým ohodnocením cílového modelu (učitele). Jsou-li k dispozici i referenční překlady, pak lze lepší hypotézy (s ohledem na odkazy) přetížit a špatné hypotézy buď odstranit, nebo podtrhnout. Tento dokument zkoumá prostředí metody odběru vzorků (prořezávání, hypotetické nadměrné vzorkování a nedostatečné vzorkování, deduplikace a jejich kombinace) s anglickými až českými a anglickými až německými modely MT pomocí standardních metrik hodnocení MT. Ukazujeme, že pečlivé nadměrné vzorkování a kombinace s původními údaji vede k lepším výsledkům ve srovnání se školením pouze o původních nebo syntetizovaných údajích nebo jejich přímé kombinaci.

In most of neural machine translation distillation or stealing scenarios, the highest-scoring hypothesis of the target model (teacher) is used to train a new model (student). If reference translations are also available, then better hypotheses (with respect to the references) can be oversampled and poor hypotheses either removed or undersampled. This paper explores the sampling method landscape (pruning, hypothesis oversampling and undersampling, deduplication and their combination) with English to Czech and English to German MT models using standard MT evaluation metrics. We show that careful oversampling and combination with the original data leads to better performance when compared to training only on the original or synthesized data or their direct combination.


Backtranslation Feedback Improves User Confidence in MT, Not Quality

Zpětná vazba zpětného překladu zlepšuje důvěru uživatelů vůči strojovému překladu, ne jeho kvalitu

Translating text into a language unknown to the text’s author, dubbed outbound translation, is a modern need for which the user experience has significant room for improvement, beyond the basic machine translation facility. We demonstrate this by showing three ways in which user confidence in the outbound translation, as well as its overall final quality, can be affected: backward translation, quality estimation (with alignment) and source paraphrasing. In this paper, we describe an experiment on outbound translation from English to Czech and Estonian. We examine the effects of each proposed feedback module and further focus on how the quality of machine translation systems influence these findings and the user perception of success. We show that backward translation feedback has a mixed effect on the whole process: it increases user confidence in the produced translation, but not the objective quality.

Článek zkoumá vlyv odhadování kvality překladu na slovní úrovni, zpětného překladu a automatického parafrázování na kvalitu odchozího překladu do jazyka, kterému jeho uživatelé nerozumí, a subjektivní důvěru uživatelů v kvalitu tohoto překladu.

Vilém Zouhar
Michal Novák
Matúš Žilinec
Ondřej Bojar
Mateo Obregón
Robin L. Hill
Frédéric Blain
Marina Fomicheva
Lucia Specia
Lisa Yankovskaya


Neural Machine Translation Quality and Post-Editing Performance

Kvalita neuronového strojového překladu a posteditace

We test the natural expectation that using MT in professional translation saves human processing time. The last such study was carried out by Sanchez-Torron and Koehn (2016) with phrase-based MT, artificially reducing the translation quality. In contrast, we focus on neural MT (NMT) of high quality, which has become the state-of-the-art approach since then and also got adopted by most translation companies.
Through an experimental study involving over 30 professional translators for English -> Czech translation, we examine the relationship between NMT performance and post-editing time and quality. Across all models, we found that better MT systems indeed lead to fewer changes in the sentences in this industry setting. The relation between system quality and post-editing time is however not straightforward and, contrary to the results on phrase-based MT, BLEU is definitely not a stable predictor of the time or final output quality.

Testujeme přirozené očekávání, že použití strojového překladu (MT) v profesionálním překladu ušetří lidem čas. Poslední takovou studii provedli Sanchez-Torron a Koehn (2016) s frázovým MT, čímž uměle snížili kvalitu překladu. My se oproti tomu zaměřujeme na vysoce kvalitní neuronový strojový překlad (NMT), který převyšuje kvalitu frázového MT a také ho přijala většina překladatelských společností.
Prostřednictvím experimentální studie, do níž se zapojilo přes 30 profesionálních překladatelů pro anglicko-český překlad, zkoumáme vztah mezi výkonem NMT a časem a kvalitou post-editace. Ve všech modelech jsme zjistili, že lepší systémy MT skutečně vedou k menšímu počtu změn vět v tomto průmyslovém prostředí. Vztah mezi systémovou kvalitou a dobou post-editace však není jednoznačný a na rozdíl od výsledků frázového MT není BLEU stabilním prediktorem času post-editace či konečné výstupní kvality.

Vilém Zouhar
Aleš Tamchyna
Martin Popel
Ondřej Bojar


Coarse-To-Fine And Cross-Lingual ASR Transfer

Coarse-to-fine a cross-linguálny ASR prenos

End-to-end neural automatic speech recognition systems achieved recently  state-of-the-art results but they require large datasets and extensive computing resources.
Transfer learning has been proposed to overcome these difficulties even across languages, e.g., German ASR trained from an English model.
We experiment with much less related languages, reusing an English model for Czech ASR. To simplify the transfer, we propose to use an intermediate alphabet, Czech without accents, and we document that it is a highly effective strategy. The technique is also useful on Czech data alone, in the style of "coarse-to-fine" training.
We achieve substantial reductions in training time as well as word error rate (WER).

End-to-end neurální systémy automatického rozpoznávání řeči dosáhly v poslední době nejmodernějších výsledků, ale vyžadují velké datové sady a rozsáhlé výpočetní zdroje.
Přenosové učení bylo navrženo k překonání těchto obtíží i napříč jazyky, např. německý ASR trénovaný podle anglického modelu.
Experimentujeme s mnohem méně příbuznými jazyky, přičemž pro české ASR znovu používáme anglický model. Pro zjednodušení převodu navrhujeme používat přechodnou abecedu, češtinu bez přízvuků, a dokládáme, že jde o vysoce efektivní strategii. Technika je užitečná i na samotných českých datech, ve stylu tréninku „coarse-to-fine“.
Dosahujeme podstatného zkrácení doby tréninku a také word error rate (WER).


Explainable Quality Estimation: CUNI Eval4NLP Submission

Vysvětlitelný odhad kvality: Příspěvek UK do kampaně Eval4NLP

This paper describes our participating system in the shared task Explainable quality estimation of 2nd Workshop on Evaluation & Comparison of NLP Systems. The task of quality estimation (QE, a.k.a. reference-free evaluation) is to predict the quality of MT output at inference time without access to reference translations. In this proposed work, we first build a word-level quality estimation model, then we finetune this model for sentence-level QE. Our proposed models achieve near state-of-the-art results. In the word-level QE, we place 2nd and 3rd on the supervised Ro-En and Et-En test sets. In the sentence-level QE, we achieve a relative improvement of 8.86% (Ro-En) and 10.6% (Et-En) in terms of the Pearson correlation coefficient over the baseline model.

Tento článek popisuje náš účastnický systém ve úloze Explainable quality estimation of 2nd Workshop on Evaluation & Comparison of NLP Systems. Úkolem odhadu kvality (QE, neboli bezreferenční hodnocení) je předpovídat kvalitu výstupu MT v čase odvození bez přístupu k referenčním překladům. V této navrhované práci nejprve vytvoříme model odhadu kvality na úrovni slov a poté tento model doladíme pro QE na úrovni vět. Námi navržené modely dosahují téměř nejmodernějších výsledků. V QE na úrovni slov se umístíme na 2. a 3. místě v testovaných sadách Ro-En a Et-En pod dohledem. V QE na úrovni vět dosahujeme relativního zlepšení 8,86% (Ro-En) a 10,6% (Et-En) ve smyslu Pearsonova korelačního koeficientu oproti základnímu modelu.


Between Adverbs and Particles: A Corpus Study of Selected Intensifiers

Mezi příslovci a částicemi: Korpusová studie vybraných intenzifikátorů

In this paper, we present a preliminary study of three intensifiers (absolutně, naprosto, úplně) based on data from three different corpora, a written corpus SYN2020, a web corpus ONLINE-ARCHIVE, and a spoken corpus ORTOFON 1. Providing a parallel annotation of a random sample of each intensifier, we focus on their functions and meanings in context. We analyse their properties in order to define those features which are relevant to their word class assignment, and to prepare grounds for the future disambiguation tasks.

V článku zachycujeme výsledky pilotní studie zaměřené na intenzifikátory: absolutně, naprosto a úplně. Vycházíme ze tří korpusů současné češtiny - psaného korpusu SYN2020, webového korpusu ONLINE-ARCHIVE a mluveného korpusu ORTOFON 1. Na základě paralelní anotace náhodného vzorku všech vybraných intenzifikátorů sledujeme funkce a významy těchto výrazů v kontextu.Cílem studie je vymezit vlastnosti, které jsou relevantní pro slovnědruhové určení zkoumaných výrazů a připravit podklady pro jejich disambiguaci.


Research of implicit and explicit discourse relations in Czech, based on a comparison of corpus analysis data (corpus PDiT-EDA 1.0, created for this research) and the results of psycholinguistic experiments. The study focuses on different semantic types of discourse relations and on their inter-sentential and intra-sentential realization.

Výzkum implicitních a explicitních diskurzních vztahů v češtině, založený na srovnání dat korpusové analýzy (korpus PDiT-EDA 1.0, vytvořený pro tento výzkum) a výsledků psycholingvistických experimentů. Studie se zaměřuje na jednolitvé sémantické typy diskurzních vztahů a na jejich mezivětnou a vnitrovětnou realizaci.


Primary and Secondary Discourse Connectives

Primární a sekundární diskurzní konektory

In the paper, we study discourse connectives and other discourse phenomena in Czech based on corpus data.

Článek je zaměřen na analýzu diskurzních konektorů a dalších diskurzních jevů v češtině na základě korpusových dat.


Results of the WMT21 Metrics Shared Task: Evaluating Metrics with Expert-based Human Evaluations on TED and News Domain

Výsledky z WMT21 Metrics Shared Task: Vyhodnocování metrik s expertními lidskými hodnoceními  na doméně TED a zpravodajství

This paper presents the results of the WMT21
Metrics Shared Task. Participants were asked
to score the outputs of the translation systems competing in the WMT21 News Translation Task with automatic metrics on two different domains: news and TED talks. All metrics were evaluated on how well they correlate at the system- and segment-level with
human ratings. Contrary to previous years’
editions, this year we acquired our own human ratings based on expert-based human evaluation via Multidimensional Quality Metrics
(MQM). This setup had several advantages:
(i) expert-based evaluation has been shown
to be more reliable, (ii) we were able to
evaluate all metrics on two different domains
using translations of the same MT systems,
(iii) we added 5 additional translations coming from the same system during system development. In addition, we designed three
challenge sets that evaluate the robustness of
all automatic metrics. We present an extensive analysis on how well metrics perform
on three language pairs: English→German,
English→Russian and Chinese→English. We
further show the impact of different reference
translations on reference-based metrics and
compare our expert-based MQM annotation
with the DA scores acquired by WMT.

Tento článek představuje výsledky WMT21 Metrics Shared Task. Účastníci byli požádáni o hodnocení výstupů překladatelských systémů soutěžících v překladatelské úloze WMT21 News pomocí automatických metrik pro dvě různé oblasti: zpravodajství a TED talks. Všechny metriky byly hodnoceny podle toho, jak dobře korelují na úrovni systému a segmentu s lidským hodnocením. Na rozdíl od předchozích ročníků jsme letos získali vlastní lidská hodnocení na základě expertního lidského hodnocení prostřednictvím vícerozměrných metrik kvality (MQM). Toto nastavení mělo několik výhod:
(i) ukázalo se, že expertní hodnocení je spolehlivější, (ii) byli jsme schopni vyhodnotit všechny metriky na dvou různých doménách s použitím překladů stejných systémů MT, (iii) během vývoje systému jsme přidali 5 dalších překladů pocházejících ze stejného systému. Kromě toho jsme navrhli tři
sady výzev, které hodnotí robustnost všech automatických metrik. Předkládáme rozsáhlou analýzu toho, jak dobře metriky fungují na třech jazykových dvojicích: angličtina→němčina, angličtina→ruština a čínština→angličtina. Dále ukazujeme vliv různých referenčních překladů metriky a porovnáváme naši expertní anotaci MQM s DA skóre získanými pomocí WMT.

Markus Freitag
Ricardo Rei
Nitika Mathur
Chi-kiu Lo
Craig Stewart
George Foster
Alon Lavie
Ondřej Bojar


Capturing Numerals and Pronouns at the Morphological Layer in the Prague Dependency Treebanks of Czech

Zachycení číslovek a zájmen na morfologické rovině Pražských závislostních korpusů s českými texty

The paper presents a novel and unified morphological description of numerals and pronouns, as compiled for the newest edition of the Prague Dependency Treebank (Prague Dependency Treebank – Consolidated 1.0) and its integral part the morphological dictionary MorfFlex. On the basis of considerable experience with real data annotation and the use of the morphological dictionary, particular changes were proposed. For both of the parts of speech a new set of subtypes was proposed, based mainly on the morphological criterion and its combination with semantic properties and other relevant features, such as definiteness in numerals and possessivity, reflexivity and clitichood in pronouns. Each subtype has a specific value at the 2nd position of the morphological tag which serves also as an indicator of the applicability of other tag categories.

Dokument prezentuje nový, sjednocený morfologický popis číslovek a zájmen, který byl zkompilován pro nejnovější vydání Pražských závislostních korpusů (Prague Dependency Treebank – Consolidated 1.0) a jeho nedílnou součást je morfologický slovník MorfFlex. Na základě zkušeností s anotací skutečných dat a s užíváním morfologického slovníku byly navrženy konkrétní změny. Pro oba slovní druhy byl navržen nový soubor podtypů, založený zejména na morfologickém kritériu a jeho kombinaci se sémantickými vlastnostmi a dalšími relevantními rysy, jako je ne/určitost u číslovek a posesivita, reflexivita a klitičnost u zájmen. Každý podtyp má specifickou hodnotu na 2. pozici morfologické značky, která slouží také jako ukazatel použitelnosti dalších kategorií ve značce.


Character Transformations for Non-Autoregressive GEC Tagging

Charakterové transformace pro neautoregresivní opravu gramatiky značkováním

We propose a character-based non-autoregressive GEC approach, with automatically generated character transformations. Recently, per-word classification of correction edits has proven an efficient, parallelizable alternative to current encoder-decoder GEC systems. We show that word replacement edits may be suboptimal and lead to explosion of rules for spelling, diacritization and errors in morphologically rich languages, and propose a method for generating character transformations from GEC corpus. Finally, we train character transformation models for Czech, German and Russian, reaching solid results and dramatic speedup compared to autoregressive systems. The source code is released at https://github.com/ufal/wnut2021_character_transformations_gec.

Představujeme neautoregresivní přístup k opravě gramatiky založený na znacích s automaticky generovanými transformacemi znaků. Nedávno byla jako alternativa k současným systémům pro opravu gramatiky typu enkodér-dekodér navržena klasifikace korekčních oprav jednotlivých slov. Ukazujeme, že náhrada celých slov může být neoptimální a může vést k explozi počtu pravidel pro opravy typu překlepů, diakritizační opravy a opravy v morfologicky bohatých jazycích, a proto navrhujeme metodu pro generování transformací znaků z korpusu pro opravu gramatiky. Dále jsme natrénovali znakové transformační modely pro češtinu, němčinu a ruštinu a dosáhli jsme solidních výsledků a dramatického zrychlení ve srovnání s autoregresivními systémy. Zdrojový kód je zveřejněn zde: https://github.com/ufal/wnut2021_character_transformations_gec.

Milan Straka
Jakub Náplava
Jana Straková


RobeCzech: Czech RoBERTa, a Monolingual Contextualized Language Representation Model

RobeCzech: Česká RoBERTa, monolingvální kontextualizovaný jazykový model

We present RobeCzech, a monolingual RoBERTa language representation model trained on Czech data. RoBERTa is a robustly optimized Transformer-based pretraining approach. We show that RobeCzech considerably outperforms equally-sized multilingual and Czech-trained contextualized language representation models, surpasses current state of the art in all five evaluated NLP tasks and reaches state-of-the-art results in four of them. The RobeCzech model is released publicly at https://hdl.handle.net/11234/1-3691 and https://huggingface.co/ufal/robeczech-base.

Představujeme RobeCzech, jednojazyčnou RoBERTu, (jazykový model) trénovaný pouze na českých datech. RoBERTa je robustně optimalizovaný přístup pro předtrénování založený na Transformeru. V příspěvku ukazujeme, že RobeCzech výrazně překonává podobně velké vícejazyčné i české kontextualizované modely a zlepšuje současné výsledky v pěti vyhodnocovaných úlohách automatického jazykového zpracování, přičemž dosahuje nejlepších známých výsledků ve čtyřech z nich. Model RobeCzech je veřejně dostupný zde: https://hdl.handle.net/11234/1-3691 a zde: https://huggingface.co/ufal/robeczech-base.

Milan Straka
Jakub Náplava
Jana Straková
David Samuel


Universal Derivations (UDer) is a collection of harmonized lexical networks capturing word-formation, especially derivational relations, in a cross-linguistically consistent annotation scheme for many languages. The annotation scheme is based on a rooted tree data structure, in which nodes correspond to lexemes, while edges represent derivational relations or compounding. The current version of the UDer collection contains thirty-one harmonized resources covering twenty-one different languages.

Universal Derivations (UDer) je kolekce harmonizovaných lexikalních sítí zachycujících slovotvorné, zvl. derivační vztahy jednotlivých jazyků v témže anotačním schématu. Základní datovou strukturou tohoto anotačního schématu jsou zakořeněné stromy, ve kterých uzly odpovídají lexémům a hrany reprezentují derivační, příp. kompozitní vztahy. Stávající verze UDer v1.1 obsahuje 31 harmonizovaných zdrojů pokrývajících 21 různých jazyků.

Lukáš Kyjánek
Zdeněk Žabokrtský
Jonáš Vidra
Magda Ševčíková


DeriNet.RU is DeriNet-like lexical network of that captures core word-formation relations for Russian. It is based on a top of large corpus Araneum Russicum Maius corpus and a novel combination of a grammar-based component, supervised machine-learning model of Random Forest, and Maximum Spanning Tree algorithm.

DeriNet.RU je lexikální síť inspirovaná formétem českého DeriNetu. Jako taková zachycuje základní vztahy pro tvorbu slov v ruštině. DeriNet.RU je vytvořen na podkladě slovníku z velkého korpusu Araneum Russicum Maius a na kombinaci gramatické komponenty, modelu strojového učení využívajícího metodu Random Forest a algoritmu Maximum Spanning Tree.

Lukáš Kyjánek
Olga Lyashevskaya
Anna Nedoluzhko
Daniil Vodolazsky
Zdeněk Žabokrtský


Alghoritmic Theatrum Mundi: Future of performance between pixels, algorithms and atoms?

Algoritmické Theatrum Mundi: Budoucnost performance mezi pixely, algoritmy a atomy?

We will meet to reflect upon the future of theater, performance arts and rituals in an age of algorithms, data and various attempts to virtualize every atom and moment of our lived experiences. Will our genuine expressions and experience of human agency in wondering, experimenting and even disobedience survive in the metaverse, ML and AIs driven systems or become predictable effects of new infrastructures? Is there an emerging posthuman aesthetics and creativity that we are liberating?

Během našeho setkání se zaměříme na budoucnost divadla, scénických umění a rituálů ve věku algoritmů, dat a různých pokusů virtualizovat každý atom a okamžik našich žitých zkušeností. Přežijí naše autentické způsoby vyjadřování a lidská zkušenost spojená s údivem, experimentováním a vzdorem v metaverzu, v systémech řízených strojovým učením a umělou inteligencí? Anebo se stanou předvídatelnými efekty nových infrastruktur? Vzniká posthumanistická estetika, osvobozujeme novou tvořivost?

Dita Malečková
David Košťák
Rudolf Rosa
Ondřej Holba
Jan Mocek
Jan Tyl


We briefly introduce the THEaiTRE project and present a sample from the generated script.

V krátkém vstupu představíme projekt THEaiTRE a uvedeme ukázku z vygenerovaného scénáře.

Naomi Adachi
Michal Isteník
David Košťák
Rudolf Rosa


Examining Cross-lingual Contextual Embeddings with Orthogonal Structural Probes

Zkoumání vícejazyčných kontextových vložek s ortogonálními strukturálními sondami

State-of-the-art contextual embeddings are obtained from large language models available only for a few languages. For others, we need to learn representations using a multilingual model. There is an ongoing debate on whether multilingual embeddings can be aligned in a space shared across many languages. The novel Orthogonal Structural Probe (Limisiewicz and Mareček, 2021) allows us to answer this question for specific linguistic features and learn a projection based only on mono-lingual annotated datasets. We evaluate syntactic (UD) and lexical (WordNet) structural information encoded inmBERT's contextual representations for nine diverse languages. We observe that for languages closely related to English, no transformation is needed. The evaluated information is encoded in a shared cross-lingual embedding space. For other languages, it is beneficial to apply orthogonal transformation learned separately for each language. We successfully apply our findings to zero-shot and few-shot cross-lingual parsing.

Nejmodernější kontextové vložení získáváme z velkých jazykových modelů dostupných pouze pro několik jazyků. U ostatních se musíme naučit reprezentace pomocí mnohojazyčného modelu. Probíhá diskuse o tom, zda lze vícejazyčné vložení sladit do prostoru sdíleného v mnoha jazycích. Ortogonální strukturální sonda (Limisiewicz a Mareček, 2021) nám umožňuje odpovědět na tuto otázku pro specifické jazykové rysy a naučit se projekci založenou pouze na jednojazyčných komentovaných datových souborech. Hodnotíme syntaktické (UD) a lexikální (WordNet) strukturální informace zakódované v mBERT kontextové reprezentaci pro devět různých jazyků. Pozorujeme, že u jazyků úzce spjatých s angličtinou není nutná žádná transformace. Vyhodnocená informace je zakódována ve sdíleném mezijazyčném vkládacím prostoru. Pro ostatní jazyky je výhodné použít ortogonální transformaci naučenou samostatně pro každý jazyk. Úspěšně aplikujeme naše zjištění na nulovou a málo natočenou analýzu přes jazyk.


State-of-the-art contextual embeddings are obtained from large language models available only for a few languages. For others, we need to learn representations using a multilingual model. There is an ongoing debate on whether multilingual embeddings can be aligned in a space shared across many languages.
The novel Orthogonal Structural Probe (Limisiewicz and Mareček, 2021) allows us to answer this question for specific linguistic features and learn a projection based only on mono-lingual annotated datasets. We evaluate syntactic (UD) and lexical (WordNet) structural information encoded inmBERT's contextual representations for nine diverse languages.
We observe that for languages closely related to English, no transformation is needed. The evaluated information is encoded in a shared cross-lingual embedding space. For other languages, it is beneficial to apply orthogonal transformation learned separately for each language. We successfully apply our findings to zero-shot and few-shot cross-lingual parsing.

Nejmodernější kontextové vložení získáváme z velkých jazykových modelů dostupných pouze pro několik jazyků. U ostatních se musíme naučit reprezentace pomocí mnohojazyčného modelu. Probíhá diskuse o tom, zda lze vícejazyčné vložení sladit do prostoru sdíleného v mnoha jazycích.
Ortogonální strukturální sonda (Limisiewicz a Mareček, 2021) nám umožňuje odpovědět na tuto otázku pro specifické jazykové rysy a naučit se projekci založenou pouze na jednojazyčných komentovaných datových souborech. Hodnotíme syntaktické (UD) a lexikální (WordNet) strukturální informace zakódované v mBERT kontextové reprezentaci pro devět různých jazyků.
Pozorujeme, že u jazyků úzce spjatých s angličtinou není nutná žádná transformace. Vyhodnocená informace je zakódována ve sdíleném mezijazyčném vkládacím prostoru. Pro ostatní jazyky je výhodné použít ortogonální transformaci naučenou samostatně pro každý jazyk. Úspěšně aplikujeme naše zjištění na nulovou a málo natočenou analýzu přes jazyk.


Introducing Orthogonal Constraint in Structural Probes

Zavedení ortogonálního omezení ve strukturálních sondách

With the recent success of pre-trained models in NLP, a significant focus was put on interpreting their representations. One of the most prominent approaches is structural probing (Hewitt and Manning, 2019), where a linear projection of word embeddings is performed in order to approximate the topology of dependency structures. In this work, we introduce a new type of structural probing, where the linear projection is decomposed into 1. iso-morphic space rotation; 2. linear scaling that identifies and scales the most relevant dimensions. In addition to syntactic dependency, we evaluate our method on two novel tasks (lexical hypernymy and position in a sentence). We jointly train the probes for multiple tasks and experimentally show that lexical and syntactic information is separated in the representations. Moreover, the orthogonal constraint makes the Structural Probes less vulnerable to memorization.

Vzhledem k nedávnému úspěchu předcvičených modelů v NLP byla velká pozornost věnována interpretaci jejich vyjádření. Jedním z nejvýraznějších přístupů je strukturální sondování (Hewitt a Manning, 2019), kde se provádí lineární projekce slovních vložek s cílem přiblížit topologii závislostních struktur. Při této práci zavedeme nový typ strukturálního sondování, kdy se lineární projekce rozloží na 1. izomorfní prostorovou rotaci, 2. lineární škálování, které určí a změří nejdůležitější rozměry. Kromě syntaktické závislosti hodnotíme naši metodu na dvou neotřelých úkolech (lexikální hypernymie a pozice ve větě). Společně cvičíme sondy pro více úkolů a experimentálně ukazujeme, že lexikální a syntaktické informace jsou v reprezentacích odděleny. Díky ortogonálnímu omezení jsou navíc Strukturální sondy méně náchylné k memorování.


Introducing Orthogonal Constraint inStructural Probes

Vzhledem k nedávnému úspěchu předcvičených modelů v NLP byla velká pozornost věnována interpretaci jejich vyjádření. Jedním z nejvýraznějších přístupů je strukturální sondování (Hewitt a Manning, 2019), kde se provádí lineární projekce slovních vložek s cílem přiblížit topologii závislostních struktur. Při této práci zavedeme nový typ strukturálního sondování, kdy se lineární projekce rozloží na 1. izomorfní prostorovou rotaci, 2. lineární škálování, které určí a změří nejdůležitější rozměry. Kromě syntaktické závislosti hodnotíme naši metodu na dvou neotřelých úkolech (lexikální hypernymie a pozice ve větě). Společně cvičíme sondy pro více úkolů a experimentálně ukazujeme, že lexikální a syntaktické informace jsou v reprezentacích odděleny. Díky ortogonálnímu omezení jsou navíc Strukturální sondy méně náchylné k memorování


Hand-ling 'road rage': Embodiment in conflict on the move

Tělesné jednání během konfliktu v pohybu

Although mobility and movement has recently gained importance within interactionist studies of social action, not much is known about the consequentiality of being on the move for the particular unfolding of interactional episodes. Utilising two publicly accessible video clips of ‘road rage’ situations, we describe and analyse the centrality of hand-work in the escalation and decline of an emotionally charged interaction between members of traffic. Avoiding an a priori cognitivist stance, we show in detail how the work of hands can be constitutive of anger itself, and that it can lead to open conflict on the boundary of physical violence.

Ačkoli mobilita a pohyb získaly v poslední době na významu v interakcionistickém výzkumu společenského jednání, není příliš známo, jaké důsledky má pohyb pro konkrétní vývoj interakčních epizod. Prostřednictvím dvou veřejně přístupných videoklipů zachycujících situace „silniční zuřivosti“ popisujeme a analyzujeme stěžejní rysy práce rukou při eskalaci a úpadku emocionálně nabité interakce mezi účastníky silničního provozu. Vyhýbáme se apriorně kognitivistickému postoji a v detailech ukazujeme, jak může být práce rukou sama o sobě konstituentem vzteku a že může vést k otevřenému konfliktu na hranici fyzického násilí.


Pragmatic aspects in the description of discourse coherence

Pragmatické aspekty v popisu textové koherence

The study presents a qualitative analysis of pragmatic discourse relations as annotated on Czech
texts of the Prague Dependency Treebank. A detailed study of these relations (as opposed to semantic
relations) with their widest contexts reveals a considerable diversity and shows some space
for improvement in the annotation scheme.

Předkládaná studie se zabývá kvalitativní analýzou specifické skupiny vztahů textové koherence, a to takovými vztahy, které byly v anotaci Pražského diskurzního korpusu označeny jako pragmatické či „nepravé“, na rozdíl od většinově se vyskytujících vztahů sémantických.


Discourse Relations and Connectives in Higher Text Structure

Diskurzní vztahy a konektory ve vyšší výstavbě textu

The present article investigates possibilities and limits of local (shallow) analysis of discourse coherence with respect to the phenomena of global coherence and higher composition of texts.

Tento článek zkoumá možnosti a limity lokální analýzy textové koherence s ohledem na jevy globální koherence a vyšší výstavby textu.

Lucie Poláková
Jiří Mírovský
Šárka Zikánová
Eva Hajičová


Machine Translation of Covid-19 Information Resources via Multilingual Transfer

Strojový překlad informací o nemoci Covid-19 pomocí mnohojazyčných dat

The Covid-19 pandemic has created a global demand for accurate and up-to-date information which often originates in English and needs to be translated. To train a machine translation system for such a narrow topic, we leverage in-domain training data in other languages both from related and unrelated language families. We experiment with different transfer learning schedules and observe that transferring via more than one auxiliary language brings the most improvement. We compare the performance with joint multilingual training and report superior results of the transfer learning approach.

Pandemie Covid-19 vyvolala globální poptávku po přesných a aktuálních informacích, které často pocházejí z angličtiny a je třeba je přeložit. K natrénování systému strojového překladu pro tak úzké téma využíváme doménová trénovací data v jiných jazycích, a to jak z příbuzných, tak ze vzdálených jazykových rodin. Experimentujeme s různými rozvrhy učení pomocí metody transfer learning a pozorujeme, že přenos prostřednictvím více než jednoho pomocného jazyka přináší největší zlepšení. Porovnáváme výstupy s mnohojazyčným trénováním a nacházíme lepší výsledky při použití transfer learningu.


CUNI Systems in WMT21: Revisiting Backtranslation Techniques for English-Czech NMT

Překladače UK pro WMT21: revize techniky backtranslation pro anglicko-český neuronový strojový překlad

We describe our two NMT systems submitted to the WMT2021 shared task in English-Czech news translation: CUNI-DocTransformer (document-level CUBBITT) and CUNI-Marian-Baselines.
We improve the former with a better sentence-segmentation pre-processing
 and a post-processing for fixing errors in numbers and units.
We use the latter for experiments with various backtranslation techniques.

Popisujeme naše dva NMT systémy, které byly odeslány do soutěže WMT2021 v anglicko-českém překladu zpráv: CUNI-DocTransformer (document-level CUBBITT) a CUNI-Marian-Baselines. První z nich vylepšujeme lepším předzpracováním segmentace vět a následným zpracováním pro opravu chyb v číslech a jednotkách. Druhý z nich používáme při experimentech s různými variantami techniky backtranslation.

Petr Gebauer
Ondřej Bojar
Vojtěch Švandelík
Martin Popel


Text-in-Context: Token-Level Error Detection for Table-to-Text Generation

Text v kontextu: Detekce chyb na úrovni tokenů v textech vygenerovaných z tabulkových dat

We present our Charles-UPF submission for the Shared Task on Evaluating Accuracy in Generated Texts at INLG 2021. Our system can detect the errors automatically using a combination of a rule-based natural language generation (NLG) system and pretrained language models (LMs). We first utilize a rule-based NLG system to generate sentences with
facts that can be derived from the input. For each sentence we evaluate, we select a subset of facts which are relevant by measuring semantic similarity to the sentence in question. Finally, we finetune a pretrained language model on annotated data along with the relevant facts for fine-grained error detection. On the test set, we achieve 69% recall and 75% precision with a model trained on a mixture of human-annotated and synthetic data.

Představujeme příspěvek Charles-UPF pro sdílenou úlohu o hodnocení přesnosti generovaných textů na konferenci INLG 2021. Náš systém dokáže automaticky detekovat chyby pomocí kombinace systému pro generování přirozeného jazyka založeného na pravidlech a předtrénovaných jazykových modelů. Nejprve využíváme systém pro generování přirozeného jazyka založený na pravidlech, který generuje fakta odvozená ze vstupních dat. Pro každou větu, kterou vyhodnocujeme, vybereme podmnožinu faktů, které jsou relevantní na základě měření sémantické podobnosti s danou větou. Nakonec dotrénujeme předtrénovaný jazykový model na anotovaných datech spolu s relevantními fakty pro jemnou detekci chyb. Na testovací sadě dosahujeme 69% výtěžnosti (recall) a 75% přesnosti (precision) s modelem natrénovaným na mixu dat anotovaných lidmi a syntetických dat.


Semi-Automatic Construction of Word-Formation Networks

Poloautomatické budování slovotvorných sítí

The article presents a semi-automatic method for the construction of word-formation networks focusing particularly on derivation. The proposed approach applies a sequential pattern mining technique to construct useful morphological features in an unsupervised manner. The features take the form of regular expressions and later are used to feed a machine-learned ranking model. The network is constructed by applying the learned model to sort the lists of possible base words and selecting the most probable ones. This approach, besides relatively small training set and a lexicon, does not require any additional language resources such as a list of vowel and consonant alternations, part-of-speech tags etc. The proposed approach is evaluated on lexeme sets of four languages, namely Polish, Spanish, Czech, and French. The conducted experiments demonstrate the ability of the proposed method to construct linguistically adequate word-formation networks from small training sets. Furthermore, the performed feasibility study shows that the method can further benefit from  the interaction with a human language expert within the  active learning framework.

Příspěvek představuje poloautomatickou metodu pro konstruování slovotvorných sítí.

Mateusz Lango
Zdeněk Žabokrtský
Magda Ševčíková


Low resource machine translation and its future direction

Strojový překlad s omezenými zdroji a jeho další směřování

The talk presents overall task findings and LMU Munich submission to the very low resource and unsupervised translation at WMT21. Further, we discuss design decisions made both by LMU and other shared task participants and speculate what the future directions in machine translation of low resource translation might be.

Přednáška představuje výsledky na konferenci WMT21 o překladu s velmi malým množstvím zdrojů a bez paralelních dat a soutěží příspěvek, se kterým se účastil tým LMU Mnichov. Dále se probíráme designová rozhodnutími, která museli účastníci soutěže udělat a spekulujeme o tom, jaké by mohly být budoucí směry ve strojovém překladu překladů s malými zdroji.


Findings of the WMT 2021 Shared Tasks in Unsupervised MT and Very Low Resource Supervised MT

Závěry soutěžního úkolu ve strojovém překladu bez paralelních data nebo s velmi málo paralelními daty

We present the findings of the WMT2021 Shared Tasks in Unsupervised MT and Very Low Resource Supervised MT. Within the task, the community studied very low resource translation between German and Upper Sorbian, unsupervised translation between German and Lower Sorbian and low resource translation between Russian and Chuvash, all minority languages with active language communities working on preserving the languages, who are partners in the evaluation. Thanks to this, we were able to obtain most digital data available for these languages and offer them to the task participants. In total, six teams participated in the shared task. The paper discusses the background, presents the tasks and results, and discusses best practices for the future.

Představujeme závěry soutěžního ve strojovém překladu bez paralelních data nebo s velmi málo paralelními daty na WMT2021. V rámci tohoto úkolu se komunita zabývala strojovým překladem s velmi málo paralelními daty  mezi němčinou a hornolužickou srbštinou, překladem bez paralelních dat mezi němčinou a dolnolužickou srbštinou a překladem s málo paralelními daty mezi ruštinou a čuvašštinou, všemi menšinovými jazyky s aktivními jazykovými komunitami pracujícími na zachování těchto jazyků. Díky tomu se nám podařilo získat většinu digitálních dat dostupných pro tyto jazyky a nabídnout je účastníkům úkolu. Soutěžního úkolu se účastnilo celkem šest týmů. Článek představuje úkoly a výsledky a pojednává o osvědčených postupech do budoucna.


The LMU Munich Systems for the WMT21 Unsupervised and Very Low-Resource Translation Task

Systém LMU Mnichov pro soutěžní úkol strojový překlad bez nebo velmi málo trénovacími daty na WMT21

We present our submissions to the WMT21 shared task in Unsupervised and Very Low-Resource machine translation between German and Upper Sorbian, German and Lower Sorbian, and Russian and Chuvash. Our low-resource systems (German↔Upper Sorbian, Russian↔Chuvash) are pre-trained on high-resource pairs of related languages. We fine-tune those systems using the available authentic parallel data and improve by iterated back-translation. The unsupervised German↔Lower Sorbian system is initialized by the best Upper Sorbian system and improved by iterated back-translation using monolingual data only.

Představujeme naše systémy pro soutěžní úkol v strojovém překladu bez paralelní dat a s velmi málo paralelními data na WMT21: mezi němčinou a hornolužickou srbštinou, němčinou a dolnolužickou srbštinou a ruštinou a čuvašštinou. Naše nízkozdrojové systémy (němčina↔hornolužická srbština, ruština↔čuvaština) jsou předtrénovány na párech příbuzných jazyků s dostatkem data. Tyto systémy jsme dotrénovali pomocí dostupných autentických paralelních dat a dále vylepšili opakovaným zpětným překladem. Německo↔dolnolužický systém je inicializován nejlepším hornolužickosrbským systémem a vylepšen opakovaným zpětným překladem pouze za použití jednojazyčných dat.


Underreporting of errors in NLG output, and what to do about it

Nedostatečné reportování o chybách ve výstupech generátorů jazyka a co s tím

We observe a severe under-reporting of the different kinds of errors that Natural Language Generation systems make. This is a problem, because mistakes are an important indicator of where systems should still be improved. If authors only report overall performance metrics, the research community is left in the dark about the specific weaknesses that are exhibited by ‘state-of-the-art’ research. Next to quantifying the extent of error under-reporting, this position paper provides recommendations for error identification, analysis and reporting.

Pozorujeme, že různé druhy chyb, kterých se dopouštějí systémy pro generování přirozeného jazyka, jsou velmi málo reportovány v literatuře. To je problém, protože chyby jsou důležitým ukazatelem toho, kde by se systémy měly ještě zlepšit. Pokud autoři uvádějí pouze celkové metriky výkonnosti, zůstává výzkumná komunita v nevědomosti o konkrétních nedostatcích v nejmodernějších přístupech. Vedle kvantifikace rozsahu nedostatečného vykazování chyb tento článek poskytuje doporučení pro identifikaci, analýzu a vykazování chyb.

Emiel van Miltenburg
Miruna Clinciu
Ondřej Dušek
Dimitra Gkatzia
Stephanie Inglis
Leo Leppänen
Saad Mahamood
Emma Manning
Stephanie Schoch
Craig Thomson
Luou Wen


We present the script of the theatre play AI: When a Robot Writes a Play (AI: Když robot píše hru), which was written by artificial intelligence within the THEaiTRE project.

Představujeme scénář divadelní hry AI: When a Robot Writes a Play (AI: Když robot píše hru), kterou napsala umělá inteligence v rámci projektu THEaiTRE.

1.0 THEaiTRobot
David Košťák
Daniel Hrbek
Rudolf Rosa
Ondřej Dušek


The lecture will briefly introduce some of the tasks dealt with in computer linguistics, such as automatic correction of misspellings/grammar or automatic sentence analysis.
The main focus will be on the role of machine translation, in particular the development of different types of English-to-Czech translators over the last decade. Today's best translators are based on artificial intelligence technologies, namely deep neural networks, and the quality of the resulting translation is close to that of a professional translation agency. Some translation errors are caused by translating sentences independently, which is being solved by so-called document-level machine translation.

Přednáška úvodem krátce představí některé úlohy, kterými se zabývá počítačová lingvistika, například automatickou opravu překlepů/gramatiky či automatický větný rozbor.
Hlavní pozornost bude věnována úloze strojového překladu, zejména vývoji různých typů překladačů z angličtiny do češtiny během posledního desetiletí. Dnešní nejlepší překladače jsou založeny na technologiích umělé inteligence, konkrétně hlubokých neuronových sítí, a kvalita výsledného překladu se blíží úrovni profesionální překladatelské agentury. Některé překladové chyby jsou způsobeny překládáním jednotlivých vět nezávisle, což řeší tzv. document-level machine translation.