Universal Dependencies is a project that seeks to develop cross-linguistically consistent treebank annotation for many languages, with the goal of facilitating multilingual parser development, cross-lingual learning, and parsing research from a language typology perspective. The annotation scheme is based on (universal) Stanford dependencies (de Marneffe et al., 2006, 2008, 2014), Google universal part-of-speech tags (Petrov et al., 2012), and the Interset interlingua for morphosyntactic tagsets (Zeman, 2008). This is the fifteenth release of UD Treebanks, Version 2.9.

Universal Dependencies je projekt, který vyvíjí mezijazykově konzistentní morfologicko-syntaktickou anotaci mnoha jazyků s cílem usnadnit vývoj jazykově nezávislých parserů, mezijazykové strojové učení a výzkum parsingu z perspektivy jazykové typologie. Anotační schéma je založeno na univerzálních Stanfordských závislostech (de Marneffe et al., 2006, 2008, 2014), univerzálních značkách Google (Petrov et al., 2012) a na Intersetu, tj. interlingvě pro sady morfologických značek (Zeman, 2008). Toto je patnácté vydání treebanků UD, verze 2.9.

Daniel Zeman
Joakim Nivre
Mitchell Abrams
Elia Ackermann
Noëmi Aepli
Hamid Aghaei
Željko Agić
Amir Ahmadi
Lars Ahrenberg
Chika Kennedy Ajede
Gabrielė Aleksandravičiūtė
Ika Alfina
Lene Antonsen
Katya Aplonova
Angelina Aquino
Carolina Aragon
Maria Jesus Aranzabe
Bilge Nas Arıcan
Þórunn Arnardóttir
Gashaw Arutie
Jessica Naraiswari Arwidarasti
Masayuki Asahara
Deniz Baran Aslan
Luma Ateyah
Furkan Atmaca
Mohammed Attia
Aitziber Atutxa
Liesbeth Augustinus
Elena Badmaeva
Keerthana Balasubramani
Miguel Ballesteros
Esha Banerjee
Sebastian Bank
Verginica Barbu Mititelu
Starkaður Barkarson
Rodolfo Basile
Victoria Basmov
Colin Batchelor
John Bauer
Seyyit Talha Bedir
Kepa Bengoetxea
Gözde Berk
Yevgeni Berzak
Irshad Ahmad Bhat
Riyaz Ahmad Bhat
Erica Biagetti
Eckhard Bick
Agnė Bielinskienė
Kristín Bjarnadóttir
Rogier Blokland
Victoria Bobicev
Loïc Boizou
Emanuel Borges Völker
Carl Börstell
Cristina Bosco
Gosse Bouma
Sam Bowman
Adriane Boyd
Anouck Braggaar
Kristina Brokaitė
Aljoscha Burchardt
Marie Candito
Bernard Caron
Gauthier Caron
Lauren Cassidy
Tatiana Cavalcanti
Gülşen Cebiroğlu Eryiğit
Flavio Massimiliano Cecchini
Giuseppe G. A. Celano
Slavomír Čéplö
Neslihan Cesur
Savas Cetin
Özlem Çetinoğlu
Fabricio Chalub
Shweta Chauhan
Ethan Chi
Taishi Chika
Yongseok Cho
Jinho Choi
Jayeol Chun
Juyeon Chung
Alessandra T. Cignarella
Silvie Cinková
Aurélie Collomb
Çağrı Çöltekin
Miriam Connor
Marine Courtin
Mihaela Cristescu
Philemon Daniel
Elizabeth Davidson
Marie-Catherine de Marneffe
Valeria de Paiva
Mehmet Oguz Derin
Elvis de Souza
Arantza Diaz de Ilarraza
Carly Dickerson
Arawinda Dinakaramani
Elisa Di Nuovo
Bamba Dione
Peter Dirix
Kaja Dobrovoljc
Timothy Dozat
Kira Droganova
Puneet Dwivedi
Hanne Eckhoff
Sandra Eiche
Marhaba Eli
Ali Elkahky
Binyam Ephrem
Olga Erina
Tomaž Erjavec
Aline Etienne
Wograine Evelyn
Sidney Facundes
Richárd Farkas
Jannatul Ferdaousi
Marília Fernanda
Hector Fernandez Alcalde
Jennifer Foster
Cláudia Freitas
Kazunori Fujita
Katarína Gajdošová
Daniel Galbraith
Marcos Garcia
Moa Gärdenfors
Sebastian Garza
Fabrício Ferraz Gerardi
Kim Gerdes
Filip Ginter
Gustavo Godoy
Iakes Goenaga
Koldo Gojenola
Memduh Gökırmak
Yoav Goldberg
Xavier Gómez Guinovart
Berta González Saavedra
Bernadeta Griciūtė
Matias Grioni
Loïc Grobol
Normunds Grūzītis
Bruno Guillaume
Céline Guillot-Barbance
Tunga Güngör
Nizar Habash
Hinrik Hafsteinsson
Jan Hajič
Jan Hajič, jr.
Mika Hämäläinen
Linh Hà Mỹ
Na-Rae Han
Muhammad Yudistira Hanifmuti
Sam Hardwick
Kim Harris
Dag Haug
Johannes Heinecke
Oliver Hellwig
Felix Hennig
Barbora Hladká
Jaroslava Hlaváčová
Florinel Hociung
Petter Hohle
Eva Huber
Jena Hwang
Takumi Ikeda
Anton Karl Ingason
Radu Ion
Elena Irimia
Ọlájídé Ishola
Kaoru Ito
Siratun Jannat
Tomáš Jelínek
Apoorva Jha
Anders Johannsen
Hildur Jónsdóttir
Fredrik Jørgensen
Markus Juutinen
Sarveswaran Kengatharaiyer
Hüner Kaşıkara
Andre Kåsen
Nadezhda Kabaeva
Sylvain Kahane
Hiroshi Kanayama
Jenna Kanerva
Neslihan Kara
Boris Katz
Tolga Kayadelen
Jessica Kenney
Václava Kettnerová
Jesse Kirchner
Elena Klementieva
Elena Klyachko
Arne Köhn
Abdullatif Köksal
Kamil Kopacewicz
Timo Korkiakangas
Mehmet Köse
Natalia Kotsyba
Jolanta Kovalevskaitė
Simon Krek
Parameswari Krishnamurthy
Sandra Kübler
Oğuzhan Kuyrukçu
Aslı Kuzgun
Sookyoung Kwak
Veronika Laippala
Lucia Lam
Lorenzo Lambertino
Tatiana Lando
Septina Dian Larasati
Alexei Lavrentiev
John Lee
Phương Lê Hồng
Alessandro Lenci
Saran Lertpradit
Herman Leung
Maria Levina
Cheuk Ying Li
Josie Li
Keying Li
Yuan Li
KyungTae Lim
Bruna Lima Padovani
Krister Lindén
Nikola Ljubešić
Olga Loginova
Stefano Lusito
Andry Luthfi
Mikko Luukko
Olga Lyashevskaya
Teresa Lynn
Vivien Macketanz
Menel Mahamdi
Jean Maillard
Aibek Makazhanov
Michael Mandl
Christopher Manning
Ruli Manurung
Büşra Marşan
Cătălina Mărănduc
David Mareček
Katrin Marheinecke
Héctor Martínez Alonso
Lorena Martín Rodríguez
André Martins
Jan Mašek
Hiroshi Matsuda
Yuji Matsumoto
Alessandro Mazzei
Ryan McDonald
Sarah McGuinness
Gustavo Mendonça
Tatiana Merzhevich
Niko Miekka
Karina Mischenkova
Margarita Misirpashayeva
Anna Missilä
Cătălin Mititelu
Maria Mitrofan
Yusuke Miyao
AmirHossein Mojiri Foroushani
Judit Molnár
Amirsaeid Moloodi
Simonetta Montemagni
Amir More
Laura Moreno Romero
Giovanni Moretti
Keiko Sophie Mori
Shinsuke Mori
Tomohiko Morioka
Shigeki Moro
Bjartur Mortensen
Bohdan Moskalevskyi
Kadri Muischnek
Robert Munro
Yugo Murawaki
Kaili Müürisep
Pinkey Nainwani
Mariam Nakhlé
Juan Ignacio Navarro Horñiacek
Anna Nedoluzhko
Gunta Nešpore-Bērzkalne
Manuela Nevaci
Lương Nguyễn Thị
Huyền Nguyễn Thị Minh
Yoshihiro Nikaido
Vitaly Nikolaev
Rattima Nitisaroj
Alireza Nourian
Hanna Nurmi
Stina Ojala
Atul Kr. Ojha
Adédayọ̀ Olúòkun
Mai Omura
Emeka Onwuegbuzia
Petya Osenova
Robert Östling
Lilja Øvrelid
Şaziye Betül Özateş
Merve Özçelik
Arzucan Özgür
Balkız Öztürk Başaran
Hyunji Hayley Park
Niko Partanen
Elena Pascual
Marco Passarotti
Agnieszka Patejuk
Guilherme Paulino-Passos
Angelika Peljak-Łapińska
Siyao Peng
Cenel-Augusto Perez
Natalia Perkova
Guy Perrier
Slav Petrov
Daria Petrova
Jason Phelan
Jussi Piitulainen
Tommi A Pirinen
Emily Pitler
Barbara Plank
Thierry Poibeau
Larisa Ponomareva
Martin Popel
Lauma Pretkalniņa
Sophie Prévost
Prokopis Prokopidis
Adam Przepiórkowski
Tiina Puolakainen
Sampo Pyysalo
Peng Qi
Andriela Rääbis
Alexandre Rademaker
Mizanur Rahoman
Taraka Rama
Loganathan Ramasamy
Carlos Ramisch
Fam Rashel
Mohammad Sadegh Rasooli
Vinit Ravishankar
Livy Real
Petru Rebeja
Siva Reddy
Mathilde Regnault
Georg Rehm
Ivan Riabov
Michael Rießler
Erika Rimkutė
Larissa Rinaldi
Laura Rituma
Putri Rizqiyah
Luisa Rocha
Eiríkur Rögnvaldsson
Mykhailo Romanenko
Rudolf Rosa
Valentin Roșca
Davide Rovati
Olga Rudina
Jack Rueter
Kristján Rúnarsson
Shoval Sadde
Pegah Safari
Benoît Sagot
Aleksi Sahala
Shadi Saleh
Alessio Salomoni
Tanja Samardžić
Stephanie Samson
Manuela Sanguinetti
Ezgi Sanıyar
Dage Särg
Baiba Saulīte
Yanin Sawanakunanon
Shefali Saxena
Kevin Scannell
Salvatore Scarlata
Nathan Schneider
Sebastian Schuster
Lane Schwartz
Djamé Seddah
Wolfgang Seeker
Mojgan Seraji
Syeda Shahzadi
Mo Shen
Atsuko Shimada
Hiroyuki Shirasu
Yana Shishkina
Muh Shohibussirri
Dmitri Sitchinava
Janine Siewert
Einar Freyr Sigurðsson
Aline Silveira
Natalia Silveira
Maria Simi
Radu Simionescu
Katalin Simkó
Mária Šimková
Kiril Simov
Maria Skachedubova
Aaron Smith
Isabela Soares-Bastos
Shafi Sourov
Carolyn Spadine
Rachele Sprugnoli
Steinþór Steingrímsson
Antonio Stella
Milan Straka
Emmett Strickland
Jana Strnadová
Alane Suhr
Yogi Lesmana Sulestio
Umut Sulubacak
Shingo Suzuki
Zsolt Szántó
Chihiro Taguchi
Dima Taji
Yuta Takahashi
Fabio Tamburini
Mary Ann C. Tan
Takaaki Tanaka
Dipta Tanaya
Samson Tella
Isabelle Tellier
Marinella Testori
Guillaume Thomas
Liisi Torga
Marsida Toska
Trond Trosterud
Anna Trukhina
Reut Tsarfaty
Utku Türk
Francis Tyers
Sumire Uematsu
Roman Untilov
Zdeňka Urešová
Larraitz Uria
Hans Uszkoreit
Andrius Utka
Sowmya Vajjala
Rob van der Goot
Martine Vanhove
Daniel van Niekerk
Gertjan van Noord
Viktor Varga
Eric Villemonte de la Clergerie
Veronika Vincze
Natalia Vlasova
Aya Wakasa
Joel C. Wallenberg
Lars Wallin
Abigail Walsh
Jing Xian Wang
Jonathan North Washington
Maximilan Wendt
Paul Widmer
Sri Hartati Wijono
Seyi Williams
Mats Wirén
Christian Wittern
Tsegay Woldemariam
Tak-sum Wong
Alina Wróblewska
Mary Yako
Kayo Yamashita
Naoki Yamazaki
Chunxiao Yan
Koichi Yasuoka
Marat M. Yavrumyan
Arife Betül Yenice
Olcay Taner Yıldız
Zhuoran Yu
Arlisa Yuliawati
Zdeněk Žabokrtský
Shorouq Zahra
Amir Zeldes
He Zhou
Hanzhi Zhu
Anna Zhuravleva
Rayan Ziane


Forms and functions of of circumstantial modifications in Czech. Spatial and temporal modification

Formy a funkce okolnostních určení v češtině. Určení prostorová a časová

The necessity of a subdivision of the functors as bearers of the main semantic features in the Functional Generative Description as well as in the annotation scenario for the Prague Dependency Treebanks into more grained units called there subfunctors is presented here. The discussion is focused on the spatial and temporal functors as the most frequently occurring modification types.  The book consists of the four parts.
- Part I: Theoretical introduction to the description of adverbials analysis (repertory of functors, boundary between functors and subfunctors, principles of subfunctor determination, synonymy and ambiguity in form-function relation, determination of the class of secondary prepositions).
- Part II: Corpus-based, detailed and comprehensive description of spatial and temporal modification
- Part III: Two comparative studies.
- Part IV: Overview of proposed functors and subfunctors

V monografii předkládáme celistvý popis forem a funkcí vybraných okolnostních určení založený na detailní analýze rozsáhlých korpusových dat. Usilujeme o komplexnost popisu co do šíře i co do hloubky: analyzujeme všechny v korpusech dostupné příklady a pro každý stanovujeme jeho funkci a formu. Výsledkem je podrobný seznam okolnostních významů a jejich jemnějších významových podtypů včetně seznamu formálních realizací, doložený reálnými příklady. Analýza se soustředí na
popis určení prostorových a časových jakožto jádra okolnostních významů.
Kniha se skládá ze čtyř částí.
- Část I: Teoretický úvod do analýzy okolnostních určení (repertoár funktorů, hranice mezi funktory a subfunktory, principy determinace subfunktoru, synonymie a nejednoznačnost ve vztahu forma-funkce, stanovení třídy sekundárních předložek).
- Část II: Podrobný a komplexní popis prostorových a časových určení
- Část III: Dvě srovnávací studie.
- Část IV: Přehled navržených funktorů a subfunktorů


The Valency Dictionary of Czech Verbs (also VALLEX 4.0) provides information on the valency structure of Czech verbs in their individual meanings, characterized by glosses and examples; these data are supplemented by other syntactic and semantic characteristics. VALLEX 4.0 captures 4,659 Czech verbs, which correspond to 11,030 lexical units, "a given verb in a given meaning" (which corresponds to 6,829 lexical units if the mode counterparts are grouped into lexemes).

VALLEX 4.0 enriches the information with the characteristics of verbs expressing reflexive and reciprocal meanings - these are both verbs that contain these features in their lexical meaning, and verbs expressing reciprocity or reflexivity using specific syntactic constructions. VALLEX 4.0 thus characterizes 2,909 verbs in 4,453 lexical units, which express or can express reciprocal relations (corresponding to 2,744 lexical units if the visual counterparts are grouped into lexemes), and 2,291 verbs in 3,287 lexical units with the possibility of expressing reflexivity (these are 2,039 lexical units for mode counterparts grouped into lexemes).

Předkládaný Valenční slovník českých sloves (též VALLEX 4.0) poskytuje informace o valenční struktuře českých sloves v jejich jednotlivých významech, které charakterizuje pomocí glos a příkladů; tyto údaje jsou doplněny o další syntaktické a sémantické charakteristiky. VALLEX 4.0 zachycuje 4 659 českých sloves, která odpovídají 11 030 lexikálním jednotkám, tedy vždy „danému slovesu v daném významu“ (což odpovídá 6 829 lexikálním jednotkám, sdruží-li se vidové protějšky do lexémů).

VALLEX 4.0 poskytované informace obohacuje o charakteristiku sloves vyjadřujících reflexivní a reciproční významy – jde jednak o slovesa, která tyto rysy obsahují ve svém lexikálním významu, jednak o slovesa vyjadřující reciprocitu nebo reflexivitu pomocí specifických syntaktických konstrukcí. VALLEX 4.0 takto charakterizuje 2 909 sloves ve 4 453 lexikálních jednotkách, která vyjadřují či mohou vyjadřovat reciproční vztahy (což odpovídá 2 744 lexikálním jednotkám, sdruží-li se vidové protějšky do lexémů), a 2 291 sloves ve 3 287 lexikálních jednotkách s možností vyjadřovat reflexivitu (jde o 2 039 lexikálních jednotek pro vidové protějšky sdružené do lexémů).

Markéta Lopatková
Václava Kettnerová
Anna Vernerová
Eduard Bejček
Zdeněk Žabokrtský


Valenční slovník VALLEX a jeho praktické využití

In this text we present the VALLEX dictionary in both its components: data and rule. We assume that the methodology used here is useful for further lexicographic work. We also proposed a way to verify the suitability of the distinctions used in VALLEX on examples from corpora. With regard to the frequency of individual types of delimitation of meanings in texts, we also proposed certain simplifications on the scale of meanings on the example of the verb projet / projíždět as a process necessary for possible future modifications of passwords in the VALLEX dictionary.

V tomto textu na vybraných příkladech představujeme fungování slovníku VALLEX v obou jeho složkách: datové i pravidlové. Předpokládáme, že metodologie zde užitá je užitečná pro další lexikografickou práci. Navrhly jsme také způsob, jak na příkladech z korpusů ověřit vhodnost distinkcí užitých ve VALLEXu. S ohledem na frekvenci jednotlivých typů delimitace významů v textech jsme na příkladu slovesa projet / projíždět navrhly i jistá zjednodušení na škále významů jakožto proces potřebný pro případné budoucí úpravy hesel ve slovníku VALLEX.


From Raw Text to Enhanced Universal Dependencies: the Parsing Shared Task at IWPT 2021

Od prostého textu k Enhanced Universal Dependencies: soutěž v automatické syntaktické analýze na IWPT 2021

We describe the second IWPT task on end-to-end parsing from raw text to Enhanced Universal Dependencies. We provide details about the evaluation metrics and the datasets used for training and evaluation. We compare the approaches taken by participating teams and discuss the results of the shared task, also in comparison with the first edition of this task.

Popisujeme druhou soutěž IWPT v automatické analýze prostého textu do struktur Enhanced Universal Dependencies. Uvádíme podrobnosti o mírách použitých při vyhodnocení, jakož i o datových sadách použitých pro učení a vyhodnocení. Srovnáváme přístupy jednotlivých týmů, které se soutěže zúčastnily, a rozebíráme výsledky, mimo jiné i ve srovnání s výsledky prvního ročníku této soutěže.


The paper presents a discussion about homonymy of Czech nouns with different or varying genders. The lemmas with this type of homonymy are treated in the new release of the dictionary MorfFlex as separated. We show that the separation of paradigms according to the gender is not only superfluous, but also clumsy, because it forces to make a choice when it is not necessary. That’s why we call this type of homonymy “artificial”.

Příspěvek přináší diskusi o homonymii českých podstatných jmen s různým nebo kolísavým rodem. Lemata s tímto typem homonymie jsou v novém vydání slovníku MorfFlex považována za různá. Ukazujeme, že rozdělení paradigmat podle rodu je nejen zbytečné, ale také nepraktické. Proto tomuto druhu hononymie říkáme „umělé“.


Consistency of the MorfFlex morphological dictionary

Konzistence morfologického slovníku MorfFlex

Language corpora usually contain, in addition to their own texts, various types of annotations. The most common one is a morphological annotation, which consists in assigning a lemma and a morphological tag to each wordform. For morphological tagging, morphological dictionaries are traditionally used. Our paper presents a new version of the so-called “Prague” morphological dictionary MorfFlex used for tagging many Czech corpora (particularly Prague Dependency Treebanks, corpora published by the Institute of the Czech National Corpus in Prague or large Czech web corpora of the Aranea series). Three basic principles were used to update the dictionary: the Golden Rule of Morphology, the Principle of Paradigm Unity, and the Principle of Paradigm Uniqueness.

Jazykové korpusy obvykle obsahují kromě vlastních textů i různé typy anotací. Nejběžnější je morfologická anotace, která spočívá v přiřazení lemmatu a morfologického tagu každému slovnímu tvaru. Pro morfologické značkování se tradičně používají morfologické slovníky. Náš příspěvek představuje novou verzi tzv. „pražského“ morfologického slovníku MorfFlex používaného pro tagování mnoha českých korpusů (zejména Prague Dependency Treebanks, korpusy vydávané Ústavem českého národního korpusu v Praze nebo velké české webové korpusy řady Aranea ). K aktualizaci slovníku byly použity tři základní principy: Zlaté pravidlo morfologie, Princip jednoty paradigmatu a Princip jedinečnosti paradigmatu.

Jaroslava Hlaváčová
Marie Mikulová
Barbora Štěpánková


Readability as (1) language competence expressed by CEFR levels, (2) literacy/reading comprehension level in OECD PIAAC studies, (3) a set of textual features. Benefits of clarity: time and cost savings, social cohesion, trust in public administration

Koncept textové srozumitelnosti: jako jazyková kompetence vyjádřená v úrovních CEFR, jako čtenářská gramotnost ve studiích OECD PIAAC, jako souhrn textových vlastností.
 Výhody, které přináší: úspora času, úspora peněz, společenská soudržnost, důvěra ve veřejné instituce.


The Handbook of Easy Languages in Europe describes the historical background, the principles and the practices of Easy Language in 21 European countries. The notion of Easy Language refers to modified forms of standard languages that aim to facilitate reading and comprehension.

Příručka snadných jazyků v Evropě popisuje historické pozadí, principy a postupy Easy Language ve 21 evropských zemích. Pojem Easy Language odkazuje na upravené formy standardních jazyků, jejichž cílem je usnadnit čtení a porozumění.


EngVallex - valenční slovník angličtiny 2.0

EngVallex 2.0 as a slightly updated version of EngVallex. It is the English counterpart of the PDT-Vallex valency lexicon, using the same view of valency, valency frames and the description of a surface form of verbal arguments. EngVallex contains links also to PropBank (English predicate-argument lexicon). The EngVallex lexicon is fully linked to the English side of the PCEDT parallel treebank(s), which is in fact the PTB re-annotated using the Prague Dependency Treebank style of annotation. The EngVallex is available in an XML format in our repository, and also in a searchable form with examples from the PCEDT. EngVallex 2.0 is the same dataset as the EngVallex lexicon packaged with the PCEDT 3.0 corpus, but published separately under a more permissive licence, avoiding the need for LDC licence which is tied to PCEDT 3.0 as a whole.

EngVallex 2.0 je aktualizovaná verze slovníku EngVallex. Jedná se o anglický protějšek valenčního slovníku PDT-Vallex, který používá stejný pohled na valenci, valenční rámečky a popis povrchové formy slovních argumentů. EngVallex obsahuje také odkazy na PropBank (anglický predicate-argument lexicon). Slovník EngVallex je plně propojen s anglickou stranou PCEDT paralelního treebanku, což je ve reanotovaný PTB korpus ve stylu anotace Prague Dependency Treebank. EngVallex je k dispozici ve formátu XML a také ve formě k online vyhledávání s příklady z PCEDT. EngVallex 2.0 je stejný datový soubor jako EngVallex ve vydání PCEDT 3.0, ale vydává se samostatně na základě benevolentnější licence, čímž se předejde nutnosti pro uživatele získat LDC licenci, která je vázána na PCEDT 3.0 jako celek.

Silvie Cinková
Eva Fučíková
Jana Šindlerová
Jan Hajič


tidystopwords: Customisable Stop-Words in 110 Languages, v. 0.9.1

tidystopwords: přizpůsobitelné seznamy stopslov ve 110 jazycích, v. 0.9.1

Functions to generate stop-word lists in 110 languages, in a way consistent across all the languages supported. The generated lists are based on the morphological tagset from the Universal Dependencies.

Funkce na generování stop-slov v 110 jazycích, na základě morfologického značkování Universal Dependencies


Baseline corpus for automatic simplification of Czech legal and administrative texts

Referenční datový soubor pro automatickou simplifikaci českých právních a úředních textů

Presentation of the Argumentation Mining task and an outline of the annotation scheme to train it, explained to law experts - potential text contributors and annotators. A broader context of the task, state of the art in NLP.

Představení úlohy Argumentation Mining a náčrt anotačního schématu k trénovacím datům z pohledu právních expertů - potenciálních přispěvatelů textů a anotátorů. Širší kontext úlohy, současné možnosti NLP.


Action nouns vs. nouns as bases for denominal verbs in Czech: A case study on directionality in derivation

Dějová substantiva vs. substantiva jako báze pro denominální slovesa v češtině: Případová studie o směrovosti v derivaci

Suffixless action nouns are mostly analysed as deverbal derivatives (e.g., výběr ‘choice’ < vybírat ‘to choose.IPFV’), but dictionaries ascribe the reverse direction to some noun–verb pairs (útok ‘attack’ > útočit ‘to attack.IPFV’) despite being both formally and semantically close to the former type. The question is addressed in the present study of whether any linguistic features can be identified in pairs of suffixless nouns and directly corresponding verbs that would speak in favour of one or the other direction. The analysis of 250 Czech suffixless nouns reveals a correlation between the number of directly related verbs derived by suffixes and the direction as recorded in the dictionaries: While deverbal nouns correspond mostly to a pair of verbs with different (aspect-changing) suffixes (cf. výběr ‘choice’ : vybrat/vybírat ‘to choose.PFV/IPFV’), nouns that are bases for verbs tend to share the root with a single (imperfective) verb (útok ‘attack’ : útočit ‘to attack.IPFV’). This correlation is elaborated into two different paradigms, one being based on verbal roots while the other on nominal roots, which might be applicable in hypothesizing the direction also with nouns that are not covered by the dictionaries.

Studie se zabývá českými substantivy s nulovou příponou. Poukazuje na to, že pokud se substantivum vztahuje ke dvěma slovesům s různou tematickou příponou, jedná se o substantivum od těchto sloves odvozené. Oproti tomu substantiva, pro která je v korpusových datech k dispozici sloveso s jedinou tematickou příponou a toto sloveso mění vid připojením předpony, slouží jako slova základová pro odvození (těchto denominálních) sloves.


Suffixless nouns and the category of grammatical aspect in related verbs

Bezpříponová substantiva a vyjadřování vidového protikladu u příbuzných sloves

The present study deals with suffixless nouns in Czech. Two data samples are analysed to demonstrate that suffixless nouns with an action meaning mostly correspond to a pair of verbs with different themes (conveying different grammatical aspects; e.g., skok ‘jump’ < skočit ‘to jump.PFV’ : skákat ‘to jump.IPFV’), whereas non-actional suffixless nouns tend to form a single corresponding verb which uses a prefix to change the aspect (noc ‘night’ > nocovat ‘to stay.IPFV overnight’ > přenocovat ‘to stay.PFV overnight’). This distinction is applied to a third data sample to determine direction of motivation in pairs of suffixless nouns and verbs. The difference between the deverbal and denominal direction is explained by the part-of-speech category of the root morpheme which is shared by the suffixless noun and the corresponding verb(s). The relations observed are modelled as paradigms recurring across the word-formation system of Czech.

Tato studie se zabývá českými podstatnými jmény bez slovotvorné přípony. Na dvou vzorcích dat je analyzováno, že bezpříponová substantiva s dějovým významem většinou odpovídají dvojici sloves s různými kmenotvornými příponami (vyjadřujícími různé vidové hodnoty; např. skok < skočit : skákat), zatímco bezpříponový substantiva s jiným než dějovým významem zpravidla korespondují s jediným slovesem, které nemění vid změnou kmentovorné přípony, ale připojením předpony (noc  > nocovat > přenocovat). Způsob tvoření vidového protějšku je zkoumán ve třetím vzorku dat s cílem určit v příslušných dvojicích dvojic bezpříponového substantiva a slovesa směr motivace. Rozdíl mezi deverbálním a denominálním směrem je spojován se slovnědruhovou kategorií kořenového morfému, který je společný pro bezpříponové substantivum a příslušné sloveso (slovesa). Pozorované vztahy jsou modelovány jako paradigmata opakující se ve slovotvorném systému češtiny.


The DeriNet lexical database as a formal model of word formation in Czech

Lexikální databáze DeriNet jako formální model tvoření slov v češtině

In this talk, we will summarize the main features of the word formation network DeriNet developed for Czech at the Institute of Formal and Applied Linguistics, MFF UK. We will also discuss two topics that have been recently addressed in connection with DeriNet. The first is related to the applicability of the so-called paradigmatic approach to Czech word formation, in contrast with the tree approach taken in DeriNet. The second topic is the segmentation of Czech lemmas into morphemes.

V přednášce shrneme hlavní vlastnosti slovotvorné sítě DeriNet vyvíjené pro češtinu v Ústavu formální a aplikované lingvistiky MFF UK. Nastíníme rozmanitost podobně zaměřených databází vznikajících pro jiné jazyky, jakož i neskromné vyhlídky na jejich syntézu ve stopách Universal Dependencies. Dále se budeme věnovat dvěma tématům, kterými se v souvislosti s DeriNetem zabýváme v poslední době. První souvisí s aplikovatelností tzv. paradigmatického přístupu k odvozování v češtině, kontrastovaného se stromovým přístupem zvoleným v DeriNetu. Druhým tématem je segmentace českých lemmat na morfémy; jakkoli je morfém jedním z “nejklasičtějších” lingvistických pojmů, jeho rigorózní datové uchopení se zdá být překvapivě nesnadnou výzvou.


Agent noun formation in Czech: An empirical study on suffix rivalry

Tvoření agentních jmen v češtině: empirická studie kompetice přípon

The work deals with the formation of agent nouns in Czech, especially the rivalry among the eight most frequent agent suffixes. We use machine learning methods to calculate the influence of several different formal-linguistic properties on the resulting suffix selected when an agent noun is coined.

Práce se zabývá tvorbou agentních jmen v češtině, zejména kompeticí mezi osmi nejfrekventovanějšími agentními příponami. Na základě metod strojového učení je v práci vyčíslen vliv různých formálně-lingvistických vlastností na výslednou volbu přípony při tvorbě agentního substantiva.

Magda Ševčíková
Lukáš Kyjánek
Barbora Vidová Hladká


ParlaMint: Comparable Corpora of European Parliamentary Data

ParlaMint: Porovnatelné korpusy evropských parlamentních dat

This paper outlines the ParlaMint project from the perspective of its goals, tasks, participants, results and applications potential. The project produced language corpora from the sessions of the national parliaments of 17 countries, almost half a billion words in total. The corpora are split into COVID-related subcorpora (from November 2019) and reference corpora (to October 2019). The corpora are uniformly encoded according to the ParlaMint schema with the same Universal Dependencies linguistic annotations. Samples of the corpora and conversion scripts are available from the project’s GitHub repository. The complete corpora are openly available via the CLARIN.SI repository for download, and through the NoSketch Engine and KonText concordancers as well as through the Parlameter interface for exploration and analysis.

Tento článek popisuje projekt ParlaMint z hlediska jeho cílů, úkolů, účastníků, výsledků a aplikačního potenciálu. Projekt vytvořil jazykové korpusy ze zasedání národních parlamentů 17 zemí, celkem téměř půl miliardy slov. Korpusy jsou rozděleny na subkorpusy související s COVID (od listopadu 2019) a referenční korpusy (do října 2019). Korpusy jsou jednotně kódovány podle schématu ParlaMint se stejnými lingvistickými anotacemi podle Universal Dependencies. Ukázky korpusů a konverzních skriptů jsou dostupné z GitHub úložiště projektu. Kompletní korpusy je volně dostupné ke stažení přes repozitář CLARIN.SI a přes concordancery NoSketch Engine a KonText i přes rozhraní Parlameter pro procházení a analýzu.

Tomaž Erjavec
Maciej Ogrodniczuk
Petya Osenova
Andrej Pančur
Nikola Ljubešić
Tommaso Agnoloni
Starkaður Barkarson
María Calzada Pérez
Çağrı Çöltekin
Matthew Coole
Roberts Darģis
Luciana de Macedo
Jesse de Does
Katrien Depuydt
Sascha Diwersy
Dorte Haltrup Hansen
Matyáš Kopp
Tomas Krilavičius
Giancarlo Luxardo
Maarten Marx
Vaidas Morkevičius
Costanza Navarretta
Paul Rayson
Orsolya Ring
Michał Rudolf
Kiril Simov
Steinþór Steingrímsson
István Üveges
Ruben van Heusden
Giulia Venturi


Multilingual comparable corpora of parliamentary debates ParlaMint 2.1

Vícejazyčný korpus parlamentních debat ParlaMint 2.1

ParlaMint is a multilingual set of comparable corpora containing parliamentary debates. It contains parliament debates from these countries: Belgium, Bulgaria, Czech Republic, Denmark, Croatia, France, Iceland, Italy, Lithuania, Latvia, Hungary, Netherlands, Poland, Slovenia, Spain, Turkey, UK

ParlaMint je vícejazyčný soubor srovnatelných korpusů parlamntních debat. Obsahuje parlamentní data těchto zemí: Belgie, Bulharsko, Česko, Dánsko, Francie, Chorvatsko, Island, Itálie, Litva, Lotyšsko, Maďarsko, Nizozemí, Polsko, Slovinsko, Španělsko, Turecko, UK.

Tomaž Erjavec
Maciej Ogrodniczuk
Petya Osenova
Nikola Ljubešić
Kiril Simov
Vladislava Grigorova
Michał Rudolf
Andrej Pančur
Matyáš Kopp
Starkaður Barkarson
Steinþór Steingrímsson
Henk van der Pol
Griet Depoorter
Jesse de Does
Bart Jongejan
Dorte Haltrup Hansen
Costanza Navarretta
María Calzada Pérez
Luciana de Macedo
Ruben van Heusden
Maarten Marx
Çağrı Çöltekin
Matthew Coole
Tommaso Agnoloni
Francesca Frontini
Simonetta Montemagni
Valeria Quochi
Giulia Venturi
Manuela Ruisi
Carlo Marchetti
Roberto Battistoni
Miklós Sebők
Orsolya Ring
Roberts Darģis
Andrius Utka
Mindaugas Petkevičius
Tomas Krilavičius
Vaidas Morkevičius
Sascha Diwersy
Giancarlo Luxardo


Multilingual comparable corpora of parliamentary debates ParlaMint 2.0

Vícejazyčný korpus parlamentních debat ParlaMint 2.0

ParlaMint is a multilingual set of comparable
 corpora containing parliamentary debates.
It contains parliament debates from these countries: Belgium, Bulgaria, Czech Republic, Denmark, Croatia, Iceland, Italy, Lithuania, Latvia, Hungary, Netherlands, Poland, Slovenia, Spain, Turkey, UK

ParlaMint je vícejazyčný soubor srovnatelných
 korpusů parlamntních debat.
Obsahuje parlamentní data těchto zemí: Belgie, Bulharsko, Česko, Dánsko, Chorvatsko, Island, Itálie, Litva, Lotyšsko, Maďarsko, Nizozemí, Polsko, Slovinsko, Španělsko, Turecko, UK.

Tomaž Erjavec
Maciej Ogrodniczuk
Petya Osenova
Nikola Ljubešić
Kiril Simov
Vladislava Grigorova
Michał Rudolf
Andrej Pančur
Matyáš Kopp
Starkaður Barkarson
Steinþór Steingrímsson
Henk van der Pol
Griet Depoorter
Jesse de Does
Bart Jongejan
Dorte Haltrup Hansen
Costanza Navarretta
María Calzada Pérez
Luciana de Macedo
Ruben van Heusden
Maarten Marx
Çağrı Çöltekin
Matthew Coole
Tommaso Agnoloni
Francesca Frontini
Simonetta Montemagni
Valeria Quochi
Giulia Venturi
Manuela Ruisi
Carlo Marchetti
Roberto Battistoni
Miklós Sebők
Orsolya Ring
Roberts Darģis
Andrius Utka
Mindaugas Petkevičius
Monika Briedienė
Tomas Krilavičius
Vaidas Morkevičius


Linguistically annotated multilingual comparable corpora of parliamentary debates ParlaMint.ana 2.0

Lingvisticky anotovaný vícejazyčný korpus parlamentních debat ParlaMint.ana 2.0

ParlaMint.ana is a multilingual set of comparable linguistically annotated corpora containing parliamentary debates.

It contains parliament debates from these countries: Belgium, Bulgaria, Czech Republic, Denmark, Croatia, Iceland, Italy, Lithuania, Latvia, Hungary, Netherlands, Poland, Slovenia, Spain, Turkey, UK

ParlaMint.ana je vícejazyčný soubor srovnatelných lingvisticky anotovaných korpusů parlamntních debat.

Obsahuje parlamentní data těchto zemí: Belgie, Bulharsko, Česko, Dánsko, Chorvatsko, Island, Itálie, Litva, Lotyšsko, Maďarsko, Nizozemí, Polsko, Slovinsko, Španělsko, Turecko, UK.

Tomaž Erjavec
Maciej Ogrodniczuk
Petya Osenova
Nikola Ljubešić
Kiril Simov
Vladislava Grigorova
Michał Rudolf
Andrej Pančur
Matyáš Kopp
Starkaður Barkarson
Steinþór Steingrímsson
Henk van der Pol
Griet Depoorter
Jesse de Does
Bart Jongejan
Dorte Haltrup Hansen
Costanza Navarretta
María Calzada Pérez
Luciana de Macedo
Ruben van Heusden
Maarten Marx
Çağrı Çöltekin
Matthew Coole
Tommaso Agnoloni
Francesca Frontini
Simonetta Montemagni
Valeria Quochi
Giulia Venturi
Manuela Ruisi
Carlo Marchetti
Roberto Battistoni
Miklós Sebők
Orsolya Ring
Roberts Darģis
Andrius Utka
Mindaugas Petkevičius
Monika Briedienė
Tomas Krilavičius
Vaidas Morkevičius
Roberto Bartolini
Andrea Cimino


Linguistically annotated multilingual comparable corpora of parliamentary debates ParlaMint.ana 2.1

Lingvisticky anotovaný vícejazyčný korpus parlamentních debat ParlaMint.ana 2.1

ParlaMint.ana is a multilingual set of comparable linguistically annotated corpora containing parliamentary debates.
It contains parliament debates from these countries: Belgium, Bulgaria, Czech Republic, Denmark, France, Croatia, Iceland, Italy, Lithuania, Latvia, Hungary, Netherlands, Poland, Slovenia, Spain, Turkey, UK

ParlaMint.ana je vícejazyčný soubor srovnatelných lingvisticky anotovaných korpusů parlamntních debat.
Obsahuje parlamentní data těchto zemí: Belgie, Bulharsko, Česko, Dánsko, Francie, Chorvatsko, Island, Itálie, Litva, Lotyšsko, Maďarsko, Nizozemí, Polsko, Slovinsko, Španělsko, Turecko, UK.

Tomaž Erjavec
Maciej Ogrodniczuk
Petya Osenova
Nikola Ljubešić
Kiril Simov
Vladislava Grigorova
Michał Rudolf
Andrej Pančur
Matyáš Kopp
Starkaður Barkarson
Steinþór Steingrímsson
Henk van der Pol
Griet Depoorter
Jesse de Does
Bart Jongejan
Dorte Haltrup Hansen
Costanza Navarretta
María Calzada Pérez
Luciana de Macedo
Ruben van Heusden
Maarten Marx
Çağrı Çöltekin
Matthew Coole
Tommaso Agnoloni
Francesca Frontini
Simonetta Montemagni
Valeria Quochi
Giulia Venturi
Manuela Ruisi
Carlo Marchetti
Roberto Battistoni
Miklós Sebők
Orsolya Ring
Roberts Darģis
Andrius Utka
Mindaugas Petkevičius
Monika Briedienė
Tomas Krilavičius
Vaidas Morkevičius
Roberto Bartolini
Andrea Cimino
Sascha Diwersy
Giancarlo Luxardo


More Data and New Tools. Advances in Parsing the Index Thomisticus Treebank

Více dat a nové nástroje. Pokroky v parsování Index Thomisticus Treebank

This paper investigates the recent advances in parsing the Index Thomisticus Treebank, which encompasses Medieval Latin texts by Thomas Aquinas. The research focuses on two types of variables. On the one hand, it examines the impact that a larger dataset has on the results of parsing; on the other hand, performances of new parsers are analysed with respect to less recent tools. Term of comparison to determine the effective parsing advances are the results in parsing the Index Thomisticus Treebank described in a previous work. First, the best performing parser among those concerned in that study is tested on a larger dataset than the one originally used. Then, some parser combinations that were developed in the same study are evaluated as well, assessing that more training data result in more accurate performances. Finally, to examine the impact that newly available tools have on parsing results, we train, test, and evaluate two neural parsers chosen among those best performing in the CoNLL 2018 Shared Task. Our experiments reach the highest accuracy rates achieved so far in automatic syntactic parsing of the Index Thomisticus Treebank and of Latin overall.

Tento článek zkoumá nedávné pokroky v analýze Index Thomisticus Treebank, který zahrnuje středověké latinské texty Tomáše Akvinského. Výzkum se zaměřuje na dva typy proměnných. Na jedné straně zkoumá, jaký vliv má větší soubor dat na výsledky parsování, na druhé straně jsou analyzovány výkony nových parserů s ohledem na méně aktuální nástroje. Termínem srovnání pro určení efektivního pokroku v parsování jsou výsledky při parsování Index Thomisticus Treebank popsané v předchozí práci. Nejprve je nejvýkonnější parser z těch, kterých se týkala tato studie, testován na větším souboru dat, než byl ten původně použitý. Poté jsou vyhodnoceny i některé kombinace parserů, které byly vyvinuty v téže studii, přičemž je posouzeno, že více trénovacích dat vede k přesnějším výkonům. Nakonec, abychom prozkoumali, jaký vliv mají nově dostupné nástroje na výsledky parsování, trénujeme, testujeme a vyhodnocujeme dva neuronové parsery vybrané mezi těmi, které dosáhly nejlepších výsledků ve sdílené úloze CoNLL 2018. Naše experimenty dosahují dosud nejvyšší dosažené míry přesnosti v automatickém syntaktickém rozboru Index Thomisticus Treebank a latiny celkově.

Federica Gamba
Marco Passarotti
Paolo Ruffolo


computer science seminar "THEaiTRE project"

We've been hearing more and more about artificial intelligence lately. It plays chess, translates texts, drives cars... But can artificial intelligence create art, such as writing a play? What can we expect from it in the future? What areas of human life will it interfere with? And what exactly is this artificial intelligence?

O umělé inteligenci slyšíme v poslední době víc a víc. Hraje šachy, překládá texty, řídí auta... Ale zvládne umělá inteligence tvořit umění, například napsat divadelní hru? Co od ní v budoucnosti můžeme očekávat? Do jakých oblastí lidského života zasáhne? A co to vlastně je, ta umělá inteligence?


THEaiTRE project: artificial intelligence and art

Projekt THEaiTRE: umělá inteligence a umění


Soft aspects of THEaiTRE (humanities, PR, discussions, spectators...)

Měkké aspekty projektu THEaiTRE (humanitní vědy, PR, diskuse, diváci...)


Technical report about the development of the THEaiTRE project in 2020

Technická zpráva o vývoji projektu THEaiTRE v roce 2020

This project, combining computational linguistics and theatre, aims to directly reflect the onset and explore the role of artificial intelligence in society and art and the possibility of its cooperation with humans. We propose to combine theatrological research with computational linguistic research: the application of results from these fields will lead to the creation and training of a system for automatic generation of theatre play scripts. This system will be interactively used by our team to create a play that will be put on by a theatre on the occasion of the 100th anniversary of the R.U.R drama premiere. The resulting work of art and its acceptance by viewers will be examined, and the knowledge gained will be used to improve the system and to put on another play.

Tento projekt kombinující počítačovou lingvistiku a divadelnictví má za cíl přímým způsobem reflektovat nástup a zkoumat roli umělé inteligence ve společnosti a v umění a možnost její spolupráce s člověkem. Navrhujeme spojit teatrologický výzkum s komputačně lingvistickým výzkumem, kde aplikace poznatků a výsledků z těchto oborů povede k sestavení a natrénování systému pro automatické generování scénářů divadelních her. Tento systém následně bude naším týmem interaktivně využit pro vytvoření hry, která bude realizována hereckým souborem ke 100. výročí premiéry dramatu R.U.R. Vzniklé dílo a jeho přijetí diváky budeme zpětně zkoumat v rámci obou vědních oborů a získané poznatky využijeme pro další zdokonalení systému, který zpřístupníme na webu, a pro realizaci dalších her.


THEaiTRE 1.0: Interactive generation of theatre play scripts

THEaiTRE 1.0: Interaktivní generování scénářů divadelních her

Hacking the GPT-2 language model
Building a web application
Generating a theatre play script
Performing the play on stage

Hackování jazykového modelu GPT-2
Sestavení webové aplikace
Vytváří se scénář divadelní hry
Představení hry na jevišti


THEaiTRE: Artificial intelligence to author a theatre play?

THEaiTRE: Umělá inteligence autorem divadelní hry?

We present the status of the project solution to date:
1. THEaiTRobot tool
2. Script making
3. Realization of the play

Představujeme dosavadní stav řešení projektu:
1. Nástroj THEaiTRobot
2. Tvorba scénáře
3. Realizace divadelní hry


THEaiTRE: Artificial intelligence to write a theatre play?


Artificial intelligence and the 100th anniversary of K. Čapek's RUR

Umělá inteligence a 100. výročí RUR K. Čapka


The THEaiTRobot 1.0 tool allows the user to interactively generate scripts for individual theatre play scenes.
The tool is based on GPT-2 XL generative language model.
We encountered numerous problems when generating the script in this way. We managed to tackle some of the problems with various adjustments, but some of them remain to be solved in a future version.

THEaiTRobot 1.0 was used to generate the first THEaiTRE play, "AI: When a robot writes a play".

Nástroj THEaiTRobot 1.0 umožňuje uživateli interaktivně generovat scénáře pro jednotlivé divadelní scény.
Nástroj je založen na jazykovém modelu GPT-2 XL.
Při vytváření skriptu tímto způsobem jsme narazili na řadu problémů. Některé problémy se nám podařilo vyřešit různými úpravami, ale některé z nich je třeba vyřešit v budoucí verzi.

THEaiTRobot 1.0 byl použit k vytvoření první hry THEaiTRE, "AI: Když robot píše hru".

Rudolf Rosa
Ondřej Dušek
Tom Kocmi
David Mareček
Tomáš Musil
Patrícia Schmidtová
Dominik Jurko
Ondřej Bojar
Daniel Hrbek
David Košťák
Martina Kinská
Marie Nováková
Josef Doležal
Klára Vosecká


THEaiTRE 1.0: Interactive Generation of Theatre Play Scripts

We present the first version of a system for interactive generation of theatre play scripts. The system is based on a vanilla GPT-2 model with several adjustments, targeting specific issues we encountered in practice. We also list other issues we encountered but plan to only solve in a future version of the system. The presented system was used to generate a theatre play script premiered in February 2021.

Představujeme první verzi systému pro interaktivní tvorbu divadelních scénářů. Systém je založen na základním modelu GPT-2 s několika úpravami, se zaměřením na konkrétní problémy, se kterými jsme se setkali v praxi. Popisujeme i další problémy, se kterými jsme se setkali, ale plánujeme je řešit až v budoucí verzi systému. Předložený systém byl použit k vytvoření scénáře divadelní hry, která měla premiéru v únoru 2021.

Rudolf Rosa
Tomáš Musil
Ondřej Dušek
Dominik Jurko
Patrícia Schmidtová
David Mareček
Ondřej Bojar
Tom Kocmi
Daniel Hrbek
David Košťák
Martina Kinská
Marie Nováková
Josef Doležal
Klára Vosecká
Tomáš Studeník
Petr Žabka


When a Robot Writes a Play: Automatically Generating a Theatre Play Script

Když robot píše hru: automatická tvorba divadelního scénáře

We inform about AI: When a Robot Writes a Play, a theatre play with a mostly artificially generated script. We describe the THEaiTRobot 1.0 tool, which was used to generate the script. We discuss various issues encountered in the process, including those that we solved to some extent as well as those which we plan to solve in a future version of the system.

Informujeme o AI: Když robot píše hru, divadelní hře s převážně uměle vytvořeným scénářem. Popisujeme nástroj THEaiTRobot 1.0, který byl použit ke generování scénáře. Diskutujeme o různých problémech, se kterými se v procesu setkáváme, včetně těch, které jsme do určité míry vyřešili, i těch, které plánujeme vyřešit v budoucí verzi systému.


In February 2021, we staged the first theatre play for which 90% of the script was automatically generated by an artificial intelligence system.

The THEaiTRobot system is based on the GPT-2 language model, created by the OpenAI consortium, complemented with automated translation. We had to adapt the model in various ways, especially to avoid repetitiveness and forgetting of context, and to stick to a limited set of characters. As input for the system, we used short starting prompts (scene setting and first few lines of dialogue), prepared by a dramaturge, which were expanded into full scenes by THEaiTRobot. The script was then post-edited and put on stage. Reviews mostly noted that AI cannot really write a good play (yet), but acknowledged that the performance was mostly interesting and entertaining to watch.

We faced numerous limitations with our approach. We could only generate individual scenes independently, with a limited number of characters, and with the character personalities often randomly switching and merging. Also, the system does not see beyond the text of the script, lacking the understanding of the relation of the script to what is happening on stage. We are currently working on a new version of the system, which should improve on some of the issues, while also further minimizing the amount of human influence. It should also incorporate the concept of dramatic situations into the generation process.

The THEaiTRE project is related to other similar attempts, such as the play Lifestyle of the Richard and Family, the musical Beyond the Fence, the short movie Sunspring, or the performances of the Improbotics theatre group, all of which use automatically generated content to some extent. Our play stands out among these projects by being rather long (60 minutes) while having a very high proportion of automatically generated content (90%).

V únoru 2021 jsme zinscenovali první divadelní hru, pro kterou bylo 90% scénáře automaticky generováno systémem umělé inteligence.

Systém THEaiTRobot je založen na jazykovém modelu GPT-2, který vytvořilo konsorcium OpenAI a který je doplněn o automatický překlad. Model jsme museli různě upravovat, zejména abychom se vyhnuli opakování a zapomínání kontextu, a abychom se drželi omezeného souboru postav. Jako vstup do systému jsme použili krátké úvodní výzvy (scénické nastavení a prvních pár řádků dialogu), připravené dramaturgem, které THEaiTRobot rozšířil do celých scén. Scénář byl následně posteditován a uveden na scénu. Recenze většinou zaznamenaly, že AI neumí napsat dobrou hru (zatím), ale uznaly, že představení bylo hlavně zajímavé a zábavné.

Se svým přístupem jsme čelili mnoha omezením. Mohli jsme generovat pouze jednotlivé scény nezávisle, s omezeným počtem postav a s charaktery, které se často náhodně zaměňují a slučují. Systém také nevidí za text scénáře, chybí mu porozumění vztahu scénáře k tomu, co se děje na jevišti. V současné době pracujeme na nové verzi systému, která by měla některé problémy zlepšit a zároveň dále minimalizovat množství lidského vlivu. Měl by také do procesu začlenit koncept dramatických situací.

Projekt THEaiTRE souvisí s dalšími podobnými pokusy, jako je hra Životní styl Richarda a rodiny, muzikál Za plotem, krátký film Sluneční jaro nebo představení divadelní skupiny Improbotics, které do jisté míry využívají automaticky generovaný obsah. Naše hra mezi těmito projekty vyniká tím, že je poměrně dlouhá (60 minut) a zároveň má velmi vysoký podíl automaticky generovaného obsahu (90%).


Panel Discussion: “AI. Or the Future of the Arts?”

Panelová diskuze: "AI. Nebo budoucnost umění?"

The panel follows the Czech theater performance “AI: When a Robot Writes a Play”, which was written by the help of an AI system and – narrated by a robot – deals with the quest for belonging in an alienated world. With the makers of the play and other artists working with AI, we will explore to what extent AI systems can imitate human creativity and what this imitation says about our understanding of art and society. Beyond the fear of computers replacing humans, we want to discuss what new possibilities AI can offer to art and how artists can think critically and originally about new technologies.

Panel sleduje české divadelní představení „AI: When a Robot Writes a Play“, které bylo napsáno s pomocí systému AI a – namluveno robotem – pojednává o hledání sounáležitosti v odcizeném světě. S tvůrci hry a dalšími umělci pracujícími s umělou inteligencí prozkoumáme, do jaké míry mohou systémy umělé inteligence imitovat lidskou tvořivost a co tato imitace vypovídá o našem chápání umění a společnosti. Kromě strachu z toho, že počítače nahradí člověka, chceme diskutovat o tom, jaké nové možnosti může umělec nabídnout umění a jak umělci mohou kriticky a originálně přemýšlet o nových technologiích.


Discussion after the screening of AI: When a Robot Writes a Play

Diskuze po promítání AI: Když robot píše hru

What does the robot think about, how does it feel and can it write a play? Snippets from the life of artificial intelligence in its own words. Futuristic Little Prince of the postpandemic era.

Every reprise will be followed by a debate with experts in artificial intelligence and theater makers. The show is not only a testament to the current capabilities of computer technology, but also an engaging vision of the future world inspired by the sci-fi classics.

O čem robot přemýšlí, co cítí a dokáže napsat divadelní hru? Střípky ze života umělé inteligence jejími vlastními slovy. Futuristický Malý princ z doby postpandemické.

Inscenace, po jejíž každé repríze následuje debata s odborníky na umělou inteligenci i divadelními tvůrci, je nejen svědectvím o současných schopnostech počítačových technologií, ale i poutavou vizí budoucího světa inspirující se v klasikách žánru sci-fi.

Rudolf Rosa
David Košťák
Josef Doležal
Tomáš Musil
Patrícia Schmidtová
Dominik Jurko


Inverting R.U.R. with Artificial Intelligence: THEaiTRobot is Generating a Theatre Play Script to Mark 100 Years of Čapek's Work

Invertování R.U.R. s umělou inteligencí: THEaiTRobot vytváří scénář divadelní hry k označení 100 let Čapkova díla

Karel Čapek's R.U.R. was the first theatrical play written by a human about robots (and humans). It premiered on 25 January 1921. A hundred years later, with all the current advances in natural language processing and artificial neural networks, we have turned the idea around in our THEaiTRE project. On 25 January 2021, we will premiere "AI: When a robot writes a play" ("AI: Když robot píše hru"), a theatre play about humans (and robots) written by our artificial intelligence called THEaiTRobot. It is made possible by computational linguists joining forces with theatre experts for this unique research project. What is this project about and how has it been developed? What challenges have we faced? What does the AI-generated script look like? ...and do we actually want AI to create art?

R.U.R. Karla Čapka byla první divadelní hra napsaná člověkem o robotech (a lidech). Premiéru měl 25. ledna 1921. O sto let později, se všemi současnými pokroky ve zpracování přirozeného jazyka a umělých neuronových sítích, jsme v našem projektu THEaiTRE tuto myšlenku otočili. 25. ledna 2021 budeme mít premiéru "AI: When a robot writes a play" ("AI: robot píše hru"), divadelní hru o lidech (a robotech), kterou napsala naše umělá inteligence THEaiTRobot. Umožňují to počítačoví lingvisté, kteří pro tento unikátní výzkumný projekt spojují své síly s divadelními odborníky. O co v tomto projektu jde a jak byl vyvinut? Jakým výzvám jsme čelili? Jak ten umělou inteligencí vytvořený scénář vypadá? ...a opravdu chceme, aby umělá inteligence vytvářela umění?

Rudolf Rosa
Patrícia Schmidtová
Klára Vosecká


Invertování R.U.R. s umělou inteligencí: THEaiTRobot vytváří scénář divadelní hry k uctění 100 let Čapkova díla

Inverting R.U.R. with Artificial Intelligence.
Čapek anniversary.
Generating Theatre Plays.
Output Examples.
View of a Theatre Expert.

Invertování R.U.R. s umělou inteligencí.
Čapkovo výročí.
Vytváření divadelních her.
Příklady výstupů.
Pohled divadelního experta.


WMT21 Marian translation model (ca-oc multi-task)

WMT21 překladový model pro systém Marian (ca-oc, multi-task)

Marian NMT model for Catalan to Occitan translation. It is a multi-task model, producing also a phonemic transcription of the Catalan source. The model was submitted to WMT'21 Shared Task on Multilingual Low-Resource Translation for Indo-European Languages as a CUNI-Contrastive system for Catalan to Occitan.

Překladový model z katalánštiny do okcitánštiny pro systém Marian. Je to multi-task model kromě okcitánskeho překladu produkující rovněž fonémický zápis katalánskeho zdroje.


Ptakopět data: the dataset for experiments on outbound translation

Ptakopět data: data pro experimenty s odchozím strojovým překladem

The dataset used for the Ptakopět experiment on outbound machine translation. It consists of screenshots of web forms with user queries entered. The queries are available also in a text form. The dataset comprises two language versions: English and Czech. Whereas the English version has been fully post-processed (screenshots cropped, queries within the screenshots highlighted, dataset split based on its quality etc.), the Czech version is raw as it was collected by the annotators.

Data použity pro experiment Ptakopět s odchozím strojovým překladem.


The LMU Munich System for the WMT 2021 Large-Scale Multilingual Machine Translation Shared Task

Systém LMU Mnichov pro soutěžní úkol vícejazyčném strojovém překladu na WMT21

This paper describes the submission of LMU Munich to the  WMT  2021  multilingual machine translation task for small track #1, which studies translation between 6 languages (Croatian,  Hungarian,  Estonian,  Serbian,  Macedonian, English) in 30 directions. We investigate the extent to which bilingual translation systems can influence multilingual translation systems.   More specifically,  we trained 30 bilingual translation systems, covering all language pairs, and used data augmentation techniques such as back-translation and knowledge distillation to improve the multilingual translation systems.  Our best translation system scores 5 to 6 BLEU higher than a strong baseline system provided by the organizers (Goyal et al.,2021).   As  seen  in  the  Dynalab  leaderboard, our  submission  is  the  only  fully  constrained submission that uses only the corpus provided by  the  organizers  and  does  not  use  any  pre-trained models

Tato práce popisuje soutěžní systém pro vícejazyčný strojový překlad LMU Mnichov do WMT 2021 pro úlohu č. 1, která studuje překlad mezi 6 jazyky (chorvatština, maďarština, estonština, srbština, makedonština, angličtina) ve 30 směrech. Zkoumáme, do jaké míry mohou dvojjazyčné překladové systémy ovlivňovat mnohojazyčné překladové systémy. Konkrétně jsme natrénovali 30 dvojjazyčných překladových systémů, které pokrývají všechny jazykové dvojice, a použili jsme techniky pro rozšíření dat, jako je zpětný překlad a destilace znalostí.. Náš nejlepší překladový systém má o 5 až 6 BLEU vyšší skóre než silný základní systém poskytovaný organizátory (Goyal et al.,2021). Jak je vidět v žebříčku Dynalabu, náš systém je jediným systémem, který využívá pouze korpus poskytnutý organizátory a nepoužívá žádné předtrénované modely

Wen Lai
Jindřich Libovický
Alexander Fraser


Argument Mining for Scholarly Document Processing: Taking Stock and Looking Ahead

Argument Těžba pro Schopodobně zpracování dokumentů: skládání zásob a vyhlížení

Argument mining targets structures in natural language related to interpretation and persuasion which are central to scientific communication. Most scholarly discourse involves interpreting experimental evidence and attempting to persuade other scientists to adopt the same conclusions. While various argument mining studies have addressed student essays and news articles, those that target scientific discourse are still scarce. This paper surveys existing work in argument mining of scholarly discourse, and provides an overview of current models, data, tasks, and applications. We identify a number of key challenges confronting argument mining in the scientific domain, and suggest some possible solutions and future directions.

Argument těžby se zaměřuje na struktury v přirozeném jazyce související s tlumočením a přesvědčováním, které jsou pro vědeckou komunikaci stěžejní. Většina vědecké rozpravy zahrnuje interpretaci experimentálních důkazů a snahu přesvědčit ostatní vědce, aby přijali stejné závěry. Různé studie o těžbě argumentů se sice zabývaly studentskými eseji a zpravodajskými články, ale těch, které se zaměřují na vědecký diskurz, je stále málo. Tento dokument zkoumá stávající práci v oblasti argumentační těžby odborného diskurzu a poskytuje přehled o aktuálních modelech, datech, úkolech a aplikacích. Určujeme řadu klíčových výzev, před nimiž stojí argumentační těžba ve vědecké oblasti, a navrhujeme některá možná řešení a budoucí směry.

Khalid Al-Khatib
Tirthankar Ghosal
Yufang Hou
Anita De-Waard
Dayne Freitag


Diacritics Restoration using BERT with Analysis on Czech language

Oprava diakritiky pomocí modelu BERT s analýzou na českém jazyce

We propose a new architecture for diacritics restoration based on contextualized embeddings, namely BERT, and we evaluate it on 12 languages with diacritics. Furthermore, we conduct a detailed error analysis on Czech, a morphologically rich language with a high level of diacritization. Notably, we manually annotate all mispredictions, showing that roughly 44% of
them are actually not errors, but either plausible variants (19%), or the system corrections of erroneous data (25%). Finally, we categorize the real errors in detail. We release the code at https://github.com/ufal/bert-diacritics-restoration.

V příspěvku představujeme novou architekturu pro obnovu diakritiky založenou na kontextualizovaných vektorových reprezentacích, konkrétně BERT, a vyhodnocujeme ji ve dvanácti jazycích s diakritikou. Dále jsme provedli detailní chybovou analýzu v češtině, jazyce s bohatou morfologií a vysokou úrovní diakritizace. Zejména jsme ručně anotovali všechny chybné predikce a ukázali jsme, že zhruba 44% z chybně určené diakritizace nepředstavují skutečné chyby, nýbrž z 19% paralelní přijatelné varianty nebo dokonce systémové opravy diakritizace indukované různými chybami v datech (25%). Nakonec jsme také detailně kategorizovali skutečné chyby systému. Zdrojový kód jsme vydali zde: https://github.com/ufal/bert-diacritics-restoration.

Jakub Náplava
Milan Straka
Jana Straková


Understanding Model Robustness to User-generated Noisy Texts

Porozumění robustnosti modelů vzhledem k uživatelským textům se šumem

Sensitivity of deep-neural models to input noise is known to be a challenging problem. In NLP, model performance often deteriorates with naturally occurring noise, such as spelling errors. To mitigate this issue, models may leverage artificially noised data. However, the amount and type of generated noise has so far been determined arbitrarily. We therefore propose to model the errors statistically from grammatical-error-correction corpora. We present a thorough evaluation of several state-of-the-art NLP systems' robustness in multiple languages, with tasks including morpho-syntactic analysis, named entity recognition, neural machine translation, a subset of the GLUE benchmark and reading comprehension. We also compare two approaches to address the performance drop: a) training the NLP models with noised data generated by our framework; and b) reducing the input noise with external system for natural language correction. The code is released at https://github.com/ufal/kazitext.

Citlivost modelů hlubokého neuronového učení k šumu na vstupu je známý a výrazný problém. Při strojovém zpracování přirozeného jazyka se výkon modelu často zhoršuje při přirozeně se vyskytujícím šumu, například při překlepech a pravopisných chybách. Aby se tomuto problém zabránilo, modely často využívají data s uměle vytvořenými chybami. Ovšem množství a typ takto generovaného šumu bylo dosud určováno libovolně. My proto navrhujeme modelovat chyby statisticky z korpusů pro opravy gramatiky. Předkládáme pečlivou evaluaci několika současných nástrojů strojového zpracování textu co do robustnosti v několika jazycích a úlohách, včetně morfo-syntaktické analýzy, rozpoznávání pojmenovaných entit, neuronového strojového překladu, podmnožiny úloh v GLUE a porozumění textu. Dále srovnáváme dva přístupy pro zamezení zhoršení výkonu: a) trénování modelů za použití dat se šumem zavedeným pomocí našeho modelu; a b) redukci vstupního šumu pomocí externího nástroje pro kontrolu gramatiky. Zdrojový kód je vydán na adrese https://github.com/ufal/kazitext.

Jakub Náplava
Martin Popel
Milan Straka
Jana Straková


Findings of the 2021 Conference on Machine Translation (WMT21)

This paper presents the results of the news
translation task, the multilingual low-resource
translation for Indo-European languages, the
triangular translation task, and the automatic
post-editing task organised as part of the Conference on Machine Translation (WMT) 2021.
In the news task, participants were asked to
build machine translation systems for any of
10 language pairs, to be evaluated on test
sets consisting mainly of news stories. The
task was also opened up to additional test
suites to probe specific aspects of translation. In the Similar Language Translation
(SLT) task, participants were asked to develop systems to translate between pairs of
similar languages from the Dravidian and Romance family as well as French to two sim-
ilar low-resource Manding languages (Bambara and Maninka). In the Triangular MT
translation task, participants were asked to
build a Russian to Chinese translator, given
parallel data in Russian-Chinese, Russian-
English and English-Chinese. In the mul-
tilingual low-resource translation for Indo-
European languages task, participants built
multilingual systems to translate among Romance and North-Germanic languages. The task was designed to deal with the translation of documents in the cultural heritage domain for relatively low-resourced languages.
In the automatic post-editing (APE) task, participants were asked to develop systems capable to correct the errors made by an unknown
machine translation systems.

Tento článek představuje výsledky soutěže strojových překladačů pro indoevropské jazyky a dalších úloh automatického překladu
a post-editační úlohy, které byly uspořádány v rámci konference o strojovém překladu (WMT) 2021.

Farhad Akhbardeh
Arkady Arkhangorodsky
Magdalena Biesialska
Ondřej Bojar
Rajen Chatterjee
Vishrav Chaudhary
Marta R. Costa-Jussà
Cristina España-Bonet
Angela Fan
Christian Federmann
Markus Freitag
Yvette Graham
Roman Grundkiewicz
Barry Haddow
Leonie Harter
Kenneth Heafield
Christopher M. Homan
Matthias Huck
Kwabena Amponsah-Kaakyire
Jungo Kasai
Daniel Khashabi
Kevin Knight
Tom Kocmi
Philipp Koehn
Nicholas Lourie
Christof Monz
Makoto Morishita
Masaaki Nagata
Ajay Nagesh
Toshiaki Nakazawa
Matteo Negri
Santanu Pal
Allahsera Tapo
Marco Turchi
Valentin Vydrin
Marcos Zampieri


Overview of the 8th Workshop on Asian Translation

Přehled 8. workshopu o překladech do asijských jazyků

This paper presents the results of the shared
tasks from the 8th workshop on Asian translation (WAT2021). For the WAT2021, 28 teams
participated in the shared tasks and 24 teams
submitted their translation results for the human evaluation. We also accepted 5 research
papers. About 2,100 translation results were
submitted to the automatic evaluation server,
and selected submissions were manually evaluated.

Tento dokument představuje výsledky sdílených úkolů z 8. workshopu o překladech do asijských jazyků (WAT2021). WAT2021 se účastnilo 28 týmů a 24 týmů předložilo výsledky překladů pro lidské hodnocení. Obdrželi jsme také 5 článků. Zhruba 2100 výsledků překladů bylo odevzdáno na automatickém hodnotícím serveru a vybraná podání byla vyhodnocena ručně.

Toshiaki Nakazawa
Hideki Nakayma
Chenchen Ding
Raj Dabre
Shohei Higashiyama
Hideya Mino
Isao Goto
Win Pa Pa
Anoop Kunchukuttan
Shantipriya Parida
Ondřej Bojar
Chenhui Chu
Akiko Eriguchi
Kaori Abe
Yusuke Oda
Sadao Kurohashi


In a short sketch, we present the THEaiTRE project and say how robots write plays.

V krátkém vstupu představíme projekt THEaiTRE a řekneme jak roboti píšou divadelní hry.

Tomáš Kyselka
Tomáš Studeník
Rudolf Rosa


The Question, the Curiosity, the Provocation

Discussion about the production and project of the Švanda Theater AI: When a Robot Writes a Play held after the on-line premiere on February 18, 2021.

Diskuze o inscenaci a projektu Švandova divadla AI: Když robot píše hru, uskutečněná po on-line premiéře 18. února 2021.

David Hrbek
Tomáš Studeník
Rudolf Rosa
Ondřej Dušek
Daniel Hrbek
David Košťák
Jan Romportl


AI: WHEN A ROBOT WRITES A PLAY • professional discussion

AI: KDYŽ ROBOT PÍŠE HRU • odborná diskuze (CZ)

In the debate following the production of AI: When a Robot Writes a Play, the question that was present from the very beginning of the entire THEaiTRE project is discussed, and that is whether AI can write a play. How do experts from various fields of IT see it? How do theatre creators who had to deal with the text that AI created from 90% see it? How does AI work with creativity? And what other horizons does AI go to besides the field of art?

V debatě navazující na inscenaci „AI: Když robot píše hru‟ se probírá otázka, která stála u zrodu celého projektu THEaiTRE, zda AI dokáže napsat divadelní hru. Jak to vidí experti z nejrůznějších oborů IT? Jak to vidí divadelní tvůrci, kteří se s textem, jež AI z 90% vytvořila, museli potýkat? Jak to má AI s kreativitou? A k jakým horizontům se AI ubírá nejen v oblasti umění?

David Hrbek
Daniel Hrbek
Tomáš Studeník
Rudolf Rosa
David Košťák
Ondřej Dušek
Jan Romportl


AI: KDYŽ ROBOT PÍŠE HRU • odborná diskuze


In 2019, the innovator Tomáš Studeník came up with an idea to celebrate one hundred years since the first performance of Karel Čapeks play RUR (which brought the word "robot" into the world) in an unconventional way – by a theatre play written not by a human, but by artificial intelligence. Based on this idea, a team was formed consisting of computer scientists from Charles University Faculty of Mathematics and Physics (led by computational linguist Rudolf Rosa) and theatre-makers from the Švanda Theater and students of The Academy of Performing Arts in Prague (led by the head of the Švanda Theater, director and pedagogue Daniel Hrbek). By mutual cooperation and debate, they decided to answer the question of whether artificial intelligence is able to write a play and how it will behave when processing such a task.

Every reprise will be followed by a debate with experts in artificial intelligence and theater makers. The show is not only a testament to the current capabilities of computer technology, but also an engaging vision of the future world inspired by the sci-fi classics.

Při příležitosti oslavy sto let od prvního uvedení Čapkovy hry R. U. R. (která přinesla světu mj. slovo „robot“) navrhl Tomáš Studeník  v roce 2019 divadelní kus, jehož autorem by nebyl člověk, ale chytrý software – tzv. umělá inteligence (Artificial Intelligence – AI). Na základě této myšlenky vznikl tým složený z informatiků Matematicko-fyzikální fakulty Univerzity Karlovy (v čele s počítačovým lingvistou Rudolfem Rosou), divadelníků ze Švandova divadla a studentů DAMU (vedený ředitelem Švandova divadla, režisérem a pedagogem Danielem Hrbkem). Ve vzájemné kooperaci a debatě se rozhodli odpovědět na otázku, zda je umělá inteligence schopna napsat divadelní hru a jak se při zpracování takového úkolu bude chovat. Projekci této neobvyklé divadelní hry uvedeme v sále Mozartea Arcidiecézního muzea Olomouc.

Inscenace, po jejíž každé repríze následuje debata s odborníky na umělou inteligenci i divadelními tvůrci, je nejen svědectvím o současných schopnostech počítačových technologií, ale i poutavou vizí budoucího světa inspirující se v klasikách žánru sci-fi.

David Hrbek
Daniel Hrbek
David Košťák
Rudolf Rosa
Jan Romportl


SLTev: Comprehensive Evaluation of Spoken Language Translation

SLTev: Nástroj pro ucelené vyhodnocování překladu mluveného slova

Automatic evaluation of Machine Translation(MT)  quality  has  been  investigated  over  several  decades.   Spoken  Language  Translation (SLT), especially when simultaneous, needs to consider additional criteria and does not have a standard evaluation procedure and a widely used  toolkit.    To  fill  the  gap,  we  introduce SLTev, an open-source tool for assessing SLT in a comprehensive way.   SLTev reports the quality,  latency,  and  stability  of  an  SLT  candidate output based on the time-stamped transcript  and  reference  translation  into  a  target language.  For quality, we rely on sacreBLEU which provides MT evaluation measures such as chrF or BLEU. For latency, we propose two new scoring techniques.  For stability, we extend  the  previously  defined  measures  with  a normalized Flicker in our work.  We also propose a new averaging of older measures. A preliminary version of SLTev was used in the IWSLT  2020 SHARED  TASK.  Moreover, a  growing  collection  of  test  datasets  directly accessible by SLTev are provided for system evaluation comparable across papers.

Automatické hodnocení kvality strojového překladu (MT) bylo zkoumáno po několik desetiletí. Strojový překlad mluveného jazyka (SLT), zejména simultánní, musí zvážit další kritéria a nemá standardní postup hodnocení a široce využívanou sadu nástrojů. Abychom zaplnili tuto mezeru, představujeme SLTev, open-source nástroj pro komplexní hodnocení SLT. SLTev informuje o kvalitě, latenci a stabilitě výstupu kandidáta SLT na základě časově vyznačeného přepisu a překladu odkazu do cílového jazyka. Pokud jde o kvalitu, spoléháme na SacreBLEU, která poskytuje MT hodnotící opatření, jako je chrF nebo BLEU. Pro latenci navrhujeme dvě nové bodovací techniky. V zájmu stability rozšiřujeme dříve definovaná opatření normalizovaným flickerem v naší práci. Navrhujeme také nové zprůměrování starších metod. V projektu IWSLT 2020 SHARED TASK byla použita předběžná verze programu SLTev. Navíc se rozšiřuje sbírka testovacích datových souborů, které jsou přímo přístupné přes SLTev, pro hodnocení systémů srovnatelných napříč papíry.

Ebrahim Ansari
Ondřej Bojar
Barry Haddow
Mohammad Mahmoudi


SynSemClass for German: Extending a Multilingual Verb Lexicon

SynSemClass pro němčinu: Rozšíření multilingválního slovníku sloves

We present the concept of extending a multilingual verb lexicon
also to include German. In this lexicon, verbs are grouped by meaning
and by semantic properties (following frame semantics) to form multilingual
classes, linking Czech and English verbs. Entries are further linked
to external lexical resources like VerbNet and PropBank. In this paper,
we present our plan also to include German verbs, by experimenting
with word alignments to obtain candidates linked to existing English
entries, and identify possible approaches to obtain semantic role information.
We further identify German-specific lexical resources to link to.
This small-scale pilot study aims to provide a blueprint for extending a
lexical resource with a new language.

Představujeme koncept rozšíření vícejazyčného slovesného slovníku, který bude zahrnovat také němčinu. V tomto slovníku jsou zatím zahrnuta česká a anglická slovesa a seskupena podle významu a sémantických vlastností. Položky jsou dále propojeny s externími lexikálními zdroji jako VerbNet a PropBank. V tomto článku představujeme náš plán zahrnout také německá slovesa jako kandidáty propojené s existujícími anglickými a českými slovesy.
Také identifikujeme specifické německé lexikální zdroje, se kterými bude slovník provázán.
Cílem této pilotní studie malého rozsahu je poskytnout návrh na rozšíření již existujícího
lexikálního zdroje o nový jazyk.

Peter Bourgonje
Karolina Zaczynska
Julián Moreno-Schneider
Georg Rehm
Zdeňka Urešová
Jan Hajič


In the open air, we will show a recording of the online premiere of the first Czech play the dialogue of which was generated by artificial intelligence. Next is a sit-down with the creators of a unique work on the joys and tribulations of everyday life from the robot's point of view. The unconventional performance of the Švandova Theatre in Prague was created in collaboration with DAMU and the Mathematical Physics Faculty of Charles University, and will be on view at Strž before the play is released in front of the audience of the Smíchov scene. Daniel Hrbek (music and direction), Martina Kinská (dramaturgy), Rudolf Rosa (computer linguist)... and a representative of the acting ensemble of the Švanda Theatre.

Pod širým nebem promítneme záznam online premiéry první české divadelní hry, jejíž dialogy vygenerovala umělá inteligence. Následuje beseda s tvůrci unikátního díla o radostech a strastech každodenního života z pohledu robota. Netradiční představení Švandova divadla v Praze vzniklo ve spolupráci s DAMU a Matematicko-fyzikální fakultou Univerzity Karlovy a na Strži bude k vidění ještě před uvedením hry před diváky smíchovské scény. Účast přislíbili: Daniel Hrbek (hudba a režie), Martina Kinská (dramaturgyně), Rudolf Rosa (počítačový lingvista)... a zástupce hereckého souboru Švandova divadla.


Discussion after the performance AI: When a Robot Writes a Play

Diskuze po představení AI: Když robot píše hru

What does the robot think about, how does it feel and can it write a play? Snippets from the life of artificial intelligence in its own words. Futuristic Little Prince of the postpandemic era.

Every reprise will be followed by a debate with experts in artificial intelligence and theater makers. The show is not only a testament to the current capabilities of computer technology, but also an engaging vision of the future world inspired by the sci-fi classics.

O čem robot přemýšlí, co cítí a dokáže napsat divadelní hru? Střípky ze života umělé inteligence jejími vlastními slovy. Futuristický Malý princ z doby postpandemické.

Inscenace, po jejíž každé repríze následuje debata s odborníky na umělou inteligenci i divadelními tvůrci, je nejen svědectvím o současných schopnostech počítačových technologií, ale i poutavou vizí budoucího světa inspirující se v klasikách žánru sci-fi.


THEaiTRE
Is a research project celebrating the 100th year anniversary of the premiere of the theater play R.U.R by author Karel Čapek, in which, the word “robot” was used for the first time in 1921. To celebrate this 100 years old jubilee Institute of Formal and Applied Linguistics  at the Faculty of Mathematics and Physics of the Charles University joined together with Švanda Theater in Smíchov and the organizers of Hackathons CEE Hacks to face their robots with a new challenge, not previously seen in its full extent - to make artificial intelligence write a screenplay.
The first phase of the project culminated with the premiere of a theater production AI: When a robot writes a play with the purpose to create a screenplay made up of dialogues generated by artificial intelligence. The second phase is currently in the making, staged for 2022 when another premier with a more sophisticated linguistic model will be introduced.
This project was funded by the Technology Agency of the Czech Republic in cooperation with prg.ai and the Theater Faculty of the Academy of Performing Arts in Prague.
Rudolf Rosa will talk about the technical background of the project (how artificial intelligence generates a screenplay), David Košťák will talk about the creation of this particular screenplay and Daniel Hrbek will summarize the process of the play´s production.

THEaiTRE
Je výzkumný projekt oslavující sté výročí premiéry divadelní hry R.U.R od autora Karla Čapka, ve které bylo slovo „robot“ poprvé použito v roce 1921. Na oslavu tohoto 100 let starého jubilea se spojil Institut formální a aplikované lingvistiky na Matematicko-fyzikální fakultě Univerzity Karlovy se Švandovým divadlem na Smíchově s organizátory Hackathons CEE Hacks, aby čelili svým robotům s novou výzvou, dosud nevídanou v plném rozsahu - aby umělá inteligence napsala scénář.
První fáze projektu vyvrcholila premiérou divadelní inscenace AI: Když robot píše hru s cílem vytvořit scénář složený z dialogů vytvořených umělou inteligencí. V současné době se připravuje druhá fáze, která bude uspořádána na rok 2022, kdy bude představen další premiér s propracovanějším jazykovým modelem.
Tento projekt financovala Technologická agentura České republiky ve spolupráci s prg.ai a Divadelní fakultou Akademie múzických umění v Praze.
Rudolf Rosa promluví o technickém zázemí projektu (jak umělá inteligence vytváří scénář), David Košťák promluví o vytvoření tohoto konkrétního scénáře a Daniel Hrbek shrne proces tvorby hry.


AI: When a Robot Writes a Play (online premiere of the theatre play)

AI: Když robot píše hru (online premiéra divadelní hry)

What does the robot think about, how does it feel and can it write a play? Snippets from the life of artificial intelligence in its own words. Futuristic Little Prince of the postpandemic era.

The story of the robot, which after the death of its master was left at the mercy of various individuals of human society, balances on a thin line between absurd black comedy with existential drama.

An "autobiographical" play written by artificial intelligence that talks about the search for closeness of someone in a world where people have not known or are not able to make simple contact with each other for some time, and in which the path of one person to another is the hardest to cover.

O čem robot přemýšlí, co cítí a dokáže napsat divadelní hru? Střípky ze života umělé inteligence jejími vlastními slovy. Futuristický Malý princ z doby postpandemické.

Příběh robota, který po smrti svého mistra zůstal vydán napospas nejrůznějším vzorkům z lidské společnosti, balancuje na hranici absurdní černé komedie a existenciálního dramatu.

„Autobiografická“ hra umělé inteligence o hledání blízkosti ve světě, který již nějakou dobu nezná či neumí prostý kontakt, a v němž je tak tou nejhůře zdolatelnou vzdáleností cesta jednoho člověka k druhému.

Daniel Hrbek
1.0 THEaiTRobot
Tomáš Studeník
David Košťák
Martina Kinská
Rudolf Rosa
Ondřej Dušek
Tom Kocmi
David Mareček
Tomáš Musil
Patrícia Schmidtová
Dominik Jurko
Ondřej Bojar
Klára Vosecká
Josef Doležal
Marie Nováková
Petr Žabka


IITP-CUNI@3C: Supervised Approaches for Citation Classification (Task A) and Citation Significance Detection (Task B)

IITP-CUNI@3C: Dozorované přístupy ke klasifikaci citací (úkol A) a detekci významnosti citací (úkol B)

Citations are crucial to a scientific discourse. Besides providing additional contexts to research papers, citations act as trackers of the direction of research in a field and as an important measure in understanding the impact of a research publication. With the rapid growth in research publications, automated solutions for identifying the purpose and influence of citations are becoming very important. The 3C Citation Context Classification Task organized as part of the Second Workshop on Scholarly Document Processing @ NAACL 2021 is a shared task to address the aforementioned problems. In this paper, we present our team, IITP-CUNI@3C’s submission to the 3C shared tasks. For Task A, citation context purpose classification, we propose a neural multi-task learning framework that harnesses the structural information of the research papers and the relation between the citation context and the cited paper for citation classification. For Task B, citation context influence classification, we use a set of simple features to classify citations based on their perceived significance. We achieve comparable performance with respect to the best performing systems in Task A and superseded the majority baseline in Task B with very simple features.

Citace jsou pro vědecký diskurz klíčové. Vedle poskytování dodatečných kontextů výzkumným dokumentům působí citace jako sledovatelé směru výzkumu v určité oblasti a jako důležité měřítko pro pochopení dopadu výzkumné publikace. S rychlým růstem publikací ve výzkumu začínají být velmi důležitá automatizovaná řešení pro identifikaci účelu a vlivu citací. Úloha 3C Citation Context Classification Task organizovaná v rámci druhého semináře o zpracovávání dokumentů Schopodobně @ NAACL 2021 je sdíleným úkolem pro řešení výše uvedených problémů. V tomto příspěvku představujeme náš tým, IITP-CUNI@3C, který se hlásí ke sdíleným úkolům 3C. Pro úkol A, citační kontextovou klasifikaci účelu, navrhujeme neurální víceúčelový vzdělávací rámec, který využívá strukturální informace výzkumných prací a vztah mezi citačním kontextem a citovaným dokumentem pro citační klasifikaci. Pro úkol B, citační kontext ovlivňuje klasifikaci, používáme sadu jednoduchých funkcí pro klasifikaci citací na základě jejich vnímaného významu. Dosahujeme srovnatelného výkonu s ohledem na systémy s nejlepšími výsledky v úkolu A a nahradili jsme většinovou základní linii v úkolu B velmi jednoduchými funkcemi.

Kamal Kaushik Varanasi
Tirthankar Ghosal
Piyush Tiwari
Muskaan Singh


Additional Context Helps! Leveraging Cited Paper Information To Improve Citation Classification

Další kontext pomáhá! Zlepšit klasifikaci citací

With the rapid growth in research publications, automated solutions to tackle scholarly information overload is growing  more  relevant.  Correctly  identifying  the  intent  of  the  citations  is  one  such  task  that  finds  applications  ranging from predicting scholarly impact, finding idea propagation, to text summarization to establishing more informative citation indexers. In this in-progress work, we leverage the cited paper’s information and demonstrate that this helps in the effective classification of citation intents. We propose a neural multi-task learning framework that harnesses the structural information of the research papers and the relation between the citation context and the  cited  paper  for  citation  classification.  Our  initial  experiments  on  three  benchmark  citation  classification  datasets show that with incorporating cited paper information (title), our neural model achieves a new state of the art on the ACL-ARC dataset with an absolute increase of 5.3% in the F1 score over the previous best model. Our approach also outperforms the submissions made in the 3C Shared task: Citation Context Classification with an increase of 8% and 3.6%over the previous best Public F1-macro and Private F1-macro scores respectively.

S rychlým růstem publikací ve výzkumu nabývají na významu automatizovaná řešení, která mají řešit přetížení vědeckých informací. Správné určení záměru citací je jedním z takových úkolů, který vyhledává aplikace od předpovídání vědeckého dopadu, hledání šíření myšlenek, přes sumarizaci textu až po vytvoření informativnějších citačních indexů. V této probíhající práci využíváme informace z citovaného dokumentu a prokazujeme, že to pomáhá při efektivní klasifikaci citačních záměrů. Navrhujeme neurální víceúčelový vzdělávací rámec, který využívá strukturální informace z výzkumných prací a vztah mezi citačním kontextem a citovaným dokumentem pro citační klasifikaci. Naše počáteční experimenty se třemi datovými soubory pro klasifikaci referenčních citací ukazují, že se začleněním citovaných papírových informací (názvu) náš neurální model dosahuje na datovém souboru ACL-ARC nového stavu s absolutním nárůstem F1 skóre o 5,3% oproti předchozímu nejlepšímu modelu. Náš přístup rovněž předčí podání v rámci 3C Shared task: Citation Context Classification s nárůstem o 8 % resp. 3,6 % oproti předchozímu nejlepšímu skóre Public F1-macro a Private F1-macro.

Kamal Kaushik Varanasi
Tirthankar Ghosal
Valia Kordoni


The ParCzech 3.0 corpus is the third version of ParCzech consisting of stenographic protocols that record the Chamber of Deputies’ meetings held in the 7th term (2013-2017) and the current 8th term (2017-Mar 2021). The protocols are provided in their original HTML format, Parla-CLARIN TEI format, and the format suitable for Automatic Speech Recognition. The corpus is automatically enriched with the morphological, syntactic, and named-entity annotations using the procedures UDPipe 2 and NameTag 2. The audio files are aligned with the texts in the annotated TEI files.

Korpus ParCzech 3.0 je třetí verze ParCzech, který obsahuje stenografické protokoly sedmého volebního období (2013-2017) a současného 8. období (2017-březen 2021). Protokoly jsou v jejich původním HTML formátu, v Parla-CLARIN  TEI formátu a ve formátu vhodném pro automatické rozpoznávání řeči. Korpus je automaticky obohacen o morfologii, syntax a jmenné entity programy UDPipe 2 a NameTag 2. Audio soubory jsou zarovnané s texty v anotovaných TEI souborech

Matyáš Kopp
Vladislav Stankov
Ondřej Bojar
Barbora Hladká
Pavel Straňák


ParCzech 3.0: A Large Czech Speech Corpus with Rich Metadata

ParCzech 3.0: Velký český mluvený korpus s bohatými metadaty

We present ParCzech 3.0, a speech corpus of the Czech parliamentary speeches from The Czech Chamber of Deputies which took place from 25th November 2013 to 1st April 2021.

Different from previous speech corpora of Czech, we preserve not just orthography but also all the available metadata (speaker identities, gender, web pages links, affiliations committees, political groups, etc.) and complement this with automatic morphological and syntactic annotation, and named entities recognition. The corpus is encoded in the TEI format which allows for a straightforward and versatile exploitation.

The rather rich metadata and annotation make the corpus relevant for a~wide audience of researchers ranging from engineers in the speech community to theoretical linguists studying rhetorical patterns at scale.

Uvádíme ParCzech 3.0, mluvený korpus záznamů jednání Poslanecké sněmovny Parlamentu České republiky z období od 25. listopadu 2013 do 1. dubna 2021.

Na rozdíl od předchozích mluvených korpusů češtiny zachováváme nejen ortografii, ale také všechna dostupná metadata (identitu mluvčích, pohlaví, hypertextové odkazy, příslušnosti, politické strany atd.) a doplňujeme je automatickou morfologickou a syntaktickou anotací a rozpoznáním pojmenovaných entit. Korpus je kódován ve formátu TEI, který umožňuje přímočaré a mnohostranné využití.

Díky bohatým metadatům a anotaci je korpus relevantní pro široké spektrum výzkumníků od inženýrů v oblasti rozpoznávání řeči až po teoretické lingvisty zkoumající rétorické vzorce z rozsáhlých materiálů.

Matyáš Kopp
Vladislav Stankov
Jan Oldřich Krůza
Pavel Straňák
Ondřej Bojar


AI: When Robot Writes a Play – A Drama Entirely Written by Artificial Intelligence

AI: Když robot píše hru – Drama kompletně napsané umělou inteligencí

AI: When a robot writes a play.
Celebrating the anniversary of Karel Čapek.
How it's done.
Examples of outputs.
View of a dramaturge.

AI: Když robot píše hru.
Oslava výročí Karla Čapka.
Jak je to uděláno.
Příklady výstupů.
Pohled dramaturga.


Discussion after the screening of AI: When a Robot Writes a Play

Diskuze po promítání AI: Když robot píše hru


The University of Edinburgh’s English-German and English-Hausa Submissions to the WMT21 News Translation Task

Systémy Edinburské univerzity pro anglicko-německý a anglicko-haušský překlad ke sdílené úloze překladu zpráv na WMT21

This paper presents the University of Edinburgh’s constrained submissions of English-German and English-Hausa systems to the
WMT 2021 shared task on news translation.
We build En-De systems in three stages: corpus filtering, back-translation, and fine-tuning.
For En-Ha we use an iterative back-translation
approach on top of pre-trained En-De models
and investigate vocabulary embedding mapping.

Tento článek představuje anglicko-německé a anglicko-hauské systémy z Edinburské univerzity pro sdílenou úlohu na WMT 2021 týkající se překladu zpráv.
En-De systémy budujeme ve třech fázích: korpusové filtrování, zpětný překlad a jemné ladění.
Pro En-Ha používáme iterativní zpětný překlad
přístup na vrchol předtrénovaných modelů En-De
a zkoumat mapování vkládání slovní zásoby.

Pinzhen Chen
Jindřich Helcl
Ulrich Germann
Laurie Burchell
Nikolay Bogoychev
Antonio Valerio Miceli Barone
Jonas Waldendorf
Alexandra Birch
Kenneth Heafield


Universal Dependencies (Univerzální závislosti)

Universal Dependencies (UD) is a framework for morphosyntactic annotation of human language, which to date has been used to create treebanks for more than 100 languages. In this article, we outline the linguistic theory of the UD framework, which draws on a long tradition of typologically oriented grammatical theories. Grammatical relations between words are centrally used to explain how predicate-argument structures are encoded morphosyntactically in different languages while morphological features and part-of-speech classes give the properties of words. We argue that this theory is a good basis for cross-linguistically consistent annotation of typologically diverse languages in a way that supports computational natural language understanding as well as broader linguistic studies.

Universal Dependencies (UD) je formalismus pro morfologickou a syntaktickou anotaci, který byl dosud použit při tvorbě treebanků pro více než 100 přirozených jazyků. V tomto článku nastiňujeme lingvistickou teorii UD, která staví na dlouhé tradici typologicky orientovaných gramatických teorií. V centru stojí gramatické vztahy mezi slovy, které objasňují, jaké morfosyntaktické strategie používají různé jazyky k zakódování struktury predikátů a jejich argumentů. Morfologické rysy a slovní druhy popisují vlastnosti slov. Tvrdíme, že tato teorie poskytuje dobrý základ pro mezijazykově konzistentní anotaci typologicky rozmanitých jazyků způsobem, který podporuje jak počítačové porozumění přirozenému jazyku, tak širší jazykovědné studie.

Marie-Catherine de Marneffe
Christopher Manning
Joakim Nivre
Daniel Zeman


Discovering Dialogue Slots with Weak Supervision

Hledání dialogových slotů se slabou supervizí

Task-oriented dialogue systems typically require manual annotation of dialogue slots in training data, which is costly to obtain.
We propose a method that eliminates this requirement:
We use weak supervision from existing linguistic annotation models to identify potential slot candidates, then automatically identify domain-relevant slots by using clustering algorithms.
Furthermore, we use the resulting slot annotation to train a neural-network-based tagger that is able to perform slot tagging with no human intervention.
This tagger is trained solely on the outputs of our method and thus does not rely on any labeled data.

Our model demonstrates state-of-the-art performance in slot tagging without labeled training data on four different dialogue domains. Moreover, we find that slot annotations discovered by our model significantly improve the performance of an end-to-end dialogue response generation model, compared to using no slot annotation at all.

Dialogové systémy orientované na úkoly obvykle vyžadují manuální anotaci dialogových slotů v trénovacích datech, jejichž získání je nákladné.
Navrhujeme metodu, která tento požadavek eliminuje:
K identifikaci potenciálních kandidátů na sloty využíváme slabou supervizi z existujících modelů pro lingvistickou anotaci a poté automaticky identifikujeme doménově relevantní sloty pomocí clusterovacích algoritmů.
Dále používáme výslednou anotaci slotů k natrénování taggeru založeného na neuronové síti, který je schopen provádět tagování slotů bez lidského zásahu.
Tento tagger je trénován výhradně na výstupech naší metody, a není tedy závislý na žádných označených datech.

Náš model vykazuje špičkový výkon v označování slotů bez anotovaných trénovacích dat na čtyřech různých dialogových doménách. Kromě toho jsme zjistili, že anotace slotů zjištěné naším modelem výrazně zlepšují výkonnost end-to-end modelu pro generování odpovědi v dialogu v porovnání s modelem, který anotace slotů vůbec nepoužívá.


Readability of professional and administrative texts in Czech - why to study it and how to measure it?

Srozumitelnost českého odborného a úředního textu - proč se jí zabývat a jak ji měřit

Text comprehension is one of the key skills that are learned during the school years. On the one
hand, reading literacy is fundamental for successful comprehension, on the other hand, comprehension
success is determined by textual features, i.e. its readability. Text readability thus presents an
important issue — from both the reception (people may not be able to comprehend a text fully due
to its low readability) and production perspective (people may not be able to produce a well readable
text). The current study presents an experimental method for measuring readability of Czech texts
of various genres based on the triangulation of (1) the rate of correct answers on comprehension
questions, (2) intra-textual features, and (3) subjective assessment of text readability. The method
is discussed in depth and individual steps are illustrated on an example of a research in progress
under the project Linguistic Factors of Readability in Czech Administrative and Educational Texts.

Porozumění textu je jednou z klíčových dovedností, které se učíme během školních let. Jednak je  základem úspěšného porozumění čtenářská gramotnost, jednak textové vlastnosti, tj. jeho srozumitelnost. Srozumitelnosttak představuje
důležitý problém - jak recepce (lidé nemusí být schopni plně porozumět textu kvůli)
k jeho nízké čitelnosti), tak produkce (lidé nemusí být schopni vytvořit dobře srozumitelný
text). Současná studie představuje experimentální metodu měření srozumitelnosti českých textů
různých žánrů na základě triangulace (1) míry správných odpovědí na porozumění
otázky, (2) intratextových rysů a (3) subjektivního hodnocení čitelnosti textu. Metoda
je podrobně diskutována a jednotlivé kroky jsou ilustrovány na příkladu probíhajícího výzkumu
v rámci projektu Lingvistické faktory pochopitelnosti v českých administrativních a vzdělávacích textech.

Jan Chromý
Silvie Cinková
Jana Šamánková


An Introductory Overview of Evaluating Facts and Attitudes in Diplomatic Discourse

Úvodní přehled hodnotících faktů a postojů v diplomatickém diskurzu

This is a work-in-progress paper on evaluative
analysis of different approaches to managing representations of facts and attitudes in linguistics. The aim of
this comparative analysis is to find the most suitable approach for developing an annotation scheme in order to
build a dictionary of attitudinal expressions during the further stages of the project. Among the approaches analyzed
are the Appraisal Theory, the scheme developed by
Bednarek, as well as sentiment analysis and opinion
mining techniques, and argument mining. The
results of the current paper should be considered as the first
step in the research of distinguishing facts and attitudes in
diplomatic speeches of the United Nations Security Council.

Toto je rozpracovaný dokument o hodnotící
analýze různých přístupů k nakládání s reprezentacemi faktů a postojů v lingvistice. Cílem
této srovnávací analýzy je najít nejvhodnější přístup pro vývoj schématu anotací za účelem vybudování slovníku postojových výrazů v dalších fázích projektu. Mezi analyzovanými přístupy
jsou Appraisal Theory, schéma vyvinuté
Bednárkovou a také analýza sentimentu a techniky opinion miningu a argument miningu. Výsledky tohoto článku by měly být považovány za první
krok ve výzkumu rozlišování faktů a postojů v
diplomatických projevech Rady bezpečnosti OSN.


Zlepšování neuronového strojového překladu

Machine Translation is a task of automatically translating text from one language
into another. In recent years, solutions based on neural networks have dominated
the field.
In this talk I will give a short introduction to the topic and mention a few tricks
that can be used to improve the final quality of translation. I will also share my
experience from participating in one of the longest-running international Machine
Translation competitions.

Strojový překlad je úkol automatického překládání textu z jednoho jazyka do druhého. V posledních letech tomuto oboru dominovala řešení založená na neuronových sítích.
V této prezentaci uvedu krátký úvod k tématu a zmíním několik postupů, které lze použít ke zlepšení konečné kvality překladu. Podělím se také o své zkušenosti z účasti na jedné z nejdéle probíhajících mezinárodních strojově překladatelských soutěží.


Just Ask! Evaluating Machine Translation by Asking and Answering Questions

Jen se ptej! Vyhodnocování strojového překladu pomocí otázek a odpovědí

In this paper, we show that automatically-generated questions and answers can be used to evaluate the quality of Machine Translation systems. Building on recent work on the evaluation of abstractive text summarization, we propose a new metric for system-level Machine Translation evaluation, compare it with other state-of-the-art solutions, and show its robustness by conducting experiments for various translation directions.

V této práci ukazujeme, že automaticky generované otázky a odpovědi mohou být použity k hodnocení kvality strojových překladatelských systémů. V návaznosti na nedávnou práci na hodnocení abstraktní sumarizace textu navrhujeme novou metriku pro systémové hodnocení strojového překladu, porovnáme ji s ostatními nejmodernějšími řešeními a prokážeme její robustnost provedením experimentů pro různé překladatelské směry.

Mateusz Krubiński
Erfan Ghadery
Pavel Pecina
Marie-Francine Moens


In this paper, we describe our submission to the WMT 2021 Metrics Shared Task. We use the automatically-generated questions and answers to evaluate the quality of Machine Translation (MT) systems. Our submission builds upon the recently proposed MTEQA framework. Experiments on WMT20 evaluation datasets show that at the system-level the MTEQA metric achieves performance comparable with other state-of-the-art solutions, while considering only a certain amount of information from the whole translation.

V tomto dokumentu popisujeme naši účast ve WMT 2021 Metrics Shared Task. Automaticky generované otázky a odpovědi používáme k hodnocení kvality systémů strojového překladu. Naše experimenty jsou založeny na nedávno navržené metodě MTEQA. Pokusy s vyhodnocovacími datovými soubory WMT20 ukazují, že na systémové úrovni dosahuje MTEQA výkonu srovnatelného s jinými nejmodernějšími řešeními, přičemž zohledňuje je velmi omezené informace z celého překladu.


Solving SCAN Tasks with Data Augmentation and Input Embeddings

Řešení SCAN úloh pomocí zdrojových embedingů a augmentace dat

We address the compositionality challenge presented by the SCAN benchmark. Using data augmentation and a modification of the standard seq2seq architecture with attention, we achieve SOTA results on all the relevant tasks from the benchmark, showing the models can generalize to words used in unseen contexts. We propose an extension of the benchmark by a harder task, which cannot be solved by the
proposed method.

Řešení úloh z benchmarku SCAN, který testuje schopnost neuronových sítí využít kompozicionalitu. Návrh nové úlohy, kde prezentované řešení selhává.