Universal Dependencies is a project that seeks to develop cross-linguistically consistent treebank annotation for many languages, with the goal of facilitating multilingual parser development, cross-lingual learning, and parsing research from a language typology perspective. The annotation scheme is based on (universal) Stanford dependencies (de Marneffe et al., 2006, 2008, 2014), Google universal part-of-speech tags (Petrov et al., 2012), and the Interset interlingua for morphosyntactic tagsets (Zeman, 2008). This is the seventeenth release of UD Treebanks, Version 2.11.

Universal Dependencies je projekt, který vyvíjí mezijazykově konzistentní morfologicko-syntaktickou anotaci mnoha jazyků s cílem usnadnit vývoj jazykově nezávislých parserů, mezijazykové strojové učení a výzkum parsingu z perspektivy jazykové typologie. Anotační schéma je založeno na univerzálních Stanfordských závislostech (de Marneffe et al., 2006, 2008, 2014), univerzálních značkách Google (Petrov et al., 2012) a na Intersetu, tj. interlingvě pro sady morfologických značek (Zeman, 2008). Toto je sedmnácté vydání treebanků UD, verze 2.11.

Daniel Zeman
Joakim Nivre
Mitchell Abrams
Elia Ackermann
Noëmi Aepli
Hamid Aghaei
Željko Agić
Amir Ahmadi
Lars Ahrenberg
Chika Kennedy Ajede
Salih Furkan Akkurt
Gabrielė Aleksandravičiūtė
Ika Alfina
Avner Algom
Chiara Alzetta
Erik Andersen
Lene Antonsen
Katya Aplonova
Angelina Aquino
Carolina Aragon
Glyd Aranes
Maria Jesus Aranzabe
Bilge Nas Arıcan
Þórunn Arnardóttir
Gashaw Arutie
Jessica Naraiswari Arwidarasti
Masayuki Asahara
Katla Ásgeirsdóttir
Deniz Baran Aslan
Cengiz Asmazoğlu
Luma Ateyah
Furkan Atmaca
Mohammed Attia
Aitziber Atutxa
Liesbeth Augustinus
Elena Badmaeva
Keerthana Balasubramani
Miguel Ballesteros
Esha Banerjee
Sebastian Bank
Verginica Barbu Mititelu
Starkaður Barkarson
Rodolfo Basile
Victoria Basmov
Colin Batchelor
John Bauer
Seyyit Talha Bedir
Juan Belieni
Kepa Bengoetxea
Yifat Ben Moshe
Gözde Berk
Yevgeni Berzak
Irshad Ahmad Bhat
Riyaz Ahmad Bhat
Erica Biagetti
Eckhard Bick
Agnė Bielinskienė
Kristín Bjarnadóttir
Rogier Blokland
Victoria Bobicev
Loïc Boizou
Emanuel Borges Völker
Carl Börstell
Cristina Bosco
Gosse Bouma
Sam Bowman
Adriane Boyd
Anouck Braggaar
Kristina Brokaitė
Aljoscha Burchardt
Marie Candito
Bernard Caron
Gauthier Caron
Lauren Cassidy
Maria Clara Castro
Tatiana Cavalcanti
Gülşen Cebiroğlu Eryiğit
Flavio Massimiliano Cecchini
Giuseppe G. A. Celano
Slavomír Čéplö
Neslihan Cesur
Savas Cetin
Özlem Çetinoğlu
Fabricio Chalub
Liyanage Chamila
Shweta Chauhan
Ethan Chi
Taishi Chika
Yongseok Cho
Jinho Choi
Jayeol Chun
Juyeon Chung
Alessandra T. Cignarella
Silvie Cinková
Aurélie Collomb
Çağrı Çöltekin
Miriam Connor
Daniela Corbetta
Marine Courtin
Mihaela Cristescu
Philemon Daniel
Elizabeth Davidson
Leonel Figueiredo de Alencar
Mathieu Dehouck
Martina de Laurentiis
Marie-Catherine de Marneffe
Valeria de Paiva
Mehmet Oguz Derin
Elvis de Souza
Arantza Diaz de Ilarraza
Carly Dickerson
Arawinda Dinakaramani
Elisa Di Nuovo
Bamba Dione
Peter Dirix
Kaja Dobrovoljc
Timothy Dozat
Kira Droganova
Puneet Dwivedi
Christian Ebert
Hanne Eckhoff
Sandra Eiche
Marhaba Eli
Ali Elkahky
Binyam Ephrem
Olga Erina
Tomaž Erjavec
Aline Etienne
Wograine Evelyn
Sidney Facundes
Richárd Farkas
Federica Favero
Jannatul Ferdaousi
Marília Fernanda
Hector Fernandez Alcalde
Jennifer Foster
Cláudia Freitas
Kazunori Fujita
Katarína Gajdošová
Daniel Galbraith
Federica Gamba
Marcos Garcia
Moa Gärdenfors
Sebastian Garza
Fabrício Ferraz Gerardi
Kim Gerdes
Filip Ginter
Gustavo Godoy
Iakes Goenaga
Koldo Gojenola
Memduh Gökırmak
Yoav Goldberg
Xavier Gómez Guinovart
Berta González Saavedra
Bernadeta Griciūtė
Matias Grioni
Loïc Grobol
Normunds Grūzītis
Bruno Guillaume
Céline Guillot-Barbance
Tunga Güngör
Nizar Habash
Hinrik Hafsteinsson
Jan Hajič
Jan Hajič, jr.
Mika Hämäläinen
Linh Hà Mỹ
Na-Rae Han
Muhammad Yudistira Hanifmuti
Takahiro Harada
Sam Hardwick
Kim Harris
Dag Haug
Johannes Heinecke
Oliver Hellwig
Felix Hennig
Barbora Hladká
Jaroslava Hlaváčová
Florinel Hociung
Petter Hohle
Marivel Huerta Mendez
Jena Hwang
Takumi Ikeda
Anton Karl Ingason
Radu Ion
Elena Irimia
Ọlájídé Ishola
Artan Islamaj
Kaoru Ito
Siratun Jannat
Tomáš Jelínek
Apoorva Jha
Katharine Jiang
Anders Johannsen
Hildur Jónsdóttir
Fredrik Jørgensen
Markus Juutinen
Hüner Kaşıkara
Andre Kåsen
Nadezhda Kabaeva
Sylvain Kahane
Hiroshi Kanayama
Jenna Kanerva
Neslihan Kara
Ritván Karahóǧa
Boris Katz
Tolga Kayadelen
Sarveswaran Kengatharaiyer
Jessica Kenney
Václava Kettnerová
Jesse Kirchner
Elena Klementieva
Elena Klyachko
Arne Köhn
Abdullatif Köksal
Kamil Kopacewicz
Timo Korkiakangas
Mehmet Köse
Alexey Koshevoy
Natalia Kotsyba
Jolanta Kovalevskaitė
Simon Krek
Parameswari Krishnamurthy
Sandra Kübler
Adrian Kuqi
Oğuzhan Kuyrukçu
Aslı Kuzgun
Sookyoung Kwak
Veronika Laippala
Lucia Lam
Lorenzo Lambertino
Tatiana Lando
Septina Dian Larasati
Alexei Lavrentiev
John Lee
Phương Lê Hồng
Alessandro Lenci
Saran Lertpradit
Herman Leung
Maria Levina
Cheuk Ying Li
Josie Li
Keying Li
Yixuan Li
Yuan Li
KyungTae Lim
Bruna Lima Padovani
Krister Lindén
Nikola Ljubešić
Olga Loginova
Stefano Lusito
Andry Luthfi
Mikko Luukko
Olga Lyashevskaya
Teresa Lynn
Vivien Macketanz
Menel Mahamdi
Jean Maillard
Ilya Makarchuk
Aibek Makazhanov
Michael Mandl
Christopher Manning
Ruli Manurung
Büşra Marşan
Cătălina Mărănduc
David Mareček
Katrin Marheinecke
Stella Markantonatou
Héctor Martínez Alonso
Lorena Martín Rodríguez
André Martins
Jan Mašek
Hiroshi Matsuda
Yuji Matsumoto
Alessandro Mazzei
Ryan McDonald
Sarah McGuinness
Gustavo Mendonça
Tatiana Merzhevich
Niko Miekka
Karina Mischenkova
Margarita Misirpashayeva
Anna Missilä
Cătălin Mititelu
Maria Mitrofan
Yusuke Miyao
AmirHossein Mojiri Foroushani
Judit Molnár
Amirsaeid Moloodi
Simonetta Montemagni
Amir More
Laura Moreno Romero
Giovanni Moretti
Keiko Sophie Mori
Shinsuke Mori
Tomohiko Morioka
Shigeki Moro
Bjartur Mortensen
Bohdan Moskalevskyi
Kadri Muischnek
Robert Munro
Yugo Murawaki
Kaili Müürisep
Pinkey Nainwani
Mariam Nakhlé
Juan Ignacio Navarro Horñiacek
Anna Nedoluzhko
Gunta Nešpore-Bērzkalne
Manuela Nevaci
Lương Nguyễn Thị
Huyền Nguyễn Thị Minh
Yoshihiro Nikaido
Vitaly Nikolaev
Rattima Nitisaroj
Alireza Nourian
Hanna Nurmi
Stina Ojala
Atul Kr. Ojha
Hulda Óladóttir
Adédayọ̀ Olúòkun
Mai Omura
Emeka Onwuegbuzia
Noam Ordan
Petya Osenova
Robert Östling
Lilja Øvrelid
Şaziye Betül Özateş
Merve Özçelik
Arzucan Özgür
Balkız Öztürk Başaran
Teresa Paccosi
Alessio Palmero Aprosio
Anastasia Panova
Hyunji Hayley Park
Niko Partanen
Elena Pascual
Marco Passarotti
Agnieszka Patejuk
Guilherme Paulino-Passos
Giulia Pedonese
Angelika Peljak-Łapińska
Siyao Peng
Cenel-Augusto Perez
Natalia Perkova
Guy Perrier
Slav Petrov
Daria Petrova
Andrea Peverelli
Jason Phelan
Jussi Piitulainen
Rodrigo Pintucci
Tommi A Pirinen
Emily Pitler
Magdalena Plamada
Barbara Plank
Thierry Poibeau
Larisa Ponomareva
Martin Popel
Lauma Pretkalniņa
Sophie Prévost
Prokopis Prokopidis
Adam Przepiórkowski
Robert Pugh
Tiina Puolakainen
Sampo Pyysalo
Peng Qi
Andriela Rääbis
Alexandre Rademaker
Mizanur Rahoman
Taraka Rama
Loganathan Ramasamy
Carlos Ramisch
Fam Rashel
Mohammad Sadegh Rasooli
Vinit Ravishankar
Livy Real
Petru Rebeja
Siva Reddy
Mathilde Regnault
Georg Rehm
Ivan Riabov
Michael Rießler
Erika Rimkutė
Larissa Rinaldi
Laura Rituma
Putri Rizqiyah
Luisa Rocha
Eiríkur Rögnvaldsson
Ivan Roksandic
Mykhailo Romanenko
Rudolf Rosa
Valentin Roșca
Davide Rovati
Ben Rozonoyer
Olga Rudina
Jack Rueter
Kristján Rúnarsson
Shoval Sadde
Pegah Safari
Benoît Sagot
Aleksi Sahala
Shadi Saleh
Alessio Salomoni
Tanja Samardžić
Stephanie Samson
Manuela Sanguinetti
Ezgi Sanıyar
Dage Särg
Marta Sartor
Mitsuya Sasaki
Baiba Saulīte
Yanin Sawanakunanon
Shefali Saxena
Kevin Scannell
Salvatore Scarlata
Nathan Schneider
Sebastian Schuster
Lane Schwartz
Djamé Seddah
Wolfgang Seeker
Mojgan Seraji
Syeda Shahzadi
Mo Shen
Atsuko Shimada
Hiroyuki Shirasu
Yana Shishkina
Muh Shohibussirri
Maria Shvedova
Janine Siewert
Einar Freyr Sigurðsson
João Ricardo Silva
Aline Silveira
Natalia Silveira
Maria Simi
Radu Simionescu
Katalin Simkó
Mária Šimková
Haukur Barri Símonarson
Kiril Simov
Dmitri Sitchinava
Maria Skachedubova
Aaron Smith
Isabela Soares-Bastos
Barbara Sonnenhauser
Shafi Sourov
Carolyn Spadine
Rachele Sprugnoli
Vivian Stamou
Steinþór Steingrímsson
Antonio Stella
Abishek Stephen
Milan Straka
Emmett Strickland
Jana Strnadová
Alane Suhr
Yogi Lesmana Sulestio
Umut Sulubacak
Shingo Suzuki
Daniel Swanson
Zsolt Szántó
Chihiro Taguchi
Dima Taji
Yuta Takahashi
Fabio Tamburini
Mary Ann C. Tan
Takaaki Tanaka
Dipta Tanaya
Mirko Tavoni
Samson Tella
Isabelle Tellier
Marinella Testori
Guillaume Thomas
Sara Tonelli
Liisi Torga
Marsida Toska
Trond Trosterud
Anna Trukhina
Reut Tsarfaty
Utku Türk
Francis Tyers
Sveinbjörn Þórðarson
Vilhjálmur Þorsteinsson
Sumire Uematsu
Roman Untilov
Zdeňka Urešová
Larraitz Uria
Hans Uszkoreit
Andrius Utka
Elena Vagnoni
Sowmya Vajjala
Rob van der Goot
Martine Vanhove
Daniel van Niekerk
Gertjan van Noord
Viktor Varga
Uliana Vedenina
Giulia Venturi
Eric Villemonte de la Clergerie
Veronika Vincze
Natalia Vlasova
Aya Wakasa
Joel C. Wallenberg
Lars Wallin
Abigail Walsh
Jing Xian Wang
Jonathan North Washington
Maximilan Wendt
Paul Widmer
Shira Wigderson
Sri Hartati Wijono
Vanessa Berwanger Wille
Seyi Williams
Mats Wirén
Christian Wittern
Tsegay Woldemariam
Tak-sum Wong
Alina Wróblewska
Mary Yako
Kayo Yamashita
Naoki Yamazaki
Chunxiao Yan
Koichi Yasuoka
Marat M. Yavrumyan
Arife Betül Yenice
Olcay Taner Yıldız
Zhuoran Yu
Arlisa Yuliawati
Zdeněk Žabokrtský
Shorouq Zahra
Amir Zeldes
He Zhou
Hanzhi Zhu
Anna Zhuravleva
Rayan Ziane


Preamble 1.0 is a multilingual annotated corpus of the preamble of the EU REGULATION 2020/2092 OF THE EUROPEAN PARLIAMENT AND OF THE COUNCIL with a manual annotation of sentence subjects. The corpus consists of four language versions of the preamble (Czech, English, French, Polish) and contains in total over 10 thousand words and over five hundred annotated subjects.

Preambule 1.0 je vícejazyčný anotovaný korpus preambule NAŘÍZENÍ EVROPSKÉHO PARLAMENTU A RADY 2020/2092 s ruční anotací větných subjektů. Korpus se skládá ze čtyř jazykových verzí preambule (české, anglické, francouzské, polské) a obsahuje celkem přes 10 tisíc slov a přes pět set anotovaných subjektů.


Annotating Attribution in Czech News Server Articles

Anotace přisuzování v článcích českého zpravodajského serveru

This paper focuses on detection of sources in the Czech articles published on a news server of Czech public radio. In particular, we search for attribution in sentences and we recognize attributed sources and their sentence context (signals). We organized a crowdsourcing annotation task that resulted in a data set of 2,167 stories with manually recognized signals and sources. In addition, the sources were classified into the classes of named and unnamed sources.

Tato práce se zaměřuje na detekci zdrojů v českých článcích publikovaných na zpravodajském serveru Českého veřejnoprávního rozhlasu. Hledáme zejména přiřazení ve větách a rozeznáváme přiřazené zdroje a jejich větný kontext(signály). Zorganizovali jsme crowdsourcingovou anotační úlohu, jejímž výsledkem byl datový soubor 2 167 článků s ručně rozpoznanými signály a zdroji. Zdroje byly navíc zařazeny do kategorií jmenovaných a nejmenovaných zdrojů.

Barbora Hladká
Jiří Mírovský
Matyáš Kopp
Václav Moravec


Quality and Efficiency of Manual Annotation: Data from the Pre-annotation Bias Experiment (part of the PDT-C 2.0 project)

Kvalita a efektivita manuální anotace: Data z experimentu zabývajícího se vlivem předanotace  (součást projektu PDT-C 2.0)

Input data, individual experimental annotations, and a complete and detailed overview of the measured results related to the experiment dealing with the influence of automatic pre-annotation on the quality and efficiency of manual annotation efforts.

Vstupní data, jednotlivé experimentální anotace a úplný a podrobný přehled naměřených výsledků souvisejících s experimentem zabývajícím se vlivem automatické před-anotace na kvalitu a efektivitu anotačního úsilí.

Marie Mikulová
Milan Straka
Jan Štěpánek
Barbora Štěpánková
Jan Hajič


Quality and Efficiency of Manual Annotation: Pre-annotation Bias

Kvalita a efektivita ruční anotace: zkreslení před-anotací

This paper presents an analysis of annotation using an automatic pre-annotation for a mid-level annotation complexity task - dependency syntax annotation. It compares the annotation efforts made by annotators using a pre-annotated version (with a high-accuracy parser) and those made by fully manual annotation. The aim of the experiment is to judge the final annotation quality when pre-annotation is used. In addition, it evaluates the effect of automatic linguistically-based (rule-formulated) checks and another annotation on the same data available to the annotators, and their influence on annotation quality and efficiency. The experiment confirmed that the pre-annotation is an efficient tool for faster manual syntactic annotation which increases the consistency of the resulting annotation without reducing its quality.

Tento článek představuje analýzu anotace pomocí automatické před-anotace pro úkol anotace závislostní syntaxe. Porovnává úsilí anotátorů, kteří používají před-anotovanou verzi (s vysoce přesným parserem), a úsilí vytvořené plně ruční anotací. Cílem experimentu je posoudit výslednou kvalitu anotace při použití před-anotace. Kromě toho hodnotí vliv automatických lingvisticky založených (pravidlově formulovaných) kontrol a jiné anotace na stejných datech, kterou mají anotátoři k dispozici, a jejich vliv na kvalitu a efektivitu anotace. Experiment potvrdil, že pre-anotace je účinným nástrojem pro rychlejší manuální syntaktickou anotaci, která zvyšuje konzistenci výsledné anotace bez snížení její kvality.


Towards Reciprocity in Logic and in Linguistics

K pojetí reciprocity v logice a v lingvistice

Reciprocity / mutuality / symmetry: intensively studied in linguistics and in formal semantics (among other fields). However, there are still open questions concerning esp. terminological aspects and a proper test allowing us to reliably distinguish predicates and constructions with reciprocal meaning.
According to Gleitman & Partee (2020), "… considerations suggest that the standard logical definitions of symmetrical and its relatives are by themselves too limited for linguists’ needs. Common usage offers clues to further notions that are descriptively and perhaps explanatorily valuable."

Koncepty reciprocity/vzájemnosti/symetrie jsou intenzivně studovány v lingvistice a ve formální sémantice (mimo jiné obory). Stále však existují otevřené otázky týkající se zejména terminologických aspektů a řádného testu, který by umožňoval spolehlivě rozlišovat predikáty a konstrukce s recipročním významem.
Podle Gleitman & Partee (2020) standardní logické definice symetrie a příbuzných konceptů jsou samy o sobě příliš omezující pro potřeby lingvistů. Jazyková data nabízejí vodítka k dalšímu vymezení vhodných pojmům, které umožní adekvátní zachycení recipročních konstrukcí.


The Valency Lexicon of Czech Verbs is a collection of linguistically annotated data and documentation; it provides a formal, machine-readable description of valency frames of Czech verbs and additional syntactico-semantic information useful for the analysis and synthesis of Czech texts as well as other applied tasks in NLP. It covers the common senses of the most frequent Czech verbs (in total over 11,080 senses of almost 4,700 lemmas, i.e., more than 6,850 verb senses counting perfective and imperfective verbs as forming a single lexeme).

VALLEX 4.5 is an enhanced successor of VALLEX 4.0, 3.5, and 3.0. In addition to the information stored there, VALLEX 4.5 provides a detailed description of reflexive verbs, i.e., verbs with the reflexive se or si as an obligatory part of their verb lexemes. VALLEX 4.5 covers 1,525 reflexive verbs in 1,545 lexical units (2,501 when aspectual counterparts counted separately). VALLEX 4.5 provides also enhanced characteristics of verbs expressing reciprocity and reflexivity.

Valenční slovník českých sloves (též VALLEX 4.5) je souborem lingvisticky anotovaných dat a dokumentace. Slovník poskytuje informace o valenční struktuře českých sloves v jejich jednotlivých významech, které charakterizuje pomocí glos a příkladů; tyto základní údaje jsou doplněny o některé další syntaktické a sémantické charakteristiky. Tuto informace jsou dostupné pro čtenáře, mají však i formální, strojově čitelnou podobu vhodnou pro aplikované úlohy v NLP. VALLEX zachycuje nejčastější česká slovesa sloves (celkem přes 11 080 významů pro téměř 4 700 českých sloves, což představuje více než 6 850 významů, sdruží-li se vidové protějšky sloves do lexémů).

VALLEX 4.5 je rozšířeným nástupcem VALLEXu 4.0, 3.5 a 3.0. - VALLEX 4.5 navíc přináší charakteristiku reflexivních sloves, tj. sloves s reflexivním se nebo si jako povinnou součást slovesných lexémů. VALLEX 4.5 zahrnuje 1 525 reflexivních sloves v 1 545 lexikálních jednotkách (2 501 sloves, jsou-li vidové protějšky počítány samostatně), nově též zpracovává i slovesa vyjadřující reflexivní a reciproční významy.

Markéta Lopatková
Václava Kettnerová
Jiří Mírovský
Anna Vernerová
Eduard Bejček
Zdeněk Žabokrtský


There are words written in several different ways in Czech, e.g., lampion ∼ lampión (lampion). This variability may occur in either some inflectional word- forms (inflectional variants), cf. hradu ∼ hradě in the locative case of the noun hrad (castle), or across the inflectional wordforms and derivatives (global variants), cf. fantazijní ∼ fantasijní in the adjective derived from the noun fantazie ∼ fantasie (fantasy). It is reasonable to distinguish the global variants as different words but to have formal means that interconnect them in the Natural Language Processing systems and resources. In this paper, we describe the identification of global variants in the Czech vocabulary and summarise new changes in the MorfFlex CZ dictionary and DeriNet lexicon concerning this type of variants. We reviewed several typical patterns within global variants captured in the available resources and combined a set of regular expressions with manual annotations to achieve the highest precision of the identification.

V češtině se vyskytují slova psaná několika různými způsoby, např. lampion ∼ lampión. Tato variabilita se může vyskytovat buď v některých flektivních slovních formách (flektivní varianty), srov. hradu ∼ hradě v lokálu podstatného jména hrad, nebo napříč flektivními slovními formami a odvozeninami (globální varianty), srov. fantazijní ∼ fantasijní v přídavném jméně odvozeném od podstatného jména fantazie ∼ fantasie. Je rozumné rozlišovat globální varianty jako různá slova, ale mít formální prostředky, které je propojují v systémech a zdrojích zpracování přirozeného jazyka. V tomto příspěvku popisujeme identifikaci globálních variant v českém slovníku a shrnujeme nové změny ve slovníku MorfFlex CZ a lexikonu DeriNet týkající se tohoto typu variant. Analyzovali jsme několik typických vzorů v rámci globálních variant zachycených v dostupných zdrojích a zkombinovali sadu regulárních výrazů s manuálními anotacemi, abychom dosáhli co nejvyšší přesnosti identifikace.

Jaroslava Hlaváčová
Lukáš Kyjánek
Magda Ševčíková


Readability as a scientific concept in psychology, linguistics and mathematics

Jak se na srozumitelnost dívá věda? Srozumitelnost v zrcadle psychologie, lingvistiky a matematiky

Lecture for civil servants and lawyers at the Round Table of the Office of the Public Defender of Rights. It aimed at presenting the research of readability and reading comprehension to an audience with a different background.

Přednáška pro státní úředníky a právníky u Kulatého stolu Kanceláře veřejného ochránce práv. Jejím účelem bylo publikum z jiných oborů seznámit s výzkumem srozumitelnosti textů a procesu čtení a porozumění z hlediska lingvistiky i kognitivní vědy.


Digital Humanities courses in Czech Tertiary Education Described by Latent Semantic Analysis

Výuka digitálních humanitních věd na českých veřejných vysokých školách podle latentní sémantické analýzy

Our study was created as the first attempt to map the Czech pedagogy of Digital Humanities in 2018. We believe that Czech memory institutions are already well integrated into European infrastructure projects (eg Library of the Academy of Sciences, National Library and National Museum in Europeana) and Czech researchers have also successfully joined the international DH community (as evidenced by their contributions in this volume). So far, however, we know little about the DH paradigm in the teaching of humanities at Czech universities. To aggregate the information, we used Latent semantic analysis on the names of the courses and institutions where they are taught.

Naše studie vznikla jako první pokus zmapovat podhoubí české pedagogiky digitálních humanitních věd v roce 2018. Máme za to, že české paměťové instituce jsou už dobře integrovány do evropských infrastrukturních projektů (například Knihovna Akademie věd ČR, Národní knihovna a Národní muzeum v projektu Europeana ) a čeští badatelé se již také úspěšně připojili k mezinárodní DH komunitě (o čemž svědčí také jejich příspěvky v tomto svazku). Zatím však málo víme o DH paradigmatu ve výuce humanitních oborů na českých vysokých školách.Proto jsme během roku 2018 ručně prohledali aktuální studijní katalogy většiny českých veřejných vysokých škol s cílem shromáždit kontakty na vyučující, kteří by mohli stát u zrodu digitálně humanitní pedagogické komunity v Česku, a udělat si představu o jejich specializacích. K agregaci informací jsme použili Latentně sémantickou analýzu na názvech kurzů a institucí, kde se vyučují.

Silvie Cinková
Jan Škvrňák
Michael Škvrňák


CLS Infra Training School on Data and Annotation

CLS Infra Letní škola o datech a anotaci

Keen to get a flying start in Digital Humanities?

You can build, edit, annotate, and query a text corpus without a single line of code!

Structure texts with the XML-TEI.

Run an NLP tool to add linguistic information.

Tackle real research questions concerning Shakespeare’s dramas or your own data by mastering CQL and Universal Dependencies.

Rádi byste začali v Digital Humanities?

Můžete vytvářet, upravovat, komentovat a dotazovat se na textový korpus bez jediného řádku kódu!

Strukturujte texty pomocí XML-TEI.

Spusťte nástroj NLP pro přidání jazykových informací.

Vyřešte skutečné výzkumné otázky týkající se Shakespearových dramat nebo svých vlastních dat zvládnutím CQL a Universal Dependencies.

Silvie Cinková
Maarten Janssen
Michal Křen
Václav Cvrček


Action meanings in noun/verb conversion: Native and foreign word-formation in Czech

Dějové významy v konverzi mezi substantivem a slovesem: Tvoření slov s domácími a přejatými kořeny v češtině

The study deals with Czech conversion pairs of a noun and a verb, both of which denote actions (test ‘test.n’ – testovat ‘to test’). Elaborating on previous research on prototypical verb-to-noun and noun-to-verb conversion in Czech, the direction in these pairs is determined based on whether the verb forms its aspectual counterpart by changing the theme (which is characteristic of the deverbal direction), or whether the suffixed counterpart is not available (typical of denominal verbs). The analysis, carried out on a corpus sample of 1,300 action nouns and directly related verbs, demonstrates that pairs with native roots mostly conform to the deverbal pattern, whereas the denominal direction applies to a smaller subset of the native sample but clearly prevails in the data with foreign roots. The denominal direction ascribed to foreign pairs is consistent with the typological hypothesis that verbs are borrowed rather as nouns and subsequently turned into verbs in the target language.

Studie se zabývá českými konverzními dvojicemi, v nichž podstatné jméno i sloveso mají dějový význam (test 'zkoušet.n' - testovat 'zkoušet'). V návaznosti na předchozí výzkum prototypických případů deverbální a denominální konverze v češtině je směr v těchto dvojicích určován na základě toho, zda sloveso tvoří svůj vidový protějšek změnou kmenotvorné přípony (což je charakteristické pro deverbální směr), nebo zda sufixální protějšek není k dispozici (typické pro denominální slovesa). Analýza provedená na korpusovém vzorku 1 300 podstatných jmen s dějovým významem a přímo souvisejících sloves ukazuje, že dvojice založené na domácích kořenech mají většinou rysy deverbálního tvoření, zatímco denominální směr se uplatňuje v menší skupině domácích dvojic a v datech s cizími kořeny jasně převažuje. Denominální směr přisuzovaný dvojicím s cizími kořeny je v souladu s typologickou hypotézou, že slovesa jsou přejímána do češtiny spíše jako podstatná jména a následně se v cílovém jazyce mění na slovesa.


Annotation of semantic categories in noun/verb conversion: A pilot experiment in Czech

Anotace sémantických kategorií v konverzním tvoření podstatných jmen a sloves: Pilotní experiment na češtině

The paper presents and evaluates an experiment in annotating semantic categories expressed by conversion in Czech. Based on existing repertoires of semantic labels applied to conversion, the design, implementation, and results of the annotation experiment are described, and discussed in the context of previous, exclusively qualitative descriptions of conversion in Czech.
After eliminating pairs in which the semantic relationship between noun and verb was not perceived in synchrony, the resulting set of 2,000 pairs contained only those with a link between at least one noun sense and one verb sense. For each noun/verb pair, 100 corpus concordances were assigned a semantic value by two human annotators in parallel (native speakers of Czech, linguists). The inter-annotator agreement is calculated using Krippendorff’s alpha coefficient, which reduces the effect of chance agreement. The results range from moderate to substantial agreement depending on the semantic group.

Příspěvek představuje a vyhodnocuje paralelní anotaci významů, které jsou v češtině vyjadřovány při tvoření konverzí.


Conversion of action nouns to verbs: Insights from Czech

Tvoření sloves z dějových substnativ konverzí: Případ češtiny

Although actions are prototypical verbal concepts, there are verbs that are assumed to be derived or converted from nouns with action meanings, cf. apology > to apologize or attack.n > to attack. Conversion of action nouns to verbs, discussed as the PERFORMATIVE category by Plag (1999) or Bauer et al. (2013), has been attested since the earliest period documented by the Oxford English Dictionary and, remarkably, have become predominant among verbs converted from nouns in English during the 20th century (Gottfurcht 2008).
The present paper deals with Czech conversion pairs, where both the noun and the verb denote an action (e.g. řez ‘cut.n’ – řezat ‘to cut’, test ‘test.n’ – testovat ‘to test’). Elaborating on our previous research on word formation without derivational affixes in Czech, phonological and morphological features of nouns and verbs are employed to determine the direction of conversion in individual pairs.

Přestože dějový význam je prototypicky přisuzován slovesu, existují slovesa, u nichž se předpokládá, že jsou odvozena nebo konvertována od podstatných jmen s dějovým významem. Předkládaný příspěvek se zabývá českými konverzními dvojicemi, kde jak podstatné jméno, tak sloveso vyjadřují děj (např. řez - řezat, test - testovat). V návaznosti na náš předchozí výzkum tvoření slov bez derivačních afixů v češtině jsou pro určení směru konverze v jednotlivých dvojicích využity fonologické a morfologické vlastnosti podstatných jmen a sloves.


Paradigms in English and Czech noun/verb conversion: A contrastive study of lexemes with borrowed roots

Paradigmata v konverzním tvoření substantiv a sloves v angličtině a češtině: Kontrastivní studie lexémů s přejatými kořeny

The study deals with English noun/verb conversion pairs that have both formally and semantically close counterpart pairs in Czech. The study’s aim is to examine how these nouns and verbs, linked with similar semantic relations in English and Czech, are accommodated in the two languages with different morphological structures and conversion playing a different role. The noun/verb pairs, extracted from the British National Corpus and from the SYN2000 corpus, are analysed as two-cell paradigms and examined along with selected derivatives. The data suggest that in the Czech sample, nominals are preferred over verbs in expressing the particular meanings and most verbs appear as denominal formations, often differently from their English counterparts.

Studie se zabývá anglickými konverzními dvojicemi podstatných a sloves, které mají formálně i významově blízké protějšky v češtině. Cílem studie je prozkoumat, jak se tato substantiva a slovesa, která jsou v angličtině a češtině spojena podobnými sémantickými vztahy, chovají v jazycích, které mají odlišnou morfologickou strukturu a v jejichž slovotvorných systémech hraje konverze odlišnou roli. Dvojice substantiv a sloves, extrahované z Britského národního korpusu a z korpusu SYN2000, jsou popisována jako dvoučlenná paradigmata a zkoumány spolu s vybranými deriváty. Data ukazují, že v českých dvojicích jsou pro vyjadřování konkrétních významů preferována substantiva před slovesy a většina sloves je používána jako denominální formace, často odlišně od anglických protějšků.


TEI and Git in ParlaMint: Collaborative Development of Language Resources

TEI a Git v ParlaMint: Spolupráce při rozvoji jazykových zdrojů

This paper discusses the encoding, validation and development of language resources of the completed ParlaMint I and on-going ParlaMint II CLARIN projects, which centre on the collaborative development of TEI-encoded corpora of parliamentary proceedings. We introduce the use of TEI ODD to write the encoding guidelines and formal XML schemas for validation. We motivate and explain using Git to develop of encoding schemas and language resources. Apart from revision control, issues and publishing documentation, we also emphasise GitHub actions with their ability to integrate program code execution into the data submission process. The paper is written with a view to introducing SSH scientists to the two environments, as they can be valuable items in the toolbox for compiling language resources, especially in a collaborative setting.

Tento článek pojednává o kódování, validaci a vývoji jazykových zdrojů dokončeného projektu ParlaMint I a probíhajícího projektu ParlaMint II CLARIN, které se zaměřují na společný vývoj korpusů parlamentních jednání kódovaných TEI. Zavádíme využití TEI ODD pro psaní pokynů pro kódování a formálních XML schémat pro validaci. Motivujeme a vysvětlujeme použití Gitu pro vývoj kódovacích schémat a jazykových zdrojů. Kromě kontroly revizí, problémů a publikační dokumentace klademe důraz také na akce GitHubu s jejich schopností integrovat provádění programového kódu do procesu předkládání dat. Článek je napsán s cílem seznámit vědce SSH s oběma prostředími, protože mohou být cennými položkami v sadě nástrojů pro kompilaci jazykových zdrojů, zejména v kolaborativním prostředí.


Language Technologies for the Creation of Multilingual Terminologies. Lessons Learned from the SSHOC Project

Jazykové technologie pro tvorbu vícejazyčných terminologií. Poznatky z projektu SSHOC

This paper is framed in the context of the SSHOC project and aims at exploring how Language Technologies can help in promoting and facilitating multilingualism in the Social Sciences and Humanities (SSH). Although most SSH researchers produce culturally and societally relevant work in their local languages, metadata and vocabularies used in the SSH domain to describe and index research data are currently mostly in English. We thus investigate Natural Language Processing and Machine Translation approaches in view of providing resources and tools to foster multilingual access and discovery to SSH content across different languages. As case studies, we create and deliver as freely, openly available data a set of multilingual metadata concepts and an automatically extracted multilingual Data Stewardship terminology. The two case studies allow as well to evaluate performances of state-of-the-art tools and to derive a set of recommendations as to how best apply them. Although not adapted to the specific domain, the employed tools prove to be a valid asset to translation tasks. Nonetheless, validation of results by domain experts proficient in the language is an unavoidable phase of the whole workflow.

Tento článek je zasazen do kontextu projektu SSHOC a jeho cílem je prozkoumat, jak mohou jazykové technologie pomoci při podpoře a usnadnění vícejazyčnosti v sociálních a humanitních vědách (SSH). Přestože většina výzkumných pracovníků v oblasti SSH vytváří kulturně a společensky relevantní práce ve svých místních jazycích, metadata a slovníky používané v oblasti SSH k popisu a indexování výzkumných dat jsou v současné době většinou v angličtině. Zkoumáme proto přístupy zpracování přirozeného jazyka a strojového překladu s cílem poskytnout zdroje a nástroje na podporu vícejazyčného přístupu k obsahu SSH a jeho vyhledávání v různých jazycích. Jako případové studie vytváříme a poskytujeme jako volně dostupná data soubor vícejazyčných metadatových konceptů a automaticky extrahovanou vícejazyčnou terminologii Data Stewardship. Tyto dvě případové studie umožňují také vyhodnotit výkonnost nejmodernějších nástrojů a odvodit soubor doporučení, jak je nejlépe použít. Přestože nejsou přizpůsobeny konkrétní doméně, použité nástroje se ukázaly být platným přínosem pro překladatelské úlohy. Nicméně ověření výsledků experty na danou doménu, kteří ovládají daný jazyk, je nevyhnutelnou fází celého pracovního postupu.

Federica Gamba
Francesca Frontini
Daan Broeder
Monica Monachini


The faculty celebrates its anniversary, turning 70 this September. We bring another part of the poll, in which seven dozen personalities from scientists, teachers, students and graduates wish Matfyza a happy birthday.

Fakulta slaví kulaté výročí, letos v září jí bude už 70 let. Přinášíme další díl ankety, ve které přeje Matfyzu k narozeninám sedm desítek osobností z řad vědců, učitelů, studentů a absolventů.


You can go to Švanda's theatre to see "AI: When a Robot Writes a Play". The actors are human, but 90% of the script was generated by our THEaiTRobot tool. How did he do it? And did he do it? You will learn how the language model GPT-2 works and how we modified it to generate plays. You will see a sample of the play. And you will get the opportunity to generate your own theatre script.

Do Švandova divadla můžete zajít na představení "AI: Když robot píše hru". Herci jsou lidští, ale 90% scénáře vygeneroval náš nástroj THEaiTRobot. Jak to udělal? A povedlo se mu to? Dozvíte se, jak funguje jazykový model GPT-2 a jak jsme ho upravili pro generování divadelních her. Uvidíte ukázku z divadelní hry. A dostanete příležitost si sami vygenerovat vlastní divadelní scénář.


Elitr LangTools and THEaiTRE script generation

Elitr LangTools a generování scénářů THEaiTRE

Presentation of Elitr language tools and THEaiTRE script generation for EUROSAI congress attendees.

Prezentace jazykových nástrojů systému Elitr a generování scénářů THEaiTRE pro účastníky EUROSAI kongresu.


Brief explanation of the process of creation of the automatically generated script of the play.

Stručné vysvětlení procesu vzniku automaticky generovaného scénáře divadelní hry.


How Artificial Intelligence Wrote a Play

Jak umělá inteligence napsala divadelní hru

You can go to Švanda Theatre to see "AI: When a Robot Writes a Play". The actors are human, but 90% of the script was generated by our THEaiTRobot tool. How did it do it? And did it succeed? You will learn how the language model GPT-2 works and how we modified it for generating plays. You will see a sample of the play. And you will get the opportunity to generate your own theatre script.


Presenting the exhibit Life with Artificial Intelligence

Představení exponátu Život s umělou inteligencí

AI, artificial intelligence, smart devices, machine learning... We hear these words around us more and more. Artificial intelligence is gradually infiltrating many fields of human activity, from the development of new drugs to the writing of plays to religion. But is it all the same artificial intelligence? What does it do? How is it used? And what exactly is AI?

AI, umělá inteligence, chytrá zařízení, strojové učení... Tato slova kolem sebe slýcháme stále častěji. Umělá inteligence postupně proniká do mnoha oborů lidské činnosti, od vývoje nových léků přes psaní divadelních her až po náboženství. Je to ale všechno stejná umělá inteligence? Co umí? Jak se používá? A co to vlastně je AI?


THEaiTRE project: automatic interactive generation of theatre play scripts

Projekt THEaiTRE: automatické interaktivní generování scénářů divadelních her

As part of the showroom of the conference Innovative Vision of Prague 2030, we present the introduction of the first Czech theatre play written by artificial intelligence.

V rámci showroomu konference Inovační vize Prahy 2030 představujeme uvedení první české divadelní hry napsané umělou inteligencí.


We inform about the ending THEaiTRE project, focusing on hierarchical generation, dramatic situations, and future projects.

Informujeme o končícím projektu THEaiTRE, se zaměřením na hierarchické generování, dramatické situace a budoucí projekty.


We present our THEaiTRE project to the employees of the LMC company as a part of their internal workshop.

Představíme náš projekt THEaiTRE zaměstnancům společnosti LMC v rámci jejich interního workshopu.


THEaiTRE 1.0: Interactive generation of theatre play scripts

THEaiTRE 1.0: Interaktivní generování scénářů divadelních her

Hacking the GPT-2 language model
Building a web application
Generating a theatre play script
Performing the play on stage
Demo of the tool

Hackování jazykového modelu GPT-2
Sestavení webové aplikace
Vytváří se scénář divadelní hry
Představení hry na jevišti
Demo nástroje


THEaiTRE: Automatically generating theatre play scripts

THEaiTRE: Automatické generování scénářů divadelních her

In February 2021, we staged the first theatre play for which 90% of the script was automatically generated by an artificial intelligence system. The THEaiTRobot system is based on the GPT-2 language model, created by the OpenAI consortium, complemented with automated translation. We had to adapt the model in various ways, especially to avoid repetitiveness and forgetting of context, and to stick to a limited set of characters. As input for the system, we used short starting prompts (scene setting and first few lines of dialogue), prepared by a dramaturge, which were expanded into full scenes by THEaiTRobot. The script was then post-edited and put on stage. Reviews mostly noted that AI cannot really write a good play (yet), but acknowledged that the performance was mostly interesting and entertaining to watch.

V únoru 2021 jsme inscenovali první divadelní hru, pro kterou bylo 90% scénáře automaticky generováno systémem umělé inteligence. Systém THEaiTRobot je založen na jazykovém modelu GPT-2, vytvořeném konsorciem OpenAI, doplněném o automatizovaný překlad. Model jsme museli různě upravovat, zejména abychom se vyhnuli opakování a zapomínání kontextu, a abychom se drželi omezené sady postav. Jako vstup do systému jsme použili krátké startovní výzvy (nastavení scény a prvních pár řádků dialogu), připravené dramaturgem, které byly THEaiTRobotem rozšířeny do plných scén. Scénář byl poté post-editován a uveden na jeviště. Recenze většinou konstatovaly, že AI opravdu nemůže napsat dobrou hru (zatím), ale uznaly, že představení bylo většinou zajímavé a zábavné sledovat.


THEaiTRE: Challenges in automated generation of theatre play scripts

THEaiTRE: Výzvy v automatizované tvorbě scénářů divadelních her

The THEaiTRE project explored generating theatre scripts automatically using large pretrained generative language models embedded into an interactive tool. We will present many of the challenges we faced and solutions we proposed, including both the more successful as well as the less successful ones; still many of the challenges remain unsolved. The topics discussed will include character personalities and consistency, limited context and automated summarization, two-step hierarchical generation approach, machine translation of dialogues, fine-tuning and adapting the models to theatre scripts, dramatic situations abstraction, and other.

Projekt THEaiTRE zkoumal generování divadelních scénářů automaticky pomocí velkých předem vycvičených generativních jazykových modelů vložených do interaktivního nástroje. Představíme mnoho výzev, kterým jsme čelili, a řešení, která jsme navrhli, včetně těch úspěšnějších i těch méně úspěšných; stále mnoho výzev zůstává nevyřešeno. Diskutovaná témata budou zahrnovat osobnosti postav a konzistenci, omezený kontext a automatizovanou sumarizaci, dvoustupňový hierarchický generační přístup, strojový překlad dialogů, dolaďování a přizpůsobení modelů divadelním scénářům, abstrakci dramatických situací a další.


THEaiTRE: Interactive generation of theatre play scripts

THEaiTRE: Interaktivní generování scénářů divadelních her

Presentation of interactive theatre script generation for employees of the Novartis company.

Prezentace interaktivního generování scnářů divadelních her pro zaměstnance společnosti Novartis.


THEaiTRE: Artificial Intelligence as a (co)author of a theatre play?

THEaiTRE: Umělá inteligence (spolu)autorem divadelní hry?

The THEaiTRE project is an interdisciplinary project of applied research in cooperation of the Faculty of Mathematics and Physics of Charles University, Švandova Theatre and DAMU. As part of the project, theatre experts together with computer linguists designed and built the THEaiTRobot system, based on the generative language model GPT-2 and adapted to the interactive generation of plays scripts. With the help of this system, two plays were subsequently created, which were performed in the classical way in Švandova Theatre, with 90% of the script being automatically generated.
We are currently preparing other similar projects, focused on computer modelling of Czech poetry or on an intelligent assistant for beginning writers.

Projekt THEaiTRE je interdisciplinárním projektem aplikovaného výzkumu ve spolupráci Matematicko-fyzikální fakulty Univerzity Karlovy, Švandova divadla a DAMU. V rámci projektu divadelní odborníci společně s počítačovými lingvisty navrhli a sestavili systém THEaiTRobot, založený na generativním jazykovém modelu GPT-2 a adaptovaný na interaktivní generování scénářů divadelních her. S pomocí tohoto systému následně vznikly dvě divadelní hry, které byly klasickým způsobem uvedeny ve Švandově divadle, přičemž 90 % scénáře je automaticky vygenerováno.
V současné době chystáme další podobné projekty, zaměřené na počítačové modelování české poezie či na inteligentního asistenta pro začínající spisovatele.


A talk for students of the senior university about artificial intelligence in theatre

Přednáška pro studenty univerzity třetího věku o umělé inteligenci v divadle


AI, umělá inteligence, chytrá zařízení, strojové učení... Tato slova kolem sebe slýcháme stále častěji. Umělá inteligence postupně proniká do mnoha oborů lidské činnosti, od vývoje nových léků přes psaní divadelních her až po náboženství. Je to ale všechno stejná umělá inteligence? Co umí? Jak se používá? A co to vlastně je AI?

AI, artificial intelligence, smart devices, machine learning... We hear these words around us more and more. Artificial intelligence is gradually infiltrating many fields of human activity, from the development of new drugs to the writing of plays to religion. But is it all the same artificial intelligence? What does it do? How is it used? And what exactly is AI?


Popularisation lecture for 8th and 9th form students with the topic of artificial intelligence

Popularizační přednáška pro žáky 8. a 9. tříd ZŠ na téma umělé inteligence


The THEaiTRobot 2.0 tool allows the user to interactively generate scripts for individual theatre play scenes.

Nástroj THEaiTRobot 2.0 umožňuje uživateli interaktivně generovat scénáře pro jednotlivé divadelní scény.

Rudolf Rosa
Ondřej Dušek
Tom Kocmi
David Mareček
Tomáš Musil
Patrícia Schmidtová
Dominik Jurko
Ondřej Bojar
Daniel Hrbek
David Košťák
Martina Kinská
Marie Nováková
Josef Doležal
Klára Vosecká
Alisa Zakhtarenko
Saad Obaid ul Islam


More complex two-step variant.

First generates a synopsis from a play name, then generates a script from the synopsis.

Složitější dvoukroková varianta.

Nejprve z názvu hry generuje synopsi, poté ze synopse generuje scénář.

Rudolf Rosa
Ondřej Dušek
Tom Kocmi
David Mareček
Tomáš Musil
Patrícia Schmidtová
Dominik Jurko
Ondřej Bojar
Daniel Hrbek
David Košťák
Martina Kinská
Marie Nováková
Josef Doležal
Klára Vosecká
Alisa Zakhtarenko
Saad Obaid ul Islam
Tomáš Studeník
Petr Žabka


Czech and English abstracts of ÚFAL papers (2022-11-11)

České a anglické abstrakty článků ÚFALu (2022-11-11)

This is a parallel corpus of Czech and mostly English abstracts of scientific papers and presentations published by authors from the Institute of Formal and Applied Linguistics, Charles University in Prague. For each publication record, the authors are obliged to provide both the original abstract (in Czech or English), and its translation (English or Czech) in the internal Biblio system. The data was filtered for duplicates and missing entries, ensuring that every record is bilingual. Additionally, records of published papers which are indexed by SemanticScholar contain the respective link. The dataset was created from September 2022 image of the Biblio database and is stored in JSONL format, with each line corresponding to one record.

Jedná se o paralelní korpus českých a převážně anglických abstraktů vědeckých prací a prezentací publikovaných autory z Ústavu formální a aplikované lingvistiky Univerzity Karlovy v Praze. U každého publikačního záznamu jsou autoři povinni uvést jak původní abstrakt (v češtině nebo angličtině), tak jeho překlad (v angličtině nebo češtině) v interním systému Biblio. Údaje byly filtrovány na duplicity a chybějící záznamy, aby každý záznam byl dvojjazyčný. Navíc záznamy publikovaných prací, které jsou indexovány společností SemanticScholar, obsahují příslušný odkaz. Datový soubor byl vytvořen z exportu databáze Biblio ze září 2022 a je uložen ve formátu JSONL, přičemž každý řádek odpovídá jednomu záznamu.


Generating theatre play scripts and Adding and subtracting word senses

Generování scénářů divadelních her a Sčítání a odčítání významů slov

We presented Generating theatre play scripts (THEaiTRE) and Adding and subtracting word senses (word embeddings) to the prospective students

Potenciálním studentům jsme představili Generování scénářů divadelních her (THEaiTRE) a Sčítání a odčítání významů slov (word embeddings)


GPT-2-based Human-in-the-loop Theatre Play Script Generation

Interaktivní generování scénářů divadelních her založené na GPT-2

We experiment with adapting generative language models for the generation of long coherent narratives in the form of theatre plays. Since fully automatic generation of whole plays is not currently feasible, we created an interactive tool that allows a human user to steer the generation somewhat while minimizing intervention. We pursue two approaches to long-text generation: a flat generation with summarization of context, and a hierarchical text-to-text two-stage approach, where a synopsis is generated first and then used to condition generation of the final script. Our preliminary results and discussions with theatre professionals show improvements over vanilla language model generation, but also identify important limitations of our approach.

Experimentujeme s adaptací generativních jazykových modelů pro generování dlouhých souvislých vyprávění v podobě divadelních her. Protože plně automatické generování celých her není v současné době proveditelné, vytvořili jsme interaktivní nástroj, který umožňuje lidskému uživateli poněkud nasměrovat generování a zároveň minimalizovat zásahy. Pro generování dlouhých textů sledujeme dva přístupy: ploché generování se sumarizací kontextu a hierarchický dvoufázový přístup text-to-text, kdy je nejprve vygenerována synopse a poté použita k podmiňování generování konečného scénáře. Naše předběžné výsledky a diskuse s divadelními profesionály ukazují zlepšení oproti základnímu generování, ale také identifikují důležitá omezení našeho přístupu.

Rudolf Rosa
Patrícia Schmidtová
Ondřej Dušek
Tomáš Musil
David Mareček
Saad Obaid ul Islam
Marie Nováková
Klára Vosecká
Josef Doležal


THEaiTRobot: An Interactive Tool for Generating Theatre Play Scripts

THEaiTRobot: Interaktivní nástroj pro generování scénářů divadelních her

We present a free online demo of THEaiTRobot, an open-source bilingual tool for interactively generating theatre play scripts, in two versions. THEaiTRobot 1.0 uses the GPT-2 language model with minimal adjustments. THEaiTRobot 2.0 uses two models created by fine-tuning GPT-2 on purposefully collected and processed datasets and several other components, generating play scripts in a hierarchical fashion (title → synopsis → script). The underlying tool is used in the THEaiTRE project to generate scripts for plays, which are then performed on stage by a professional theatre.

Představujeme volně dostupné online demo THEaiTRobot, dvojjazyčný nástroj s otevřeným zdrojovým kódem pro interaktivní generování scénářů divadelních her, ve dvou verzích. THEaiTRobot 1.0 používá jazykový model GPT-2 s minimálními úpravami. THEaiTRobot 2.0 používá dva modely vytvořené doladěním GPT-2 na cíleně shromážděných a zpracovaných datových souborech a několika dalších komponentách, které hierarchicky generují scénáře divadelních her (název → synopse → skript). Podkladový nástroj se používá v projektu THEaiTRE pro generování scénářů divadelních her, které pak na jevišti hraje profesionální divadlo.

Rudolf Rosa
Patrícia Schmidtová
Alisa Zakhtarenko
Ondřej Dušek
Tomáš Musil
David Mareček
Saad Obaid ul Islam
Marie Nováková
Klára Vosecká
Daniel Hrbek
David Košťák


Improving Both Domain Robustness and Domain Adaptability in Machine Translation

Zlepšení doménové robustnosti a doménové adaptability strojového překladu

We consider two problems of NMT domain adaptation using meta-learning. First, we want to reach domain robustness, i.e., we want to reach high quality on both domains seen in the training data and unseen domains. Second, we want our systems to be adaptive, i.e., making it possible to finetune systems with just hundreds of in-domain parallel sentences. We study the domain adaptability of meta-learning when improving the domain robustness of the model. In this paper, we propose a novel approach, RMLNMT (Robust Meta-Learning Framework for Neural Machine Translation Domain Adaptation), which improves the robustness of existing meta-learning models. More specifically, we show how to use a domain classifier in curriculum learning and we integrate the word-level domain mixing model into the meta-learning framework with a balanced sampling strategy. Experiments on English-German and English-Chinese translation show that RMLNMT improves in terms of both domain robustness and domain adaptability in seen and unseen domains.

V článku řešíme dva komplementární problémy doménové adaptace neuronového strojového překladu za pomocí meta-učení, tzv. meta-learningu. Zaprvé, chceme dosáhnout doménové robustnosti, tj. chceme dosáhnout vysoké kvality překladu jak na doménách, které jsou v trénovacích datech, tak na doménách, které v trénovacích datech nejsou zastoupené. Zadruhé, chceme, aby naše systémy byly snadno adaptibilní, tj. aby umožňovaly dotrénování (tzv. finetuning) systému na novou doménu za použití řádově stovek paralelních vět z dané domény. V tomto článku navrhujeme nový přístup, RMLNMT (Robust Meta-Learning Framework for Neural Machine Translation Domain Adaptation), který zlepšuje robustnost stávajících přístupů založených na meta-learningu. Dále ukazujeme, jak používat doménový klasifikátor v postupném učení (curriculum learning) a integrujeme model míchání domén na úrovni slov do meta-learningového rámce. Experimenty s anglicko-německým a anglicko-čínským překladem ukazují, že RMLNMT dosahuje zlepšení jak z hlediska doménové robustnosti, tak z hlediska adaptability na domény, bez ohledu na to, zda byly zastoupeny v trénovaích datech.

Wen Lai
Jindřich Libovický
Alexander Fraser


Czech Grammar Error Correction with a Large and Diverse Corpus

Oprava gramatických chyb v češtině pomocí velkého a rozmanitého korpusu

We introduce a large and diverse Czech corpus annotated for grammatical error correction (GEC) with the aim to contribute to the still scarce data resources in this domain for languages other than English. The Grammar Error Correction Corpus for Czech (GECCC) offers a variety of four domains, covering error distributions ranging from high error density essays written by non-native speakers, to website texts, where errors are expected to be much less common. We compare several Czech GEC systems, including several Transformer-based ones, setting a strong baseline to future research. Finally, we meta-evaluate common GEC metrics against human judgements on our data. We make the new Czech GEC corpus publicly available under the CC BY-SA 4.0 license at http://hdl.handle.net/11234/1-4639.

Představujeme velký a různorodý český korpus pro opravu gramatických chyb s cílem přispět ke stále nedostatkovým datovým zdrojům v této doméně pro jiné jazyky než angličtinu. Korpus pro gramatickou opravu chyb pro češtinu (GECCC) nabízí čtyři domény, které pokrývají distribuci chyb od esejů s vysokou hustotou chyb napsaných nerodilými mluvčími až po texty webových stránek, kde jsou chyby mnohem méně časté. Porovnáváme několik českých GEC systémů, včetně několika na bázi architektury Transformer, a nastavujeme tak silnou baseline pro budoucí výzkum. V neposlední řadě také provádíme meta-evaluaci běžných GEC metrik pomocí ručního hodnocení na našich datech. Nový český GEC korpus zveřejňujeme pod licencí CC BY-SA 4.0 na adrese http://hdl.handle.net/11234/1-4639.

Jakub Náplava
Milan Straka
Jana Straková
Alexandr Rosen


Overview of the 9th Workshop on Asian Translation

Přehled 9. workshopu o překladech pro asijské jazyky

This paper presents the results of the shared
tasks from the 9th workshop on Asian transla-
tion (WAT2022). For the WAT2022, 8 teams
submitted their translation results for the hu-
man evaluation. We also accepted 4 research
papers. About 300 translation results were sub-
mitted to the automatic evaluation server, and
selected submissions were manually evaluated.

Č lánek představuje výsledky soutěžních úloh z 9. workshopu pro asijský překlad (WAT2022). Osm týmů odeslalo své výsledky pro ruční hodnocení, z celkového počtu asi 300 automaticky hodnocených výstupů.

Toshiaki Nakazawa
Hideya Mino
Isao Goto
Raj Dabre
Shohei Higashiyama
Shantipriya Parida
Anoop Kunchukuttan
Makoto Morishita
Ondřej Bojar
Chenhui Chu
Kaori Abe
Yusuke Oda
Sadao Kurohashi


Discussion after the performance AI: When a Robot Writes a Play

Diskuze po představení AI: Když robot píše hru

What does the robot think about, how does it feel and can it write a play? Snippets from the life of artificial intelligence in its own words. Futuristic Little Prince of the postpandemic era.
Every reprise will be followed by a debate with experts in artificial intelligence and theater makers. The show is not only a testament to the current capabilities of computer technology, but also an engaging vision of the future world inspired by the sci-fi classics.

O čem robot přemýšlí, co cítí a dokáže napsat divadelní hru? Střípky ze života umělé inteligence jejími vlastními slovy. Futuristický Malý princ z doby postpandemické.
Inscenace, po jejíž každé repríze následuje debata s odborníky na umělou inteligenci i divadelními tvůrci, je nejen svědectvím o současných schopnostech počítačových technologií, ale i poutavou vizí budoucího světa inspirující se v klasikách žánru sci-fi.


In ParlaMint I, a CLARIN-ERIC supported project in pandemic times, a set of comparable and uniformly annotated multilingual corpora for 17 national parliaments were developed and released in 2021. For 2022 and 2023, the project has been extended to ParlaMint II, again with the CLARIN ERIC financial support, in order to enhance the existing corpora with new data and metadata; upgrade the XML schema; add corpora for 10 new parliaments; provide more application scenarios and carry out additional experiments. The paper reports on these planned steps, including some that have already been taken, and outlines future plans.

V ParlaMint I, projektu podporovaném CLARIN-ERIC v době pandemie, byla v roce 2021 vyvinuta a vydána sada srovnatelných a jednotně anotovaných vícejazyčných korpusů pro 17 národních parlamentů. Pro roky 2022 a 2023 byl projekt rozšířen na ParlaMint II, opět s finanční podporou CLARIN-ERIC, s cílem rozšířit stávající korpusy o nová data a metadata; aktualizovat schéma XML; přidat korpusy pro 10 nových parlamentů; poskytnout více scénářů aplikace a provést další experimenty. Dokument informuje o těchto plánovaných krocích, včetně některých, které již byly podniknuty, a nastiňuje budoucí plány.

Maciej Ogrodniczuk
Petya Osenova
Tomaž Erjavec
Darja Fišer
Nikola Ljubešić
Çağrı Çöltekin
Matyáš Kopp
Katja Meden


Probing the Role of Positional Information in Vision-Language Models

Zkoumání role poziční informace v modelech kombinujích jazyk a vidění

In most Vision-Language models (VL), the understanding of the image structure is enabled by injecting the position information (PI) about objects in the image. In our case study of LXMERT, a state-of-the-art VL model, we probe the use of the PI in the representation and study its effect on Visual Question Answering. We show that the model is not capable of leveraging the PI for the image-text matching task on a challenge set where only position differs. Yet, our experiments with probing confirm that the PI is indeed present in the representation. We introduce two strategies to tackle this: (i) Positional Information Pre-training and (ii) Contrastive Learning on PI using Cross-Modality Matching. Doing so, the model can correctly classify if images with detailed PI statements match. Additionally to the 2D information from bounding boxes, we introduce the object’s depth as new feature for a better object localization in the space. Even though we were able to improve the model properties as defined by our probes, it only has a negligible effect on the downstream performance. Our results thus highlight an important issue of multimodal modeling: the mere presence of information detectable by a probing classifier is not a guarantee that the information is available in a cross-modal setup.

Ve většině modelů kombinujících jazyk a vizuální informaci (Vision-Language, VL) je porozumění struktuře obrazu umožněno přidáním informací o poloze objektů v obraze. V naší případové studii se věmnujeme modelu VL modelu LXMERT a zkoumáme použití jakým způsobem poziční informaci používá a studujeme její vliv na úspěšnost v úloze odpovídání otázek o obrázcích. Ukazujeme, že model není schopen poziční informaci využít pro přiřazování textů k obrázkům, pokud se texty liší polohou objektů. A to i přesto, že další experimenty ale ukazují, že PI je v modelech skutečně přítomna. Představujeme dvě strategie, jak se s tímto problémem vypořádat: (i) předtrénování s přidanou informací o poloze a (ii) kontrastní učení s porovnáváním napříč modalitami. Tímto způsobem může model správně klasifikovat, zda se obrázky s podrobnými výroky PI shodují. Kromě 2D informací o objektech na obrázku, přidáváme hloubku objektu pro lepší lokalizaci v prostoru. Přestože se nám podařilo zlepšit vlastnosti modelu, na kvalitu odpovídání otázek to má jen zanedbatelný vliv. Naše výsledky tak poukazují na důležitý problém multimodálního modelování: pouhá přítomnost informace detekovatelné klasifikátorem není zárukou, že tato informace je k dispozici napříč modalitami.


A two-part interactive afternoon will feature a screening of the experimental play AI: When a Robot Writes a Play, written in full by a computer, telling a story of a robot left to the mercy of various representatives of human society after its master dies. The screening will be followed by a workshop with instructors David Kostak and Rudolf Rosa, offering participants the chance to collaborate with a robot on composing a script.

Dvoudílné interaktivní odpoledne bude obsahovat projekci experimentální hry AI: When a Robot Writes a Play, kterou v plném znění napsal počítač a která vypráví příběh robota, jenž byl po smrti svého pána vydán na milost různým představitelům lidské společnosti. Po projekci bude následovat workshop s instruktory Davidem Košťákem a Rudolfem Rosou, který účastníkům nabídne možnost spolupracovat s robotem na tvorbě scénáře.


Can a robot write a play? What is the writing process like? What type of input can spark AI’s creativity to write a desired scene? How far has modern technology evolved in terms of robotic writing? The creators of the first ever computer-written play will present you the THEaiTRE project which explores the possibilities of artificial intelligence in the playwriting field.

Může robot napsat hru? Jaký je proces psaní? Jaký typ vstupu může podnítit kreativitu umělé inteligence, aby napsala požadovanou scénu? Jak daleko se moderní technologie vyvinuly, pokud jde o robotické psaní? Tvůrci vůbec první počítačově psané hry vám představí projekt THEaiTRE, který zkoumá možnosti umělé inteligence na poli psaní her.


Learning Interpretable Latent Dialogue Actions With Less Supervision

Učení interpretovatelných latentních dialogových akcí za použití méně anotovaných dat

We present a novel architecture for explainable modeling of task-oriented dialogues with discrete latent variables to represent dialogue actions. Our model is based on variational recurrent neural networks (VRNN) and requires no explicit annotation of semantic information. Unlike previous works, our approach models the system and user turns separately and performs database query modeling, which makes the model applicable to task-oriented dialogues while producing easily interpretable action latent variables. We show that our model outperforms previous approaches with less supervision in terms of perplexity and BLEU on three datasets, and we propose a way to measure dialogue success without the need for expert annotation. Finally, we propose a novel way to explain semantics of the latent variables with respect to system actions.

Představujeme novou architekturu pro modelování task-oriented dialogů vysvětlitelným způsobem. Tato architektura používá latentní proměnné pro reprezentaci dialogových akcí. Náš model je založen na variačních rekurentních neuronových sítích a nevyžaduje explicitně anotované sémantické informace. Narozdíl od předešlých prací, naše metoda modeluje promluvy systému a uživatele odděleně a modeluje navíc i databázové dotazy, což činí model aplikovatelným na task-oriented systémy. Tato metoda zároveň vytváří jednoduše interpretovatelné latentní proměnné reprezentující akce.
Ukázali jsme, že náš model dosahuje lepších výsledků než předešlé přístupy pracující s omezenou anotací dat, pokud se týká BLEU skóre a perplexity, a to na třech datasetech. Dále navrhujeme způsob měření úspěšnosti dialogů, který nevyžaduje anotaci experta. V neposlední řadě také představujeme inovativní způsob vysvětlení sémantiky obsažené v latentních proměnných.


DIASER: A Unifying View On Task-oriented Dialogue Annotation

DIASER: Sjednocující pohled na anotaci dat pro task-oriented dialogy

Every model is only as strong as the data that it is trained on. In this paper, we present a new dataset, obtained by merging four publicly available annotated corpora for task-oriented dialogues in several domains (MultiWOZ 2.2, CamRest676, DSTC2 and Schema-Guided Dialogue Dataset). This way, we assess the feasibility of providing a unified ontology and annotation schema covering several domains with a relatively limited effort. We analyze the characteristics of the resulting dataset along three main dimensions: language, information content and performance. We focus on aspects likely to be pertinent for improving dialogue success, e.g. dialogue consistency. Furthermore, to assess the usability of this new corpus, we thoroughly evaluate dialogue generation performance under various conditions with the help of two prominent recent end-to-end dialogue models: MarCo and GPT-2. These models were selected as popular open implementations representative of the two main dimensions of dialogue modelling. While we did not observe a significant gain for dialogue state tracking performance, we show that using more training data from different sources can improve language modelling capabilities and positively impact dialogue flow (consistency). In addition, we provide the community with one of the largest open dataset for machine learning experiments.

Každý model je pouze tak dobrý, jak dobrá jsou data použitá k jeho trénování. V této práci představujeme nový dataset, získaný sloučením čtyř veřejně dostupných korpusů pro task-oriented dialogy v několika doménách (MultiWOZ 2.2, CamRest676, DSTC2 a Schema-Guided Dialogue Dataset). Touto cestou ověřujeme, že je možné vytvořit sjednocující ontologii a anotační schéma pokrývající několik domém s vyvinutím relativně malého úsilí.
V práci analyzujeme charakteristiky získaného datasetu ve třech dimenzích: jazyk, obsah informací a vliv na kvalitu modelu. Zaměřujeme se na aspekty u kterých je velká šance že přispějí ke zlepšení úspěšnosti modellu. Dále detailně vyhodnocujeme kvalitu dialogů vygenerovaných z modelu natrénovaného na našich datech. Pro trénování využíváme modely MarCo a GPT-2.
Ač jsme nepotvrdili významné zlepšení úspěšnosti sledování dialogového stavu, ukazujeme, že zapojení více zdrojů dat zlepšuje schopnost modelovat jazyk a přispívá k lepší konzistenci.

Vojtěch Hudeček
Léon-Paul Schaub
Daniel Štancl
Patrick Paroubek
Ondřej Dušek


TEAM UFAL @ CreativeSumm 2022: BART and SamSum based few-shot approach for creative Summarization

TEAM UFAL @ CreativeSumm 2022: few-shot přístup založený na BART a SamSum pro kreativní sumarizaci

This system description paper details TEAM UFAL’s approach for the SummScreen, TVMegasite subtask of the CreativeSumm shared task. The subtask deals with creating summaries for dialogues from TV Soap operas. We utilized BART based pre-trained model fine-tuned on SamSum dialouge summarization dataset. Few examples from AutoMin dataset and the dataset provided by the organizers were also inserted into the data as a few-shot learning objective. The additional data was manually broken into chunks based on different boundaries in summary and the dialogue file. For inference we choose a similar strategy as the top-performing team at AutoMin 2021, where the data is split into chunks, either on [SCENE_CHANGE] or exceeding a pre-defined token length, to accommodate the maximum token possible in the pre-trained model for one example. The final training strategy was chosen based on how natural the responses looked instead of how well the model performed on an automated evaluation metrics such as ROGUE.

Tato práce s popisem systému podrobně popisuje přístup TEAM UFAL pro SummScreen, TVMegasite podúkol sdíleného úkolu CreativeSumm. Podúkol se zabývá vytvářením souhrnů pro dialogy z oper TV Soap. Využili jsme BART na bázi předcvičeného modelu vyladěného na SamSum dialouge sumarizační datové sadě. Několik příkladů z AutoMin datové sady a datové sady poskytnuté organizátory bylo také vloženo do dat jako cíl učení na několik záběrů. Dodatečná data byla ručně rozdělena na bloky na základě různých hranic v souhrnu a dialogovém souboru. Pro odvození volíme podobnou strategii jako špičkový tým na AutoMin 2021, kde jsou data rozdělena na bloky, buď na [SCENE_CHANGE] nebo přesahující předdefinovanou délku tokenu, aby se pro jeden příklad vešlo maximum tokenu možného v předcvičeném modelu. Finální tréninková strategie byla zvolena na základě toho, jak přirozené odpovědi vypadaly, namísto toho, jak dobře model fungoval na automatizovaných vyhodnocovacích metrikách, jako je ROGUE.


Attitude in diplomatic speeches: a pilot study

Postoj v diplomatických projevech: pilotní studie

This paper presents a pilot study of attitude analysis in diplomatic discourse. The study was conducted by following the
Appraisal Theory while annotating attitudinal expressions in the diplomatic speeches of the United Nations Security Council.
It is supposed that the Appraisal scheme would unfold new valuable information about the distribution of attitudes in the
diplomatic discourse due to the highly specific ranking of different types of opinion representations. The aim of the study is to
analyze the application of the theory to real diplomatic data. To be fully comprehensible, these texts, though straightforward
on the surface, require additional attention from the reader. The data consist of 20 speeches that were sampled from the
UN Security Council Debates dataset and then manually annotated by applying the “attitude” part of the Appraisal theory
scheme. The annotation process has shown problematic points regarding the influence of polarity of the actors on expressing
attitudes, attitudes implicated in the proper names and phrases, identifying appraisal, as well as the annotator’s subjectivity
issue. We have concluded that the Appraisal theory annotation scheme is generally well applicable to diplomatic speeches.
As for the unclear cases, we have proposed some solutions which could be taken into modification.

Tento článek představuje pilotní studii analýzy postojů v diplomatickém diskurzu. Studie byla provedena podle
Teorie hodnocení při anotaci postojových projevů v diplomatických projevech Rady bezpečnosti OSN.
Předpokládá se, že schéma hodnocení může přinést nové cenné informace o rozložení postojů ve společnosti
diplomatický diskurz díky vysoce specifickému řazení různých typů názorových reprezentací. Cílem studie je
analyzovat aplikaci teorie na reálná diplomatická data. Aby byly tyto texty plně srozumitelné, vyžadují hlubší pozornost čtenáře, i když na první pohled vypadají jednoduše. Data se skládají z 20 projevů, které byly vybrány z datového souboru
Rady bezpečnosti OSN a poté ručně anotovány podle sekce "postoj" v teorii hodnocení. Proces anotace ukázal problematické body, pokud jde o vliv polarity aktérů na vyjadřování
postoje, dále u postojů spojených s vlastními jmény a frázemi, u identifikace hodnocení, stejně jako u subjektivita anotátorů. Došli jsme k závěru, že anotační schéma teorie hodnocení je obecně dobře použitelné pro diplomatické projevy.
Co se týče nejasných případů, navrhli jsme některá řešení, která by mohla být upravena.


From COMET to COMES – Can Summary Evaluation Benefit from Translation Evaluation?

Od COMET k COMES – může mít hodnocení sumarizace prospěch z hodnocení překladu?

Comet is a recently proposed trainable neural-based evaluation metric developed to assess the quality of Machine Translation systems. In this paper, we explore the usage of Comet for evaluating Text Summarization systems -- despite being trained on multilingual MT outputs, it performs remarkably well in monolingual settings, when predicting summarization output quality. We introduce a variant of the model -- Comes -- trained on the annotated summarization outputs that uses MT data for pre-training. We examine its performance on several datasets with human judgments collected for different notions of summary quality, covering several domains and languages.

Comet je nedávno navržená trénovatelná neurální vyhodnocovací metrika vyvinutá pro hodnocení kvality systémů strojového překladu. V tomto článku prozkoumáme použití Cometu pro vyhodnocování systémů sumarizace textu – přestože jsme byli vyškoleni na vícejazyčné výstupy MT, funguje pozoruhodně dobře v jednojazyčném prostředí, když předpovídá kvalitu výstupu sumarizace. Představujeme variantu modelu -- Comes -- trénovanou na anotovaných sumárních výstupech, která využívá MT data pro předtrénování. Zkoumáme jeho výkon na několika souborech dat s lidskými úsudky shromážděnými pro různé pojmy souhrnné kvality, které pokrývají několik domén a jazyků.


Natural Language Processing In Healthcare, A Special Focus on Low Resource Languages

Zpracování přirozeného jazyka ve zdravotnicví, Cílený pohled na málo pokryté jazyky

Natural Language Processing In Healthcare: A Special Focus on Low Resource Languages covers the theoretical and practical aspects as well as ethical and social implications of NLP in healthcare. It showcases the latest research and developments contributing to the rising awareness and importance of maintaining linguistic diversity. The book goes on to present current advances and scenarios based on solutions in healthcare and low resource languages and identifies the major challenges and opportunities that will impact NLP in clinical practice and health studies.

Soubor kapitol shrnujících čerstvé poznatky z uplatňování metod zpracování přirozeného jazyka ve zdravotnictví zvláště s ohledem na jazyky s nedostatečnými jazykovými daty.

Satya Ranjan Dash
Shantipriya Parida
Esau Villatoro Tello
Biswaranjan Acharya
Ondřej Bojar


Defending Compositionality in Emergent Languages

Obhajoba kompozicionality v jazykových hrách

Compositionality has traditionally been understood as a major factor in productivity of language and, more broadly, human cognition. Yet, recently, some research started to question its status, showing that artificial neural networks are good at generalization even without noticeable compositional behavior. We argue that some of these conclusions are too strong and/or incomplete. In the context of a two-agent communication game, we show that compositionality indeed seems essential for successful generalization when the evaluation is done on a proper dataset.

V kontextu jazykových her ukazujeme, že kompozicionální zprávy jsou nutné k úspěšnému zobecňování na datech pocházejících z pozměněné distribuce.


AI, artificial intelligence, smart devices, machine learning... We hear these words around us more and more. Artificial intelligence is gradually infiltrating many fields of human activity, from the development of new drugs to the writing of plays to religion. But is it all the same artificial intelligence? What does it do? How is it used? And what exactly is AI?

AI, umělá inteligence, chytrá zařízení, strojové učení... Tato slova kolem sebe slýcháme stále častěji. Umělá inteligence postupně proniká do mnoha oborů lidské činnosti, od vývoje nových léků přes psaní divadelních her až po náboženství. Je to ale všechno stejná umělá inteligence? Co umí? Jak se používá? A co to vlastně je AI?

Luca Baroni
Tereza Hannemann
Helena Lazarová
Jindřich Libovický
Petr Kácovský
Petr Kajzar
Nikol Kopáňková
Michaela Mazná
Rudolf Rosa
František Štěch
Alisa Zakhtarenko
Tomáš Musil


Automated Evaluation Metric for Terminology Consistency in MT

Automatická metrika pro terminologickou konzistenci překladu

The most widely used metrics for machine translation tackle sentence-level evaluation. However, at least for professional domains such as legal texts, it is crucial to measure the consistency of the translation of the terms throughout the whole text.

This paper introduces an automated metric for the term consistency evaluation in machine translation (MT). To demonstrate the metric's performance, we used the Czech-to-English translated texts from the ELITR 2021 agreement corpus and the outputs of the MT systems that took part in WMT21 News Task. We show different modes of our evaluation algorithm and try to interpret the differences in the ranking of the translation systems based on sentence-level metrics and our approach. We also demonstrate that the proposed metric scores significantly differ from the widespread automated metric scores, and correlate with the human assessment.

Článek představuje novou metodu vyhodnocování strojového překladu, která se věnuje terminologické konzistenci.


CUNI-KIT System for Simultaneous Speech Translation Task at IWSLT 2022

CINI-KIT Syst0m pre Simultaneous Speech Translation Task na IWSLT 2022

In this paper, we describe our submission to the Simultaneous Speech Translation at IWSLT 2022. We explore strategies to utilize an offline model in a simultaneous setting without the need to modify the  riginal model. In our experiments, we show that our onlinization algorithm is almost on par with the offline setting while being 3×  faster than offline in terms of latency on the test set. We make our system publicly available.

V tomto článku popisujeme naše předložení k Simultaneous Speech Translation na
IWSLT 2022. Zkoumáme strategie využití offline modelu v simultánním prostředí bez nutnosti upravovat původní model. V našich experimentech ukazujeme, že náš online algoritmus je téměř na stejné úrovni jako offline nastavení, přičemž je 3× rychlejší než offline, pokud jde o latenci na testovací sadě. Náš systém zpřístupňujeme veřejnosti.

Peter Polák
Ngoc-Quan Ngoc
Tuan-Nam Nguyen
Danni Liu
Carlos Mullov
Jan Niehues
Ondřej Bojar
Alex Waibel


ALIGNMEET: A Comprehensive Tool for Meeting Annotation, Alignment, and Evaluation

ALIGNMEET: Komplexní nástroj pro anotaci, zarovnání a hodnocení schůzek

Meeting summarization is primarily focused on topi cal coverage rather than on fluency or coherence. It is a challenging and tedious task, even when meeting summaries are created manually. The resulting sum maries vary in the goals, style, and they are inevitably very subjective due to the human in the loop. Also, the awareness of the context of the meeting is essential to create adequate and informative summaries.

Sumarizace schůzek se primárně zaměřuje spíše na aktuální téma než na plynulost nebo koherenci. Je to náročný a zdlouhavý úkol, i když se shrnutí schůzek vytváří ručně. Výsledná shrnutí se liší v cílech, stylu a jsou nevyhnutelně velmi subjektivní kvůli člověku, který je ve smyčce. Pro vytvoření adekvátních a informativních shrnutí je rovněž nezbytné uvědomění si kontextu schůzky.

Peter Polák
Muskaan Singh
Anna Nedoluzhko
Ondřej Bojar


Identification of plausible and incoherent instructions

Identifikace věrohodných a nesouvislých pokynů

This paper addresses the problem of plausibility in instructional texts. This may occur from various
interpretations of ambiguous or vague contexts when there are phrases not explicitly defined.
The 7th task from Semeval 2022 competition was about a corpus with revisions of Wikihow
underspecified instructional texts. The revisions were turned into cloze test sentences containing a
context with a placeholder and 5 possible phrases as a possible choice that can illustrate various
interpretations. Each one also has a plausibility grade and a label which was the target of the competition.
For participating, we initiated a ”first round” of experiments for finetuning Transformer
based models: given a sentence with the context and the filler, we have a model to predict the
mentioned labels, and another model deals with the plausibility score. The performance of our best
classifier ranked us in 18th place out of 19 candidates.
After the competition ended, we carried on with implementations, trying to overcome the last
performance in a ”second round”. We implemented certain augmentations, explained in Appendices,
a new loss: CORAL, used for exploiting the fact that our labels can be ordered and eventually
trained into a multitask model. These improvements would have placed us in 11th place in
classification and in 7th place in the regression task.
Moreover, we implemented a minimalist web application for evaluating the plausibility score
in cloze tests. This may be further extended in an online platform with more tests dedicated to
language learners for evaluating their reading comprehension.

Tento článek se zabývá problémem věrohodnosti v učebních textech. K tomu může dojít z různých
výklady nejednoznačných nebo vágních kontextů, pokud existují fráze, které nejsou explicitně definovány.
7. úkol ze soutěže Semeval 2022 byl o korpusu s revizemi Wikihow
nedostatečně specifikované učební texty. Revize byly převedeny do uzavřených testovacích vět obsahujících a
kontext se zástupným symbolem a 5 možnými frázemi jako možný výběr, který může ilustrovat různé
výklady. Každý z nich má také stupeň věrohodnosti a označení, které bylo cílem soutěže.
Kvůli účasti jsme zahájili „první kolo“ experimentů pro doladění Transformeru
založené modely: dostaneme-li větu s kontextem a výplní, máme model k předpovědi
zmíněných štítků a další model se zabývá skóre věrohodnosti. Výkon našich nejlepších
klasifikátor nás zařadil na 18. místo z 19 kandidátů.
Po skončení soutěže jsme pokračovali v implementacích a snažili se překonat poslední
výkon ve „druhém kole“. Implementovali jsme určitá rozšíření, vysvětlená v dodatcích,
nová ztráta: CORAL, sloužící k využití toho, že naše etikety lze objednat a popř
trénovaný na multitaskový model. Tato vylepšení by nás umístila na 11. místo
klasifikaci a na 7. místě v regresní úloze.
Navíc jsme implementovali minimalistickou webovou aplikaci pro hodnocení skóre věrohodnosti
v uzavřených testech. To může být dále rozšířeno v online platformě s dalšími testy věnovanými
studentům jazyků k hodnocení jejich porozumění čtenému textu.


Astute Approach to Handling Memory Layouts of Regular Data Structures

Chytrý přístup k práci s rozložením paměti pravidelných datových struktur

Programmers of high-performance applications face many challenging aspects of contemporary hardware architectures. One of the critical aspects is the efficiency of memory operations which is affected not only by the hardware parameters such as memory throughput or cache latency but also by the data-access patterns, which may influence the utilization of the hardware, such as re-usability of the cached data or coalesced data transactions. Therefore, a performance of an algorithm can be highly impacted by the layout of its data structures or the order of data processing which may translate into a more or less optimal sequence of memory operations. These effects are even more pronounced on highly-parallel platforms, such as GPUs, which often employ specific execution models (lock-step) or memory models (shared memory).

In this work, we propose a modern, astute approach for managing and implementing memory layouts with first-class structures that is very efficient and straightforward. This approach was implemented in Noarr, a GPU-ready portable C++ library that utilizes generic programming, functional design, and compile-time computations to allow the programmer to specify and compose data structure layouts declaratively while minimizing the indexing and coding overhead. We describe the main principles on code examples and present a performance evaluation that verifies our claims regarding its efficiency.

Programátoři vysoce výkonných aplikací čelí mnoha náročným aspektům soudobých hardwarových architektur. Jedním z kritických aspektů je efektivita paměťových operací, která je ovlivněna nejen hardwarovými parametry, jako je propustnost paměti nebo latence cache, ale také vzory přístupu k datům, které mohou ovlivnit využití hardwaru, jako je opětovná použitelnost dat v cache nebo koalescenované datové transakce. Proto může být výkon algoritmu silně ovlivněn rozvržením jeho datových struktur nebo pořadím zpracování dat, které se může promítnout do více či méně optimální posloupnosti paměťových operací. Tyto efekty jsou ještě výraznější na vysoce paralelních platformách, jako jsou GPU, které často používají specifické prováděcí modely (lock-step) nebo paměťové modely (sdílená paměť).

V této práci navrhujeme moderní, bystrý přístup pro správu a realizaci paměťových rozvržení s prvotřídními strukturami, který je velmi efektivní a přímočarý. Tento přístup byl implementován v Noarru, přenosné C++ knihovně připravené pro GPU, která využívá generické programování, funkční design a kompilační výpočty, aby programátor mohl deklarativně specifikovat a skládat rozvržení datových struktur a zároveň minimalizovat režii indexování a kódování. Popisujeme hlavní principy na příkladech kódu a předkládáme hodnocení výkonu, které ověřuje naše tvrzení ohledně jeho efektivity.

Adam Šmelko
Martin Kruliš
Miroslav Kratochvíl
Jiří Klepl
Jiří Mayer
Petr Šimůnek


Self-paced reading experiments on explicit and implicit contrastive and temporal discourse relations in Czech

Supplementary materials for the paper “Processing of explicit and implicit contrastive and temporal discourse relations in Czech” (submitted to Discourse Processes).
Experimental stimuli; data analysis code and plot; data for the concession, confrontation, synchrony, and asynchrony relations.

Doplňkové materiály ke článku “Processing of explicit and implicit contrastive and temporal discourse relations in Czech” (zasláno do Discourse Processes).
Experimentální stimuly; kód datové analýzy a výsledky; data pro vztah přípustky, konfrontace, současnosti a nesoučasnosti.


Globální struktura textu: korpusová studie

Structuration globale du texte: une étude de corpus

The presented analysis is a preparatory step for the research on the higher construction of the text (global coherence) in the Prague Dependency Treebank. We analyzed the phenomena related to the higher structuring of the text, the marking of which was done as a by-product of the annotation of implicit discourse relations. These phenomena form four larger groups, which we describe in more detail: phenomena of the internal structuring of one narrative line, changes of perspective in the text due to the change of speakers, phenomena of the external structuring of the text and phenomena related to genre rules. We also tried to include these phenomena in the overview of existing or planned aspects of textual analysis in the Prague Dependency Corpus as a proposal of an enrichment of the analysis of textual coherence.

Předložená analýza je přípravným krokem pro rozbor vyšší výstavby textu (globální koherence) v Pražském závislostním korpusu. Analyzovali jsme jevy související s vyšším strukturováním textu, jejichž značení bylo provedeno jako vedlejší produkt anotace implicitních diskurzních vztahů. Tyto jevy tvoří čtyři větší skupiny, které popisujeme blíže: jevy vnitřní strukturace jedné vyprávěcí linie, změny perspektivy v textu dané střídáním mluvčích, jevy vnější strukturace textu a jevy související se žánrovými pravidly. Pokusili jsme se také tyto jevy zahrnout do přehledu existujících či plánovaných aspektů textové analýzy v Pražském závislostním korpusu jako návrh na obohacení analýzy textové koherence.

La présente étude constitue une étape préparatoire à l’analyse de la structuration globale du texte  (cohérence globale) dans le Corpus pragois de dépendances. Nous avons analysé les phénomènes relatifs à la structuration au niveau global, leur marquage ayant été effectué en tant que produit secondaire de l’annotation des relations discursives implicites. Ces phénomènes peuvent être rassemblés en quatre grands groupes que nous décrivons plus en détail : des phénomènes de structuration interne d’une ligne narrative, des changements de perspectives dans le texte relevant des tours de parole entre les énonciateurs, des phénomènes de structuration externe du texte et des phénomènes liés aux règles de composition inhérentes au genre de texte donné. Nous avons tenté également d’intégrer ces phénomènes dans un tableau reprenant les aspects existants ou en préparation de l’analyse textuelle dans le Corpus pragois de dépendances en guise de proposition pour l’enrichissement de l’analyse de la cohérence textuelle.

Šárka Zikánová
Jiří Mírovský
Lucie Poláková


Morphosyntactic features in distributional space

Morfosyntaktické vlastnosti v distribučním prostoru

The work deals with the paradigmatic system of Czech inflexion from the perspective of distributional semantics. We use extensive morphological and corpus resources available for Czech to obtain models of the Czech distributional vector space and examine the behaviour of selected morphosyntactic features of Czech nouns and adjectives.

Práce se zabývá paradigmatickým systémem české flexe z perspektivy distribuční sémantiky. Využíváme rozsáhlé morfologické zdroje a korpusy k získání modelů distribuční sémantiky češtiny a zkoumáme chování vybraných morfosémantických vlastností českých podstatných a přídavných jmen.

Olivier Bonami
Marine Wauquier
Lukáš Kyjánek


On diglossia in Czech monolingual dictionaries

K diglosii v českých výkladových slovnících

On the basis of an extensive analysis of frequency peaks in spoken and written corpora, the author considers the possible use of these data in a monolingual dictionary of Czech, mainly from two perspectives: first, as a source of support for dictionary authors to specify traditional information regarding style, and second, as a source of user information about the central lexicon of Czech and as a basis for the so-called learner’s dictionary.

Autorka na základě rozsáhlé analýzy frekvenčních špiček mluveného a psaného korpusu uvažuje nad možným využitím těchto dat ve výkladovém slovníku češtiny, a to zejména ze dvou pohledů: jednak jako opory pro slovníkáře při specifikaci tradiční stylové informace a jednak jako uživatelské informace o centrálním lexiku češtiny a základu pro
tzv. learner’s dictionary


ÚFAL CorPipe at CRAC 2022: Effectivity of Multilingual Models for Coreference Resolution

ÚFAL CorPipe na CRAC 2022: Efektivita vícejazyčných modelů při rozpoznávání koreference

We describe the winning submission to the CRAC 2022 Shared Task on Multilingual Coreference Resolution. Our system first solves mention detection and then coreference linking on the retrieved spans with an antecedent-maximization approach, and both tasks are fine-tuned jointly with shared Transformer weights. We report results of fine-tuning a wide range of pretrained models. The center of this contribution are fine-tuned multilingual models. We found one large multilingual model with sufficiently large encoder to increase performance on all datasets across the board, with the benefit not limited only to the underrepresented languages or groups of typologically relative languages. The source code is available at https://github.com/ufal/crac2022-corpipe.

Představujeme vítězný systém z CRAC 2022 Shared Task on Multilingual Coreference Resolution. Náš systém nejprve rozpoznává koreferenční zmínky a poté předpovídá koreferenční odkazy na získaných úsecích. Oba úkoly jsou trénovány najednou použitím společného předtrénovaného modelu architektury Transformer, kterých vyhodnocujeme širokou škálu. Náš hlavní příspěvek jsou vícejazyčné modely. Zjistili jsme, že jeden velký vícejazyčný model s dostatečně velkým enkodérem dosahuje nejlepších výsledků na všech datasetech, nejen na nedostatečně zastoupených jazycích či na skupinách typologicky podobných jazyků. Zdrojový kód je dostupný na https://github.com/ufal/crac2022-corpipe.


A data-based approach to competition in word-formation

Datově orientovaný přístup ke kompetici ve slovotvorbě

The presentation summarises the work of our START grant team on the topic of competition in word formation. It presents language resources as well as the methodology used in the mentioned research area.

Prezentace shrnuje dosavadní práci našeho grantového týmu START na tématu kompetice ve slovotvorbě. Prezentují se jak jazykové zdroje, tak metodologie používané v rámci dané výzkumné oblasti.


Web-based Annotation Interface for Derivational Morphology

Webové anotační prostředí pro derivační morfologii

The paper presents a visual interface for manual annotation of language resources for derivational morphology. The interface is webbased and created using relatively simple programming techniques, and yet it rapidly facilitates and speeds up the annotation process, especially in languages with rich derivational morphology. As such, it can reduce the cost of the process. After introducing manual annotation tasks in derivational morphology, the paper describes the new visual interface and a case study that compares the current annotation method to the annotation using the interface. In addition, it also demonstrates the opportunity to use the interface for manual annotation of syntactic trees. The source codes are freely available under the MIT License on GitHub.

Práce představuje vizuální rozhraní pro manuální anotaci jazykových zdrojů pro derivační morfologii. Rozhraní je webové a je vytvořeno pomocí relativně jednoduchých programovacích technik, a přesto zásadně usnadňuje a urychluje proces anotace, zejména v jazycích s bohatou derivační morfologií. Jako takový může nástroj snížit náklady na proces ručních anotací. Po představení manuálních anotačních úloh v derivační morfologii práce popisuje nové vizuální rozhraní a případovou studii, která porovnává stávající anotační metodu s anotací pomocí vytvořeného rozhraní. Kromě toho příspěvek také demonstruje možnost využít rozhraní pro manuální anotaci syntaktických stromů. Zdrojové kódy jsou volně dostupné pod licencí MIT na GitHubu.


A Distributional Approach to Inflection vs. Derivation in Czech

Distribuční přístup k flexi vs. derivaci v češtině

The work deals with the borderline between inflexion and derivation in Czech, especially from the perspective of distributional semantics. We use extensive morphological and corpus resources available for Czech to obtain models of the Czech distributional vector space and examine a collection of 24 types of morphological contrasts exemplifying canonical inflexion, canonical derivation, and different types of intermediate cases.

Práce se zabývá hranicí mezi flektivní a derivační morfologií v češtině, zvláště pak z perspektivy distribuční sémantiky. Využíváme rozsáhlé morfologické zdroje a korpusy k získání modelů distribuční sémantiky češtiny a zkoumáme kolekci 24 typů morfologických kontrastů reprezentujících jak kanonickou flexi a kanonickou derivaci, tak různé typy mezních případů.


Package of word embeddings of Czech from a large corpus

This package comprises eight models of Czech word embeddings trained by applying word2vec (Mikolov et al. 2013) to the currently most extensive corpus of Czech, namely SYN v9 (Křen et al. 2022). The minimum frequency threshold for including a word in the model was 10 occurrences in the corpus. The original lemmatisation and tagging included in the corpus were used for disambiguation. In the case of word embeddings of word forms, units comprise word forms and their tag from a positional tagset (cf. https://wiki.korpus.cz/doku.php/en:pojmy:tag) separated by '>'.

The published package provides models trained on both tokens and lemmas. In addition, the models combine training algorithms (CBOW and Skipgram) and dimensions of the resulting vectors (100 or 500), while the training window and negative sampling remained the same during the training. The package also includes files with frequencies of word forms (vocab-frequencies.forms) and lemmas (vocab-frequencies.lemmas).

Tento balíček obsahuje osm modelů českých slovních vektorů vytvořených nástrojem word2vec (Mikolov a kol. 2013) na aktuálně nejrozsáhlejším korpusu češtiny SYN v9 (Křen a kol. 2022). Minimální frekvenční práh pro zahrnutí slova do modelu byl 10 výskytů v korpusu. Pro desambiguaci byla použita původní lemmatizace a tagování obsažené v korpusu. V případě vektorů slovních forem se rozumí slovní formy a jejich tag z pozičního tagsetu (srov. https://wiki.korpus.cz/doku.php/en:pojmy:tag) oddělené '>'.

Publikovaný balíček poskytuje modely natrénované jak na slovní formy, tak pro lemmata. Kromě toho modely kombinují tréninkové algoritmy (CBOW a Skipgram) a rozměry výsledných vektorů (100 nebo 500), zatímco tréninkové okno a negativní vzorkování zůstalo během tréninku stejné. Balíček také obsahuje soubory s frekvencemi slovních forem (vocab-frequencies.forms) a lemmat (vocab-frequencies.lemmas).


Constructing a Lexical Resource of Russian Derivational Morphology

Příprava lexikálních dat pro derivační morfologii ruštiny

Words of any language are to some extent related thought the ways they are formed. For instance, the verb exempl-ify and the noun example-s are both based on the word example, but the verb is derived from it, while the noun is inflected. In Natural Language Processing of Russian, the inflection is satisfactorily processed; however, there are only a few machine-tractable resources that capture derivations even though Russian has both of these morphological processes very rich. Therefore, we
devote this paper to improving one of the methods of constructing such resources and to the application of the method to a Russian lexicon, which results in the creation of the largest lexical resource of Russian derivational relations. The resulting database dubbed DeriNet.RU includes more than 300 thousand lexemes connected with more than 164 thousand binary
derivational relations. To create such data, we combined the existing machine-learning methods that we improved to manage this goal. The whole approach is evaluated on our newly created data set of manual, parallel annotation. The resulting
DeriNet.RU is freely available under an open license agreement.

Slova jsou v jazycích provázána slovotvornými vztahy, např. sloveso examplify a substantivum examples obě souvisí s example, přičemž uvedené sloveso z něj vzniklo odvozením a substantivní tvar inflexí. Mezi jazykovými zdroji pro ruštinu je inflexe pokrytá dostatečně, nicméně derivace je pokryta datovými zdroji daleko omezeněji. Tento článek je věnován vylepšení metody konstrukce derivačních sítí a aplikaci tohoto postupu na ruštinu, vedoucí k vytvoření dosud největšího datového zdroje ruských derivačních relací. Výsledná databáze DeriNet.RU obsahuje víc než 300 tisíc lemmat spojených s více než 164 tisíci slovotvornými relacemi. Pro vytvoření takových dat jsme použili metody strojového učení. Databáze je zveřejněna pod otevřenou licencí.

Lukáš Kyjánek
Olga Lyashevskaya
Anna Nedoluzhko
Daniil Vodolazsky
Zdeněk Žabokrtský