Nouns derived from verbs with suppletive roots: A corpus-based study of action nouns with the roots klád and lož

Substantiva tvořená od sloves se supletivními kořeny: Korpusová studie deverbativ s kořeny klád a lož

In the word-formation chapters of František Štícha’s newest grammar, suffixless action nouns are provided with contexts demonstrating that they can be interpreted both perfectively and imperfectively, i.e., in relation to the verbs with both the perfective and imperfective aspect (e.g. hvizd ‘whistle’ < hvízdat_impf ‘to whistle_impf’|hvízdnout_pf ‘to whistle_pf’). In support of Štícha’s analysis, the present paper deals with action nouns derived from verbs with the suppletive roots klád and lož (e.g. překládat_impf ‘to replace_impf’|přeložit_pf ‘to replace_pf’), containing various suffixes, e.g. -ba (sklad-ba ‘composition’), -ka (pře-klád-ka ‘replacement’) or -0 (pře-klad-0 ‘translation’). Although these nouns refer formally to a particular member of the aspectual pair (přeložka ‘replacement’ – přeložit_pf ‘to replace_pf’, překládka ‘replacement’ < překládat_impf ‘to replace_impf’), corpus data documents that they are used in the same contexts and are mutually interchangeable, which is in line with our proposal to analyze each of the nouns with respect to both verbs, though with formally different roots (přeložka ‘replacement’ < překládat_impf ‘to replace_impf’|přeložit_pf ‘to replace_pf’, překládka ‘replacement’ < překládat_impf ‘to replace_impf’| přeložit_pf ‘to replace_pf’). An elaborate description of the meanings and valency of the nominalizations with the lož/klád roots is provided in the paper.

V nejnovější mluvnici Františka Štíchy a kol. jsou v kapitolách věnovaných slovotvorbě  bezpříponová dějová substantiva představena v kontextech, v nichž jsou užívána dokonavě i nedokonavě, tedy ve vztahu k oběma motivujícím slovesům tvořícím vidový pár (např. hvizd < hvízdat_impf|hvízdnout_pf). V návaznosti na Štíchovu analýzu se v této práci věnujeme bezpříponovým substantivům s kořeny klád a lož (např. překládat_impf|přeložit_pf), obsahujícím různé sufixy, např. -ba (sklad-ba), -ka (pře-klád-ka) nebo -0 (pře-klad-0). Přestože tato substantiva formálně odkazují pouze k jednomu členu vidové dvojice (přeložka – přeložit_pf, překládka < překládat_impf), korpusová data ukazují, že jsou užívána ve stejných kontextech a jsou vzájemně zaměnitelná. Tato skutečnost podporuje naši hypotézu, že bezpříponová dějová substantiva je třeba systematicky vztahovat k celé vidové dvojici základových sloves, a to i v případě jejich formálně odlišných kořenů (tedy přeložka < překládat_impf|přeložit_pf, překládka < překládat_impf|přeložit_pf). Součástí naší analýzy je důkladný popis významů a valence jednotlivých substantiv s kořeny klád a lož.


CzeDLex 0.6 and its Representation in the PML-TQ

CzeDLex 0.6 a jeho reprezentace v PML-TQ

CzeDLex is an electronic lexicon of Czech discourse connectives with its data coming from a large treebank annotated with discourse relations. Its new version CzeDLex 0.6 is significantly larger with respect to manually processed entries. Also, its structure has been modified to allow for primary connectives to appear with multiple entries for a single discourse sense. We present the new version of the lexicon and demonstrate possibilities of mining various types of information from the lexicon using PML-Tree Query.

CzeDLex je elektronický slovník českých diskurzních konektorů s daty pocházejícími z velkého korpusu anotovaného diskurzními vztahy. Jeho nová verze CzeDLex 0.6 přináší podstatně větší podíl ručně zpracovaných položek. Struktura slovníku byla upravena, aby umožňovala výskyt primárních konektorů s více položkami pro jeden diskurzní typ. Představujeme novou verzi slovníku a ukazujeme možnosti vyhledávání různých typů informací ve slovníku pomocí PML-Tree Query.

Jiří Mírovský
Lucie Poláková
Pavlína Synková


Enhanced and Deep Universal Dependencies for Many Languages

Rozšířené a hluboké univerzální závislosti (Universal Dependencies) pro mnoho jazyků

Many linguistic theories and annotation frameworks contain a deep-syntactic and/or semantic layer. While many of these frameworks have been applied to more than one language, none of them is anywhere near the number of languages that are covered in Universal Dependencies (UD). In my talk, I will first discuss Enhanced Universal Dependencies (EUD), a set of semantically-oriented enhancements that have been proposed within the framework of Universal Dependencies (but which are still available only for a small number of languages). I will also present some preliminary observations from the current shared task on parsing into EUD (https://universaldependencies.org/iwpt20/). In the second part, I will present some additional enhancements, called Deep UD, which extend beyond the official UD guidelines. I will focus on two aspects: how can these enhancements be useful for natural language understanding, and to what extent can they be obtained semi-automatically from the surface annotation for many typologically different languages.

Mnohé lingvistické teorie a anotační projekty obsahují hloubkově-syntaktickou a/nebo sémantickou rovinu. I když většina z těchto projektů mířila na více než jeden jazyk, žádný z nich se ani zdaleka neblíží počtu jazyků, které jsou pokryté projektem Universal Dependencies (UD). Ve své přednášce nejprve proberu tzv. rozšířené univerzální závislosti (Enhanced Universal Dependencies, EUD), sadu sémanticky orientovaných rozšíření, která byla navržena v rámci projektu Universal Dependencies (ale v současné době jsou k dispozici pouze pro malý počet jazyků). Představím také předběžná pozorování z právě probíhající soutěže v automatickém větném rozboru do EUD (https://universaldependencies.org/iwpt20/). Ve druhé části představím další rozšíření, která navrhujeme v rámci projektu Deep UD a která přesahují rámec současných anotačních pravidel UD. Zaměřím se na dva aspekty: jak tato rozšíření mohou být užitečná při porozumění přirozenému jazyku strojem a do jaké míry je můžeme získat z povrchově syntaktické anotace automaticky, pro mnoho typologicky odlišných jazyků.


Universal Dependencies is an international project and community that seeks to provide morphologically and syntactically annotated data for many languages, using a uniform annotation style. We report on the Czech grant project MANYLA that was one of the driving forces behind UD.

Universal Dependencies (univerzální závislosti) je mezinárodní projekt a komunita, která se snaží poskytnout morfologicky a syntakticky anotovaná data pro mnoho jazyků v jednotném anotačním stylu. Informujeme o českém grantovém projektu MANYLA, který byl jednou z hnacích sil UD.


Universal Dependencies: A Search for Harmonized Morphological and Syntactic Annotation

Universal Dependencies: Hledání harmonizované morfologické a syntaktické anotace

For at least two decades, syntactically annotated corpora (treebanks) have been instrumental both in linguistic research and in development of natural language understanding applications. Even though the application aspect somewhat diminished with the current surge of neural networks, the classical who-did-what-to-whom type of questions still cannot be answered without understanding the syntax of the sentence.
In order to facilitate the usage of treebanks, it is desirable that they capture same phenomena the same way, across languages and domains. This is exactly the goal of Universal Dependencies (UD): a community effort to define cross-linguistically applicable annotation guidelines for morphology and syntax, and to provide data annotated following those guidelines. In my talk, I will introduce UD, its main principles and the current state, and I will discuss some of the challenges that harmonization and multi-lingual annotation presents. In the last part of the talk, I will touch upon the latest development towards Enhanced UD and Deep UD.

Po nejméně dvě desetiletí jsou syntakticky anotované korpusy (treebanky) důležitým zdrojem jak pro jazykovědný výzkum, tak pro vývoj počítačových aplikací, které potřebují porozumět přirozenému jazyku.


FGD at MRP 2020: Prague Tectogrammatical Graphs

FGP na MRP 2020: Pražské tektogramatické grafy

Prague Tectogrammatical Graphs (PTG) is a meaning representation framework that originates in the tectogrammatical layer of the Prague Dependency Treebank (PDT) and is theoretically founded in Functional Generative Description of language (FGD). PTG in its present form has been prepared for the CoNLL 2020 shared task on Cross-Framework Meaning Representation Parsing (MRP). It is generated automatically from the Prague treebanks and stored in the JSON-based MRP graph interchange format. The conversion is partially lossy; in this paper we describe what part of annotation was included and how it is represented in PTG.

Pražské tektogramatické grafy (PTG) představují reprezentaci pro zachycení významu, která má kořeny v tektogramatické rovině Pražského závislostního korpusu (PDT) a je teoreticky podložena Funkčním generativním popisem jazyka (FGP). Ve své současné podobě byly PTG připraveny pro soutěž CoNLL 2020 v analýze významových reprezentací napříč formalismy (MRP). Jsou automaticky generovány z pražských závislostních korpusů a uloženy v grafovém formátu založeném na JSONu. Převod je částečně ztrátový; v tomto článku popisujeme, které části anotace byly do PTG zahrnuty a jak jsou v PTG reprezentovány.


Universal Dependencies is a project that seeks to develop cross-linguistically consistent treebank annotation for many languages, with the goal of facilitating multilingual parser development, cross-lingual learning, and parsing research from a language typology perspective. The annotation scheme is based on (universal) Stanford dependencies (de Marneffe et al., 2006, 2008, 2014), Google universal part-of-speech tags (Petrov et al., 2012), and the Interset interlingua for morphosyntactic tagsets (Zeman, 2008). This is the thirteenth release of UD Treebanks, Version 2.7.

Universal Dependencies je projekt, který vyvíjí mezijazykově konzistentní morfologicko-syntaktickou anotaci mnoha jazyků s cílem usnadnit vývoj jazykově nezávislých parserů, mezijazykové strojové učení a výzkum parsingu z perspektivy jazykové typologie. Anotační schéma je založeno na univerzálních Stanfordských závislostech (de Marneffe et al., 2006, 2008, 2014), univerzálních značkách Google (Petrov et al., 2012) a na Intersetu, tj. interlingvě pro sady morfologických značek (Zeman, 2008). Toto je třinácté vydání treebanků UD, verze 2.7.

Daniel Zeman
Joakim Nivre
Mitchell Abrams
Elia Ackermann
Noëmi Aepli
Hamid Aghaei
Željko Agić
Amir Ahmadi
Lars Ahrenberg
Chika Kennedy Ajede
Gabrielė Aleksandravičiūtė
Ika Alfina
Lene Antonsen
Katya Aplonova
Angelina Aquino
Carolina Aragon
Maria Jesus Aranzabe
Þórunn Arnardóttir
Gashaw Arutie
Jessica Naraiswari Arwidarasti
Masayuki Asahara
Luma Ateyah
Furkan Atmaca
Mohammed Attia
Aitziber Atutxa
Liesbeth Augustinus
Elena Badmaeva
Keerthana Balasubramani
Miguel Ballesteros
Esha Banerjee
Sebastian Bank
Verginica Barbu Mititelu
Victoria Basmov
Colin Batchelor
John Bauer
Seyyit Talha Bedir
Kepa Bengoetxea
Gözde Berk
Yevgeni Berzak
Irshad Ahmad Bhat
Riyaz Ahmad Bhat
Erica Biagetti
Eckhard Bick
Agnė Bielinskienė
Kristín Bjarnadóttir
Rogier Blokland
Victoria Bobicev
Loïc Boizou
Emanuel Borges Völker
Carl Börstell
Cristina Bosco
Gosse Bouma
Sam Bowman
Adriane Boyd
Kristina Brokaitė
Aljoscha Burchardt
Marie Candito
Bernard Caron
Gauthier Caron
Tatiana Cavalcanti
Gülşen Cebiroğlu Eryiğit
Flavio Massimiliano Cecchini
Giuseppe G. A. Celano
Slavomír Čéplö
Savas Cetin
Özlem Çetinoğlu
Fabricio Chalub
Ethan Chi
Yongseok Cho
Jinho Choi
Jayeol Chun
Alessandra T. Cignarella
Silvie Cinková
Aurélie Collomb
Çağrı Çöltekin
Miriam Connor
Marine Courtin
Elizabeth Davidson
Marie-Catherine de Marneffe
Valeria de Paiva
Mehmet Oguz Derin
Elvis de Souza
Arantza Diaz de Ilarraza
Carly Dickerson
Arawinda Dinakaramani
Bamba Dione
Peter Dirix
Kaja Dobrovoljc
Timothy Dozat
Kira Droganova
Puneet Dwivedi
Hanne Eckhoff
Marhaba Eli
Ali Elkahky
Binyam Ephrem
Olga Erina
Tomaž Erjavec
Aline Etienne
Wograine Evelyn
Sidney Facundes
Richárd Farkas
Marília Fernanda
Hector Fernandez Alcalde
Jennifer Foster
Cláudia Freitas
Kazunori Fujita
Katarína Gajdošová
Daniel Galbraith
Marcos Garcia
Moa Gärdenfors
Sebastian Garza
Fabrício Ferraz Gerardi
Kim Gerdes
Filip Ginter
Iakes Goenaga
Koldo Gojenola
Memduh Gökırmak
Yoav Goldberg
Xavier Gómez Guinovart
Berta González Saavedra
Bernadeta Griciūtė
Matias Grioni
Loïc Grobol
Normunds Grūzītis
Bruno Guillaume
Céline Guillot-Barbance
Tunga Güngör
Nizar Habash
Hinrik Hafsteinsson
Jan Hajič
Jan Hajič, jr.
Mika Hämäläinen
Linh Hà Mỹ
Na-Rae Han
Muhammad Yudistira Hanifmuti
Sam Hardwick
Kim Harris
Dag Haug
Johannes Heinecke
Oliver Hellwig
Felix Hennig
Barbora Hladká
Jaroslava Hlaváčová
Florinel Hociung
Petter Hohle
Eva Huber
Jena Hwang
Takumi Ikeda
Anton Karl Ingason
Radu Ion
Elena Irimia
Ọlájídé Ishola
Tomáš Jelínek
Anders Johannsen
Hildur Jónsdóttir
Fredrik Jørgensen
Markus Juutinen
Sarveswaran Kengatharaiyer
Hüner Kaşıkara
Andre Kåsen
Nadezhda Kabaeva
Sylvain Kahane
Hiroshi Kanayama
Jenna Kanerva
Boris Katz
Tolga Kayadelen
Jessica Kenney
Václava Kettnerová
Jesse Kirchner
Elena Klementieva
Arne Köhn
Abdullatif Köksal
Kamil Kopacewicz
Timo Korkiakangas
Natalia Kotsyba
Jolanta Kovalevskaitė
Simon Krek
Parameswari Krishnamurthy
Sookyoung Kwak
Veronika Laippala
Lucia Lam
Lorenzo Lambertino
Tatiana Lando
Septina Dian Larasati
Alexei Lavrentiev
John Lee
Phương Lê Hồng
Alessandro Lenci
Saran Lertpradit
Herman Leung
Maria Levina
Cheuk Ying Li
Josie Li
Keying Li
Yuan Li
KyungTae Lim
Krister Lindén
Nikola Ljubešić
Olga Loginova
Andry Luthfi
Mikko Luukko
Olga Lyashevskaya
Teresa Lynn
Vivien Macketanz
Aibek Makazhanov
Michael Mandl
Christopher Manning
Ruli Manurung
Cătălina Mărănduc
David Mareček
Katrin Marheinecke
Héctor Martínez Alonso
André Martins
Jan Mašek
Hiroshi Matsuda
Yuji Matsumoto
Ryan McDonald
Sarah McGuinness
Gustavo Mendonça
Niko Miekka
Karina Mischenkova
Margarita Misirpashayeva
Anna Missilä
Cătălin Mititelu
Maria Mitrofan
Yusuke Miyao
AmirHossein Mojiri Foroushani
Amirsaeid Moloodi
Simonetta Montemagni
Amir More
Laura Moreno Romero
Keiko Sophie Mori
Shinsuke Mori
Tomohiko Morioka
Shigeki Moro
Bjartur Mortensen
Bohdan Moskalevskyi
Kadri Muischnek
Robert Munro
Yugo Murawaki
Kaili Müürisep
Pinkey Nainwani
Mariam Nakhlé
Juan Ignacio Navarro Horñiacek
Anna Nedoluzhko
Gunta Nešpore-Bērzkalne
Lương Nguyễn Thị
Huyền Nguyễn Thị Minh
Yoshihiro Nikaido
Vitaly Nikolaev
Rattima Nitisaroj
Alireza Nourian
Hanna Nurmi
Stina Ojala
Atul Kumar Ojha
Adédayọ̀ Olúòkun
Mai Omura
Emeka Onwuegbuzia
Petya Osenova
Robert Östling
Lilja Øvrelid
Şaziye Betül Özateş
Arzucan Özgür
Balkız Öztürk Başaran
Niko Partanen
Elena Pascual
Marco Passarotti
Agnieszka Patejuk
Guilherme Paulino-Passos
Angelika Peljak-Łapińska
Siyao Peng
Cenel-Augusto Perez
Natalia Perkova
Guy Perrier
Slav Petrov
Daria Petrova
Jason Phelan
Jussi Piitulainen
Tommi A Pirinen
Emily Pitler
Barbara Plank
Thierry Poibeau
Larisa Ponomareva
Martin Popel
Lauma Pretkalniņa
Sophie Prévost
Prokopis Prokopidis
Adam Przepiórkowski
Tiina Puolakainen
Sampo Pyysalo
Peng Qi
Andriela Rääbis
Alexandre Rademaker
Taraka Rama
Loganathan Ramasamy
Carlos Ramisch
Fam Rashel
Mohammad Sadegh Rasooli
Vinit Ravishankar
Livy Real
Petru Rebeja
Siva Reddy
Georg Rehm
Ivan Riabov
Michael Rießler
Erika Rimkutė
Larissa Rinaldi
Laura Rituma
Luisa Rocha
Eiríkur Rögnvaldsson
Mykhailo Romanenko
Rudolf Rosa
Valentin Roșca
Davide Rovati
Olga Rudina
Jack Rueter
Kristján Rúnarsson
Shoval Sadde
Pegah Safari
Benoît Sagot
Aleksi Sahala
Shadi Saleh
Alessio Salomoni
Tanja Samardžić
Stephanie Samson
Manuela Sanguinetti
Dage Särg
Baiba Saulīte
Yanin Sawanakunanon
Kevin Scannell
Salvatore Scarlata
Nathan Schneider
Sebastian Schuster
Djamé Seddah
Wolfgang Seeker
Mojgan Seraji
Mo Shen
Atsuko Shimada
Hiroyuki Shirasu
Muh Shohibussirri
Dmitri Sitchinava
Einar Freyr Sigurðsson
Aline Silveira
Natalia Silveira
Maria Simi
Radu Simionescu
Katalin Simkó
Mária Šimková
Kiril Simov
Maria Skachedubova
Aaron Smith
Isabela Soares-Bastos
Carolyn Spadine
Steinþór Steingrímsson
Antonio Stella
Milan Straka
Emmett Strickland
Jana Strnadová
Alane Suhr
Yogi Lesmana Sulestio
Umut Sulubacak
Shingo Suzuki
Zsolt Szántó
Dima Taji
Yuta Takahashi
Fabio Tamburini
Mary Ann C. Tan
Takaaki Tanaka
Samson Tella
Isabelle Tellier
Guillaume Thomas
Liisi Torga
Marsida Toska
Trond Trosterud
Anna Trukhina
Reut Tsarfaty
Utku Türk
Francis Tyers
Sumire Uematsu
Roman Untilov
Zdeňka Urešová
Larraitz Uria
Hans Uszkoreit
Andrius Utka
Sowmya Vajjala
Daniel van Niekerk
Gertjan van Noord
Viktor Varga
Eric Villemonte de la Clergerie
Veronika Vincze
Aya Wakasa
Joel C. Wallenberg
Lars Wallin
Abigail Walsh
Jing Xian Wang
Jonathan North Washington
Maximilan Wendt
Paul Widmer
Seyi Williams
Mats Wirén
Christian Wittern
Tsegay Woldemariam
Tak-sum Wong
Alina Wróblewska
Mary Yako
Kayo Yamashita
Naoki Yamazaki
Chunxiao Yan
Koichi Yasuoka
Marat M. Yavrumyan
Zhuoran Yu
Zdeněk Žabokrtský
Shorouq Zahra
Amir Zeldes
Hanzhi Zhu
Anna Zhuravleva


Universal Dependencies is a project that seeks to develop cross-linguistically consistent treebank annotation for many languages, with the goal of facilitating multilingual parser development, cross-lingual learning, and parsing research from a language typology perspective. The annotation scheme is based on (universal) Stanford dependencies (de Marneffe et al., 2006, 2008, 2014), Google universal part-of-speech tags (Petrov et al., 2012), and the Interset interlingua for morphosyntactic tagsets (Zeman, 2008). This is the twelfth release of UD Treebanks, Version 2.6.

Universal Dependencies je projekt, který vyvíjí mezijazykově konzistentní morfologicko-syntaktickou anotaci mnoha jazyků s cílem usnadnit vývoj jazykově nezávislých parserů, mezijazykové strojové učení a výzkum parsingu z perspektivy jazykové typologie. Anotační schéma je založeno na univerzálních Stanfordských závislostech (de Marneffe et al., 2006, 2008, 2014), univerzálních značkách Google (Petrov et al., 2012) a na Intersetu, tj. interlingvě pro sady morfologických značek (Zeman, 2008). Toto je dvanácté vydání treebanků UD, verze 2.6.

Daniel Zeman
Joakim Nivre
Mitchell Abrams
Elia Ackermann
Noëmi Aepli
Željko Agić
Lars Ahrenberg
Chika Kennedy Ajede
Gabrielė Aleksandravičiūtė
Lene Antonsen
Katya Aplonova
Angelina Aquino
Maria Jesus Aranzabe
Gashaw Arutie
Masayuki Asahara
Luma Ateyah
Furkan Atmaca
Mohammed Attia
Aitziber Atutxa
Liesbeth Augustinus
Elena Badmaeva
Miguel Ballesteros
Esha Banerjee
Sebastian Bank
Verginica Barbu Mititelu
Victoria Basmov
Colin Batchelor
John Bauer
Kepa Bengoetxea
Yevgeni Berzak
Irshad Ahmad Bhat
Riyaz Ahmad Bhat
Erica Biagetti
Eckhard Bick
Agnė Bielinskienė
Rogier Blokland
Victoria Bobicev
Loïc Boizou
Emanuel Borges Völker
Carl Börstell
Cristina Bosco
Gosse Bouma
Sam Bowman
Adriane Boyd
Kristina Brokaitė
Aljoscha Burchardt
Marie Candito
Bernard Caron
Gauthier Caron
Tatiana Cavalcanti
Gülşen Cebiroğlu Eryiğit
Flavio Massimiliano Cecchini
Giuseppe G. A. Celano
Slavomír Čéplö
Savas Cetin
Fabricio Chalub
Ethan Chi
Jinho Choi
Yongseok Cho
Jayeol Chun
Alessandra T. Cignarella
Silvie Cinková
Aurélie Collomb
Çağrı Çöltekin
Miriam Connor
Marine Courtin
Elizabeth Davidson
Marie-Catherine de Marneffe
Valeria de Paiva
Elvis de Souza
Arantza Diaz de Ilarraza
Carly Dickerson
Bamba Dione
Peter Dirix
Kaja Dobrovoljc
Timothy Dozat
Kira Droganova
Puneet Dwivedi
Hanne Eckhoff
Marhaba Eli
Ali Elkahky
Binyam Ephrem
Olga Erina
Tomaž Erjavec
Aline Etienne
Wograine Evelyn
Richárd Farkas
Hector Fernandez Alcalde
Jennifer Foster
Cláudia Freitas
Kazunori Fujita
Katarína Gajdošová
Daniel Galbraith
Marcos Garcia
Moa Gärdenfors
Sebastian Garza
Kim Gerdes
Filip Ginter
Iakes Goenaga
Koldo Gojenola
Memduh Gökırmak
Yoav Goldberg
Xavier Gómez Guinovart
Berta González Saavedra
Bernadeta Griciūtė
Matias Grioni
Loïc Grobol
Normunds Grūzītis
Bruno Guillaume
Céline Guillot-Barbance
Tunga Güngör
Nizar Habash
Jan Hajič
Jan Hajič, jr.
Mika Hämäläinen
Linh Hà Mỹ
Na-Rae Han
Kim Harris
Dag Haug
Johannes Heinecke
Oliver Hellwig
Felix Hennig
Barbora Hladká
Jaroslava Hlaváčová
Florinel Hociung
Petter Hohle
Jena Hwang
Takumi Ikeda
Radu Ion
Elena Irimia
Ọlájídé Ishola
Tomáš Jelínek
Anders Johannsen
Hildur Jónsdóttir
Fredrik Jørgensen
Markus Juutinen
Hüner Kaşıkara
Andre Kåsen
Nadezhda Kabaeva
Sylvain Kahane
Hiroshi Kanayama
Jenna Kanerva
Boris Katz
Tolga Kayadelen
Jessica Kenney
Václava Kettnerová
Jesse Kirchner
Elena Klementieva
Arne Köhn
Abdullatif Köksal
Kamil Kopacewicz
Timo Korkiakangas
Natalia Kotsyba
Jolanta Kovalevskaitė
Simon Krek
Sookyoung Kwak
Veronika Laippala
Lorenzo Lambertino
Lucia Lam
Tatiana Lando
Septina Dian Larasati
Alexei Lavrentiev
John Lee
Phương Lê Hồng
Alessandro Lenci
Saran Lertpradit
Herman Leung
Maria Levina
Cheuk Ying Li
Josie Li
Keying Li
KyungTae Lim
Yuan Li
Nikola Ljubešić
Olga Loginova
Olga Lyashevskaya
Teresa Lynn
Vivien Macketanz
Aibek Makazhanov
Michael Mandl
Christopher Manning
Ruli Manurung
Cătălina Mărănduc
David Mareček
Katrin Marheinecke
Héctor Martínez Alonso
André Martins
Jan Mašek
Hiroshi Matsuda
Yuji Matsumoto
Ryan McDonald
Sarah McGuinness
Gustavo Mendonça
Niko Miekka
Margarita Misirpashayeva
Anna Missilä
Cătălin Mititelu
Maria Mitrofan
Yusuke Miyao
Simonetta Montemagni
Amir More
Laura Moreno Romero
Keiko Sophie Mori
Tomohiko Morioka
Shinsuke Mori
Shigeki Moro
Bjartur Mortensen
Bohdan Moskalevskyi
Kadri Muischnek
Robert Munro
Yugo Murawaki
Kaili Müürisep
Pinkey Nainwani
Juan Ignacio Navarro Horñiacek
Anna Nedoluzhko
Gunta Nešpore-Bērzkalne
Lương Nguyễn Thị
Huyền Nguyễn Thị Minh
Yoshihiro Nikaido
Vitaly Nikolaev
Rattima Nitisaroj
Hanna Nurmi
Stina Ojala
Atul Kumar Ojha
Adédayọ̀ Olúòkun
Mai Omura
Emeka Onwuegbuzia
Petya Osenova
Robert Östling
Lilja Øvrelid
Şaziye Betül Özateş
Arzucan Özgür
Balkız Öztürk Başaran
Niko Partanen
Elena Pascual
Marco Passarotti
Agnieszka Patejuk
Guilherme Paulino-Passos
Angelika Peljak-Łapińska
Siyao Peng
Cenel-Augusto Perez
Guy Perrier
Daria Petrova
Slav Petrov
Jason Phelan
Jussi Piitulainen
Tommi A Pirinen
Emily Pitler
Barbara Plank
Thierry Poibeau
Larisa Ponomareva
Martin Popel
Lauma Pretkalniņa
Sophie Prévost
Prokopis Prokopidis
Adam Przepiórkowski
Tiina Puolakainen
Sampo Pyysalo
Peng Qi
Andriela Rääbis
Alexandre Rademaker
Loganathan Ramasamy
Taraka Rama
Carlos Ramisch
Vinit Ravishankar
Livy Real
Petru Rebeja
Siva Reddy
Georg Rehm
Ivan Riabov
Michael Rießler
Erika Rimkutė
Larissa Rinaldi
Laura Rituma
Luisa Rocha
Mykhailo Romanenko
Rudolf Rosa
Valentin Roșca
Davide Rovati
Olga Rudina
Jack Rueter
Shoval Sadde
Benoît Sagot
Shadi Saleh
Alessio Salomoni
Tanja Samardžić
Stephanie Samson
Manuela Sanguinetti
Dage Särg
Baiba Saulīte
Yanin Sawanakunanon
Salvatore Scarlata
Nathan Schneider
Sebastian Schuster
Djamé Seddah
Wolfgang Seeker
Mojgan Seraji
Mo Shen
Atsuko Shimada
Hiroyuki Shirasu
Muh Shohibussirri
Dmitri Sitchinava
Aline Silveira
Natalia Silveira
Maria Simi
Radu Simionescu
Katalin Simkó
Mária Šimková
Kiril Simov
Maria Skachedubova
Aaron Smith
Isabela Soares-Bastos
Carolyn Spadine
Antonio Stella
Milan Straka
Jana Strnadová
Alane Suhr
Umut Sulubacak
Shingo Suzuki
Zsolt Szántó
Dima Taji
Yuta Takahashi
Fabio Tamburini
Takaaki Tanaka
Samson Tella
Isabelle Tellier
Guillaume Thomas
Liisi Torga
Marsida Toska
Trond Trosterud
Anna Trukhina
Reut Tsarfaty
Utku Türk
Francis Tyers
Sumire Uematsu
Roman Untilov
Zdeňka Urešová
Larraitz Uria
Hans Uszkoreit
Andrius Utka
Sowmya Vajjala
Daniel van Niekerk
Gertjan van Noord
Viktor Varga
Eric Villemonte de la Clergerie
Veronika Vincze
Aya Wakasa
Lars Wallin
Abigail Walsh
Jing Xian Wang
Jonathan North Washington
Maximilan Wendt
Paul Widmer
Seyi Williams
Mats Wirén
Christian Wittern
Tsegay Woldemariam
Tak-sum Wong
Alina Wróblewska
Mary Yako
Kayo Yamashita
Naoki Yamazaki
Chunxiao Yan
Koichi Yasuoka
Marat M. Yavrumyan
Zhuoran Yu
Zdeněk Žabokrtský
Amir Zeldes
Hanzhi Zhu
Anna Zhuravleva


We present our system for prediction of typological features from the World Atlas of Language Structures (WALS), which participated in the shared task organized as a part of the SIGTYP 2020 workshop.

Představujeme systém pro předpovídání rysů z World Atlas of Language Structures (WALS), který se účastnil soutěže pořádané u příležitosti typologického workshopu SIGTYP 2020.


Compiling Czech Parliamentary Stenographic Protocols into a Corpus

Kompilace stenografických záznamů českého parlamentu do korpusu

The Parliament of the Czech Republic consists of two chambers: the Chamber of Deputies (Lower House) and the Senate (Upper House). In our work, we focus on agenda and documents that relate to the Chamber of Deputies. Namely, we pay particular attention to stenographic protocols that record the Chamber of Deputies’ meetings. Our overall goal is to continually compile the protocols into the TEI encoded corpus ParCzech and make the corpus accessible in a more user friendly way than the Parliament publishes the protocols. In the very first stage of the compilation, the ParCzech corpus consists of the 2013+ protocols that we make accessible and searchable in the TEITOK web-based platform.

Parlament České republiky se skládá ze dvou komor: Poslanecké sněmovny (dolní komora) a Senátu (horní komora). V naší práci se zaměřujeme na agendu a dokumenty týkající se Poslanecké sněmovny. Konkrétně věnujeme zvláštní pozornost stenografickým protokolům, které zaznamenávají schůze Poslanecké sněmovny. Naším cílem je kontinuálně kompilovat protokoly do korpusu ParCzech kódovaného TEI a zpřístupnit ho uživatelsky přívětivějším způsobem, než tak činí Parlament ČR. V první fázi kompilace ParCzech obsahuje protokoly z let 2013+, které zpřístupňujeme a prohledáváme ve webové platformě TEITOK.

Barbora Hladká
Matyáš Kopp
Pavel Straňák


The ParCzech PS7 1.0 corpus is the very first member of the corpus family of data coming from the Parliament of the Czech Republic. ParCzech PS7 1.0 consists of stenographic protocols that record the Chamber of Deputies' meetings held in the 7th term between 2013-2017. The audio recordings are available as well. Transcripts are provided in the original HTML as harvested, and also converted into TEI-derived XML format for use in TEITOK corpus manager. The corpus is automatically enriched with the morphological and named-entity annotations using the procedures MorphoDita and NameTag.

Korpus ParCzech PS7 1.0 je úplně první část rodiny korpusů z Parlamentu České republiky. ParCzech PS7 1.0 obsahuje stenoprotokoly z Poslanecké sněmovny sedmého volebního období z let 2013-2017. Audio záznamy jsou přiloženy. Přepisy jsou poskytnuty v původním HTML formátu a navíc zkonvertovány do TEI-odvozeném formátu pro korpusového správce TEITOK. Korpus je automaticky obohacen o morfologii a jmenné entity programy MorphoDita a NameTag.


The ParCzech PS7 2.0 corpus is the second version of ParCzech PS7 consisting of stenographic protocols that record the Chamber of Deputies' meetings held in the 7th term between 2013-2017. The protocols are provided in their original HTML format, TEI format and TEI-derived format to make them searchable in the TEITOK corpus manager. Their audio recordings are available as well. The corpus is automatically enriched with the morphological, syntactic, and named-entity annotations using the procedures UDPipe 2 and NameTag 2.

Korpus ParCzech PS7 2.0 je druhá verze korpusu ParCzech PS7, který obsahuje stenografické protokoly sedmého volebního období v letech 2013-2017. Protokoly jsou v jejich puvodním HTML formátu, v TEI formátu a TEI-odvozeném formátu pro korpusového správce TEITOK. Audio záznamy jsou přiloženy. Korpus je automaticky obohacen o morfologii, syntax a jmenné entity programy UDPipe 2 a NameTag 2.


Manual for Morphological Annotation, Revision for the Prague Dependency Treebank - Consolidated 2020 release

Manuál pro anotaci na morfologické rovině. Revize pro konsolidované vydání Pražského závislostního korpusu 1.0

Although the title of this report inherits the word "Manual" from the previous versions, it is no more intended to guide the annotators. Rather it attempts to describe the current state of the morphological annotation in the Prague Dependency Treebank – Consolidated 1.0 (PDT-C 1.0) We believe that the guidelines can be of use to the users of the PDT-C 1.0 data, as well as for possible preparation of new data.

Ačkoli název této zprávy přebírá slovo „Manuál“ z předchozích verzí, její účel již primárně není sloužit jako návod pro anotátory. Spíše se pokouší popsat současný stav morfologické anotace ve vydání Prague Dependency Treebank - Consolidated 1.0 (PDT-C 1.0) Věříme, že pokyny mohou být užitečné pro uživatele dat PDT-C 1.0, stejně jako pro přípravu nových.

Marie Mikulová
Jan Hajič
Jiří Hana
Hana Hanová
Jaroslava Hlaváčová
Emil Jeřábek
Barbora Štěpánková
Barbora Vidová Hladká
Daniel Zeman


Spatial Adverbials in Written and Spoken Text (Case study)

Vyjadřování prostorových určení v textu psaném a mluveném (Případová studie)

. Based on an analysis of the rich material of the Prague Database of Syntactic Forms and Functions (ForFun), which contains written texts as well as transcriptions of dialogues, we describe functions and forms of spatial adverbials and observe differences in their expression in written and spoken text. We focus on basic formal expressions of adverbials: (i) an adverb, (ii) a dependent clause and (iii) a prepositional phrase. For each formal expression (i) – (iii), we describe the characteristic features of the spatial adverbials in the spoken communication that we gained from the ForFun database.

Na základě analýzy bohatého materiálu Pražské databáze syntaktických forem a funkcí (ForFun), která obsahuje psané texty i přepisy dialogů, popisujeme funkce a formy prostorových určení a sledujeme rozdíly v jejich vyjádření v psané i mluvené podobě text. Zaměřujeme se na základní formální vyjádření příslovečných určení: (i) příslovce, (ii) závislá věta a (iii) předložková fráze. Pro každý formální výraz (i) - (iii) popisujeme charakteristické rysy prostorových určení v mluvené komunikaci, které jsme získali z databáze ForFun.


VALLEX 4.0 provides information on the valency structure (combinatorial potential) of verbs in their particular senses, which are characterized by glosses and examples. VALLEX 4.0 describes 4 700 Czech verbs in more than 11 000 lexical units, i.e., given verbs in the given senses.
VALLEX 4.0 is a is a collection of linguistically annotated data and documentation, resulting from an attempt at formal description of valency frames of Czech verbs. In order to satisfy different needs of different potential users, the lexicon is distributed (i) in a HTML version (the data allows for an easy and fast navigation through the lexicon) and (ii) in a machine-tractable form, so that the VALLEX data can be used in NLP applications.
češtiny.
VALLEX 4.0 provides (in addition to information from previous versions) also characteristics of verbs expressing reciprocity and reflexivity.

Valenční slovník českých sloves (též VALLEX 4.0) poskytuje informace o valenční struktuře českých sloves v jejich jednotlivých významech, které charakterizuje pomocí glos a příkladů; tyto základní údaje jsou doplněny o některé další syntaktické a sémantické charakteristiky. VALLEX 4.0 zachycuje 4 700 českých sloves, která odpovídají více než 11 000 lexikálním jednotkám, tedy vždy danému slovesu v daném významu.
VALLEX je budován jako odpověď na potřebu rozsáhlého a kvalitního veřejně dostupného slovníku, který by obsahoval syntaktické a sémantické charakteristiky českých sloves a byl přitom široce uplatnitelný v aplikacích pro zpracování přirozeného jazyka. Při navrhování koncepce slovníku byl proto kladen důraz na všestranné využití jak pro lidského uživatele, tak pro automatické zpracování češtiny.
VALLEX 4.0 obohacuje informace z předchozích verzí o charakteristiku sloves vyjadřujících reflexivní a reciproční významy.

Markéta Lopatková
Václava Kettnerová
Anna Vernerová
Eduard Bejček
Zdeněk Žabokrtský


IWPT 2020 Shared Task Data and System Outputs

Data a systémové výstupy soutěže IWPT 2020

This package contains data used in the IWPT 2020 shared task. It contains training, development and test (evaluation) datasets. The data is based on a subset of Universal Dependencies release 2.5 (http://hdl.handle.net/11234/1-3105) but some treebanks contain additional enhanced annotations. Moreover, not all of these additions became part of Universal Dependencies release 2.6 (http://hdl.handle.net/11234/1-3226), which makes the shared task data unique and worth a separate release to enable later comparison with new parsing algorithms. The package also contains a number of Perl and Python scripts that have been used to process the data during preparation and during the shared task. Finally, the package includes the official primary submission of each team participating in the shared task.

Tento balíček obsahuje data použitá v soutěži IWPT 2020. Obsahuje trénovací, vývojová a testovací (vyhodnocovací) datové množiny. Data jsou založena na podmnožině vydání 2.5 Universal Dependencies (http://hdl.handle.net/11234/1-3105), ale některé treebanky obsahují další obohacené anotace nad rámec UD 2.5.


Overview of the IWPT 2020 Shared Task on Parsing into Enhanced Universal Dependencies

Přehled soutěže IWPT 2020 v syntaktické analýze do Enhanced Universal Dependencies

This overview introduces the task of parsing into enhanced universal dependencies, describes the datasets used for training and evaluation, and evaluation metrics. We outline various approaches and discuss the results of the shared task.

Tento článek představuje úlohu parsingu (syntaktické analýzy) do rozšířených Universal Dependencies, popisuje data použitá pro trénování a vyhodnocení, jakož i evaluační metriky. Stručně shrnujeme jednotlivé přístupy a probíráme výsledky úlohy.


Consistency of the morphological dictionary MorfFlex

Konzistence morfologického slovníku MorfFlex

The paper describes the new version of the "Prague" morphological dictionary MorfFlex.

Náš příspěvek chce představit novou verzi tzv. „pražského“ morfologického slovníku MorfFlex.


The method of stylometry by most frequent words does not allow direct comparison of original texts and their translations, i.e. across languages. For instance, in a bilingual Czech-German text collection containing parallel texts (originals and translations in both directions, along with Czech and German translations from other languages), authors would not cluster across languages, since frequency word lists for any Czech texts are obviously going to be more similar to each other than to a German text, and the other way round. We have tried to come up with an interlingua that would remove the language-specific features and possibly keep the linguistically independent features of individual author signal, if they exist. We have tagged, lemmatized, and parsed each language counterpart with the corresponding language model in UDPipe, which provides a linguistic markup that is cross-lingual to a significant extent. We stripped the output of language-dependent items, but that alone did not help much. As a next step, we transformed the lemmas of both language counterparts into shared pseudolemmas based on a very crude Czech-German glossary, with a 95.6% success. We show that, for stylometric methods based on the most frequent words, we can do without translations.

Metoda stylometrie nejčastějšími slovy neumožňuje přímé srovnání původních textů a jejich překladů, tj. Napříč jazyky. Například v dvojjazyčné česko-německé textové sbírce obsahující paralelní texty (originály a překlady v obou směrech spolu s českými a německými překlady z jiných jazyků) by autoři neshlukovali mezi jazyky, protože seznamy četných slov pro jakékoli české texty jsou zjevně bude se více podobat německému textu a naopak. Pokusili jsme se přijít s interlinguou, která by odstranila rysy specifické pro jazyk a případně zachovala jazykově nezávislé rysy signálu jednotlivého autora, pokud existují. Každý jazykový protějšek jsme označili, lemmatizovali a analyzovali odpovídajícím jazykovým modelem v UDPipe, který poskytuje jazykové označení, které je do značné míry vícejazyčné. Odstranili jsme výstup jazykově závislých položek, ale to samo o sobě moc nepomohlo. V dalším kroku jsme transformovali lemma obou jazykových protějšků na sdílená pseudolemata na základě velmi hrubého česko-německého glosáře s 95,6% úspěšností. Ukazujeme, že u stylometrických metod založených na nejčastějších slovech se můžeme obejít bez překladů.


The suffixes -ismus and -ita in nouns in Czech

Přípony -ismus a -ita v substantivech v češtině

The interplay between borrowing and word formation (in particular, derivation) is documented on the example of the suffixes -ismus and -ita,  which are listed among the most common suffixes in loan nouns in Czech. They are both used to form abstract nouns but differ in many aspects. The suffix -ismus combines with bases that form larger derivational families than those of -ita but still most nouns in -ita share their root with several other derivatives, too. By analysing selected derivatives and their mutual relations across a large amount of derivational families, I demonstrate that the size and inner structure of derivational families can provide significant knowledge about the meaning of the formations analysed. The meanings of the suffixes are described using patterns which involve the most relevant derivatives with explicitly marked derivational relations. Using the patterns, it is possible to explain semantic nuances that have not been described with loan words in Czech so far.

Vzájemná provázanost přejímání slov a slovotvorby (specificky derivace) je demonstrována na příkladu přípon -ismus a -ita,  které jsou uváděny mezi nejběžnějšími příponami v přejatých substantivech v češtině. Obě přípony odvozují abstraktní substantiva, nicméně v mnoha dalších ohledech se liší. Přípona -ismus se kombinuje se základy, které vytvářejí větší derivační rodiny než základy kombinované s -ita, ale i substantiva na -ita většinou sdílejí svůj kořen s několika dalšími deriváty. Analýzou vybraných derivátů a jejich vzájemných vztahů napříč velkého množství derivačních rodin ukazuji, že velikost a vnitřní struktura derivačních rodin může poskytnout informace o významu analyzovaných derivátů. Význam přípon je popsán pomocí vzorců, do kterých jsou zahrnuty relevantní deriváty s explicitně vyznačenými derivačními vztahy. S použitím těchto vzorců je možné vysvětlit sémantické nuance, které u přejaých slov v češtině zatím nebyly popsány.


Patterns in derivation of Czech: Applying the paradigmatic approach to Czech word-formation

Vzorce v odvozování slov v češtině: Aplikace paradigmatického přístupu na českou slovotvorbu

Concurring with the recent discussion on derivational paradigms (Bonami & Strnadová 2018, Fernandéz-Alcaina & Čermák 2018, Štekauer 2014, and others), I will present two case studies which aim at identification of repeating patterns (paradigms) in derivational morphology of Czech.

First, suffixless action nouns derived from verbs (skok 'jump') are analysed and contrasted with unmotivated suffixless nouns (noc 'night') from which denominal verbs are derived. The corpus data reveal that suffixless action nouns correspond mostly to a pair of verbs with aspect-changing suffixes (cf. skákat : skočit 'to jump.PFV|IPFV' > skok 'jump'). In contrast, verbs that are based on nouns use a prefix to change the aspect (noc 'night' > nocovat 'to stay.IPFV overnight' > přenocovat 'to stay.PFV overnight').

The difference between verbs with verbal roots vs. nominal roots is elaborated into two patterns which are exploited in the second case study on verbal morphology. Assuming that, according to my analysis, Czech native verbs with verbal roots prefer to change the aspect by substituting the suffix (navrhnout : navrhovat 'to propose.PFV|IPFV') while verbs with nominal roots attach a prefix (nocovat : přenocovat 'to stay.PFV|IPFV overnight'), a clear dominance of the prefixation pattern with loan verbs (e.g. kontrolovat : zkontrolovat 'to control.PFV|IPFV') over the suffixation pattern (riskovat : risknout 'to risk.PFV|IPFV') suggests that loan verbs in Czech resemble native denominal verbs.

V návaznosti na aktuální diskuzi o derivačních paradigmatech ve slovotvorbě přednáška představí dvě případové studie, jejichž cílem je identifikace opakujících se vzorců (paradigmat) v derivační morfologii češtiny. První studie se zabývá odvozováním bezpříponových dějových substantiv, druhá studie slovotvorných chováním přejatých sloves v češtině.


Zero-derived nominals in a language with obligatory verbal suffixes: The case of Czech

Deverbální substantiva odvozená nulovou derivací v jazyce s obligatorními verbálními sufixy: Situace v češtině

In  Czech, derivational  zero  suffixes  are  assumed  to  occur  in  nouns  that  denote  an  action  or  a  result. These nouns are viewed as derived from verbs because the action meaning is primarily expressed by verbs. As verbs in Czech are obligatorily marked by a thematic suffix conveying grammatical aspect, deverbal  zero-suffix  nouns  belong  to  the  minority  of  derivations  that  have  a  simpler  morphemic structure  than  their  base  words  and  violate  thus  the  general  account  of  derivation  as  an  affix-adding process. In the paper, zero-derived nouns are analysed with respect to the motivating verbs and to competing nominalizations with overt suffixes.

V češtině se nulový odvozovací sufix předpokládá u substantiv s významem děje nebo výsledku. Tato substantiva jsou považována za deverbální deriváty, protože tyto významy jsou primárně vyjadřovány slovesy. V příspěvku jsou substantiva s nulovou příponu analyzována ve vztahu k základovým slovesům i ve vztahu ke konkurenčním substantivům s nenulovými příponami.


Universal Dependencies v2: An Evergrowing Multilingual Treebank Collection

Universal Dependencies v2: stále rostoucí mnohojazyčná sbírka treebanků

Universal Dependencies is an open community effort to create cross-linguistically consistent treebank annotation for many languages within a dependency-based lexicalist framework. The annotation consists in a linguistically motivated word segmentation; a morphological layer comprising lemmas, universal part-of-speech tags, and standardized morphological features; and a syntactic layer focusing on syntactic relations between predicates, arguments and modifiers. In this paper, we describe version 2 of the guidelines (UD v2), discuss the major changes from UD v1 to UD v2, and give an overview of the currently available treebanks for 90 languages.

Universal Dependencies je komunitní projekt, jehož cílem je vytvořit mnohojazyčnou sbírku korpusů anotovaných způsobem, který je konzistentní napříč jazyky, v rámci závislostního lexikalistického přístupu. Anotace sestává z lingvisticky motivované segmentace na slova, z morfologické roviny obsahující lemmata, univerzální slovní kategorie a standardizované morfologické rysy, jakož i ze syntaktické roviny, která se zaměřuje na syntaktické vztahy mezi predikáty, argumenty a volnými rozvitími.

Joakim Nivre
Marie-Catherine de Marneffe
Filip Ginter
Jan Hajič
Christopher Manning
Sampo Pyysalo
Sebastian Schuster
Francis Tyers
Daniel Zeman


Cross-Lingual Information Retrieval (for Elitr LangTools workshop at Eurosai 2020)

Mezijazyčné vyhledávání informací (pro Elitr LangTools workshop při Eurosai 2020)


Cross-Lingual Information Retrieval DEMO

DEMO mezijazyčného vyhledávání informací

The Cross-Lingual Information Retrieval (CLIR) tool allows you to search in documents in various languages, using your own language both to enter the search query as well as to display the search results, thanks to automated machine translation.
In the demo, you can search in audits and other documents published by the Czech and Belgian Supreme Audit Institutions. The demo works in English, German, French and Czech.

Nástroj Cross-Lingual Information Retrieval (CLIR) vám umožňuje vyhledávat v dokumentech v různých jazycích a pomocí vlastního jazyka zadávat vyhledávací dotaz i zobrazovat výsledky vyhledávání díky automatizovanému strojovému překladu.
V ukázce můžete vyhledávat v auditech a dalších dokumentech publikovaných českými a belgickými nejvyššími kontrolními institucemi. Demo funguje v angličtině, němčině, francouzštině a češtině.


Deliverable D7.2 Report on NLP Technologies Workshop at EUROSAI Congress

Deliverable D7.2 Report o workshopu o jazykových technologiích na kongresu EUROSAI

This deliverable reports on the preparation of the LangTools workshop at EUROSAI Congress 2020, aimed at presenting NLP Technologies to supreme audit institution (SAI) representatives.

Tento deliverable reportuje přípravu workshopu LangTools na kongres EUROSAI 2020, zaměřeného na prezentaci jazykových technologií zástupcům nejvyšších kontrolních úřadů.


THEaiTRE: Artificial Intelligence to Write a Theatre Play

THEaiTRE: Umělá inteligence píše divadelní hru

We present the THEaiTRE project, in which we are trying to computationally generate a theatre play script.

Představujeme projekt THEaiTRE, ve kterém se snažíme počítačově vygenerovat scénář divadelní hry.


THEaiTRE: Artificial intelligence to write a theatre play

In the paper, we introduce the THEaiTRE project, which aims to automatically generate a theatre play script. We look at how this is done, how successful we have been so far and what problems we are facing.

V článku představíme projekt THEaiTRE, který si dává za cíl automaticky vygenerovat scénář divadelní hry. Podíváme se, jak to děláme, jak se nám to zatím daří a na jaké problémy narážíme.


Artificial intelligence is increasingly intruding into our lives, complementing or replacing people in various activities such as driving a car, translating text or making short news stories. We decided to give it a really challenging assignment: to write a new play. How's he going to deal with it? Can artificial intelligence create works of art? Should we even let it? What should be the role of artificial intelligence in society?

Umělá inteligence stále více zasahuje do našich životů a doplňuje či nahrazuje lidi v různých činnostech, jako je řízení auta, překlad textu či vytváření krátkých novinových zpráv. My jsme se rozhodli jí zadat opravdu náročný úkol: napsat novou divadelní hru. Jak se s tím popere? Zvládne umělá inteligence tvořit umělecká díla? A měli bychom jí to vůbec dovolit? Jaká by měla být role umělé inteligence ve společnosti?


Karel Čapek wrote about robots in 1920, are robots capable of writing a play about Karel Čapek these days? Do we want artificial intelligence to interfere with art? What is society's awareness of the use of robotics? And what will happen in the future? It is THEAITRE and Rudolf that will provide answers to these questions in their presentation at the InnoCamp.

Karel Čapek psal v roce 1920 o robotech, jsou v dnešní době roboti schopni napsat divadelní hru o Karlu Čapkovi? Chceme, aby umělá inteligence zasahovala do umění? Jaké je povědomí společnosti o využívání robotiky? A jak vývoj nastane v budoucnu? Odpovědi na tyto otázky přinese právě projekt THEAITRE a Rudolf ve své prezentaci na InnoCampu.


We present THEaiTRE, a starting research project aimed at automatic generation of theatre play scripts.
This paper reviews related work and drafts an approach we intend to follow.
We plan to adopt generative neural language models and hierarchical generation approaches, supported by summarization and machine translation methods, and complemented with a human-in-the-loop approach.

Prezentujeme THEaiTRE, začínající výzkumný projekt zaměřený na automatické generování scénářů divadelních her. Tento článek podává přehled související literatury a návrh přístupu, který plánujeme použít.
Konkrétně jde o generativní neuronové jazykové modely a metody hierarchického generování, s podporou automatické sumarizace a strojového překladu, doplněné o přístupy používající manuální lidské vstupy.

Rudolf Rosa
Ondřej Dušek
Tom Kocmi
David Mareček
Tomáš Musil
Patrícia Schmidtová
Dominik Jurko
Ondřej Bojar
Daniel Hrbek
David Košťák
Martina Kinská
Josef Doležal
Klára Vosecká


Science Café interview: With Rudolf Rosa on artificial intelligence and the THEaiTRE project

Science Café rozhovor: S Rudolfem Rosou o umělé inteligenci a projektu THEaiTRE

The THEaiTRE project provocatively asks if a robot can write a play. Over the past few months, scientists at MFF UK, in collaboration with DAMU experts, dramatists and actors, have programmed artificial intelligence to be able to generate a play script. The experiment is scheduled to premiere at 25. 11 in the Švanda Theatre – exactly 100 years since the premiere of Karel Čapek's R.U.R. play, whose anniversary it also marks.

Projekt THEaiTRE se provokativně ptá, zda robot zvládne napsat divadelní hru. V uplynulých měsících vědci z MFF UK ve spolupráci s odborníky z DAMU, dramaturgy a herci programovali umělou inteligenci tak, aby zvládla generovat scénář hry. Experiment má plánovanou premiéru na 25. 1. ve Švandově divadle – přesně 100 let od premiéry hry Karla Čapka R.U.R., jejíž výročí tím zároveň připomíná.


Measuring Memorization Effect in Word-Level Neural Networks Probing

Měření memorizačního efektu v probingu neuronových sítí na úrovni slov

Multiple studies have probed representations emerging in neural networks trained for end-to-end NLP tasks and examined what word-level linguistic information may be encoded in the representations.
In classical probing, a classifier is trained on the representations to extract the target linguistic information.
However, there is a threat of the classifier simply memorizing the linguistic labels for individual words, instead of extracting the linguistic abstractions from the representations, thus reporting false positive results.
While considerable efforts have been made to minimize the memorization problem, the task of actually measuring the amount of memorization happening in the classifier has been understudied so far.
In our work, we propose a simple general method for measuring the memorization effect, based on a symmetric selection of comparable sets of test words seen versus unseen in training.
Our method can be used to explicitly quantify the amount of memorization happening in a probing setup, so that an adequate setup can be chosen and the results of the probing can be interpreted with a reliability estimate.
We exemplify this by showcasing our method on a case study of probing for part of speech in a trained neural machine translation encoder.

Mnohé studie zkoumaly reprezentace vznikající v neuronových sítích trénovaných pro úkoly NLP a zkoumaly, jaké jazykové informace na úrovni slov mohou být v reprezentacích zakódovány.
V klasickém sondování je klasifikátor trénován na reprezentacích k získání cílové jazykové informace.
Hrozí však, že si klasifikátor pouze zapamatuje jazykové popisky pro jednotlivá slova, místo toho, aby z vyjádření vytěžil jazykové abstrakce, čímž by vykázal falešně pozitivní výsledky.
I když bylo vynaloženo značné úsilí na minimalizaci problému s memorizací, úkol skutečně změřit množství memorizace odehrávající se v klasifikaci byl zatím podceněn.
V naší práci navrhujeme jednoduchou obecnou metodu měření memorizačního efektu, založenou na symetrickém výběru srovnatelných sad viděných a neviděných slov pro trénování a testování.
Naši metodu lze použít k explicitní kvantifikaci množství memorování, které se děje, aby bylo možné zvolit adekvátní nastavení a výsledky sondování bylo možné spolehlivěji interpretovat.
To dokládáme ukázkou naší metody na případové studii sondování slovních druhů v natrénovaném enkodéru neuronového strojového překladu.


Results of the WMT20 Metrics Shared Task

This paper presents the results of the WMT20
Metrics Shared Task. Participants were asked
to score the outputs of the translation systems
competing in the WMT20 News Translation
Task with automatic metrics. Ten research
groups submitted 27 metrics, four of which
are reference-less “metrics”. In addition,
we computed five baseline metrics, including SENT BLEU, BLEU, TER and CHR F using the SacreBLEU scorer. All metrics were evaluated on how well they correlate at the
system-, document- and segment-level with
the WMT20 official human scores.
We present an extensive analysis on influence
of reference translations on metric reliability,
how well automatic metrics score human trans-
lations, and we also flag major discrepancies
between metric and human scores when eval-
uating MT systems. Finally, we investigate
whether we can use automatic metrics to flag
incorrect human ratings.

Tento dokument představuje výsledky WMT20
Metriky sdíleného úkolu. Účastníci byli dotázáni
k hodnocení výstupů překladatelských systémů
soutěžících v WMT20 News Translation s automatickými metrikami. Deset výzkumů
skupiny předložily 27 metrik, z nichž čtyři
jsou „metriky“ bez odkazů. Kromě toho jsme
vypočítali  pět základních metrik, včetně SENT BLEU, BLEU, TER a CHR F us-
SacreBLEU. Všechny metriky dobře korelují
na úrovni systému, dokumentu a segmentu s
oficiálním prekladem.
Předkládáme rozsáhlou analýzu vlivu
referenčních překladů o metrické spolehlivosti,
jak dobře automatické metriky hodnotí lidské preklady a také upozorňujeme na velké nesrovnalosti
mezi metrickým a lidským skóre při hodnocení
systémem MT. Nakonec zkoumame,
zda můžeme použít automatické metriky k označení
nesprávného hodnocení lidí.

Nitika Mathur
Johnny Tian-Zheng Wei
Markus Freitag
Qingsong Ma
Ondřej Bojar


Reading Comprehension in Czech via Machine Translation and Cross-lingual Transfer

Čtení s porozuměním v češtině pomocí strojového překladu a mezijazyčného přenosu

Reading comprehension is a well studied task, with huge training datasets in English. This work focuses on building reading comprehension systems for Czech, without requiring any manually annotated Czech training data. First of all, we automatically translated SQuAD 1.1 and SQuAD 2.0 datasets to Czech to create training and development data, which we release at http://hdl.handle.net/11234/1-3249. We then trained and evaluated several BERT and XLM-RoBERTa baseline models. However, our main focus lies in cross-lingual transfer models. We report that a XLM-RoBERTa model trained on English data and evaluated on Czech achieves very competitive performance, only approximately 2 percent points worse than a model trained on the translated Czech data. This result is extremely good, considering the fact that the model has not seen any Czech data during training. The cross-lingual transfer approach is very flexible and provides a reading comprehension in any language, for which we have enough monolingual raw texts.

Čtení s porozuměním je značně studovaný úkol s obrovskými trénovacími datasety v angličtině. Tato práce se zaměřuje na tvorbu systému čtení s porozuměním pro češtinu, aniž by byla potřeba ručně anotovaná česká trénovací data. Nejprve jsme automaticky přeložili datasety SQuAD 1.1 a SQuAD 2.0 do češtiny, abychom vytvořili trénovací a validační data, která zveřejňujeme na http://hdl.handle.net/11234/1-3249. Poté jsme natrénovali a vyhodnotili několik referenčních modelů založených na architekturách BERT a XLM-RoBERTa. Náš hlavní příspěvek však spočívá v modelech mezijazykového přenosu. Model XLM-RoBERTa, trénovaný na anglických datech a vyhodnocený na češtině, dosahuje velmi konkurenceschopných výsledků, jen přibližně o 2 procenta horší než model trénovaný na přeložených českých datech. Tento výsledek je mimořádně dobrý, vezmeme-li v úvahu skutečnost, že model během trénování neviděl žádná česká data. Mezijazykový přenos je velmi flexibilní a je pomocí něj možné vytvořit model v jakémkoli jazyce, pro který máme dostatek čistých dat.


Overview of the 7th Workshop on Asian Translation

Přehled 7. workshopu o překladech do asijských jazyků

This paper presents the results of the shared
tasks from the 7th workshop on Asian translation (WAT2020). For the WAT2020, 20 teams
participated in the shared tasks and 14 teams
submitted their translation results for the human evaluation. We also received 12 research paper submissions out of which 7 were accepted. About 500 translation results were
submitted to the automatic evaluation server,
and selected submissions were manually evaluated.

Tento dokument představuje výsledky sdílených
úkolů ze 7. workshopu o překladech do asijských jazyků (WAT2020). WAT2020 se účastnilo 20 týmů a 14 týmů předložilo výsledky překladů pro lidské hodnocení. Obdrželi jsme také 12 písemných podání k výzkumu, z nichž 7 bylo přijato
s výjimkou. Zhruba 500 výsledků překladů bylo
odevzdáno na automatickém hodnotícím serveru
a vybraná podání byla vyhodnocena ručně.

Toshiaki Nakazawa
Hideki Nakayma
Chenchen Ding
Raj Dabre
Shohei Higashiyama
Hideya Mino
Isao Goto
Win Pa Pa
Anoop Kunchukuttan
Shantipriya Parida
Ondřej Bojar
Sadao Kurohashi


Automating Text Naturalness Evaluation of NLG Systems

Automatizace hodnocení přirozenosti textu systémů NLG

Automatic methods and metrics that assess various quality criteria of automatically generated texts are important for developing NLG systems because they produce repeatable results and allow for a fast development cycle. We present here an attempt to automate the evaluation of text naturalness which is a very important characteristic of natural language generation methods. Instead of relying on human participants for scoring or labeling the text samples, we propose to automate the process by using a human likeliness metric we define and a discrimination procedure based on large pretrained language models with their probability distributions. We analyze the text probability fractions and observe how they are influenced by the size of the generative and discriminative models involved in the process. Based on our results, bigger generators and larger pretrained discriminators are more appropriate for a better evaluation of text naturalness. A comprehensive validation procedure with human participants is required as follow up to check how well this automatic evaluation scheme correlates with human judgments.

Automatické metody a metriky, které hodnotí různá kritéria kvality automaticky generovaných textů, jsou důležité pro vývoj systémů NLG, protože vytvářejí opakovatelné výsledky a umožňují rychlý vývojový cyklus. Představujeme zde pokus automatizovat hodnocení přirozenosti textu, což je velmi důležitá charakteristika metod generování přirozeného jazyka. Namísto spoléhání se na lidské účastníky při hodnocení nebo označování textových vzorků navrhujeme automatizovat proces pomocí metriky lidské pravděpodobnosti, kterou definujeme, a diskriminačního postupu založeného na velkých předtrénovaných jazykových modelech s jejich rozděleními pravděpodobnosti.


How Many Pages? Paper Length Prediction from the Metadata

Kolik stránek? Predikce délky papíru z metadat

Being able to predict the length of a scientific paper may be helpful in numerous situations. This work defines the paper length prediction task as a regression problem and reports several experimental results using popular machine learning models. We also create a huge dataset of publication metadata and the respective lengths in
number of pages. The dataset will be freely available and is intended to foster research in this domain. As future work, we would like to
explore more advanced regressors based on neural networks and big pretrained language models.

Schopnost předpovědět délku vědecké práce může být užitečná v mnoha situacích. Tato práce definuje úlohu predikce délky papíru jako regresní problém a uvádí několik experimentálních výsledků pomocí populárních modelů strojového učení.


Human or Machine: Automating Human Likeliness Evaluation of NLG Texts

Člověk nebo stroj: Automatizace hodnocení pravděpodobnosti textů NLG člověkem

Automatické vyhodnocení různých kritérií kvality textu vytvořených inteligentními metodami založenými na datech je velmi běžné a užitečné, protože je levné, rychlé a obvykle přináší opakovatelné výsledky. V tomto příspěvku prezentujeme pokus automatizovat hodnocení lidské pravděpodobnosti výstupních textových vzorků pocházejících z metod generování přirozeného jazyka používaných k řešení několika úkolů.

Automatic evaluation of various text quality criteria produced by data-driven intelligent methods is very common and useful because it is cheap, fast, and usually yields repeatable results. In this paper, we present an attempt to automate the human likeliness evaluation of the output text samples coming from natural language generation methods used to solve several tasks. We propose to use a human likeliness score that shows the percentage of the output samples from a method that look as if they were written by a human. Instead of having human participants label or rate those samples, we completely automate the process by using a discrimination procedure based on large pretrained language models and their probability distributions. As follow up, we plan to perform an empirical analysis of human-written and machine-generated texts to find the optimal setup of this evaluation approach. A validation procedure involving human participants will also check how the automatic evaluation correlates with human judgments.


Two Huge Title and Keyword Generation Corpora of Research Articles

Dva obrovské korpusy titulů a klíčových slov z výzkumných článků

Recent developments in sequence-to-sequence learning with neural networks have considerably improved the quality of automatically generated text summaries and document keywords, stipulating the need for even bigger training corpora. Metadata of research articles are usually easy to find online and can be used to perform research on various tasks. In this paper, we introduce two huge datasets for text summarization (OAGSX) and keyword generation (OAGKX) research, containing 34 million and 23 million records, respectively. The data were retrieved from the Open Academic Graph which is a network of research profiles and publications. We carefully processed each record and also tried several extractive and abstractive methods of both tasks to create performance baselines for other researchers. We further illustrate the performance of those methods previewing their outputs. In the near future, we would like to apply topic modeling on the two sets to derive subsets of research articles from more specific disciplines.

Poslední vývoj v učení neuronovými sítěmi výrazně zvýšilo kvalitu automaticky generovaných souhrnů a klíčových slov dokumentu s tím, že je třeba ještě větších trénovacích korpusů. V tomto příspěvku představujeme dvě velké datové sady pro sumarizaci textu (OAGSX) a generování klíčových slov bsahující 34 milionů, resp. 23 milionů záznamů. Data byla získána ze sítě Open Academic Graph obsahující výzkumné profily a publikace. Pečlivě jsme zpracovávali každý záznam a také zkoušeli
několik extraktivních a abstraktivních metod pro obě úlohy, abychom vytvořili základ pro další výzkum. Dále jsme ukázali výkon těchto metod
kontrolou jejich výstupu. Brzy bychom rdi užili modelování témat na dvou množinách, abychom vytvořili dvě podmnožiny článků ze specifičtějších
disciplín.


FINDINGS OF THE IWSLT 2020 EVALUATION CAMPAIGN

The evaluation campaign of the International Conference on Spoken Language Translation (IWSLT 2020) featured this year six challenge tracks: (i) Simultaneous speech translation, (ii) Video speech translation, (iii) Offline speech translation, (iv) Conversational speech translation, (v) Open domain translation, and (vi) Non-native speech translation. A total of teams participated in at least one of the tracks. This paper introduces each track’s goal, data and evaluation metrics, and reports the results of the received submissions.

V rámci hodnotící kampaně Mezinárodní konference o překladu mluveného jazyka (IWSLT 2020) bylo letos zařazeno šest náročných úloh: i) simultánní překlad řeči, ii) překlad videořeči, iii) offline překlad řeči, iv) překlad konverzační řeči, v) Open domain překlad a vi) překlad řeči nerodilých mluvčí. Tento dokument uvádí cíle každé trati, údaje a metriky hodnocení a informuje o výsledcích obdržených podání.

Ebrahim Ansari
Amittai Axelrod
Nguyen Bach
Ondřej Bojar
Roldano Cattoni
Fahim Dalvi
Nadir Durrani
Marcello Federico
Christian Federmann
Jiatao Gu
Fei Huang
Kevin Knight
Xutai Ma
Ajay Nagesh
Matteo Negri
Jan Niehues
Juan Pino
Elizabeth Salesky
Xing Shi
Sebastian Stüker
Marco Turchi
Alex Waibel
Changhan Wang


Speed-optimized, Compact Student Models that Distill Knowledge from a Larger Teacher Model: the UEDIN-CUNI Submission to the WMT 2020 News Translation Task

Kompaktní studentské modely optimalizované na rychlost, které destilují znalosti z většího učitelského modelu: příspěvek UEDIN-CUNI do WMT 2020 News Translation Task

We describe the joint submission of the University of Edinburgh and Charles University, Prague, to the Czech/English track in the WMT 2020 Shared Task on News Translation. Our fast and compact student models distill knowledge from a larger, slower teacher. They are designed to offer a good trade-off between translation quality and inference efficiency. On the WMT 2020 Czech-English test sets, they achieve translation speeds of over 700 whitespace-delimited source words per second on a single CPU thread, thus making neural translation feasible on consumer hardware without a GPU.

Popisujeme společný příspěvek Edinburské univerzity a Univerzity Karlovy do soutěže v česko-anglickém strojovém překladu - WMT 2020 Shared Task on News Translation. Naše rychlé a kompaktní studentské modely destilují znalosti z většího, pomalejšího učitelského modelu. Jsou navrženy tak, aby nabízely dobrý kompromis mezi kvalitou překladu a efektivitou inference. Na česko-anglických testovacích sadách WMT 2020 dosahují rychlosti překladu přes 700 zdrojových slov za sekundu na jednom procesoru, což umožňuje neuronový strojový překlad na spotřebním hardwaru bez GPU.

Ulrich Germann
Roman Grundkiewicz
Martin Popel
Radina Dobreva
Nikolay Bogoychev
Kenneth Heafield


Czech parliament meeting recordings as ASR training data

Záznamy jednání českého parlamentu jako trénovací data pro ASR

I present a way to leverage the stenographed recordings of the Czech parliament meetings for purposes of training a speech-to-text system. The article presents a method for scraping the data, acquiring word-level alignment and selecting reliable parts of the imprecise transcript. Finally, I present an ASR system trained on these and other data.

Prezentuji způsob, jak využít stenografované záznamy jednání PSPČR pro účely trénování systémů rozpoznávání řeči. V článku je uvedena metoda pro získání dat, zarovnání na úrovni slov a výběr spolehlivých částí nepřesného přepisu. Konečně prezentuji systém rozpoznávání řeči natrénovaný na těchto i jiných datech.


Prisoner tattoo as a situated social object in Holocaust survivors’ visual history testimonies

Vězeňské tetování ve vyprávění přeživších holocaustu

The practice of tattooing has been part of human culture since the dawn of history. In this paper, despite the mentioned cultural shifts toward the voluntary nature and social acceptability of tattooing, we focus on some cases of tattooing as an involuntary “branding” practice, which is a historical form of exercising total physical control over one’s person, such as in the case of human slaves. In terms of empirical material, our study is based on the USC Shoah Foundation's Visual History Archive.

Praxe tetování je součástí lidské kultury od počátku dějin. Navzdory kulturním posunům směrem k dobrovolné povaze a společenské přijatelnosti tetování se v tomto textu zaměřujeme na některé případy tetování jako nedobrovolného „značkování“, což je způsob vykonávání naprosté fyzické kontroly nad člověkem, jako v případě lidských otroků. Ve své empirické dimenzi vychází naše studie z Archivu vizuální historie nadace USC Shoah.


PyVallex: A Processing System for Valency Lexicon Data

PyVallex: Nástroj pro zpracování dat valenčních slovníků

We present PyVallex, a Python-based system for presenting, searching/filtering, editing/extending and automatic processing of machine readable lexicon data originally available in a text-based format. The system consists of several components: a parser for the specific lexicon format used in several valency lexicons, a data-validation framework, a regular expression based search engine, a map-reduce style framework for querying the lexicon data and a web-based interface integrating complex search and some basic editing capabilities. PyVallex provides most of the typical functionalities of a Dictionary Writing System (DWS), such as multiple presentation modes for the underlying lexical database, automatic evaluation of consistency tests, and a mechanism of merging updates coming from multiple sources. The editing functionality is currently limited to the client-side interface and edits of existing lexical entries, but additional script-based operations on the database are also possible. The code is published under the open source MIT license and is also available in the form of a Python module for integrating into other software.

Představujeme PyVallex, nástroj pro prezentaci, prohledávání/filtrování, editaci/rozšiřování a automatické zpracování strojově čitelných lexikografických dat v původním textovém formátu. Tento systém se skládá z několika komponent, parseru, nástrojů pro validaci dat, vyhledávání pomocí regulárních výrazů, frameworku typu map-reduce pro sestavování komplexnějších dotazů a analýz a webového rozhraní.


Grounded Sequence to Sequence Transduction

Sekvenční učení ukotvené v multimodálních vstupech

Speech recognition and machine translation have made major progress over the past decades, providing practical systems to map one language sequence to another. Although multiple modalities such as sound and video are becoming increasingly available, the state-of-the-art systems are inherently unimodal, in the sense that they take a single modality—either speech or text—as input. Evidence from human learning suggests that additional modalities can provide disambiguating signals crucial for many language tasks. Here, we describe the How2 dataset, a large, open-domain collection of videos with transcriptions and their translations. We then show how this single dataset can be used to develop systems for a variety of language tasks and present a number of models meant as starting points. Across tasks, we find that building multi-modal architectures that perform better than their unimodal counterpart remains a challenge. This leaves plenty of room for the exploration of more advanced solutions that fully exploit the multi-modal nature of the How2 dataset, and the general direction of multimodal learning with other datasets as well.

Rozpoznávání řeči a strojový překlad učinily v posledních desetiletích velký pokrok a vedly ke vzniku praktických systémů, které dovedou mapovat jednu jazykovou posloupnost na druhou. Přestože jsou stále dostupnější data ve více modalitách jako je zvuk a video, nejmodernější systémy jsou ze své podstaty unimodální v tom smyslu, že jako vstup berou jedinou modalitu - ať už řeč nebo text. Zkušenosti z toho, jak se učí lidé učí jazyk, ukazují, že různé modality nesou navzájem se dolňující se signály, které jsou často klíčové pro řešení mnoha jazykových úkolů. V tomto článku popisujeme datovou sadu How2, rozsáhlou, kolekci videí s přepisy a jejich překlady. Ukazujeme, jak lze tuto datovou sadu využít k vývoji systémů pro různé jazykové úlohy a představujeme řadu modelů. V rámci řešení těchto úloh zjišťujeme, že budování multimodálních architektur, které by fungovaly lépe, než jejich unimodální protějšek, zůstává i nadále velkou výzvou. To ponechává velký prostor pro zkoumání pokročilejších řešení, která plně využívají multimodální povahu datového souboru How2, a také obecného směřování multimodálního učení s využitím jiných multimodálních datových sad.

Lucia Specia
Loïc Barrault
Ozan Caglayan
Amanda Duarte
Desmond Elliott
Spandana Gella
Nils Holzenberger
Chiraag Lala
Sun Jae Lee
Jindřich Libovický
Pranava Madhyastha
Florian Metze
Karl Mulligan
Alissa Ostapenko
Shruti Palaskar
Ramon Sanabria
Josiah Wang
Raman Arora


WMT20 Document-Level Markable Error Exploration

WMT20 zkoumání chybovosti Markable na úrovni dokumentů

Even though sentence-centric metrics are
used widely in machine translation evaluation,
document-level performance is at least equally
important for professional usage. In this paper,
we bring attention to detailed document-level
evaluation focused on markables (expressions
bearing most of the document meaning) and
the negative impact of various markable error
phenomena on the translation.
For an annotation experiment of two phases,
we chose Czech and English documents translated
by systems submitted to WMT20 News
Translation Task. These documents are from
the News, Audit and Lease domains. We show
that the quality and also the kind of errors
varies significantly among the domains. This
systematic variance is in contrast to the automatic
evaluation results.
We inspect which specific markables are problematic
for MT systems and conclude with an
analysis of the effect of markable error types
on the MT performance measured by humans
and automatic evaluation tools.

I když se při strojovém vyhodnocování překladů ve velké míře používají metriky se středem věty, výkonnost na úrovni dokumentů je pro profesionální použití přinejmenším stejně důležitá. V tomto dokumentu upozorňujeme na podrobné hodnocení na úrovni dokumentů zaměřené na markables (výrazy nesoucí většinu významu dokumentu) a negativní dopad různých markable error fenomenů na překlad.

Pro anotační experiment dvou fází jsme vybrali české a anglické dokumenty přeložené systémy, které byly předány do WMT20 News Translation Task. Tyto dokumenty jsou z domén News, Audit a Lease. Ukazujeme, že kvalita a také druh chyb se mezi doménami výrazně liší. Tento systematický rozptyl je v protikladu k automatickým výsledkům hodnocení.

Zkoumáme, které specifické značení je problematické pro systémy MT, a zakončíme analýzou vlivu značených chybových typů na výkonnost MT měřenou lidmi a automatickými hodnotícími nástroji.

Vilém Zouhar
Tereza Vojtěchová
Ondřej Bojar


Outbound Translation User Interface Ptakopet: A Pilot Study

Úvodní studie uživatelského rozhraní Outbound Translation

It  is  not  uncommon  for  Internet  users  to  have  to  produce  a  text  in  a  foreign  language  they  have  very  little  knowledge  of  and  areunable  to  verify  the  translation  quality.We  call  the  task  “outbound  translation”  and  explore  it  by  introducing  an  open-sourcemodular system Ptakopˇet.  Its main purpose is to inspect human interaction with MT systems enhanced with additional subsystems,such  as  backward  translation  and  quality  estimation.    We  follow  up  with  an  experiment  on  (Czech)  human  annotators  tasked  toproduce  questions  in  a  language  they  do  not  speak  (German),  with  the  help  of  Ptakopˇet.   We  focus  on  three  real-world  use  cases(communication with IT support, describing administrative issues and asking encyclopedic questions) from which we gain insight intodifferent strategies users take when faced with outbound translation tasks.  Round trip translation is known to be unreliable for evaluat-ing MT systems but our experimental evaluation documents that it works very well for users, at least on MT systems of mid-range quality.

Často musí uživatelé internetu vyprodukovat text v cizím jazyce, který znají jen velmi málo a nejsou schopni ověřit kvalitu překladu. Úkol nazýváme "outbound translation" a zkoumáme ho zavedením open-source modulárního systému Ptakopět. Jeho hlavním účelem je kontrola interakce člověka se systémy MT posílenými o další subsystémy, jako je zpětný překlad a odhad kvality. Navazujeme na experiment s (českými) lidskými anotátory, kteří mají za úkol vytvářet otázky v jazyce, kterým nemluví (němčina), s pomocí Ptakopětu. Zaměřujeme se na tři případy využití v reálném světě (komunikace s IT podporou, popis administrativních záležitostí a kladení encyklopedických otázek), z nichž získáváme vhled do různých strategií, které uživatelé používají, když čelí outbound translation. Je známo, že zpětný překlad je pro hodnocení systémů MT nespolehlivý, ale naše experimentální hodnocení dokládá, že pro uživatele funguje velmi dobře, přinejmenším u systémů MT střední kvality.


Extending Ptakopět for Machine Translation User Interaction Experiments

Rozšíření systému Ptakopět pro uživatelské experimenty strojového překladu

The problems of outbound translation, machine translation user confidence and user interaction are not yet fully explored. The goal of the online modular system Ptakopět is to provide tools for studying these phenomena. Ptakopět is a proof-of-concept system for examining user interaction with enhanced machine translation. It can be used either for actual translation or running experiments on human annotators. In this article, we aim to describe its main components and to show how to use Ptakopět for further research. We also share tips for running experiments and setting up a similar online annotation environment.

Ptakopět was already used for outbound machine translation experiments, and we cover the results of the latest experiment in a demonstration to show the research potential of this tool. We show quantitatively that even though backward translation improves machine-translation user experience, it mainly increases users' confidence and not the translation quality.

Článek popisuje systém Ptakopět, který byl vyvinut pro zkoumání chování užívatelů při práci s interaktivním systémem pro tzv. odchozí překlad. Při něm se překládá do jazyka, kterému užívatel sice nerozumí, ale zodpovědnost za kvalitu překladu ostáva na něm.


CUNI Neural ASR with Phoneme-Level Intermediate Step for Non-Native SLT at IWSLT 2020

Neuronové ASR Univerzity Karlovy s přechodným překladem do fonemů jako systém pro úlohu překladu řeči nerodilých mluvčích na IWSLT 2020

In this paper, we present our submission to
the Non-Native Speech Translation Task for
IWSLT 2020. Our main contribution is a proposed speech recognition pipeline that consists of an acoustic model and a phoneme-to grapheme model. As an intermediate representation, we utilize phonemes. We demonstrate that the proposed pipeline surpasses
commercially used automatic speech recognition (ASR) and submit it into the ASR track.
We complement this ASR with off-the-shelf
MT systems to take part also in the speech
translation track.

Strojový překlad z angličtiny:

V tomto dokumentu předkládáme naše podání k úkolu překládat nenarozené projevy pro IWSLT 2020. Naším hlavním příspěvkem je navržený systém rozpoznávání řeči, který se skládá z akustického modelu a modelu foném-tographeme. Jako mezičlánek používáme telefony. Dokazujeme, že navrhovaný ropovod překonává komerčně využívané automatické rozpoznávání řeči (ASR) a zavádí jej na dráhu ASR. Doplňujeme toto ASR o běžně dostupné systémy MT, abychom se zapojili také do skladby pro překlad řeči.

Peter Polák
Sangeet Sagar
Dominik Macháček
Ondřej Bojar


Factors influencing implicit discourse relations in Czech

Faktory ovlivňující implicitní diskurzní vztahy v češtině

The lecture deals with the relation of implicit discourse relations and other factors, such as their frequency, specificity of their semantics, and features signalling the meaning of implicit discourse relation (confrontation: word order, long and short forms of pronouns, accent; concession: intonation).

Přednáška pojednává o vztahu implicitnosti diskurzních vztahů a dalších faktorů, jako je jejich frekvence, specifičnost jejich sémantiky, a o  signálech spoluvytvářejících význam implicitního diskurzního vztahu (konfrontace: slovosled, dlouhé a krátké tvary zájmen, přízvuk; přípustka: intonace).


Large Corpus of Czech Parliament Plenary Hearings

Velký korpus plenárních jednání parlamentu

We present a large corpus of Czech parliament plenary sessions. The corpus consists of approximately 1200 hours of speech data and corresponding text transcriptions. The whole corpus has been segmented to short audio segments making it suitable for both training and evaluation of automatic speech recognition (ASR) systems. The source language of the corpus is Czech, which makes it a valuable resource for future research as only a few public datasets are available in the Czech language. We complement the data release with experiments of two baseline ASR systems trained on the presented data: the more traditional approach implemented in the Kaldi ASRtoolkit which combines hidden Markov models and deep neural networks (NN) and a modern ASR architecture implemented in Jaspertoolkit which uses deep NNs in an end-to-end fashion.

Představujeme velký soubor plenárních zasedání českého parlamentu. Korpus se skládá z přibližně 1200 hodin řečových dat a odpovídajících textových přepisů. Celý korpus byl segmentován na krátké zvukové segmenty, takže je vhodný jak pro trénink, tak pro hodnocení systémů automatického rozpoznávání řeči (ASR). Zdrojovým jazykem korpusu je čeština, což z něj činí cenný zdroj pro budoucí výzkum, protože v českém jazyce je k dispozici pouze několik veřejných datových souborů. Vydání dat doplňujeme experimenty dvou základních systémů ASR trénovaných na prezentovaných datech: tradičnější přístup implementovaný v Kaldi ASR toolkit, který kombinuje skryté Markovovy modely a hluboké neurální sítě (NN), a moderní ASR architekturu implementovanou v Jasper toolkit, který využívá NN v podobě end-to-end.

Jonáš Kratochvíl
Peter Polák
Ondřej Bojar


Compiling and annotating a learner corpus for a morphologically rich language – CzeSL, a corpus of non-native Czech

Kompilace a anotace žákovského korpusu jazyka s bohatou morfologií - CzeSL, korpus nerodilých mluvčích češtiny

Learner corpora, linguistic collections documenting a language as used by learners, provide an important empirical foundation for language acquisition research and teaching practice. This book presents CzeSL, a corpus of non-native Czech, against the background of theoretical and practical issues in the current learner corpus research.

Languages with rich morphology and relatively free word order, including Czech, are particularly challenging for the analysis of learner language. The authors address both the complexity of learner error annotation, describing three complementary annotation schemes, and the complexity of description of non-native Czech in terms of standard linguistic categories.

The book discusses in detail practical aspects of the corpus creation: the process of collection and annotation itself, the supporting tools, the resulting data, their formats and search platforms.
The chapter on use cases exemplifies the usefulness of learner corpora for teaching, language acquisition research, and computational linguistics. Any researcher developing learner corpora will surely appreciate the concluding chapter listing lessons learned and pitfalls to avoid.

Žákovské korpusy, čili korpusy, které dokumentují jazyk tak, jak jej používají nerodilí mluvčí, poskytují důležité informace pro výzkum osvojování jazyka i pedagogickou praxi. Tato monografie představuje CzeSL – korpus češtiny nerodilých mluvčích, a to na pozadí teoretických a praktických otázek současného výzkumu v oboru žákovských korpusů.

Jazyky s bohatou morfologií a volným slovosledem, včetně češtiny, jsou pro analýzu osvojovaného jazyka obzvláště náročné. Autoři se zabývají složitostí chybové anotace a popisují tři vzájemně se doplňující anotační schémata. Věnují se také popisu nerodilé češtiny z hlediska standardních jazykových kategorií.

Kniha podrobně rozebírá praktické aspekty tvorby korpusu: proces sběru a anotace, potřebné nástroje, výsledná data, jejich formáty a vyhledávací rozhraní. Kapitola o aplikacích korpusu ilustruje jeho užitečnost pro výuku, výzkum akvizice i počítačovou lingvistiku. Každý, kdo se zabývá tvorbou žákovských korpusů, jistě ocení závěrečnou kapitolu, shrnující úskalí, kterým je třeba se vyhnout.

Alexandr Rosen
Jirka Hana
Barbora Hladká
Tomáš Jelínek
Svatava Škodová
Barbora Štindlová


On dictionary treatment of words with a significant pragmatic meaning component (based on ethnographic and anthropological terms)

K možnostem zachycení pragmatické složky významu v jednojazyčném výkladovém slovníku (na příkladu hesel z oblasti etnografie a antropologie)

The paper deals with the possibilities of the dictionary treatment of words whose meanings include a significant pragmatic component. Firstly, the formal lexicographical tools for their treatment are outlined, including (style) labels, glosses, and usage notes. Furthermore, the paper concentrates in detail on words referring to the ethnic and racial identity of people, representing the type of words whose meanings include a significant pragmatic component. The issues connected with their use and their dictionary treatment are analysed, e.g. shifts in their meaning and perception, complicated and unclear terminology, and the difficulty of capturing particular connotations. The analyses are illustrated using examples from the Czech National Corpus and from dictionaries of contemporary Czech, and selected dictionaries of Slovak and English. The paper also introduces and explains some decisions made by the authors of Akademický slovník současné češtiny (Academic Dictionary of Contemporary Czech) related to the treatment of the words under scrutiny. In addition, examples of several dictionary entries or proposals thereof, accompanied by the author’s comments, are attached.

V článku se zabýváme možnostmi zpracování výrazů s výraznou pragmatickou složkou významu v jednojazyčném výkladovém slovníku. Nejprve obecněji nastiňujeme formální lexikografické nástroje pro zpracování takových slov, jako je využití kvalifikátorů, komentářů a usage notes. Dále se konkrétněji zaměřujeme na výrazy vyjadřující etnickou a rasovou příslušnost lidí, které reprezentují jeden z typů s výraznou pragmatickou složkou významu. Široce přitom analyzujeme problematiku těchto výrazů, která se projevuje např. v posunech vnímání významů výrazů z této oblasti, v komplikované či nejasné terminologii, v obtížné zachytitelnosti některých konotací apod. Rozbory dokládáme na příkladech z Českého národního korpusu a ze stávajících slovníků, především českých (včetně vznikajícího ASSČ), ale i některých slovenských a anglických. V příloze pak uvádíme příklady zpracování několika vybraných slovníkových hesel.


The MorfFlex Dictionary of Czech as a Source of Linguistic Data

Slovník MorfFlex jako zdroj lingvistickcýh dat

In this paper we describe MorfFlex, the Morphological Dictionary of Czech, as an invaluable resource for exploring the formal behavior of words. We demonstrate that MorfFlex provides valuable and rich data allowing to elaborate on various morphological issues in depth, which is also connected with the fact that the MorfFlex dictionary includes words throughout the whole vocabulary, including non-standard units, proper nouns, abbreviations, etc. Moreover, in comparison with typical monolingual dictionaries of Czech, MorfFlex also captures non-standard wordforms, which is very important for Czech as a language with a rich inflection. In the paper we also demonstrate how particular information on lemmas and wordforms (e.g. variants, homonymy, style information) is marked and structured. The dictionary is provided as a digital open access source available to all scholars via the LINDAT/CLARIAH-CZ language resource repository. It is available in an electronic format, and also in a more human-readable, browsable and partly searchable form.

V tomto příspěvku popisujeme MorfFlex, Morfologický slovník češtiny, jako cenný zdroj pro zkoumání formálního chování slov. Ukazujeme, že MorfFlex poskytuje bohatá na korpusu založená data umožňující podrobně zkoumat různé morfologické jevy. MorfFlex obsahuje slova z celé slovní zásoby, včetně nestandardních jednotek, vlastních jmen, zkratek atd. Navíc ve srovnání s typickými monolingválními slovníky češtiny MorfFlex zachycuje i nestandardní varianty, což je pro češtinu jako jazyk s bohatou flexí velmi důležité.

Barbora Štěpánková
Marie Mikulová
Jan Hajič


UDPipe 2 is an pipeline for tokenization, tagging, lemmatization and dependency parsing of CoNLL-U files. Trained models are provided for nearly all UD treebanks and achieve performance competitive with state-of-the-art.

UDPipe 2 is a free software under Mozilla Public License 2.0 and the linguistic models are free for non-commercial use and distributed under CC BY-NC-SA license, although for some models the original data used to create the model may impose additional licensing conditions.

UDPipe 2 je nástroj pro tokenizaci, tagging, lemmatizaci a závislostní parsing CoNLL-U souborů.  Předtrénované jazykové modely jsou k dispozici pro téměř všechny UD korpusy a dosahují úspěšnosti srovnatelné s nejlepšími známými výsledky.

UDPipe 2 je svobodný software licencovaný pod Mozilla Public License 2.0 a jazykové modely jsou k dispozici pro nekomerční použití pod licencí CC BY-NC-SA, nicméně původní data použitá k vytvoření modelů mohou v některých případech ukládat další licenční omezení.


UDPipe at EvaLatin 2020: Contextualized Embeddings and Treebank Embeddings

UDPipe na EvaLatin 2020: Kontextualizované embeddingy a embeddingy korpusů

We present our contribution to the EvaLatin shared task, which is the first evaluation campaign devoted to the evaluation of NLP tools for Latin. We submitted a system based on UDPipe 2.0, one of the winners of the CoNLL 2018 Shared Task, The 2018 Shared Task on Extrinsic Parser Evaluation and SIGMORPHON 2019 Shared Task. Our system places first by a wide margin both in lemmatization and POS tagging in the open modality, where additional supervised data is allowed, in which case we utilize all Universal Dependency Latin treebanks. In the closed modality, where only the EvaLatin training data is allowed, our system achieves the best performance in lemmatization and in classical subtask of POS tagging, while reaching second place in cross-genre and cross-time settings. In the ablation experiments, we also evaluate the influence of BERT and XLM-RoBERTa contextualized embeddings, and the treebank encodings of the different flavors of Latin treebanks.

Představujeme náš příspěvek k shared tasku EvaLatin, což je první hodnotící kampaň věnovaná hodnocení nástrojů zpracování přirozeného textu pro latinu. Předložili jsme systém založený na UDPipe 2, jednom z vítězů soutěže CoNLL 2018 Shared Task, dále The 2018 Shared Task on Extrinsic Parser Evaluation a také SIGMORPHON 2019 Shared Task. Náš systém získal s velkým náskokem první místo jak v lemmatizaci tak v značkování v režimu otevřené modality, kde jsou povoleny další trénovací data, v kterémžto případě využíváme všechny latinské korpusy Universal Dependencies. V režimu uzavřené modality, kdy jsou povoleny pouze EvaLatin trénovací data, dosahuje náš systém nejlepších výsledků v lemmatizaci a značkování klasických textů a zároveň dosahuje druhého místa v nastavení napříč žánry a napříč časem. V ablačních experimentech hodnotíme vliv BERT a XLM-RoBERTa kontextualizovaných embeddingů a také kódování různých druhů latinských korpusů.


Universal Derivations (UDer) is a collection of harmonized lexical networks capturing word-formation, especially derivational relations, in a cross-linguistically consistent annotation scheme for many languages. The annotation scheme is based on a rooted tree data structure, in which nodes correspond to lexemes, while edges represent derivational relations or compounding. The current version of the UDer collection contains twenty-seven harmonized resources covering twenty different languages.

Universal Derivations (UDer) je kolekce harmonizovaných lexikalních sítí zachycujících slovotvorné, zvl. derivační vztahy jednotlivých jazyků v témže anotačním schématu. Základní datovou strukturou tohoto anotačního schématu jsou zakořeněné stromy, ve kterých uzly odpovídají lexémům a hrany reprezentují derivační, příp. kompozitní vztahy. Stávající verze UDer v0.1 obsahuje 27 harmonizovaných zdrojů pokrývajících 20 různých jazyků.

Lukáš Kyjánek
Zdeněk Žabokrtský
Jonáš Vidra
Magda Ševčíková


Universal Derivations 1.0, A Growing Collection of Harmonised Word-Formation Resources

Universal Derivations 1.0, Rostoucí kolekce harmonizovaných zdrojů slovotvorby

The paper deals with harmonisation of existing data resources containing word-formation features by converting them into a common file format and partially aligning their annotation schemas. We summarise (dis)similarities between the resources and describe individual steps of the harmonisation procedure, including manual annotations and application of Machine Learning techniques. The resulting 'Universal Derivations 1.0' collection contains  27 harmonised resources covering 20 languages. It is publicly  available  in the LINDAT/CLARIAH CZ repository and can be queried via the DeriSearch tool.

Článek se zabývá harmonizací existujících datových zdrojů zachycujících slovotvorbu různých jazyků, konkrétně převodem originálně zachycených slovotvorných příznaků do stejného souborového formátu a zčásti též do téhož anotačního schématu. Shrnuty jsou rozdíly i podobnosti mezi harmonizovanými zdroji. Popsány jsou jednotlivé kroky prezentované harmonizační procedury, jež zahrnuje manuální anotace i aplikaci technik z oblasti strojového učení. Výsledká kolekce 'Universal Derivations 1.0' obsahuje 27 harmonizovaných datových zdrojů, které dohromady pokrývají 20 různých jazyků. Kolekce je volně dostupná v repozitáři LINDAT/CLARIAH CZ a data jednotlivých zdrojů lze též dotazovat pomocí nástroje DeriSearch.

Lukáš Kyjánek
Zdeněk Žabokrtský
Magda Ševčíková
Jonáš Vidra


Estimating POS Annotation Consistency of Different Treebanks in a Language

Odhad konzistence anotace slovních druhů v různých treebancích jednoho jazyka

We introduce a new symmetric metric (called θpos) that utilises the non-symmetric KLcpos3 metric (Rosa and Žabokrtský, 2015) to allow us to compare the annotation consistency between different annotated treebanks of a given language, when annotated under the same guidelines. We can set a threshold for this new metric so that a pair of treebanks can be considered harmonious in their annotation consistency if θpos surpasses the threshold. For the calculation of the threshold, we estimate the effects of (i) the size variation, and (ii) the genre variation in the considered pair of treebanks. The estimations are based on data from treebanks of distinct language families, making the threshold less dependent on the properties of individual languages. We demonstrate the utility of the proposed metric by listing the treebanks in Universal Dependencies version 2.5 (UDv2.5) (Zeman et al., 2019) data that are annotated consistently with other treebanks of the same language. However, the metric could be used to assess inter-treebank annotation consistency under other (non-UD) annotation guidelines as well.

Zavádíme novou symetrickou míru (zvanou θpos), která využívá asymetrickou míru KLcpos3 (Rosa a Žabokrtský, 2015), abychom porovnali konzistenci anotace mezi různými anotovanými treebanky téhož jazyka, jestliže jsou anotované podle téhož anotačního schématu. Pro tuto míru můžeme nastavit práh a říct, že dva treebanky lze považovat za harmonické, pokud jde o jejich anotaci, jestliže θpos nepřekročí daný práh. Při stanovování prahové hodnoty posuzujeme vliv (i) různých velikostí dat a (ii) různého žánrového složení dat. Naše odhady vycházejí z dat z různých jazykových rodin, takže práh není tolik závislý na vlastnostech jednotlivých jazyků. Užití navržené míry demonstrujeme na treebancích z vydání 2.5 Universal Dependencies (Zeman et al., 2019): tam, kde je více než jeden treebank pro daný jazyk, uvádíme míru konzistence pro každý pár treebanků. Navržená míra může být nicméně využita pro vyhodnocení konzistence i v jiných anotačních schématech než Universal Dependencies.


R.U.R. in the times of artificial intelligence: A theatre play on the occasion of 100 years of the Čapek's work is being written by a robot from Matfyz

R.U.R. v dobách umělé inteligence: Divadelní hru k 100 letům Čapkova díla píše robot z Matfyzu

Rudolf Rosa of Charles University's Faculty of Mathematics and Physics has been appearing under the nickname R.U.R. since high school, and as it happens, he has become involved in a perhaps slightly crazy idea of, at the occasion of the 100-year anniversary of the introduction of the play R.U.R. by Karel Čapek, in which the word "robot" was first mentioned, staging a theatrical performance written by an artificial intelligence. Read an interview about how Matfyz enthusiasts have teamed up with actors from the Švanda Theatre to create a new world-class unique.

Rudolf Rosa z Matematicko-fyzikální fakulty Univerzity Karlovy už od střední školy vystupuje pod nickem R.U.R. a shodou okolností se mu do rukou dostal možná trochu bláznivý nápad zinscenovat ke stoletému výročí uvedení stejnojmenné hry od Karla Čapka, v níž poprvé zaznělo slovo „robot”, divadelní představení, jejímž autorem bude umělá inteligence. Přečtěte si rozhovor o tom, jak se nadšenci z Matfyzu spojili s herci ze Švandova divadla, aby vytvořili nový světový unikát.

Karolína Houžvičková Šolcová
Rudolf Rosa
Daniel Hrbek


Artificial Intelligence to Write a Theatre Play

Originally, the Czech word "robot" will celebrate one hundred years since entering our dictionary in January next year. Chapek's R.U.R. drama was the first play on this very subject. But what would it be like if, on the other hand, the robots wrote a play about man, perhaps directly about Karel Čapek? With the current state of knowledge, practically anything can be ventured. Artificial intelligence will increasingly become a normal part of our lives, and theatre can be one of the experimental spaces.

Původně české slovo „robot“ oslaví v lednu příštího roku sto let od vstupu do našeho slovníku. Čapkovo drama R.U.R. bylo první hrou právě o tomto tématu. Jaké by to ale bylo, kdyby naopak roboti napsali hru o člověku, možná přímo o Karlu Čapkovi? Se současným stavem poznání si už lze troufnout prakticky na cokoliv. Umělá inteligence se bude čím dál víc stávat běžnou součástí našich životů a divadlo může být jedním z experimentálních prostorů.


The Malach User Interface created for the needs of the Malach Center for Visual History makes several large collections and databases of oral history sources available for the research of 20th century history, with special attention to the issue of the Holocaust History.

Uživatelské rozhraní vytvářené pro potřeby Centra vizuální historie Malach zpřístupňuje několik velkých kolekcí a databází orálně historických pramenů k výzkumu dějin 20. století, se zvláštním zřetelem na problematiku holokaustu.