Better Supervision for End-to-end Neural Dialogue Systems

Lepší supervize pro end-to-end neuronové dialogové systémy

While end-to-end neural models have been the research trend in task-oriented dialogue systems in the past years, they still suffer from significant problems: The neural models often produce replies inconsistent with past dialogue context or database results, their replies may be dull and formulaic, and they require large amounts of annotated data to train. In this talk, I will present two of our recent experiments that aim at solving these problems.

First, our end-to-end neural system AuGPT based on the GPT-2 pretrained language model aims at consistency and variability in dialogue responses by using massive data augmentation and filtering as well as specific auxiliary training objectives which check for dialogue consistency. It reached favorable results in terms of both automatic metrics and human judgments (in the DSTC9 competition).

Second, we designed a system that is able to discover relevant dialogue slots (domain attributes) without any human annotation. It uses weak supervision from generic linguistic annotation models (semantic parser, named entities), which is further filtered and clustered. We train a neural slot tagger on the discovered slots, which then reaches state-of-the-art results in dialogue slot tagging without labeled training data. We further show that the discovered slots are helpful for training an end-to-end neural dialogue system.

Přestože neuronové modely typu end-to-end jsou v posledních letech trendem výzkumu v oblasti dialogových systémů orientovaných na úkoly, stále se potýkají s významnými problémy: Neuronové modely často vytvářejí odpovědi, které neodpovídají minulému kontextu dialogu nebo výsledkům databáze, jejich odpovědi mohou být nudné a formulaické a k jejich trénování je zapotřebí velké množství anotovaných dat. V této přednášce představím dva z našich nedávných experimentů, jejichž cílem je tyto problémy vyřešit.

Zaprvé, náš end-to-end neuronový systém AuGPT založený na předtrénovaném jazykovém modelu GPT-2 se zaměřuje na konzistenci a variabilitu odpovědí v dialogu pomocí masivního rozšiřování a filtrování dat a také specifických pomocných trénovacích cílů, které kontrolují konzistenci dialogu. Dosáhl příznivých výsledků, pokud jde o automatické metriky i lidské hodnocení (v soutěži DSTC9).

Za druhé jsme navrhli systém, který je schopen objevit relevantní dialogové sloty (atributy domény) bez jakékoli lidské anotace. Využívá slabou supervizi z obecných lingvistických anotačních modelů (sémantický parser, pojmenované entity), které dále filtruje a shlukuje. Na objevených slotech trénujeme neuronový tagger slotů, který pak dosahuje nejlepších výsledků v tagování dialogových slotů bez označených trénovacích dat. Dále ukazujeme, že objevené sloty jsou užitečné pro trénování neuronového dialogového systému end-to-end.


THEaiTRobot demo for the exhibition Who is afraid of artificial intelligence

THEaiTRobot demo pro výstavu Kdo se bojí umělé inteligence

Who's afraid of artificial intelligence?
Come to the Goethe-Institut thematic space and find out how literature is made with the help of robots!

https://www.goethe.de/ins/cz/en/ver.cfm?event_id=22345514

Kdo se bojí umělé inteligence.
Přijďte do tematického prostoru Goethe-Institutu a zjistěte, jak s pomocí robotů vzniká literatura!

https://www.goethe.de/ins/cz/cs/ver.cfm?event_id=22345514

Alisa Zakhtarenko
Rudolf Rosa
Ondřej Dušek


FINDINGS OF THE IWSLT 2021 EVALUATION CAMPAIGN

The evaluation campaign of the International
Conference on Spoken Language Translation
(IWSLT 2021) featured this year four shared
tasks: (i) Simultaneous speech translation, (ii)
Offline speech translation, (iii) Multilingual
speech translation, (iv) Low-resource speech
translation. A total of 22 teams participated
in at least one of the tasks. This paper de-
scribes each shared task, data and evaluation
metrics, and reports results of the received submissions.

Hodnotící kampaň Mezinárodní konference o překladu z mluveného jazyka
(IWSLT 2021) letos představila čtyři společné
úkoly: (i) Simultánní překlad mluvené řeči, (ii) Offline překlad mluvené řeči, (iii) Vícejazyčný
překlad řeči, (iv) překlad řeči s malým množstvím zdrojů. Celkem se zúčastnilo 22 týmů
alespoň na jedné z úloh. Tento článek popisuje každou společnou úlohu, data a hodnocení.
metriky a uvádí výsledky obdržených podání.

Antonios Anastasopoulos
Ondřej Bojar
Jacob Bremerman
Roldano Cattoni
Maha Elbayad
Marcello Federico
Xutai Ma
Satoshi Nakamura
Matteo Negri
Jan Niehues
Juan Pino
Elizabeth Salesky
Sebastian Stüker
Katsuhito Sudoh
Marco Turchi
Alex Waibel
Changhan Wang
Matthew Wiesner


Optional valency complementations in Czech light verb constructions

Fakultativní volná doplnění v konstrukcích s kategoriálním slovesem v češtině

This paper addresses Czech light verb constructions, partly revising principles of their syntactic structure formation formulated within the Functional Generative Description. It argues that obligatoriness of valency complementations should be reflected in these principles. Namely, the role of optional valency complementations of light verbs played in this process has been analyzed. This analysis has shown that in the cases where light verbs do not provide a sufficient number of valency complementations for the surface expression of semantic participants of predicative nouns, semantic participants of nouns make use of optional verbal complementations. In such cases, semantic participants can be expressed on the surface, either as optional verbal complementation or as nominal complementation. The distribution of verbal and nominal complementations have been observed in 1,600 light verb constructions extracted from the Czech National Corpus, with the result that the surface expression of these participants through the optional verbal complementations is strongly preferred (88% of verbal complementations and 12% of nominal ones).

Příspěvek se zabývá konstrukcemi s kategoriálním slovesem v češtině. Částěčně reviduje pravidla pro formování syntaktické struktury těchto konstrukcí navržená v rámci funkčního generativního popisu, a to zejména s ohledem na roli fakultativních volných doplnění kategoriálních sloves v těchto konstrukcích. Provedená analýza ukazuje, že v případech, kdy kategoriální slovesa neposkytují dostatečný počet valenčních doplnění pro povrchové vyjádření sémantických participantů jména, využívají participanty pro své povrchové vyjádření i fakultativní volná doplnění slovesa. Distribuce slovesných a jmenných doplnění analyzovaná v 1 600 konstrukcích s kategoriálním slovesem ukázala, že povrchové vyjádření participantů jména skrze fakultativní volná doplnění kategoriálního slovesa je v češtině silně preferováno (88% fakultativních volných doplnění slovesa oproti 12% valenčních doplnění jména).


Reflexives in the VALLEX Lexicon: Syntactic Reflexivity and Reciprocity

Reflexiva ve slovníku VALLEX: Syntaktická reflexivita a reciprocita

Reflexives, encoding a variety of meanings, pose a great challenge for both theoretical and lexicographic description. As they are associated with changes in morphosyntactic properties of verbs, their description is highly relevant for verb valency. In Czech, reflexives function as the reflexive personal pronoun and as verbal affixes. In this paper, we address those language phenomena that are encoded by the reflexive personal pronoun, i.e., reflexivity and reciprocity.
We introduce the lexicographic representation of these two language phenomena in the VALLEX lexicon, a valency lexicon of Czech verbs, accounting for the role of the reflexives with respect to the valency structure of verbs. This representation makes use of the division of the lexicon into a data component and a grammar component. It takes into account that reflexivity and reciprocity are conditioned by the semantic properties of verbs on the one hand and that morphosyntactic changes brought about by these phenomena are systemic on the other.
About one third of the lexical units contained in the data component of the lexicon are assigned the information on reflexivity and/or reciprocity in the form of pairs of the affected valency complementations (2,039 on reflexivity and 2,744 on reciprocity). A set of rules is formulated in the grammar component (3 rules for reflexivity and 18 rules for reciprocity). These rules derive the valency frames underlying syntactically reflexive and reciprocal constructions from the valency frames describing non-reflexive and non-reciprocal constructions. Finally, the proposed representation makes it possible to determine which lexical units of verbs create ambiguous constructions that can be interpreted either as reflexive or as reciprocal.

Reflexiva představují velkou výzvu pro teoretický i lexikografický popis jazyka. Vzhledem ke změnám morfo-syntaktických vlastností sloves, která s sebou užití reflexiv nese, je jejich zachycení a popis vysoce relevantní pro slovesnou valenci. V češtině fungují reflexiva buď jako reflexivní osobní zájmeno, nebo jako morfém tvořící slovesné lemma či slovesný tvar. V tomto příspěvku se zabýváme těmi jazykovými jevy, které jsou kódovány reflexivním osobním zájmenem, tj. reflexivitou a reciprocitou.
Lexikografické znázornění těchto dvou jazykových jevů zpracováváme v rámci Valenčního slovníku českých sloves VALLEX. Reprezentace ve VALLEXu využívá rozdělení lexikonu na datovou a gramatickou komponentu; bere v úvahu, že reflexivita i reciprocita jsou podmíněny sémantickými vlastnostmi sloves, ovšem morfologické změny vyvolané těmito jevy jsou systémové a lze je popsat pomocí pravidel.
Zhruba třetina lexikálních jednotek obsažených v datové komponentě lexikonu má přiřazenu informaci o možném užití v reflexivních a/nebo recipročních konstrukcí, a to v podobě párů dotčených valenčních komplementů (2 039 u reflexivity a 2 744 u reciprocity). Dále je v gramatické komponentě formulován soubor pravidel pro odvození valenčních rámců pro syntakticky reflexní a reciproční konstrukce, která se aplikují na základové valenční rámce popisující nereflexní a nereferenční konstrukce (3 pravidla pro reflexivitu a 18 pravidel pro reciprocitu). V příspěvku se dále diskutují situace, kdy lexikální jednotky sloves vytvářejí nejednoznačné konstrukce, které mohou být vykládány buď jako reflexivní, nebo jako reciproční.

Václava Kettnerová
Markéta Lopatková
Anna Vernerová


EUNIC AI Science Café Series: AI & Theatre

EUNIC AI Science Café Series: AI & divadlo

Over the past decades an increasing number of performing artists and technologists have brought robots to the center stage in their performances. AI has taken roles such as comedy improvisers, storytellers, actors, dancers, and choreographers, disrupting the traditional two-way human actor-human audience interaction. By presenting this talk we try to challenge the idea that live performance is a specifically human activity and explore different forms of human-AI interactions in the theatre. What story does AI tell? What emotions can it generate? Do you think artificial intelligence is able to create an enjoyable theatre script? Can a robot become a playwright? Does the perfect theater evening exist, produced by an autonomous machine?

V posledních desetiletích stále větší počet vystupujících umělců a technologů přivedl roboty na středové pódium při jejich vystoupeních. AI si přisvojila role komediálních improvizátorů, vypravěčů, herců, tanečníků a choreografů, čímž narušila tradiční obousměrnou lidskou herecko-lidskou diváckou interakci. Předložením této přednášky se snažíme zpochybnit myšlenku, že živé představení je specificky lidskou činností, a prozkoumat různé formy interakce mezi člověkem a umělou inteligencí v divadle. Jaký příběh Al vypráví? Jaké emoce to může vyvolat? Myslíte si, že umělá inteligence je schopna vytvořit příjemný divadelní scénář? Může se robot stát dramatikem? Existuje dokonalý divadelní večer, který vyprodukuje autonomní stroj?

Tracy Harwood
Piotr Mirowski
Marcel Karnapke
Rudolf Rosa


Report on the 6th Workshop on Search-Oriented Conversational AI (SCAI 2021)

Zpráva o 6. workshopu na téma konverzační umělá inteligence zaměřená na vyhledávání

The 6th edition of the Search-Oriented Conversational AI workshop (SCAI 2021) was organised as a discussion platform on conversational AI for intelligent information access. The workshop was designed to be multidisciplinary, bringing together researchers and practitioners across the fields of natural language processing (NLP), information retrieval (IR), machine learning (ML) and human-computer interaction (HCI). The workshop included four sessions featuring invited talks, a separate poster session, and a session discussing the results of a shared task on conversational question answering (SCAI-QReCC).

Šestý ročník workshopu Search-Oriented Conversational AI (SCAI 2021) byl uspořádán jako diskusní platforma o konverzační umělé inteligenci pro inteligentní přístup k informacím. Workshop byl koncipován jako multidisciplinární a spojil výzkumné pracovníky a odborníky z praxe napříč obory zpracování přirozeného jazyka (NLP), vyhledávání informací (IR), strojového učení (ML) a interakce člověk-počítač (HCI). Workshop zahrnoval čtyři sekce, na nichž zazněly pozvané přednášky, samostatnou posterovou sekci a sekci, na níž se diskutovalo o výsledcích soutěže v konverzačním zodpovídání otázek (SCAI-QReCC).

Svitlana Vakulenko
Ondřej Dušek
Leigh Clark


Defining And Detecting Inconsistent System Behavior in Task-oriented Dialogues

Definice a detekce nekonzistentního chování systému v asistivních dialozích

We present experiments on automatically detecting inconsistent behavior of task-oriented dialogue systems from the context. We enrich the bAbI/DSTC2 data (Bordes et al., 2017) with automatic annotation of dialogue inconsistencies, and we demonstrate that inconsistencies correlate with failed dialogues. We hypothesize that using a limited dialogue history and predicting the next user turn can improve inconsistency classiﬁcation. While both hypotheses are conﬁrmed for a memory-networks-based dialogue model, it does not hold for a training based on the GPT-2 language model, which benefits most from using full dialogue history and achieves a 0.99 accuracy score.

Představujeme experimenty s automatickým odhalováním nekonzistentního chování na základě kontextu u dialogových systémů orientovaných na úkoly. Obohacujeme data bAbI/DSTC2 (Bordes et al., 2017) o automatickou anotaci nekonzistencí v dialogu a ukazujeme, že nekonzistence korelují s neúspěšnými dialogy. Předpokládáme, že použití omezené historie dialogů a předvídání dalšího tahu uživatele může zlepšit klasifikaci nekonzistencí. Zatímco obě hypotézy se potvrzují pro dialogový model založený na memory networks, neplatí pro trénování jazykového modelu GPT-2, který nejvíce těží z použití úplné historie dialogu a dosahuje 99% přesnosti.

Léon-Paul Schaub
Vojtěch Hudeček
Daniel Štancl
Ondřej Dušek
Patrick Paroubek


AuGPT: Auxiliary Tasks and Data Augmentation for End-To-End Dialogue with Pre-Trained Language Models

AuGPT: Pomocné úlohy a augmentace dat pro end-to-end dialog s předtrénovanými jazykovými modely

Attention-based pre-trained language models such as GPT-2 brought considerable progress to end-to-end dialogue modelling. However, they also present considerable risks for task-oriented dialogue, such as lack of knowledge grounding or diversity. To address these issues, we introduce modified training objectives for language model finetuning, and we employ massive data augmentation via back-translation to increase the diversity of the training data. We further examine the possibilities of combining data from multiples sources to improve performance on the target dataset. We carefully evaluate our contributions with both human and automatic methods. Our model substantially outperforms the baseline on the MultiWOZ data and shows competitive performance with state of the art in both automatic and human evaluation.

Předtrénované jazykové modely založené na attention, jako je GPT-2, přinesly značný pokrok v modelování dialogů "end-to-end". Pro dialog zaměřený na úkoly však představují také značná rizika, jako je nedostatečná podloženost fakty nebo rozmanitost odpovědí. Abychom tyto problémy vyřešili, zavádíme modifikované trénovací cíle pro dotrénování jazykového modelu a využíváme masivní augmentaci dat pomocí zpětného překladu, abychom zvýšili rozmanitost trénovacích dat. Dále zkoumáme možnosti kombinace dat z více zdrojů s cílem zlepšit výkonnost na cílové datové sadě. Naše příspěvky pečlivě vyhodnocujeme pomocí lidských i automatických metod. Náš model podstatně překonává základní model na datech MultiWOZ a vykazuje výkon konkurenceschopný se současným stavem techniky při automatickém i lidském hodnocení.

Jonáš Kulhánek
Vojtěch Hudeček
Tomáš Nekvinda
Ondřej Dušek


AuGPT: Dialogue with Pre-trained Language Models and Data Augmentation

AuGPT: Dialog s předtrénovanými jazykovými modely a augmentací dat

Attention-based pre-trained language models such as GPT-2 brought considerable progress to end-to-end dialogue modelling. However, they also present considerable risks for task-oriented dialogue, such as lack of knowledge grounding or diversity. To address these issues, we introduce modified training objectives for language model finetuning, and we employ massive data augmentation via back-translation to increase the diversity of the training data. We further examine the possibilities of combining data from multiples sources to improve performance on the target dataset. We carefully evaluate our contributions with both human and automatic methods. Our model achieves state-of-the-art performance on the MultiWOZ data and shows competitive performance in human evaluation.

Předtrénované jazykové modely založené na attention, jako je GPT-2, přinesly značný pokrok v end-to-end modelování dialogů. Pro dialog zaměřený na úkoly však představují také značná rizika, jako je nedostatečná korespondence s databází nebo nedostatek rozmanitosti odpovědí. Abychom tyto problémy vyřešili, zavádíme pro doladění jazykového modelu modifikované trénovací cíle a využíváme masivní rozšíření trénovacích dat pomocí zpětného překladu, čímž zvyšujeme jejich rozmanitost. Dále zkoumáme možnosti kombinace dat z více zdrojů s cílem zlepšit výkonnost na cílové datové sadě. Naše příspěvky pečlivě vyhodnocujeme pomocí ručních i automatických metod. Náš model dosahuje nejlepších výsledků na datové sadě MultiWOZ a vykazuje konkurenceschopný výkon při lidském hodnocení.


Realita mnohojazyčného strojového překladu

Our book "The Reality of Multi-Lingual Machine Translation" discusses the benefits and perils of using more than two languages in machine translation systems. While focused on the particular task of sequence-to-sequence processing and multi-task learning, the book targets somewhat beyond the area of natural language processing. Machine translation is for us a prime example of deep learning applications where human skills and learning capabilities are taken as a benchmark that many try to match and surpass. We document that some of the gains observed in multi-lingual translation may result from simpler effects than the assumed cross-lingual transfer of knowledge.

In the first, rather general part, the book will lead you through the motivation for multi-linguality, the versatility of deep neural networks especially in sequence-to-sequence tasks to complications of this learning. We conclude the general part with warnings against too optimistic and unjustified explanations of the gains that neural networks demonstrate.

In the second part, we fully delve into multi-lingual models, with a particularly careful examination of transfer learning as one of the more straightforward approaches utilizing additional languages. The recent multi-lingual techniques, including massive models, are surveyed and practical aspects of deploying systems for many languages are discussed. The conclusion highlights the open problem of machine understanding and reminds of two ethical aspects of building large-scale models: the inclusivity of research and its ecological trace.

Naše kniha „The Reality of Multi-Lingual Machine Translation“ pojednává o výhodách a nebezpečích používání více než dvou jazyků v systémech strojového překladu. I když se kniha zaměřuje na konkrétní úkol zpracování sekvencí a víceúkolového učení (multi-task learning), cílí i poněkud mimo oblast zpracování přirozeného jazyka. Strojový překlad je pro nás ukázkovým příkladem aplikací hlubokého učení, kde jsou lidské dovednosti a schopnosti učení brány jako laťka, kterou se mnozí snaží dosáhnout a překonat. Dokumentujeme, že některé z výdobytků pozorovaných v mnohojazyčném překladu mohou vyplývat z jednodušších důvodů, než je předpokládaný přenos znalostí napříč jazyky.

V první, spíše obecné části vás kniha provede motivací pro mnohojazyčnost, univerzálností hlubokých neuronových sítí zejména v úlohách typu sequence-to-sequence až ke komplikacím tohoto učení. Obecnou část uzavíráme varováním před příliš optimistickým a neopodstatněným vysvětlením zlepšení, které neuronové sítě demonstrují.

Ve druhé části se plně ponoříme do mnohojazyčných modelů, se zvlášť pečlivým zkoumáním učení přenosem (transfer learning) jako jednoho z přímočařejších přístupů využívajících další jazyky. Zkoumány jsou současné vícejazyčné techniky, včetně masivních modelů, a diskutovány jsou praktické aspekty nasazení mnohojazyčných systémů. Závěr knihy zdůrazňuje otevřený problém strojového porozumění a připomíná dva etické aspekty budování rozsáhlých modelů: inkluzivnost výzkumu a jeho ekologický dopad.


Surprise Language Challenge: Developing a Neural Machine Translation System between Pashto and English in Two Months

Jazyková výzva s překvapením: Vývoj systému neurálního strojového překladu mezi paštštinou a angličtinou za dva měsíce

In the media industry, the focus of global reporting can shift overnight. There is a compelling
need to be able to develop new machine translation systems in a short period of time, in order to more efficiently cover quickly developing stories. As part of the low-resource machine
translation project GoURMET, we selected a surprise language for which a system had to be
built and evaluated in two months (February and March 2021). The language selected was
Pashto, an Indo-Iranian language spoken in Afghanistan, Pakistan and India. In this period we
completed the full pipeline of development of a neural machine translation system: data crawling, cleaning, aligning, creating test sets, developing and testing models, and delivering them
to the user partners. In this paper we describe the rapid data creation process, and experiments
with transfer learning and pretraining for Pashto-English. We find that starting from an existing
large model pre-trained on 50 languages leads to far better BLEU scores than pretraining on
one high-resource language pair with a smaller model. We also present human evaluation of
our systems, which indicates that the resulting systems perform better than a freely available
commercial system when translating from English into Pashto direction, and similarly when
translating from Pashto into English.

V mediálním průmyslu se zaměření globálního zpravodajství může přes noc změnit. Existuje přesvědčivá
potřeba být schopni vyvinout nové systémy strojového překladu v krátkém časovém období, aby bylo možné efektivněji pokrýt rychle se vyvíjející příběhy. Jako součást stroje s nízkými zdroji
překladatelského projektu GOURMET jsme náhodně vybrali jazyk, pro který musel být systém
postaveno a vyhodnoceno za dva měsíce (únor a březen 2021). Vybraný jazyk byl
Paštština, indoíránský jazyk používaný v Afghánistánu, Pákistánu a Indii. V tomto období jsme
dokončili celý proces vývoje systému neuronového strojového překladu: procházení dat, čištění, zarovnání, vytváření testovacích sad, vývoj a testování modelů a jejich poskytování
uživatelským partnerům. V tomto článku popisujeme rychlý proces vytváření dat a experimenty
s transferovým učením a přípravou na paštskou angličtinu. Zjišťujeme, že začínáme od existujícího
velký model předem proškolený na 50 jazycích vede k mnohem lepším výsledkům BLEU než předtrénování na
jeden vysoce zdrojový jazykový pár s menším modelem. Uvádíme také lidské hodnocení
naše systémy, což naznačuje, že výsledné systémy fungují lépe než volně dostupné
komerční systém při překladu z angličtiny do paštštiny a podobně při
překlad z paštštiny do angličtiny.

Alexandra Birch
Barry Haddow
Antonio Valerio Miceli Barone
Jindřich Helcl
Jonas Waldendorf
Felipe Sánchez-Martínez
Mikel L. Forcada
Víctor M. Sánchez-Cartagena
Juan Antonio Pérez-Ortiz
Miquel Esplà-Gomis
Wilker Aziz
Lina Murady
Sevi Sariisik
Peggy van der Kreeft
Kay MacQuarrie


A Corpus with Wavesurfer and TEI: Speech and Video in TEITOK

Korpus s Wavesurferem a TEI: Řeč a video v TEITOK

In this paper, we demonstrate how TEITOK provides a full online interface for speech and even video corpora, that are fully searchable using the CQL query language, can contain all speech-related annotation such as repetitions, gaps, and mispronunciations, and provides a full interface for time-aligned annotations scrolling below the waveform and showing the video if there is any. Corpora are stored in the TEI/XML standard, with import and output functions for other established standards like ELAN, Praat, or Transcriber. It is even possible to directly annotate corpora in TEITOK.

V tomto článku demonstrujeme, jak TEITOK poskytuje úplné online rozhraní pro řeč a dokonce i video korpusy, které jsou plně prohledávatelné pomocí dotazovacího jazyka CQL, mohou obsahovat všechny anotace související s řečí, jako jsou opakování, mezery a nesprávné výslovnosti, a poskytuje úplnou rozhraní pro časově zarovnané anotace rolující pod křivkou a zobrazení videa, pokud nějaké existuje. Korpusy jsou uloženy ve standardu TEI/XML s funkcemi importu a výstupu pro další zavedené standardy, jako je ELAN, Praat nebo Transcriber. V TEITOK je dokonce možné korpusy přímo anotovat.


Integrating TEITOK and KonText/PMLTQ at LINDAT

Integrace TEITOK a KonText/PMLTQ na LINDAT

In this paper we describe how the TEITOK corpus platform was integrated with the KonText and PML-TQ corpus platforms at LINDAT to provide document visualization for both existing and future resources at LINDAT. TEITOK is an online platform for searching, viewing, and editing corpora, where corpus files are stored as annotated TEI/XML files. The TEITOK integration also means LINDAT resources will become available in TEI/XML format, and searchable in CWB on top of existing tools at the institute. Although the integration described in this paper is specific for LINDAT, the method should be applicable to the integration of TEITOK or similar tools into an existing corpus architecture.

V tomto příspěvku popisujeme, jak byla korpusová platforma TEITOK integrována s korpusovými platformami KonText a PML-TQ v LINDAT, aby poskytla vizualizaci dokumentů pro stávající i budoucí zdroje v LINDAT. TEITOK je online platforma pro vyhledávání, prohlížení a úpravy korpusů, kde jsou soubory korpusu ukládány jako anotované soubory TEI / XML. Integrace TEITOK také znamená, že zdroje LINDAT budou k dispozici ve formátu TEI / XML a lze je vyhledávat v CWB nad rámec stávajících nástrojů ústavu. Ačkoli integrace popsaná v tomto článku je specifická pro LINDAT, tato metoda by měla být použitelná pro integraci TEITOK nebo podobných nástrojů do existující korpusové architektury.


UDWiki: guided creation and exploitation of UD treebanks

UDWiki: řízená tvorba a využívání UD stromových bank

UDWiki is an online environment designed to make creating new UD treebanks easier. It helps in setting up all the necessary data needed for a new treebank up in a GUI, where the interface takes care of guiding you through all the descriptive files needed, adding new texts to your corpus, and helping in annotating the texts. The system is built on top of the TEITOK corpus environment, using an XML based version of UD annotation, where dependencies can be combined with various other types of annotations. UDWiki can run all the necessary or helpful scripts (taggers, parsers, validators) via the interface. It also makes treebanks under development directly searchable, and can be used to maintain or search existing UD treebanks.

UDWiki je online prostředí navržené tak, aby usnadnilo vytváření nových stromových bank UD. Pomáhá při nastavení všech nezbytných dat potřebných pro novou stromovou banku v GUI, kde se rozhraní postará o to, aby vás provedlo všemi potřebnými popisnými soubory, přidalo nové texty do vašeho korpusu a pomohlo s anotací textů. Systém je postaven na korpusovém prostředí TEITOK a využívá verzi UD anotací na bázi XML, kde lze závislosti kombinovat s různými jinými typy anotací. UDWiki může spouštět všechny potřebné nebo užitečné skripty (tagery, parsery, validátory) přes rozhraní. Umožňuje také přímé vyhledávání ve vyvíjených stromových bankách a lze je použít k údržbě nebo prohledávání stávajících stromových bank UD.


Deep Universal Dependencies is a collection of treebanks derived semi-automatically from Universal Dependencies. It contains additional deep-syntactic and semantic annotations. Version of Deep UD corresponds to the version of UD it is based on. Note however that some UD treebanks have been omitted from Deep UD.

Deep Universal Dependencies (hluboké univerzální závislosti) je sbírka treebanků poloautomaticky odvozených z Universal Dependencies. Obsahuje přídavné hloubkově-syntaktické a sémantické anotace. Verze Deep UD odpovídá verzi UD, na které je založena. Mějte však na paměti, že některé treebanky UD nebyly do Deep UD zahrnuty.


The GEM Benchmark: Natural Language Generation, its Evaluation and Metrics

Benchmark GEM: Generování přirozeného jazyka, jeho evaluace a metriky

We introduce GEM, a living benchmark for natural language Generation (NLG), its Evaluation, and Metrics. Measuring progress in NLG relies on a constantly evolving ecosystem of automated metrics, datasets, and human evaluation standards. Due to this moving target, new models often still evaluate on divergent anglo-centric corpora with well-established, but flawed, metrics. This disconnect makes it challenging to identify the limitations of current models and opportunities for progress. Addressing this limitation, GEM provides an environment in which models can easily be applied to a wide set of tasks and in which evaluation strategies can be tested. Regular updates to the benchmark will help NLG research become more multilingual and evolve the challenge alongside models. This paper serves as the description of the data for the 2021 shared task at the associated GEM Workshop.

Představujeme GEM, živý benchmark pro generování přirozeného jazyka (NLG), jeho evaluaci a metriky. Měření pokroku v oblasti NLG se opírá o neustále se vyvíjející ekosystém automatizovaných metrik, datových sad a standardů lidské evaluace. Vzhledem k tomuto pohyblivému cíli se nové modely často stále vyhodnocují na odlišných anglocentrických korpusech s dobře zavedenými, ale chybnými metrikami. Tato nesouvislost ztěžuje identifikaci omezení současných modelů a příležitostí k pokroku. GEM toto omezení řeší a poskytuje prostředí, v němž lze modely snadno aplikovat na široký soubor úloh a v němž lze testovat evaluační strategie. Pravidelné aktualizace benchmarku pomohou výzkumu NLG stát se více mnohojazyčným a rozvíjet úlohu spolu s modely. Tento článek slouží jako popis dat pro sdílenou úlohu 2021 na souvisejícím workshopu GEM.

Sebastian Gehrmann
Tosin Adewumi
Karmanya Aggarwal
Pawan Sasanka Ammanamanchi
Aremu Anuoluwapo
Antoine Bosselut
Kyathi Raghavi Chandu
Miruna Clinciu
Dipanjan Das
Kaustubh D. Dhole
Wanyu Du
Esin Durmus
Ondřej Dušek
Chris Emezue
Varun Gangal
Cristina Garbacea
Tatsunori Hashimoto
Yufang Hou
Yacine Yernite
Harsh Jhamtani
Yangfeng Ji
Shailza Jolly
Mihir Kale
Dhruv Kumar
Faisal Ladhak
Aman Madaan
Mounica Maddela
Khyati Mahajan
Saad Mahamood
Bodhisattwa Prasad Majumder
Pedro Henrique Martins
Angelina McMillan-Major
Simon Mille
Emiel van Miltenburg
Moin Nadeem
Shashi Narayan
Vitaly Nikolaev
Rubungo Andre Niyongabo
Salomey Osei
Ankur Parikh
Laura Perez-Beltrachini
Niranjan Ramesh Rao
Vikas Raunak
Juan Diego Rodriguez
Sashank Santhanam
Joao Sedoc
Thibault Sellam
Samira Shaikh
Anastasia Shimorina
Marco Antonio Sobrevilla Cabezudo
Hendrik Strobelt
Nishant Subramani
Wei Xu
Diyi Yang
Akhila Yerukola
Jiawei Zhou


"Getting on the page": The practical accord of material resources in educational interaction

Praktický soulad materiálních prostředků ve vzdělávací interakci

This article explicates the notion of ‘practical accord’, encompassing the routine nonproblematic relationship of material artifacts and textual objects that provides the necessary grounds for further classroom work. Practical accord consists of courses of action that are temporally aligned with structured objects such as series of pages, slides or questions, ordered as a sequence of steps. Grounded in the video-based analysis of a single case, the article argues that such practical accord can be a necessary requirement for an educative activity to take place in an orderly way in the classroom. The analysis focuses on a particular instance of three students working with a shared laptop and a paper worksheet, and losing their grasp of the relationship between the screen and the sheet. The identified practices used to get back ‘on the page’ include the verbal and gestural constitution of the screen and the sheet as two separate objects that are related through instructions provided on the screen, which serves as a link between two independent but interrelated numbering systems used to organise the on-screen material and the questions on the worksheet. The article concludes with a discussion of the notion of practical accord with regard to instructed action and gestalt contextures.

Tento článek vysvětluje pojem „praktický soulad“, zahrnující rutinní neproblematický vztah hmotných artefaktů a textových předmětů, který poskytuje nezbytný základ pro práci ve třídě. Analýza videonahrávky interakce se zaměřuje na konkrétní případ tří studentů, kteří společně pracují se sdíleným notebookem a papírovým pracovním listem.


Rewatching a video clip in classroom work with digital oral history

Opakované sledování videoklipu ve třídě během práce s digitální orální historií

This paper focuses on rewatching sequences in classroom work with digital oral history, i.e., participants conducting a second watching of a video clip that they have already seen. I provide a detailed examination of how the participants initiate rewatching using speech and embodied conduct. They treat the video clip as a structured object containing an already familiar succession of utterances by the narrator. The rewatching sequences are closed when the participants have identified a particular utterance within the video that they can treat as a solution to a previously encountered ambiguity. To do this, they search for the relevant utterances by manipulating the time marker on the screen and stabilize them by pausing the clip. The participants thus exhibit a local temporary competence in rewatching and manipulating video clips as topics and resources in classroom tasks.

Článek se zaměřuje na sekvence opětovného sledování ve školní práci s digitální orální historií, tj. na účastníky provádějící druhé sledování videoklipu, který již jednou viděli. Podrobně zkoumám, jak účastníci zahajují přehrávání pomocí řeči a ztělesněného chování. K videoklipu přistupují jako ke strukturovanému objektu obsahujícímu již známý sled promluv vypravěče. Sekvence opakovaného sledování se uzavřou, když účastníci v rámci videa naleznou konkrétní promluvu, který mohou považovat za řešení dříve zjištěné nejednoznačnosti. K tomu vyhledávají relevantní promluvy manipulací s časovou značkou na obrazovce a stabilizují je zastavením klipu. Účastníci tak vykazují místní dočasnou kompetenci opětovně sledovat videoklipy a manipulovat s nimi jako s relevantními tématy a zdroji při řešení úkolů ve školní třídě.


Discussion after the performance AI: When a Robot Writes a Play

Diskuze po představení AI: Když robot píše hru

What does the robot think about, how does it feel and can it write a play? Snippets from the life of artificial intelligence in its own words. Futuristic Little Prince of the postpandemic era.

Every reprise will be followed by a debate with experts in artificial intelligence and theater makers. The show is not only a testament to the current capabilities of computer technology, but also an engaging vision of the future world inspired by the sci-fi classics.

O čem robot přemýšlí, co cítí a dokáže napsat divadelní hru? Střípky ze života umělé inteligence jejími vlastními slovy. Futuristický Malý princ z doby postpandemické.

Inscenace, po jejíž každé repríze následuje debata s odborníky na umělou inteligenci i divadelními tvůrci, je nejen svědectvím o současných schopnostech počítačových technologií, ale i poutavou vizí budoucího světa inspirující se v klasikách žánru sci-fi.


AI: When a Robot Writes a Play (theatre programme)

AI: Když robot píše hru (divadelní program)

On the occasion of the centenary of Karel Čapek's play R.U.R, the Švanda Theatre prepared a presentation of a unique project THEAITRE that examines whether artificial intelligence can write a play. Within a few months, the computer generated images from the life of a robot that has to face the joys and sorrows of everyday life. And it revealed to us how it perceives basic human issues such as birth, dying, the desire for love, the search for jobs, or aging.

Švandovo divadlo při příležitosti stoletého výročí premiéry hry R.U.R  Karla Čapka uvádí prezentaci unikátního projektu THEAITRE, který zkoumá, zda umělá inteligence dokáže napsat divadelní hru. Během několika měsíců počítač generoval obrazy ze života robota, který musí čelit radostem a strastem každodenního života. A odkryl nám, jak vnímá základní lidské otázky jako je narození, umírání, touha po lásce, hledání pracovních příležitostí, či stárnutí.

Martina Kinská
David Košťák
Ondřej Dušek
Rudolf Rosa


Transferring Word-Formation Networks Between Languages

In this article, we present a proof-of-concept method for creating word-formation networks by transferring information from another language. The proposed algorithm utilizes an existing word-formation network and parallel texts and creates a low-precision and moderate-recall network in a language, for which no manual annotations need to be available. We then extend the coverage of the resulting network by using it to train a machine-learning method and applying the resulting model to a larger lexicon, obtaining a moderate-precision and high-recall result. The approach is evaluated on French, German and Czech against existing word-formation networks in those languages.

V tomto článku představujeme metodu pro vytváření slovotvorných sítí pomocí přenosu informací z jiného jazyka. Navrhovaný algoritmus využívá existující slovotvornou síť a paralelní texty a vytváří síť s nízkou precision a středním recallem v jazyce, pro který nemusí být k dispozici manuální anotace. Recall výsledné sítě pak rozšířujeme tím, že ji využijeme k natrénování metody strojového učení a výsledný model aplikujeme na větší slovník, čímž získáme výsledek s obdobnou precision, ale vyšším recallem. Přístup je vyhodnocován proti existujícím slovotvorným sítím ve francouzštině, němčině a češtině.


DeriNet is a lexical network which models derivational relations in the lexicon of Czech. Nodes of the network correspond to Czech lexemes, while edges represent word-formational relations between a derived word and its base word / words. The present version, DeriNet 2.1, contains 1,039,012 lexemes (sampled from the MorfFlex CZ 2.0 dictionary) connected by 782,814 derivational, 50,533 orthographic variant, 1,952 compounding, 295 univerbation and 144 conversion relations.
Compared to the previous version, version 2.1 contains annotations of orthographic variants, full automatically generated annotation of affix morpheme boundaries (in addition to the roots annotated in 2.0), 202 affixoid lexemes serving as bases for compounding, annotation of corpus frequency of lexemes, annotation of verbal conjugation classes and a pilot annotation of univerbation. The set of part-of-speech tags was converted to Universal POS from the Universal Dependencies project.

DeriNet je lexikální síť, která modeluje derivační vztahy ve slovníku češtiny. Uzly sítě odpovídají českým lexémům, zatímco hrany představují slovotvorné vztahy mezi odvozeným slovem a jeho základním slovem / slovy. Současná verze, DeriNet 2.1, obsahuje 1 039 012 lexemes (extrahovány ze slovníku MorfFlex CZ 2.0) spojených 782 814 derivačními relacemi, 50 533 ortografickými variantami, 1 952 vztahů skládání, 295 univerbizačními vztahy a 144 konverzními vztahy.
Ve srovnání s předchozí verzí obsahuje verze 2.1 anotace ortografických variant, plně automaticky generovanou anotaci hranic afixů (kromě kořenů anotovaných v 2.0), 202 affixoidů sloužících jako základ pro skládání, anotaci četností lexémů z korpusů, anotaci slovesných tříd a pilotní anotaci univerbace. Sada tagů pro slovní druhy byla převedena na Universal POS z projektu Universal Dependencies.

Jonáš Vidra
Zdeněk Žabokrtský
Lukáš Kyjánek
Magda Ševčíková
Šárka Dohnalová
Emil Svoboda
Jan Bodnár


Splitting and Identifying Czech Compounds: A Pilot Study

Splitting a identifikace českých kompozit: pilotní studie

We present pilot experiments on splitting and identifying Czech compound words. We created
an algorithm measuring the linguistic similarity of two words based on finding the shortest
path through a matrix of mutual estimated correspondences between two phonemic strings.
Additionally, a neural compound-splitting tool (Czech Compound Splitter) was implemented
by using the Marian Neural Machine Translator framework, which was trained on a data set
containing 1,164 hand-annotated compounds and about 280,000 synthetically created compounds.
In compound splitting, the first solution achieved an accuracy of 28% and the second solution
achieved 54% on a separate validation data set. In compound identification, the Czech Compound
Splitter achieved an accuracy of 91%.

Představujeme pilotní experimenty na dělení a identifikaci českých složených slov. Vytvořili jsme algoritmus měřící jazykovou podobnost dvou slov založený na nalezení nejkratšího
cesta skrze matici vzájemných odhadovaných korespondencí mezi dvěma fonologicky přepsanými řetězci.
Dále jsme vytvořili nástroj pro splitting neboli dělení složených slov (Czech Compound Splitter) pomocí frameworku Marian Neural Machine Translator, který byl vytrénován na datové sadě obsahující 1 164 ručně anotovaných sloučenin a zhruba 280 000 synteticky vytvořených kompozit. Ve splittingu kompozit dosáhlo první řešení přesnosti 28 % a druhé řešení 54 % na validačním datové sadě. V úloze identifikace kompozit dosáhl Czech Compound Splitter přesnosti 91%.


Findings of the WMT Shared Task on Machine Translation Using Terminologies.

Závěry úlohy strojového překladu pomocí terminologií na WMT

Language  domains  that  require  very  carefuluse of terminology are abundant and reflect asignificant part of the translation industry.  Inthis work we introduce a benchmark for eval-uating the quality and consistency of terminol-ogy translation, focusing on the medical (andCOVID-19  specifically)  domain  for  five  lan-guage pairs:  English to French, Chinese, Rus-sian,  and  Korean,  as  well  as  Czech  to  Ger-man.   We  report  the  descriptions  and  resultsof  the  participating  systems,  commenting  onthe  need  for  further  research  efforts  towardsboth more adequate handling of terminologiesas  well  as  towards  a  proper  formulation  andevaluation of the task.

Jazykové domény vyžadující velmi pečlivé používání terminologie jsou hojné a odrážejí významnou část překladatelského průmyslu. V této práci představujeme metriku pro hodnocení kvality a konzistentnosti překladu terminologie se zaměřením na lékařskou (a konkrétně COVID-19) doménu pro pět jazykových párů: angličtinu do francouzštiny, čínštiny, ruštiny a korejštiny, a dále češtinu do němčiny. Uvádíme popisy a výsledky zúčastněných systémů, vyjadřujeme nutnost dalšího výzkumu jak pro adekvátnější zacházení s terminologií, tak pro správnou formulaci a vyhodnocení úlohy.

Md Mahfuz ibn Alam
Ivana Kvapilíková
Antonios Anastasopoulos
Laurent Besacier
Georgiana Dinu
Marcello Federico
Matthias Gallé
Philipp Koehn
Vassilina Nikoulina
Kweon Woo Jung


Coreference meets Universal Dependencies – a pilot experiment on harmonizing coreference datasets for 11 languages

Setkání koreference a Universal Dependencies – pilotní experiment s harmonizací koreferenčních korpusů pro 11 jazyků

We describe a pilot experiment aimed at harmonizing diverse data resources that contain coreference-related annotations. We converted 17 existing datasets for 11 languages into a common annotation scheme based on Universal Dependencies, and released a subset of the resulting collection publicly under the name CorefUD 0.1 via the LINDAT-CLARIAH-CZ repository (http://hdl.handle.net/11234/1-3510).

Popisujeme pilotní experiment zaměřený na harmonizaci různorodých datových zdrojů, které obsahují anotace související s koreferencí. Převedli jsme 17 existujících korpusů 11 jazyků do společného anotačního schématu, založeného na Universal Dependencies, a zveřejnili jsme podmnožinu této kolekce pod názvem CorefUD 0.1 v repozitáři LINDAT-CLARIAH-CZ (http://hdl.handle.net/11234/1-3510).

Anna Nedoluzhko
Michal Novák
Martin Popel
Zdeněk Žabokrtský
Daniel Zeman


CorefUD is a collection of previously existing datasets annotated with coreference, which we converted into a common annotation scheme. In total, CorefUD in its current version 0.1 consists of 17 datasets for 11 languages.

CorefUD je kolekce existujících korpusů s anotací koreference, které jsme převedli na jednotné anotační schéma. Ve své současné verzi 0.1 CorefUD celkem obsahuje 17 korpusů pro 11 jazyků.


CorefUD is a collection of previously existing datasets annotated with coreference, which we converted into a common annotation scheme. In total, CorefUD in its current version 0.2 consists of 17 datasets for 11 languages, and compared to the version 0.1, the automatic morpho-syntactic annotation has improved.

CorefUD je kolekce existujících korpusů s anotací koreference, které jsme převedli na jednotné anotační schéma. Ve své současné verzi 0.2 CorefUD celkem obsahuje 17 korpusů pro 11 jazyků a v porovnání s verzí 0.1 obsahuje kvalitnejší automatickou morfo-syntaktickou anotaci.


Is one head enough? Mention heads in coreference annotations compared with UD-style heads

Stačí jedna hlava? Hlavy zmínek v anotacích koreference ve srovnání s hlavami podle UD

We present an empirical study that compares mention heads as annotated manually in four coreference datasets (for Dutch, English, Polish, and Russian) on one hand, with heads induced from dependency trees parsed automatically, on the other hand.

Předkládáme empirickou studii, která srovnává hlavy zmínek anotovaných ručně ve čtyřech koreferenčních datových sadách (pro nizozemštinu, angličtinu, polštinu a ruštinu) na jedné straně a hlavy vyplývající z automaticky predikovaných závislostních syntaktických stromů na straně druhé.


ARGUABLY @ AI Debater-NLPCC 2021 Task 3: Argument Pair Extraction from Peer Review and Rebuttals

ARGUABLY @ AI Debater-NLPCC 2021 Úkol 3: Argument Párová extrakce z recenze a rozborů

This paper describes our participating system run to the argumentative text understanding shared task for AI Debater at NLPCC 2021 (http://www.fudan-disc.com/sharedtask/AIDebater21/tracks.html). The tasks are motivated towards developing an autonomous debating system. We make an initial attempt with Track-3, namely, argument pair extraction from peer review and rebuttal where we extract arguments from peer reviews and their corresponding rebuttals from author responses. Compared to the multi-task baseline by the organizers, we introduce two significant changes: (i) we use ERNIE 2.0 token embedding, which can better capture lexical, syntactic, and semantic aspects of information in the training data, (ii) we perform double attention learning to capture long-term dependencies. Our proposed model achieves the state-of-the-art results with a relative improvement of 8.81% in terms of F1 score over the baseline model. We make our code available publicly at https://github.com/guneetsk99/ArgumentMining_SharedTask. Our team ARGUABLY is one of the third prize-winning teams in Track 3 of the shared task.

Tento dokument popisuje náš systém účasti na argumentačním textu chápajícím sdílený úkol pro AI Debater na NLPCC 2021 (http://www.fudan-disc.com/sharedtask/AIDebater21/tracks.html). Úkoly jsou motivovány k rozvoji autonomního diskusního systému. Počáteční pokus provedeme s trackem-3, konkrétně extrakcí argumentačních dvojic z recenzního posudku a vyvrácením, kdy extrahujeme argumenty z recenzního posudku a jejich odpovídající vyvrácení z autorových odpovědí. Ve srovnání s víceúkolovou základnou organizátorů zavádíme dvě významné změny: i) používáme vkládání tokenu ERNIE 2.0, které dokáže lépe zachytit lexikální, syntaktické a sémantické aspekty informací v tréninkových datech, ii) provádíme dvojí učení pozornosti, abychom zachytili dlouhodobé závislosti. Náš navrhovaný model dosahuje nejmodernějších výsledků s relativním zlepšením skóre F1 o 8,81% oproti základnímu modelu. Náš kód zveřejníme na adrese https://github.com/guneetsk99/ArgumentMining_SharedTask. Náš tým ARGUABLY je jedním z třetích oceněných týmů v Tracku 3 společného úkolu.

Guneet Singh Kohli
Prabsimran Kaur
Muskaan Singh
Tirthankar Ghosal
Prashant Singh Rana


WMT21 překladový model pro systém Marian (ca-oc)

Marian NMT model for Catalan to Occitan translation. The model was submitted to WMT'21 Shared Task on Multilingual Low-Resource Translation for Indo-European Languages as a CUNI-Primary system for Catalan to Occitan.

Překladový model z katalánštiny do okcitánštiny pro systém Marian.


WMT21 Marian translation models (ca-ro,it,oc)

WMT21 překladový model pro systém Marian (ca-ro,it,oc)

Marian multilingual translation model from Catalan into Romanian, Italian and Occitan. This model is an updated version (trained for 2.1M updates) of the model submitted to WMT'21 Shared Task on Multilingual Low-Resource Translation for Indo-European Languages as a CUNI-Primary system for Catalan to Romanian and Italian (trained for 430k updates).

Vícejazyčný překladový model z katalánštiny do rumunštiny, italštiny a okcitánštiny pro systém Marian.


End-to-End Lexically Constrained Machine Translation for Morphologically Rich Languages

Ucelený strojový překlad s lexikálními omezeními pro mofrologicky bohaté jazyky

Lexically constrained machine translation allows the user to manipulate the output sentence by enforcing the presence or absence of certain words and phrases. Although current approaches can enforce terms to appear in the translation, they often struggle to make the constraint word form agree with the rest of the generated output. Our manual analysis shows that 46% of the errors in the output of a baseline constrained model for English to Czech translation are related to agreement. We investigate mechanisms to allow neural machine translation to infer the correct word inflection given lemmatized constraints. In particular, we focus on methods based on training
the model with constraints provided as part of the input sequence. Our experiments on the English-Czech language pair show that this approach improves the translation of constrained
terms in both automatic and manual evaluation
by reducing errors in agreement. Our approach
thus eliminates inflection errors, without introducing new errors or decreasing the overall
quality of the translation.

Lexikálně omezený strojový překlad umožňuje uživateli manipulovat s výstupní větou vynucením přítomnosti nebo nepřítomnosti určitých slov a frází. Přestože současné přístupy dokáží vynutit, aby se v překladu objevily specifikované termíny, často se snaží, aby povrchová forma omezeného slova souhlasila se zbytkem vygenerovaného výstupu. Ruční analýza ukazuje, že 46% chyb ve výstupu základního omezeného modelu překladu z angličtiny do češtiny souvisí s gramatickou shodou. Zkoumáme mechanismy, které umožňují neuronových strojový překlad k určení správné inflexe omezujících slov specifikovaných pomocí lemmat. Zaměřujeme se zejména na metody založené na tréninku modelu s omezeními, které jsou součástí vstupu. Naše experimenty na anglicko-českém jazykovém páru ukazují, že tento přístup zlepšuje překlad s omezením pomocí termínů a to jak v automatickém i ručním hodnocení, snížením počtu chyb v gramatické shodě. Náš přístup
tak odstraňuje inflexní chyby, aniž by zaváděl nové chyby nebo snižoval celkovou
kvalitu překladu.

Josef Jon
João Paulo de Souza Aires
Dušan Variš
Ondřej Bojar


CUNI systems for WMT21: Multilingual Low-Resource Translation for Indo-European Languages Shared Task

Systémy UK pro WMT21: Vícejazyčný překlad indoeurópskych jazyků s nedostatečnými zdroji

This paper describes Charles University submission for  Multilingual Low-Resource Translation for Indo-European Languages shared task at WMT21. We competed in translation from Catalan into Romanian, Italian and Occitan. Our systems are based on shared multilingual model. We show that using joint model for multiple similar language pairs improves upon translation quality in each pair. We also demonstrate that chararacter-level bilingual models are competitive for very similar language pairs (Catalan-Occitan) but less so for more distant pairs. We also describe our experiments with multi-task learning, where aside from a textual translation, the models are also trained to perform grapheme-to-phoneme conversion.

Článek popisuje příspěvek Univerzity Karlovy do soutěže ve vícejazyčném překladu indoeurópskych jazyků s nedostatečnými zdroji na konferenci WMT21.

Josef Jon
Michal Novák
João Paulo de Souza Aires
Dušan Variš
Ondřej Bojar


CUNI systems for WMT21: Terminology translation Shared Task

Systémy UK pro WMT21: Překlad terminologie

This  paper  describes  Charles  University  submission for Terminology translation Shared Task at WMT21.  The objective of this task is to design a system which translates certain terms based on a provided terminology database, while preserving high overall translation quality. We competed in English-French language pair. Our approach is based on providing the desired translations alongside the input sentence and  training the model to use these provided terms. We lemmatize the terms both during the training and inference, to allow the model to learn how to produce correct surface forms of the words, when they differ from the forms provided in the terminology database. Our submission ranked second in Exact Match metric which evaluates the ability of the model to produce desired terms in the translation.

Článek popisuje příspěvek Univerzity Karlovy do soutěže v překladu terminologie na konferenci WMT21.


CUNI-MTIR at COVID-19 MLIA @ Eval Task 3

Tým CUNI-MTIR v soutěži COVID-19 MLIA @ Eval Task 3

This paper describes the participation of our team (CUNIMTIR) in the COVID-19 MILA Machine Translation (MT) task. We present our implementation of four systems (English into French, German, Swedish and Spanish) in both constrained and unconstrained settings. We employ the Marian implementation of the Transformer model to train the constrained systems in the given training data (MLIA MT parallel data), while in the unconstrained systems, we use external medicaldomain training data for the base models and then fine-tune those models using MLIA MT data

Tento článek popisuje účast týmu CUNI-MTIR v soutěži COVID-19 MLIA @ Eval Task 3.

Shadi Saleh
Hashem Sellat
Hadi Abdi Khojasteh
Pavel Pecina


CUNI-MTIR at COVID-19 MLIA @ Eval Task 2

Tým CUNI-MTIR v soutěži COVID-19 MLIA @ Eval Task 2

The multi-lingual search task in MLIA Community Effort aims at improving
COVID-19 related information access for searchers in multi-lingual settings [3].
We choose in our participation to build a monolingual system where we index
the provided English documents and use the English queries for retrieval (monolingual system) then we design five runs in the monolingual settings.
As for the bilingual task, we design five runs where the documents are in English, and the queries are translated into English following the query-translation
approach.

Tento článek popisuje účast týmu CUNI-MTIR v soutěži COVID-19 MLIA @ Eval Task 2.

Shadi Saleh
Hadi Abdi Khojasteh
Hashem Sellat
Pavel Pecina


Can AI create works of art? Music, painting, literature, film, theatre? Or something completely new? Can a neural net stir emotions? Engage the machines in the creation along with the THEaiTRE challenge guarantor.

Dokáže AI tvořit umělecká díla? Hudbu, malířství, literaturu, film, divadlo? Nebo něco úplně nového? Dokáže neuronová síť vzbudit emoce? Zapojte stroje do tvorby spolu s garantem výzvy THEaiTRE.

Tomáš Studeník
Rudolf Rosa
Tomáš Musil
David Košťák
Martina Kinská


Representations of Meaning in Neural Networks for NLP: a Thesis Proposal

Reprezentace významu v neuronových sítích pro NLP

Neural networks are the state-of-the-art method of machine learning for many problems in NLP. Their success in machine translation and other NLP tasks is phenomenal, but their interpretability is challenging. We want to find out how neural networks represent meaning. In order to do this, we propose to examine the distribution of meaning in the vector space representation of words in neural networks trained for NLP tasks. Furthermore, we propose to consider various theories of meaning in the philosophy of language and to find a methodology that would enable us to connect these areas.

Neuronové sítě jsou nejmodernější metodou strojového učení pro mnoho problémů v NLP. Jejich úspěch ve strojovém překladu a dalších úlohách NLP je fenomenální, ale jejich interpretovatelnost je náročná. Chceme zjistit, jak neuronové sítě reprezentují význam. Za tímto účelem navrhujeme prozkoumat rozložení významu ve vektorovém prostoru reprezentace slov v neuronových sítích trénovaných pro úlohy NLP. Dále navrhujeme zvážit různé teorie významu ve filosofii jazyka a najít metodologii, která by nám umožnila tyto oblasti propojit.


Shades of BLEU, Flavours of Success: The Case of MultiWOZ

Odstíny BLEU, příchutě Success: případ MultiWOZ

The MultiWOZ dataset (Budzianowski et al.,2018) is frequently used for benchmarking context-to-response abilities of task-oriented dialogue systems. In this work, we identify inconsistencies in data preprocessing and reporting of three corpus-based metrics used on this dataset, i.e., BLEU score and Inform & Success rates. We point out a few problems of the MultiWOZ benchmark such as unsatisfactory preprocessing, insufficient or under-specified evaluation metrics, or rigid database. We re-evaluate 7 end-to-end and 6 policy optimization models in as-fair-as-possible setups, and we show that their reported scores cannot be directly compared. To facilitate comparison of future systems, we release our stand-alone standardized evaluation scripts. We also give basic recommendations for corpus-based benchmarking in future works.

Dataset MultiWOZ (Budzianowski et al.,2018) je často užíván na poměřování schopností generovat odpověď z kontextu v případě dialogových systému zaměřených na úkoly. V této práci identifikujeme nekonzistence v předzpracování dat a reportování tří metrik založených na evaluačním korpusu, tj., BLEU skóre, míry Inform a míry Success, v kontextu tohoto datasetu. Poukazujeme na několik problémů benchmarku MultiWOZ jako je neuspokojivé předzpracování dat, nedostatečné nebo nedostatečně specifikované evaluační metriky, nebo neohebná databáze. Ve spravedlivých podmínkách jsme znovu vyhodnotili 7 end-to-end a 6 policy optimization modelů a ukázali jsme, že jejich původně reportovaná skóre nemohou být přímo srovnávána. Abychom ulehčili porovnávání budoucích systémů, zveřejňujeme naše soběstačné standardizované evaluační skripty. Rovněž dáváme základní doporučení pro budoucí vyhodnocování založená na evaluačním korpusu.


Overview of the Second Workshop on Scholarly Document Processing

Přehled druhého semináře o zpracovávání dokumentů v oblasti vědy

With the ever-increasing pace of research
and high volume of scholarly communication,
scholars face a daunting task. Not only must
they keep up with the growing literature in
their own and related fields, scholars increasingly also need to rebut pseudo-science and
disinformation. These needs have motivated
an increasing focus on computational methods for enhancing search, summarization, and
analysis of scholarly documents. However, the
various strands of research on scholarly document processing remain fragmented. To reach
out to the broader NLP and AI/ML community, pool distributed efforts in this area, and
enable shared access to published research, we
held the 2nd Workshop on Scholarly Document Processing (SDP) at NAACL 2021 as a
virtual event (https://sdproc.org/2021/). The
SDP workshop consisted of a research track,
three invited talks and three Shared Tasks
(LongSumm 2021, SCIVER and 3C). The program was geared towards NLP, information retrieval, and data mining for scholarly documents, with an emphasis on identifying and
providing solutions to open challenges.

Se stále rostoucím tempem výzkumu
a velký objem vědecké komunikace,
stipendisty čeká nelehký úkol. Nejen musí
udržují krok s rostoucí literaturou v
svých vlastních a souvisejících oborů, musí vědci stále častěji také vyvracet pseudovědu a
dezinformace. Tyto potřeby motivovaly
rostoucí zaměření na výpočetní metody pro zlepšení vyhledávání, sumarizace a
analýzy odborných dokumentů. Nicméně
různé oblasti výzkumu vědeckého zpracování dokumentů zůstávají roztříštěné. K dosažení
širší komunitě NLP a AI/ML, společné úsilí v této oblasti a
umožnit sdílený přístup k publikovanému výzkumu, my
uspořádal 2. seminář o zpracovávání dokumentů (SDP) v rámci programu NAACL 2021 jako
virtuální událost (https://sdproc.org/2021/). The
SDP workshop sestával z výzkumné dráhy,
tři pozvané rozhovory a tři sdílené úkoly
(LongSumm 2021, SCIVER a 3C). Program byl zaměřen na NLP, získávání informací a dolování dat pro vědecké dokumenty s důrazem na identifikaci a
řešení otevřených výzev.

Iz Beltagy
Arman Cohan
Guy Feigenblat
Dayne Freitag
Tirthankar Ghosal
Keith Hall
Drahomira Hermannova
Petr Knoth
Kyle Lo
Philipp Mayr
Robert Patton
Michal Shmueli-Scheuer
Anita De-Waard
Kuansan Wang
Lucy Lu Wang


When a robot writes a play, it has an unwanted sense of humor and thinks about sex a lot

Když robot píše hru, má nechtěný smysl pro humor a dost myslí na sex

The Švandovo Theatre is about to premiere the first Czech play, the dialogue of which was "written" by an artificial intelligence. "AI: When a robot writes a play" was created in collaboration with the Faculty of Mathematics and Physics of Charles University and commemorates a century since the release of the play R.U.R. by Karel Čapek, in which the word "robot" was first mentioned.

Švandovo divadlo chystá premiéru první české hry, jejíž dialogy „napsala“ umělá inteligence. Inscenace AI: Když robot píše hru vznikla ve spolupráci s Matematicko-fyzikální fakultou Univerzity Karlovy a připomíná sto let od uvedení hry R.U.R. od Karla Čapka, v níž slovo „robot“ poprvé zaznělo.

Martin Tyburec
Rudolf Rosa
David Košťák
Ondřej Dušek
Daniel Hrbek


Describing our experience from the coordination of the EU project ELITR for grant applicants.

Seznámení uchazečů o různé projekty našimi zkušenostmi s koordinací projektu ELITR.


Ukázka překladače ELITR na letní škole LCT

I presented the research project ELITR and the state of the art in machine translation and speech translation.

Představil jsem výzkumný projekt ELITR a současný stav poznání v oblasti strojového překladu a překladu mluvené řeči.


Multi-Lingual MT Research at ÚFAL, Charles University

Výzkum mnohojazyčného překladu na ÚFALu, Univerzita Karlova

A brief description of two applied projects, ELITR and Bergamot, and one basic research project NEUREM3, run at UFAL

Představení dvou aktuálních aplikovaných projektů ELITR a Bergamot a projektu základního výzkumu NEUREM3, realizovaných na ÚFALu.


Computational linguistics: machine translation and interpreting

Počítačová lingvistika: strojové překlady a tlumočení

I presented the area of computational linguitics with a focus on the paradigm change brought by neural networks, in articular in the application area of machine translation and interpreting.

Představil jsem obor počítačové lingvistiky s důrazem na změnu paradigmatu zavedením neuronových sítí, zejména v oblasti strojového překladu a tlumočení.


ELITR Multilingual Live Subtitling: Demo and Strategy

Simultánní mnohojazyčné titulkování projektu ELITR: Demo a strategie

This paper presents an automatic speech translation system aimed at live subtitling of conference presentations. We describe the overall architecture and key processing components. More importantly, we explain our strategy for building a complex system for end-users from numerous individual components, each of which has been tested only in laboratory conditions. The system is a working prototype that is routinely tested in recognizing English, Czech, and German speech and presenting it translated simultaneously into 42 target languages.

542 / 5000
Translation results
Tento článek představuje systém automatického překladu řeči zaměřený na živé titulkování konferenčních prezentací. Popisujeme celkovou architekturu a klíčové komponenty zpracování. Důležitější je, že vysvětlujeme naši strategii budování komplexního systému pro koncové uživatele z mnoha jednotlivých komponent, z nichž každá byla testována pouze v laboratorních podmínkách. Systém je funkčním prototypem, který je rutinně testován v rozpoznávání anglické, české a německé řeči a současně je prezentován přeložený do 42 cílových jazyků.

Ondřej Bojar
Dominik Macháček
Sangeet Sagar
Otakar Smrž
Jonáš Kratochvíl
Peter Polák
Ebrahim Ansari
Mohammad Mahmoudi
Rishu Kumar
Dario Franceschini
Chiara Canton
Ivan Simonini
Thai-Son Nguyen
Felix Schneider
Sebastian Stüker
Alex Waibel
Barry Haddow
Rico Sennrich
Philip Williams


Operating a Complex SLT System with Speakers and Human Interpreters

Provoz komplexního systému pro překlad mluvené řeči s řečníky a tlumočníky

The paper describes the practical experience from testing our complex system translating from the speech of speakers and interpreters.

Příspěvek popisuje praktické zkušenosti z testování systému pro simultánní překlad mluvené řeči z projevu řečníků a tlumočníků.

Ondřej Bojar
Vojtěch Srdečný
Rishu Kumar
Otakar Smrž
Felix Schneider
Barry Haddow
Phil Williams
Chiara Canton


This machine translation test set contains 2223 Czech sentences collected within the FAUST project (https://ufal.mff.cuni.cz/grants/faust, http://hdl.handle.net/11234/1-3308). Each original (noisy) sentence was normalized (clean1 and clean2) and translated to English independently by two translators.

Tato testovací sada strojového překladu obsahuje 2223 českých vět shromážděných v rámci projektu FAUST (https://ufal.mff.cuni.cz/grants/faust, http://hdl.handle.net/11234/1-3308). Každá původní věta obsahující šum byla normalizována (clean1 a clean2) a nezávisle na sobě přeložena do angličtiny dvěma překladateli.

Jan Hajič
David Mareček
Eva Fučíková
Silvie Cinková
Jan Štěpánek
Marie Mikulová
Martin Popel


On selected types of deverbative adjectives in Czech (in comparison with Russian)

K vybraným typům deverbativních adjektiv v češtině (ve srovnání s ruštinou)

Selected Czech adjectives derived from the verbs by the suffix -lý are analyzed and compared with the other types of deverbal adjectives and their mutual interchanges are presented in comparison with their independent meanings. The Russian system of deverbal adjectives is briefly demonstrated as to their position different from Czech system.

Ve stati se analyzují na základě korpusových dat vybraná adjektiva tvořená od sloves příponou -lý a porovnávají se s dalšími typy slovesných adjektiv adjektiv z hlediska vzájemné zaměnitelnosti a významových rozdílů.


A survey into Czech word formation: verbs formed from verbs or verbs formed from nouns?

Sonda do české slovotvorby: Substantiva utvořená od sloves nebo slovesa utvořená od substantiv?

The study deals with a topic in Czech word formation, namely with the determination of the direction of formation in pairs of a suffixless noun and a related verb (e.g. skok "jump" - skočit "to jump", sůl "salt" - solit "to salt"). While corpus frequency is an unreliable criterion due to formal-meaning asymmetries and meaning shifts, alternations in the prefix and root morphemes of the studied nouns and verbs, as well as the way of formation of the aspectual counterparts, are useful clues - the latter criterion can be applied to both domestic and foreign verbs, including neologisms.

Studie se zabývá tématem z české slovotvorby, konkrétně stanovenám směru tvoření ve dvojicích bezpříponového substantiva a příbuzného slovesa (např. skok - skočit, sůl - solit). Hledá kritéria, která by směr tvoření v těchto dvojicích pomohla určit. Zatímco korpusová frekvence je z důvodu formálně-významových asymetrií a významových posunů kritériem nespolehlivým, užitečným vodítkem jsou alternace v předponových i kořenných morfémech zkoumaných substantiv a sloves a také způsob tvoření vidových protějšků – toto kritérium se dá aplikovat na slovesa domácí i cizí, včetně neologismů.


A Few Remarks on Word Order and Topic-Focus Articulation in the ligtht of an English-Czech parallel corpus

Několik poznámek ke slovosledu a aktuálnímu členění ve světle anglicko-českého paralelního korpusu

In this paper, we study the relationship between word order and topic-focus articulation in comparison of English and Czech, namely in two areas: the position of proverbial determinations of time and place in the focal part of a sentence and the semantic range of particles called focalizers. We used the material of an annotated parallel English-Czech corpus (PCEDT).

V příspěvku sledujeme vztah slovosledu a aktuálního členění ve srovnání angličtiny s češtinou, a to ve dvou oblastech: umístění příslovečných určení času a místa v  ohniskové části věty a sémantického dosahu částic zvaných fokalizátory. Materiálem nám byl anotovaný paralelní korpus anglicko–český (PCEDT).

Eva Hajičová
Jiří Mírovský
Barbora Štěpánková


Open Science and FAIR aspects in the LINDAT/CLARIAH-CZ repository

Aspekty Open Science a FAIR v repozitáři LINDAT/CLARIAH-CZ

Introducing the functionality of the LINDAT/CLARIAH-CZ repository, that is, mainly CLARIN/Dspace, which supports the principles of Open Science, primarily the so-called FAIR principles.

Představení funkcionality repozitáře LINDAT/CLARIAH-CZ, tedy hlavně CLARIN/Dspace, která podporuje principy Open Science, v první řadě tzv. FAIR principy.


Why and how the LINDAT data repository integrates services supporting and using direct data citation.

Proč a jakým způsobem integruje datový repozitář LINDATu služby podporující a využívající přímé citování dat.


Information about the central repository of LINDAT/CLARIAH-cz, especially in terms of FAIR aspects

Informace o centrálním repozitáři LINDAT/CLARIAH-cz, obzvláště z hlediska FAIR aspektů


LINDAT/CLARIAH-CZ: Subject-specific repository not only for language data

LINDAT/CLARIAH-CZ: Oborový repozitář nejen pro jazyková data

The benefits of data publishing, especially with high-quality certrified repositories well integrated with other infrastructure.

Přinosy zveřejňování dat, obzvláště pomocí kvalitních certrifikovaných repozitářů dobře integrovaných s další infrastrukturou.


LINDAT/CLARIAH-CZ: field-specific repository for not only language data

LINDAT/CLARIAH-CZ: oborový repozitář nejen pro jazyková data

We will present a repository for language data and other data primarily from the humanities. The repository is operated by the large research infrastructure (LRI) LINDAT/CLARIAH-CZ and allows for easy, safe and long-term preservation, sharing and direct quoting of scientific data. We have expanded the repository by our own development to include a module that allows data to assign any license and sign this, if necessary, online. We will briefly explain why such a solution is necessary. We also address FAIR aspects of the repository, and why it is far better to store our research data with us than to share it with our own website and other ad hoc methods.

The repository also includes a solution for selecting the most open possible license for the data: Public License Selector. The user answers questions when saving data, navigating it through a maze of public licenses to the most appropriate option for the data or software they want to share.

The two connected solutions we will present are open source, developed publicly under LRI LINDAT/CLARIAH-CZ (https://github.com/ufal/clarin-dspace, https://github.com/ufal/public-license-selector) and used in a variety of installations across Europe.

Představíme repozitář pro jazyková data a jiná data primárně z humanitních oborů. Repozitář je provozován velkou výzkumnou infrastrukturou (VVI) LINDAT/CLARIAH-CZ a umožňuje snadné, bezpečné a dlouhodobé uchování, sdílení a přímé citování vědeckých dat. Repozitář jsme vlastním vývojem rozšířili o modul, který umožňuje datům přiřadit libovolnou licenci a tuto případně i online podepsat. Stručně vysvětlíme, proč je takové řešení nutné. Věnujeme se také FAIR aspektům repozitáře a tomu, proč je mnohem lepší svá výzkumná data uložit k nám, než je sdílet pomocí své vlastní webové stránky a jinými ad hoc metodami.

Součástí repozitáře je také řešení pro výběr co nejotevřenější možné licence pro daná data: Public License Selector. uživatel při ukládání dat odpovídá na otázky, které jej navigují bludištěm veřejných licencí k nejvhodnější možnosti pro daná data nebo software, jež chce sdílet.

Obě propojená řešení, která představíme, jsou open source, vyvíjená veřejně v rámci VVI LINDAT/CLARIAH-CZ (https://github.com/ufal/clarin-dspace, https://github.com/ufal/public-license-selector) a jsou používána v řadě instalací v celé Evropě.


Open Science support in LINDAT/CLARIAH-CZ repository

Podpora Open Science v repozitáři LINDAT/CLARIAH-CZ


Annotation guidelines for German verbal synonyms included in SynSemClass Lexicon

Manuál pro anotaci německých synonymních sloves ve slovníku SynSemClass

This report presents a guideline for including German synonyms into the multilingual SynSemClass lexicon.

Technická zprava shrnuje pravidla pro zařazení německých synonym do synonymního slovníku SynSemClass.

Zdeňka Urešová
Eva Fučíková
Jan Hajič
Karolina Zaczynska


The SynSemClass synonym verb lexicon version 3.5 investigates, with respect to contextually-based verb synonymy, semantic ‘equivalence’ of Czech, English and German verb senses and their valency behavior in parallel Czech-English and German-English language resources.
SynSemClass3.5 is a multilingual event-type ontology based on classes of synonymous verb senses, complemented with semantic roles and links to existing semantic lexicons.
Apart of the already used links to PDT-Vallex, EngVallex, CzEngVallex, FrameNet, VerbNet, PropBank, Ontonotes, and English WordNet for Czech and English entries the new links to German language lexical resources are exploited for German verb entries, such as Woxikon, E-VALBU, and GUP.
The German part of the lexicon has been created within the project Multilingual Event-Type-Anchored Ontology for Natural Language Understanding (META-O-NLU) by two cooperating teams - by the team of the Charles University, Faculty of Mathematics and Physics, Institute of Formal and Applied Linguistics, Prague (ÚFAL), Czech Republic and the team of the German Research Center for Artificial Intelligence (DFKI) Speech and Language Technology, Berlin, Germany.

SynSemClass lexicon 3.5 zkoumá s ohledem na kontextově založenou slovesnou synonymii, sémantickou „ekvivalenci“ českých, anglických a německých sloves a jejich valenční chování v paralelních česko-anglických a německo-anglických jazykových zdrojích.
SynSemClass 3.5 je vícejazyčná ontologie typu události založená na třídách synonymních významů sloves, doplněná sémantickými rolemi a odkazy na existující sémantické lexikony.
Kromě již použitých odkazů na položky PDT-Vallex, EngVallex, CzEngVallex, FrameNet, VerbNet, PropBank, Ontonotes a English WordNet pro české a anglické záznamy jsou nové odkazy na německé jazykové lexikální zdroje, jako je Woxikon, E-VALBU a GUP, využívány pro německé slovesné záznamy.
Německá část lexikonu byla vytvořena v rámci projektu Multilingual Event-Type-Anchored Ontology for Natural Language Understanding (META-O-NLU) dvěma spolupracujícími týmy - týmem Univerzity Karlovy, Matematicko-fyzikální fakulty, Ústavu formální a aplikované lingvistiky, Praha (ÚFAL), Česká republika a týmem Německého výzkumného centra pro umělou inteligenci (DFKI) Speech and Language Technology, Berlín, Německo.

Zdeňka Urešová
Eva Fučíková
Eva Hajičová
Jan Hajič
Georg Rehm
Karolina Zaczynska


PDT-Vallex: Czech Valency lexicon linked to treebanks 4.0

PDT-Vallex: Valenční slovník češtiny propojený s korpusy 4.0

PDT-Vallex is a Czech valence lexicon linked to real texts in several Czech corpora and is also part of PDT-C 1.0. PDT-Vallex 4.0 contains 14528 valence frames for 8498 verbs that occurred in PDT-C 1.0. PDT-Vallex 4.0 is an expanded version of the original PDT-Vallex, which contained 7121 verb entries with 11933 frames.

PDT-Vallex je český valenční lexikon propojený s reálnými texty v několika českých korpusech a je také součástí PDT-C 1.0. PDT-Vallex 4.0 obsahuje 14528 valenčních rámců pro 8498 sloves, která se vyskytla v PDT-C 1.0. PDT-Vallex 4.0 je rozšířenou verzí původního PDT-Vallexu, který obsahoval 7121 slovesných záznamů s 11933 rámci.

Zdeňka Urešová
Alevtina Bémová
Eva Fučíková
Jan Hajič
Veronika Kolářová
Marie Mikulová
Petr Pajas
Jarmila Panevová
Jan Štěpánek


Systemic and Non-systemic Valency Behavior of Czech Deverbal Adjectives

Systémové a nesystémové valenční chování českých deverbálních adjektiv

We present results of an automatic comparison of valency frames of interlinked adjectival and verbal lexical units based on the valency lexicons NomVallex and VALLEX. We distinguish nine derivational types of deverbal adjectives and examine whether they tend to display systemic valency behavior, or rather the non-systemic one. The non-systemic valency behavior includes changes in the number of valency complementations and, more dominantly, non-systemic forms of actants, especially a prepositional group.

V článku prezentujeme výsledky automatického srovnání valenčních rámců vzájemně propojených adjektivních a slovesných lexikálních jednotek, obsažených ve valenčních slovnících NomVallex a VALLEX. Rozlišujeme devět derivačních typů deverbálních adjektiv a zkoumáme, zda vykazují systémové valenční chování, nebo spíše nesystémové valenční chování. K projevům nesystémového valenčního chování patří změny v počtu valenčních doplnění a především nesystémové formy aktantů, zvláště nesystémová předložková skupina.

Veronika Kolářová
Anna Vernerová
Jana Klímová


Extending Coverage of a Lexicon of Discourse Connectives Using Annotation Projection

Rozšíření pokrytí Slovníku českých diskurzních konektorů pomocí anotační projekce

We present a method for extending coverage of the Lexicon of Czech Discourse Connectives – CzeDLex – using annotation projection. We take advantage of two language resources: (i) the Penn Discourse Treebank 3.0 as a source of manually annotated discourse relations in English, and (ii) the Prague Czech–English Dependency Treebank 2.0 as a translation of the English texts to Czech and a link between tokens on the two language sides. Although CzeDLex was originally extracted from a large Czech corpus, the presented method resulted in an addition of a number of new connectives and new types of usages (discourse types) for already present entries in the lexicon.

Představujeme metodu pro rozšíření pokrytí Slovníku českých diskurzních konektorů (CzeDLex) pomocí anotační projekce. Využíváme dva jazykové zdroje: (i) Penn Discourse Treebank 3.0 jako zdroj ručně anotovaných diskurzních vztahů v angličtině a (ii) Pražský česko -anglický závislostí korpus 2.0 jako překlad anglických textů do češtiny a propojení mezi tokeny v obou jazycích. Přestože byl CzeDLex původně extrahován z velkého českého korpusu, vedla prezentovaná metoda k přidání řady nových konektorů a nových užití (diskurzních typů) pro již přítomné položky ve slovníku.

Jiří Mírovský
Pavlína Synková
Lucie Poláková


CzeDLex 1.0 is the first production version of a lexicon of Czech discourse connectives, following three previous  development versions. The lexicon contains connectives partially automatically extracted from the Prague Discourse Treebank 2.0 (PDiT 2.0) and other resources. All entries in the lexicon have been manually checked, translated to English and supplemented with additional linguistic information.

CzeDLex 1.0 je první produkční verze slovníku českých diskurzních konektorů, navazující na 3 předchozí verze vývojové. Slovník obsahuje konektory částečně automaticky extrahované z Pražského diskurzního korpusu 2.0 (PDiT 2.0) a z dalších zdrojů. Všechna slovníková hesla byla ručně zkontrolována, přeložena do angličtiny a doplněna dalšími lingvistickými informacemi.

Jiří Mírovský
Pavlína Synková
Lucie Poláková
Věra Kloudová
Magdaléna Rysová


Sense Prediction for Explicit Discourse Relations with BERT

Predikce významu explicitních diskurzních vztahů systémem BERT

We present experiments in predicting a discourse sense for explicit inter-sentential discourse relations in Czech and English, using embedding and deep learning (fine-tuned BERT) to predict the senses, and annotation projection from English to Czech to increase the size of training data for Czech.

Předkládáme experimenty zaměřené na predikci významu explicitních mezivětných diskurzních vztahů v češtině a angličtině, s využitím hlubokého učení (BERT) pro predikci významů a anotační projekce z angličtiny do češtiny pro zvětšení množství trénovacích dat pro češtinu.


We attempt to shed some light on the various ways how languages specify date and time, and on the options we have when trying to annotate them uniformly across Universal Dependencies. Examples from several language families are discussed, and their annotation is proposed. Our hope is to eventually make this (or similar) proposal an integral part of the UD annotation guidelines, which would help improve consistency of he UD treebanks. The current annotations are far from consistent, as can be seen from the survey we provide in appendices to this paper.

Pokoušíme se osvětlit rozličné způsoby, kterými jazyky udávají datum a čas, a možnosti, které máme, když se příslušné konstrukce snažíme jednotně zachytit ve formalismu Universal Dependencies. Probíráme příklady z několika jazykových rodin a navrhujeme jejich anotaci. Doufáme, že tento (nebo podobný) návrh by se mohl v budoucnosti stát součástí anotačních pravidel UD, což by přispělo k větší konzistenci treebanků UD. Současné anotace mají ke konzistenci daleko, jak přehledně ukazujeme v dodatcích k této studii.


Enhanced Universal Dependencies: The Current State and Outlook

Enhanced Universal Dependencies: Aktuální stav a výhled

Universal Dependencies (UD) is a multilingual collection of corpora featuring morphological and syntactic annotation in a unified style. We discuss an optional layer of deep-syntactic annotation in UD, called Enhanced Universal Dependencies. We survey the existing enhanced representation as of release 2.8 and consider two possible future expansions: semi-automatic addition of existing enhancement types to new languages, and addition of new enhancement types.

Universal Dependencies (UD, univerzální závislosti) je mnohojazyčná kolekce korpusů, morfologicky a syntakticky anotovaných v jednotném stylu. Představujeme volitelnou rovinu hloubkově-syntaktické anotace v UD, zvanou Enhanced Universal Dependencies (rozšířené univerzální závislosti). Podáváme přehled rozšířených anotací ve verzi 2.8 a zvažujeme dvě možná budoucí pokračování: poloautomatické přidávání známých typů rozšíření do nových jazyků a přidávání nových typů rozšíření.


Universal Dependencies: Comparing Languages in Space and Time

Universal Dependencies: Srovnávání jazyků v prostoru a čase

I present Universal Dependencies, a worldwide community project to design morphological and syntactic annotation guidelines applicable to all the languages of the world. I discuss automatic parsing models and their use in digital humanities: linguistics, language teaching, documentation of endangered languages, linguistic typology and language change.

Představuji Universal Dependencies, mezinárodní komunitní projekt, v jehož rámci vznikla morfologická a syntaktická anotační pravidla aplikovatelná na všechny přirozené jazyky světa. Probírám modely pro automatickou syntaktickou analýzu a jejich využití v digitálních humanitních studiích: v lingivistice, výuce jazyků, dokumentaci ohrožených jazyků, jazykové typologii a historickém vývoji jazyků.


Universal Description of Morphology and Syntax of Natural Languages

Univerzální popis morfologie a syntaxe přirozených jazyků

I will present Universal Dependencies, an international community project and a collection of morphosyntactically annotated data sets (“treebanks”) for more than 100 languages. The collection is an invaluable resource for various linguistic studies, ranging from grammatical constructions within one language to language typology, documentation of endangered languages, and historical evolution of language.

From the engineering perspective, UD treebanks serve as training data for automatic parsers that can be subsequently used to analyze previously unseen text. The parsed output is an intermediate representation between the input text and its underlying meaning. It is helpful in foreign language learning as well as for automatic extraction of semantic relations (answers to “who did what to whom”). I will thus discuss these semantic aspects in the last part of my talk; in particular, I will look at extensions of UD that have been proposed and that focus more on deep-syntactic and semantic relations expressed in natural language.

Představím Universal Dependencies, mezinárodní komunitní projekt a kolekci morfosyntakticky anotovaných datových sad (treebanků) pro více než 100 jazyků. Tato kolekce je neocenitelným zdrojem pro různé lingvistické studie od gramatických konstrukcí v jednom jazyce k jazykové typologii, dokumentaci ohrožených jazyků a historickému vývoji jazyka.


Deep Universal Dependencies is a collection of treebanks derived semi-automatically from Universal Dependencies. It contains additional deep-syntactic and semantic annotations. Version of Deep UD corresponds to the version of UD it is based on. Note however that some UD treebanks have been omitted from Deep UD.

Deep Universal Dependencies (hluboké univerzální závislosti) je sbírka treebanků poloautomaticky odvozených z Universal Dependencies. Obsahuje přídavné hloubkově-syntaktické a sémantické anotace. Verze Deep UD odpovídá verzi UD, na které je založena. Mějte však na paměti, že některé treebanky UD nebyly do Deep UD zahrnuty.


IWPT 2021 Shared Task Data and System Outputs

Data a systémové výstupy soutěže IWPT 2021

This package contains data used in the IWPT 2021 shared task. It contains training, development and test (evaluation) datasets. The data is based on a subset of Universal Dependencies release 2.7 (http://hdl.handle.net/11234/1-3424) but some treebanks contain additional enhanced annotations. Moreover, not all of these additions became part of Universal Dependencies release 2.8 (http://hdl.handle.net/11234/1-3687), which makes the shared task data unique and worth a separate release to enable later comparison with new parsing algorithms. The package also contains a number of Perl and Python scripts that have been used to process the data during preparation and during the shared task. Finally, the package includes the official primary submission of each team participating in the shared task.

Tento balíček obsahuje data použitá v soutěži IWPT 2021. Obsahuje trénovací, vývojová a testovací (vyhodnocovací) datové množiny. Data jsou založena na podmnožině vydání 2.7 Universal Dependencies (http://hdl.handle.net/11234/1-3424), ale některé treebanky obsahují další obohacené anotace nad rámec UD 2.7.


Universal Dependencies is a project that seeks to develop cross-linguistically consistent treebank annotation for many languages, with the goal of facilitating multilingual parser development, cross-lingual learning, and parsing research from a language typology perspective. The annotation scheme is based on (universal) Stanford dependencies (de Marneffe et al., 2006, 2008, 2014), Google universal part-of-speech tags (Petrov et al., 2012), and the Interset interlingua for morphosyntactic tagsets (Zeman, 2008). This is the fourteenth release of UD Treebanks, Version 2.8.

Universal Dependencies je projekt, který vyvíjí mezijazykově konzistentní morfologicko-syntaktickou anotaci mnoha jazyků s cílem usnadnit vývoj jazykově nezávislých parserů, mezijazykové strojové učení a výzkum parsingu z perspektivy jazykové typologie. Anotační schéma je založeno na univerzálních Stanfordských závislostech (de Marneffe et al., 2006, 2008, 2014), univerzálních značkách Google (Petrov et al., 2012) a na Intersetu, tj. interlingvě pro sady morfologických značek (Zeman, 2008). Toto je čtrnácté vydání treebanků UD, verze 2.8.

Daniel Zeman
Joakim Nivre
Mitchell Abrams
Elia Ackermann
Noëmi Aepli
Hamid Aghaei
Željko Agić
Amir Ahmadi
Lars Ahrenberg
Chika Kennedy Ajede
Gabrielė Aleksandravičiūtė
Ika Alfina
Lene Antonsen
Katya Aplonova
Angelina Aquino
Carolina Aragon
Maria Jesus Aranzabe
Bilge Nas Arıcan
Þórunn Arnardóttir
Gashaw Arutie
Jessica Naraiswari Arwidarasti
Masayuki Asahara
Deniz Baran Aslan
Luma Ateyah
Furkan Atmaca
Mohammed Attia
Aitziber Atutxa
Liesbeth Augustinus
Elena Badmaeva
Keerthana Balasubramani
Miguel Ballesteros
Esha Banerjee
Sebastian Bank
Verginica Barbu Mititelu
Starkaður Barkarson
Victoria Basmov
Colin Batchelor
John Bauer
Seyyit Talha Bedir
Kepa Bengoetxea
Gözde Berk
Yevgeni Berzak
Irshad Ahmad Bhat
Riyaz Ahmad Bhat
Erica Biagetti
Eckhard Bick
Agnė Bielinskienė
Kristín Bjarnadóttir
Rogier Blokland
Victoria Bobicev
Loïc Boizou
Emanuel Borges Völker
Carl Börstell
Cristina Bosco
Gosse Bouma
Sam Bowman
Adriane Boyd
Anouck Braggaar
Kristina Brokaitė
Aljoscha Burchardt
Marie Candito
Bernard Caron
Gauthier Caron
Lauren Cassidy
Tatiana Cavalcanti
Gülşen Cebiroğlu Eryiğit
Flavio Massimiliano Cecchini
Giuseppe G. A. Celano
Slavomír Čéplö
Neslihan Cesur
Savas Cetin
Özlem Çetinoğlu
Fabricio Chalub
Shweta Chauhan
Ethan Chi
Taishi Chika
Yongseok Cho
Jinho Choi
Jayeol Chun
Alessandra T. Cignarella
Silvie Cinková
Aurélie Collomb
Çağrı Çöltekin
Miriam Connor
Marine Courtin
Mihaela Cristescu
Philemon Daniel
Elizabeth Davidson
Marie-Catherine de Marneffe
Valeria de Paiva
Mehmet Oguz Derin
Elvis de Souza
Arantza Diaz de Ilarraza
Carly Dickerson
Arawinda Dinakaramani
Elisa Di Nuovo
Bamba Dione
Peter Dirix
Kaja Dobrovoljc
Timothy Dozat
Kira Droganova
Puneet Dwivedi
Hanne Eckhoff
Sandra Eiche
Marhaba Eli
Ali Elkahky
Binyam Ephrem
Olga Erina
Tomaž Erjavec
Aline Etienne
Wograine Evelyn
Sidney Facundes
Richárd Farkas
Marília Fernanda
Hector Fernandez Alcalde
Jennifer Foster
Cláudia Freitas
Kazunori Fujita
Katarína Gajdošová
Daniel Galbraith
Marcos Garcia
Moa Gärdenfors
Sebastian Garza
Fabrício Ferraz Gerardi
Kim Gerdes
Filip Ginter
Gustavo Godoy
Iakes Goenaga
Koldo Gojenola
Memduh Gökırmak
Yoav Goldberg
Xavier Gómez Guinovart
Berta González Saavedra
Bernadeta Griciūtė
Matias Grioni
Loïc Grobol
Normunds Grūzītis
Bruno Guillaume
Céline Guillot-Barbance
Tunga Güngör
Nizar Habash
Hinrik Hafsteinsson
Jan Hajič
Jan Hajič, jr.
Mika Hämäläinen
Linh Hà Mỹ
Na-Rae Han
Muhammad Yudistira Hanifmuti
Sam Hardwick
Kim Harris
Dag Haug
Johannes Heinecke
Oliver Hellwig
Felix Hennig
Barbora Hladká
Jaroslava Hlaváčová
Florinel Hociung
Petter Hohle
Eva Huber
Jena Hwang
Takumi Ikeda
Anton Karl Ingason
Radu Ion
Elena Irimia
Ọlájídé Ishola
Kaoru Ito
Tomáš Jelínek
Apoorva Jha
Anders Johannsen
Hildur Jónsdóttir
Fredrik Jørgensen
Markus Juutinen
Sarveswaran Kengatharaiyer
Hüner Kaşıkara
Andre Kåsen
Nadezhda Kabaeva
Sylvain Kahane
Hiroshi Kanayama
Jenna Kanerva
Neslihan Kara
Boris Katz
Tolga Kayadelen
Jessica Kenney
Václava Kettnerová
Jesse Kirchner
Elena Klementieva
Arne Köhn
Abdullatif Köksal
Kamil Kopacewicz
Timo Korkiakangas
Natalia Kotsyba
Jolanta Kovalevskaitė
Simon Krek
Parameswari Krishnamurthy
Oğuzhan Kuyrukçu
Aslı Kuzgun
Sookyoung Kwak
Veronika Laippala
Lucia Lam
Lorenzo Lambertino
Tatiana Lando
Septina Dian Larasati
Alexei Lavrentiev
John Lee
Phương Lê Hồng
Alessandro Lenci
Saran Lertpradit
Herman Leung
Maria Levina
Cheuk Ying Li
Josie Li
Keying Li
Yuan Li
KyungTae Lim
Bruna Lima Padovani
Krister Lindén
Nikola Ljubešić
Olga Loginova
Andry Luthfi
Mikko Luukko
Olga Lyashevskaya
Teresa Lynn
Vivien Macketanz
Aibek Makazhanov
Michael Mandl
Christopher Manning
Ruli Manurung
Büşra Marşan
Cătălina Mărănduc
David Mareček
Katrin Marheinecke
Héctor Martínez Alonso
André Martins
Jan Mašek
Hiroshi Matsuda
Yuji Matsumoto
Alessandro Mazzei
Ryan McDonald
Sarah McGuinness
Gustavo Mendonça
Niko Miekka
Karina Mischenkova
Margarita Misirpashayeva
Anna Missilä
Cătălin Mititelu
Maria Mitrofan
Yusuke Miyao
AmirHossein Mojiri Foroushani
Judit Molnár
Amirsaeid Moloodi
Simonetta Montemagni
Amir More
Laura Moreno Romero
Giovanni Moretti
Keiko Sophie Mori
Shinsuke Mori
Tomohiko Morioka
Shigeki Moro
Bjartur Mortensen
Bohdan Moskalevskyi
Kadri Muischnek
Robert Munro
Yugo Murawaki
Kaili Müürisep
Pinkey Nainwani
Mariam Nakhlé
Juan Ignacio Navarro Horñiacek
Anna Nedoluzhko
Gunta Nešpore-Bērzkalne
Manuela Nevaci
Lương Nguyễn Thị
Huyền Nguyễn Thị Minh
Yoshihiro Nikaido
Vitaly Nikolaev
Rattima Nitisaroj
Alireza Nourian
Hanna Nurmi
Stina Ojala
Atul Kr. Ojha
Adédayọ̀ Olúòkun
Mai Omura
Emeka Onwuegbuzia
Petya Osenova
Robert Östling
Lilja Øvrelid
Şaziye Betül Özateş
Merve Özçelik
Arzucan Özgür
Balkız Öztürk Başaran
Hyunji Hayley Park
Niko Partanen
Elena Pascual
Marco Passarotti
Agnieszka Patejuk
Guilherme Paulino-Passos
Angelika Peljak-Łapińska
Siyao Peng
Cenel-Augusto Perez
Natalia Perkova
Guy Perrier
Slav Petrov
Daria Petrova
Jason Phelan
Jussi Piitulainen
Tommi A Pirinen
Emily Pitler
Barbara Plank
Thierry Poibeau
Larisa Ponomareva
Martin Popel
Lauma Pretkalniņa
Sophie Prévost
Prokopis Prokopidis
Adam Przepiórkowski
Tiina Puolakainen
Sampo Pyysalo
Peng Qi
Andriela Rääbis
Alexandre Rademaker
Taraka Rama
Loganathan Ramasamy
Carlos Ramisch
Fam Rashel
Mohammad Sadegh Rasooli
Vinit Ravishankar
Livy Real
Petru Rebeja
Siva Reddy
Georg Rehm
Ivan Riabov
Michael Rießler
Erika Rimkutė
Larissa Rinaldi
Laura Rituma
Luisa Rocha
Eiríkur Rögnvaldsson
Mykhailo Romanenko
Rudolf Rosa
Valentin Roșca
Davide Rovati
Olga Rudina
Jack Rueter
Kristján Rúnarsson
Shoval Sadde
Pegah Safari
Benoît Sagot
Aleksi Sahala
Shadi Saleh
Alessio Salomoni
Tanja Samardžić
Stephanie Samson
Manuela Sanguinetti
Ezgi Sanıyar
Dage Särg
Baiba Saulīte
Yanin Sawanakunanon
Shefali Saxena
Kevin Scannell
Salvatore Scarlata
Nathan Schneider
Sebastian Schuster
Lane Schwartz
Djamé Seddah
Wolfgang Seeker
Mojgan Seraji
Mo Shen
Atsuko Shimada
Hiroyuki Shirasu
Yana Shishkina
Muh Shohibussirri
Dmitri Sitchinava
Janine Siewert
Einar Freyr Sigurðsson
Aline Silveira
Natalia Silveira
Maria Simi
Radu Simionescu
Katalin Simkó
Mária Šimková
Kiril Simov
Maria Skachedubova
Aaron Smith
Isabela Soares-Bastos
Carolyn Spadine
Rachele Sprugnoli
Steinþór Steingrímsson
Antonio Stella
Milan Straka
Emmett Strickland
Jana Strnadová
Alane Suhr
Yogi Lesmana Sulestio
Umut Sulubacak
Shingo Suzuki
Zsolt Szántó
Dima Taji
Yuta Takahashi
Fabio Tamburini
Mary Ann C. Tan
Takaaki Tanaka
Samson Tella
Isabelle Tellier
Marinella Testori
Guillaume Thomas
Liisi Torga
Marsida Toska
Trond Trosterud
Anna Trukhina
Reut Tsarfaty
Utku Türk
Francis Tyers
Sumire Uematsu
Roman Untilov
Zdeňka Urešová
Larraitz Uria
Hans Uszkoreit
Andrius Utka
Sowmya Vajjala
Rob van der Goot
Martine Vanhove
Daniel van Niekerk
Gertjan van Noord
Viktor Varga
Eric Villemonte de la Clergerie
Veronika Vincze
Natalia Vlasova
Aya Wakasa
Joel C. Wallenberg
Lars Wallin
Abigail Walsh
Jing Xian Wang
Jonathan North Washington
Maximilan Wendt
Paul Widmer
Seyi Williams
Mats Wirén
Christian Wittern
Tsegay Woldemariam
Tak-sum Wong
Alina Wróblewska
Mary Yako
Kayo Yamashita
Naoki Yamazaki
Chunxiao Yan
Koichi Yasuoka
Marat M. Yavrumyan
Arife Betül Yenice
Olcay Taner Yıldız
Zhuoran Yu
Zdeněk Žabokrtský
Shorouq Zahra
Amir Zeldes
Hanzhi Zhu
Anna Zhuravleva
Rayan Ziane