Exploring translationese: professional vs. superhuman translation of newspaper articles

Po stopách překladatelštiny: profesionální vs. nadlidský překlad zpravodajských textů

The study explores translation quality, particularly style including the presence of source-
language interference, by analysing the quality of Czech translations of two English newspaper
articles, done by three translators hired by a translation company; the other area explored by the study
is the creation of superhuman translations, i.e. translations thought to be the best possible under the
given conditions. The primary focus of the quality assessment is on the style of the existing
translations, and the problems identified fall into a wide range of linguistic categories such as spelling,
morphosyntax, grammar, lexicon and word formation. Special emphasis is placed on interference, and
the draft typology compiled by the authors can be expanded to include several other types of
interference recurrent in the translations analysed. The superhuman translations, resulting from the
teamwork of two translators-cum-theoreticians who synthesised the best of the three existing
translations while employing a considerable amount of their own creativity, may be used in future
assessments of excellent machine translations.

Studie zkoumá kvalitu překladů, zejména styl včetně přítomnosti rušivých vlivů zdrojového jazyka, a to na základě analýzy kvality českých překladů dvou anglických novinových článků. Překlady vyhotovili tři překladatelé najatí překladatelskou agenturou. Další oblastí, kterou studie zkoumá, je tvorba nadlidských překladů, tj. překladů považovaných za nejlepší možné za daných podmínek. Hodnocení kvality se zaměřuje především na styl stávajících překladů a zjištěné problémy spadají do široké škály jazykových kategorií, jako je pravopis, morfologie, gramatika, slovní zásoba a tvorba slov. Zvláštní důraz je kladen na interference a návrh typologie sestavený autory lze rozšířit o několik dalších typů interference, které se v analyzovaných překladech opakují. Nadlidské překlady, vyplývající z týmové práce dvou překladatelů a teoretiků, kteří syntetizovali to nejlepší ze tří existujících překladů a přitom využívali značnou část vlastní kreativity, mohou být v budoucnu použity při hodnocení vynikajících strojových překladů.

Věra Kloudová
David Mraček
Ondřej Bojar
Martin Popel


The SIGMORPHON 2022 Shared Task on Morpheme Segmentation

Morfematická segmentace jako soutěžní úloha při SIGMORPHON 2022

The SIGMORPHON 2022 shared task on morpheme segmentation challenged systems to decompose a word into a sequence of morphemes and covered most types of morphology: compounds, derivations, and inflections. Subtask 1, word-level morpheme segmentation, covered 5 million words in 9 languages (Czech, English, Spanish, Hungarian, French, Italian, Russian, Latin, Mongolian) and received 13 system submissions from 7 teams and the best system averaged 97.29% F1 score across all languages, ranging English (93.84%) to Latin (99.38%). Subtask 2, sentence-level morpheme segmentation, covered 18,735 sentences in 3 languages (Czech, English, Mongolian), received 10 system submissions from 3 teams, and the best systems outperformed all three state-of-the-art subword tokenization methods (BPE, ULM, Morfessor2) by 30.71% absolute. To facilitate error analysis and support any type of future studies, we released all system predictions, the evaluation script, and all gold standard datasets.

Cílem systémů účastnících se v morfosegmentační úloze při workshopu SIGMORPHON 2022 bylo rozdělit slovo na sekvenci morfémů a pokrýt přitom většinu morfologických procesů (inflexi, derivaci a skládání). Podúloha 1 byla zaměřená na rozdělování 5 miliónů slov v 9 jazycích (čeština, angličtina, španělština, maďarština, francouzština, italština, ruština, latina, mongolština). Zúčastnilo se 13 systémů od 7 týmů, přičemž nejlepší systém dosáhl průměrné úspěšnosti 97.29% F1, s rozsahem hodnot od 93.84% pro angličtinu po 99.38% pro latinu.
Druhý podúkol byl zaměřený na segmentaci slov ve větném kontextu, celkam 18.735 vět pro tři jazyky (čeština, angličtina, mongolština). Zúčastnilo se 10 systémů od 3 týmů. Nejlepší systémy překročily dosavadní nejlepší metody od 30.71 % absolutně. Pro zjednodušení chybové analýzy a přípravu budoucích studií jsme všechny predikce zveřejnili.

Khuyagbaatar Batsuren
Gábor Bella
Aryaman Arora
Viktor Martinovic
Kyle Gorman
Zdeněk Žabokrtský
Amarsanaa Ganbold
Šárka Dohnalová
Magda Ševčíková
Kateřina Pelegrinová
Fausto Giunchiglia
Ryan Cotterell
Ekaterina Vylomova


Prezentation about ÚFAL projects and PhD project.

Prezentace o projektech na ÚFALu a PhD projektu Multi-Source Speech Translation pro mgr. studenty na LCT Summer School 30.8.2022, délka 15 minut.


Combining Static and Contextualised Multilingual Embeddings

Kombinace statický a kontextuálních embedingů

Static and contextual multilingual embeddings have complementary strengths. Static embeddings, while less expressive than contextual language models, can be more straightforwardly aligned across multiple languages. We combine the strengths of static and contextual models to improve multilingual representations. We extract static embeddings for 40 languages from XLM-R, validate those embeddings with cross-lingual word retrieval, and then align them using VecMap. This results in high-quality, highly multilingual static embeddings. Then we apply a novel continued pre-training approach to XLM-R, leveraging the high quality alignment of our static embeddings to better align the representation space of XLM-R. We show positive results for multiple complex semantic tasks. We release the static embeddings and the continued pre-training code. Unlike most previous work, our continued pre-training approach does not require parallel text.

Statické a kontextové vícejazyčné embeddingy mají komplementární přednosti. Statické embeddingy, i když jsou méně expresivní než kontextové jazykové modely, se dají lépe párovat mezi jazyky. V tomto článku kombinujeme přednosti statických a kontextových, čímž docílíme vyšší kvality vícejazyčných kontextových embedingů. Z modelu XLM-R extrahujeme statické embeddingy pro 40 jazyků, validujeme jejich kvalitu pomocí indukce dvojjazyčných slovníků a pak je zarovnáváme pomocí nástroje VecMap. Výsledkem jsou vysoce kvalitní, vysoce vícejazyčné statické embeddingy. Poté aplikujeme nový přístup pokračujícího pre-training modelu XLM-R, kde využíváme tyto statické embeddingy pro lepší zarovnání reprezentačního prostoru XLM-R. Náš postup dosazuje pozitivních výsledků pro sémanticky náročných úloh. Statické embeddingy a kód pokračujícího pre-training jsou veřejně dostupné. Na rozdíl od většiny předchozí práce náš přístup pokračujícího pre-training nevyžaduje paralelní text.

Katharina Hämmerl
Jindřich Libovický
Alexander Fraser


FINDINGS OF THE IWSLT 2022 EVALUATION CAMPAIGN

The evaluation campaign of the 19th International Conference on Spoken Language Translation featured eight shared tasks: (i) Simultaneous speech translation, (ii) Offline speech translation, (iii) Speech to speech translation, (iv) Low-resource speech translation, (v) Multilingual speech translation, (vi) Dialect speech translation, (vii) Formality control for speech translation, (viii) Isometric speech translation. A total of 27 teams participated in at least one of the shared tasks. This paper details, for each shared task, the purpose of the task, the data that were released, the evaluation metrics that were applied, the submissions that were received and the results that were achieved.

Hodnoticí kampaň 19. Mezinárodní konference o překladu z mluveného jazyka (IWSLT 2021) letos představila osm sdílených úkolů: (i) Simultánní překlad mluvené řeči, (ii) Offline překlad mluvené řeči, (iii) Překlad řeči na řeč, (iv) Překlad řeči s malým množstvím zdrojů, (v) Vícejazyčný překlad řeči, (vi) Překlad řeči v dialektu, (vii) Kontrola formality pro překlad řeči, (viii) Izometrický překlad řeči. Celkem se zúčastnilo 27 týmů alespoň na jedné z úloh. Tento dokument u každého sdíleného úkolu podrobně popisuje účel úkolu, zveřejněná data, použité metriky hodnocení, obdržené podání a dosažené výsledky.

Antonios Anastasopoulos
Loïc Barrault
Luisa Bentivogli
Marcely Zanon Boito
Ondřej Bojar
Roldano Cattoni
Anna Currey
Georgiana Dinu
Kevin Duh
Maha Elbayad
Clara Emmanuel
Yannick Estève
Marcello Federico
Christian Federmann
Souhir Gahbiche
Hongyu Gong
Roman Grundkiewicz
Barry Haddow
Benjamin Hsu
Dávid Javorský
Věra Kloudová
Surafel Melaku Lakew
Xutai Ma
Prashant Mathur
Paul McNamee
Kenton Murray
Maria Nadejde
Satoshi Nakamura
Matteo Negri
Jan Niehues
Xing Niu
John Ortega
Juan Pino
Elizabeth Salesky
Jiatong Shi
Matthias Sperber
Sebastian Stuker
Katsuhito Sudoh
Marco Turchi
Yogesh Virkar
Alex Waibel
Changhan Wang
Shinji Watanabe


Constrained Decoding for Technical Term Retention in EnglishHindi MT

Omezené dekódování pro zachování odborných termínů v anglicko-hindském MT

Technical terms may require special handling
when the target audience is bilingual,
depending on the cultural and educational
norms of the society in question. In particular,
certain translation scenarios may require
“term retention” i.e.
preserving of the
source language technical terms in the target
language output to produce a fluent and
comprehensible codeswitched sentence.
We show that a standard transformerbased
machine translation model can be adapted
easily to perform this task with little or no
damage to the general quality of its output.
We present an EnglishtoHindi model that is
trained to obey a “retain” signal, i.e. it can
perform the required codeswitching on a list
of terms, possibly unseen, provided at runtime.
We perform automatic evaluation using BLEU
as well as F1 metrics on the list of retained
terms; we also collect manual judgments on
the quality of the output sentences.

Technické termíny mohou vyžadovat zvláštní zacházení, pokud je cílová skupina dvojjazyčná, v závislosti na kulturních a vzdělávacích
normách dané společnosti. Zejména některé překladové situace mohou vyžadovat „zachování termínů“, tj. ponechání technických termínů zdrojového jazyka v cílovém jazyce výstupu, aby vznikla plynulá a srozumitelná věta.
Ukazujeme, že standardní model strojového překladu založený na Transformeru lze snadno přizpůsobit k dosažení tohoto cíle, aniž by přitom trpěla kvalita jeho výstupu obecně.
Představujeme anglicko-hindský model, který je natrénovat k uposlechnutí signálu „zachování“, tj. za běhu zajistí, že vybrané termíny nebudou přeloženy. Navrženou metodu vyhodnocujeme automatickými metrikami (BLEU pro překlad obecně, F1 pro zachování termínů), i ručně (celková kvalita výstupních vět).


Subword-based Cross-lingual Transfer of Embeddings from Hindi to Marathi and Nepali

Přenos slovních embeddingů z hindštiny do maratštiny a nepálštiny na základě podslovných jednotek

Word embeddings are growing to be a crucial resource in the field of NLP for any language. This work introduces a novel technique for static subword embeddings transfer for Indic languages from a relatively higher resource language to a genealogically related low resource language. We primarily work with Hindi-Marathi, simulating a low-resource scenario for Marathi, and confirm observed trends on Nepali. We demonstrate the consistent benefits of unsupervised morphemic segmentation on both source and target sides over the treatment performed by fastText. Our best-performing approach uses an EM-style approach to learning bilingual subword embeddings; we also
show, for the first time, that a trivial “copy-
and-paste” embeddings transfer based on even perfect bilingual lexicons is inadequate in capturing language-specific relationships. We find that our approach substantially outperforms the fastText baselines for both Marathi and Nepali on the Word Similarity task as well as WordNet-Based Synonymy Tests; on the former task, its performance for Marathi is close to that of pretrained fastText embeddings that use three orders of magnitude more Marathi data.

Slovní embeddingy jsou ve zpracování přirozeného jazyka čím dál podstatnější komponentou. Tento článek představuje novou metodu pro přenos statických podslovných embeddings z jazyka s relativním dostatkem zdrojů do jazyka s nedostatkem zdrojů. Primárně pracujeme s jazykovým párem hindština-márátština, přičemž pro márátštinu je nedostatek zdrojů pouze simulovaný a výsledky dále potvrzujme na nepálštině. Náš přístup výrazně překonává baseline fastText pro oba jazyky na úlohách podobnost slov a testování synonymie. Na první úloze je úspěšnost na máráštině dokonce srovnatelná s úspěšností standardní metody při využití o tři řády většího množství dat.

 We primarily work with Hindi-Marathi, simulating a low-resource scenario for Marathi, and confirm observed trends on Nepali. We demonstrate the consistent benefits of unsupervised morphemic segmentation on both source and target sides over the treatment performed by fastText. Our best-performing approach uses an EM-style approach to learning bilingual subword embeddings; we also show, for the first time, that a trivial “copy-and-paste” embeddings transfer based on even
perfect bilingual lexicons is inadequate in cap-
turing language-specific relationships. We find that our approach substantially outperforms the fastText baselines for both Marathi and Nepali on the Word Similarity task as well as WordNet-Based Synonymy Tests; on the former task, its  performance for Marathi is close to that of pretrained fastText embeddings that use three orders of magnitude more Marathi data.


Word Formation Analyzer for Czech: Automatic Parent Retrieval and Classification of Word Formation Processes

Word Formation Analyzer for Czech: Automatické rozpoznávání základových slov a klasifikace slovotvorných procesů

We present a deep-learning tool called Word Formation Analyzer for Czech, which, given an
input lexeme, automatically retrieves the lemma or lemmas from which the input lexeme was
formed. We call this task parent retrieval. Furthermore, based on the number of words in the
output sequence and its comparison to the input, the input word is classified into one of three
categories: compound, derivative or unmotivated. We call this task word formation classification.
In the task of parent retrieval, Word Formation Analyzer for Czech achieved an accuracy of 71%.
In word formation classification, the tool achieved an accuracy of 87%.

Představujeme nástroj vytvořený na bázi hlubokého učení nazvaný Word Formation Analyzer for Czech, který na základě vstupního lexému vrátí lemma nebo lemmata, jež tvoří jeho základ. Této úloze říkáme rozpoznávání základových slov. Na základě počtu slov ve výstupní sekvenci a jejím srovnání se vstupem lze pak vstup klasifikovat do jedné ze tří kategorií: kompozitum, derivát, nebo nemotivované. Této úloze říkáme slovotvorná klasifikace. V rozpoznávání základových slov dosáhl Word Formation Analyzer for Czech accuracy 71%, v klasifikaci slovotvorných procesů pak 87%.


CorefUD 1.0: Coreference Meets Universal Dependencies

CorefUD 1.0: Setkání koreference a Universal Dependencies

Recent advances in standardization for annotated language resources have led to successful large scale efforts, such as the Universal Dependencies (UD) project for multilingual syntactically annotated data. By comparison, the important task of coreference resolution, which clusters multiple mentions of entities in a text, has yet to be standardized in terms of data formats or annotation guidelines. In this paper we present CorefUD, a multilingual collection of corpora and a standardized format for coreference resolution, compatible with morphosyntactic annotations in the UD framework and including facilities for related tasks such as named entity recognition, which forms a first step in the direction of convergence for coreference resolution across languages.

Nedávný pokrok ve standardizaci anotovaných jazykových zdrojů vedl k úspěšným velkým projektům jako Universal Dependencies (UD), kde se syntakticky anotují data pro mnoho jazyků. Anotace koreference, která spojuje opakované zmínky téže entity v textu a je pro porozumění jazyku velmi důležitá, je zatím standardizačním úsilím relativně nepoznamenaná. V tomto článku prezentujeme CorefUD, mnohojazyčnou sbírku korpusů a standardizovaný formát pro anotaci koreference, kompatibilní s morfosyntaktickou anotací v UD a rozšiřitelný na příbuzné úlohy, jako je rozpoznávání pojmenovaných entit. Jde o první krok směrem ke konvergenci koreferenčních zdrojů napříč jazyky.

Anna Nedoluzhko
Michal Novák
Martin Popel
Zdeněk Žabokrtský
Amir Zeldes
Daniel Zeman


CorefUD is a collection of previously existing datasets annotated with coreference, which we converted into a common annotation scheme. In total, CorefUD in its current version 0.2 consists of 17 datasets for 11 languages, and compared to the version 0.2, the file format has been reworked and a number of annotation errors have been fixed.

CorefUD je kolekce existujících korpusů s anotací koreference, které jsme převedli na jednotné anotační schéma. Ve své současné verzi 1.0 CorefUD celkem obsahuje 17 korpusů pro 11 jazyků a v porovnání s verzí 0.2 obsahuje přepracovaný formát souborů a opravy řady chyb.

Anna Nedoluzhko
Michal Novák
Martin Popel
Zdeněk Žabokrtský
Amir Zeldes
Daniel Zeman
Peter Bourgonje
Silvie Cinková
Jan Hajič
Christian Hardmeier
Pauline Krielke
Frédéric Landragin
Ekaterina Lapshinova-Koltunski
Antònia Martí Antonín
Marie Mikulová
Maciej Ogrodniczuk
Marta Recasens
Manfred Stede
Milan Straka
Svetlana Toldova
Veronika Vincze
Voldemaras Žitkus


Survey of Low-Resource Machine Translation

Přehled metod strojového překladu s nedostatkem datových zdrojů

We present a survey covering the state of the art in low-resource machine translation. There
are currently around 7000 languages spoken in the world and almost all language pairs lack
significant resources for training machine translation models. There has been increasing interest
in research addressing the challenge of producing useful translation models when very little
translated training data is available. We present a high level summary of this topical field and
provide an overview of best practices.

Předkládáme přehled o stavu výzkumu v oblasti strojového překladu s nízkými zdroji. V současnosti se na světě mluví asi 7 000 jazyky a téměř všem jazykovým párům chybí významné zdroje pro trénování modelů strojového překladu. Vzrůstá zájem o výzkum zabývající se problémem vytváření užitečných překladatelských modelů, když je k dispozici velmi málo přeložených trénovacích dat. Předkládáme shrnutí této aktuální oblasti na vysoké úrovni a poskytujeme přehled osvědčených postupů.

Barry Haddow
Rachel Bawden
Antonio Valerio Miceli Barone
Jindřich Helcl
Alexandra Birch


Prezentace jazykových nástrojů pro Českou spořitelnu.
Rozpoznávání mluvené řeči, strojový překlad v rámci okamžité odpovědi, mezijazyčné vyhledávání informací, odpovídání na otázky, automatické shrnování schůzek.

Presentation of language tools for Česká spořitelna.
Speech Recognition, Immediate Response Machine Translation, Cross-Lingual Information Retrieval, Question Answering, Automatic Summarization of Meetings.

Ondřej Bojar
Jindřich Libovický
Rudolf Rosa
Tomáš Musil
Matúš Žilinec


LINDAT/CLARIAH-CZ: Where We Are and Where We Go

LINDAT/CLARIAH-CZ: Kde jsme a kam míříme

In this chapter we present the main achievements of the Czech large research infrastructure LINDAT/CLARIAH-CZ. We provide a short description of the infrastructure and its history, and a brief account of its scientific, technological and infrastructural scope. We  focus on the technological innovations already implemented in the repository and in the service offerings, and outline some future plans.

V této kapitole uvádíme hlavní úspěchy české velké výzkumné infrastruktury LINDAT/CLARIAH-CZ. Poskytujeme krátký popis infrastruktury a její historii a stručný popis jejího vědeckého, technologického a infrastrukturního rozsahu. Zaměřujeme se na technologické inovace již implementované v úložišti a v nabídkách služeb a nastiňujeme některé budoucí plány.

Jan Hajič
Eva Hajičová
Barbora Hladká
Ondřej Košarko
Jozef Mišutka
Pavel Straňák


In this paper examples of synonymy and homonymy in Czech are presented. The sources of   homonymy are exemplified by the morphological, syntactic and lexical means and their combinations in the sentence leading to their surface identity. Synonymy is demonstrated by sentences with different syntactic and morphemic forms expressing the same meaning. Local adverbials with the meaning Where? (LOC) are analyzed here in a more detail. Attention is focused on the analysis of the prepositional constructions with the preposition v(e) + Loc [in] and na + Loc [on] and the differences between the construction including them as well as examples of their interchangeability  are demonstrated. Prepositional constructions with the preposition u + Gen [at/by] are added to the central domain of the local adverbials connected with the answer to the question Where? [LOC]. Criteria for the description of grammatical requirements for their form as well as for their lexicalized forms applied in this domain are proposed as the sources of the relation of homonymy and synonymy. The analysis is, however, limited to the narrow part of local meanings with the aim to present both sides of the language signs from the point of view of their asymmetry demonstrated by means of the transparent part of grammatical description.

V tomto příspěvku jsou uvedeny příklady synonymie a homonymie v češtině. Zdrojem homonymie jsou morfologické, syntaktické a lexikální prostředky a jejich kombinace ve větě vedoucí k jejich povrchové identitě. Synonymii demonstrují věty s různými syntaktickými a morfemickými formami vyjadřujícími stejný význam. Místní příslovce s významem Kde? (LOC) jsou zde analyzovány podrobněji. Pozornost je zaměřena na analýzu předložkových konstrukcí s předložkou v(e) + Loc [in] a na + Loc [on], u + Gen [at/by]. Jsou navržena kritéria pro určování synonymie a gramatických požadavků na formu lokálních určení. Analýza se omezuje na úzkou část lokálních významů s cílem představit obě strany jazykového znaku z hlediska jeho asymetrie.


Towards Universal Segmentations: UniSegments 1.0

K Universal Segmentations: UniSegments 1.0

Our work aims at developing a multilingual data resource for morphological segmentation. We present a survey of 17 existing
data resources relevant for segmentation in 32 languages, and analyze diversity of how individual linguistic phenomena are
captured across them. Inspired by the success of Universal Dependencies, we propose a harmonized scheme for segmentation
representation, and convert the data from the studied resources into this common scheme. Harmonized versions of resources
available under free licenses are published as a collection called UniSegments 1.0.

Náš článek se zaměřuje na vývoj vícejazyčného zdroje dat pro morfologickou segmentaci. Představujeme přehled 17 existujících
datových zdrojů relevantních pro segmentaci ve 32 jazycích a analyzujeme rozmanitost způsobů, jakými jsou v nich jednotlivé jazykové jevy zachyceny. Nechali jsme se inspirovat úspěchem Universal Dependencies a navrhujeme harmonizované schéma pro reprezentaci segmentaci a převádíme data z těchto zdrojů do jednotného schématu. Harmonizované verze zdrojů dostupné pod bezplatnými licencemi jsou publikovány jako kolekce s názvem UniSegments 1.0.

Zdeněk Žabokrtský
Niyati Bafna
Jan Bodnár
Lukáš Kyjánek
Emil Svoboda
Magda Ševčíková
Jonáš Vidra


Universal Segmentations 1.0 (UniSegments 1.0)

Universal Segmentations (UniSegments) is a collection of lexical resources capturing morphological segmentations harmonised into a cross-linguistically consistent annotation scheme for many languages. The annotation scheme consists of simple tab-separated columns that stores a word and its morphological segmentations, including pieces of information about the word and the segmented units, e.g., part-of-speech categories, type of morphs/morphemes etc. The current public version of the collection contains 38 harmonised segmentation datasets covering 30 different languages.

Universal Segmentations (UniSegments) je kolekce lexikálních zdrojů zachycujících morfologické segmentace mnoha jazyků harmonizované do lingvisticky konzistentního anotačního schématu. Anotační schéma je uloženo jednoduchém sloupcovém formátu, přičemž jednotlivé sloupce jsou odděleny tabulátory. K jednotlivým slovům se ukládá jejich morfologická segmentace, včetně různých informací o slovech a segmentovaných jednotkách, např. slovní druhy, typy morfů/morfémů atd. Současná veřejná verze kolekce obsahuje 38 harmonizovaných datových souborů pokrývajících 30 různých jazyků.

Zdeněk Žabokrtský
Niyati Bafna
Jan Bodnár
Lukáš Kyjánek
Emil Svoboda
Magda Ševčíková
Jonáš Vidra
Sachi Angle
Ebrahim Ansari
Timofey Arkhangelskiy
Khuyagbaatar Batsuren
Gábor Bella
Pier Marco Bertinetto
Olivier Bonami
Chiara Celata
Michael Daniel
Alexei Fedorenko
Matea Filko
Fausto Giunchiglia
Hamid Haghdoost
Nabil Hathout
Irina Khomchenkova
Victoria Khurshudyan
Dmitri Levonian
Eleonora Litta
Maria Medvedeva
S. N. Muralikrishna
Fiametta Namer
Mahshid Nikravesh
Sebastian Padó
Marco Passarotti
Vladimir Plungian
Alexey Polyakov
Mihail Potapov
Mishra Pruthwik
Ashwath B. Rao
Sergei Rubakov
Husain Samar
Dipti Misra Sharma
Jan Šnajder
Krešimir Šojat
Vanja Štefanec
Luigi Talamo
Delphine Tribout
Daniil Vodolazsky
Arseniy Vydrin
Aigul Zakirova
Britta Zeller


Findings of the Shared Task on Multilingual Coreference Resolution

Výsledky soutěže ve vícejazyčné automatické analýze koreference

This paper presents an overview of the shared task on multilingual coreference resolution associated with the CRAC 2022 workshop. Shared task participants were supposed to develop trainable systems capable of identifying mentions and of clustering the mentions according to identity coreference. The public edition of CorefUD 1.0, which contains 13 datasets for 10 languages was used as the source of training and evaluation data. The CoNLL score used in previous coreference-oriented shared tasks was used as the main evaluation metric. There were 8 coreference prediction systems submitted by 5 participating teams; in addition, there was a competitive transformer-based baseline system provided by the organizers at the beginning of the shared task. The winner system outperformed the baseline by 12 percent points (in terms of the CoNLL scores averaged across all datasets for individual languages).

Tento článek představuje přehled výsledků soutěže (společné úlohy) ve vícejazyčné automatické analýze koreference, která byla přidružená k workshopu CRAC 2022. Účastníci soutěže měli vyvinout trénovatelné systémy schopné identifikovat zmínky o entitách a shlukovat tyto zmínky na základě identické koreference. Jako zdroj trénovacích a vyhodnocovacích dat byla použita veřejná část CorefUD 1.0, která obsahuje 13 korpusů pro 10 jazyků. Jako hlavní vyhodnocovací metrika bylo použito skóre CoNLL, které se používalo v dřívějších soutěžích zaměřených na koreferenci. 5 účastnických týmů vyvinulo celkem 8 systémů na predikci koreference; kromě toho jsou k dispozici výsledky baseline systému, který je založen na transformerech a byl poskytnut organizátory na začátku soutěže. Vítězný systém překonal baseline o 12 procentních bodů (průměr CoNLL skóre přes korpusy jednotlivých jazyků).

Zdeněk Žabokrtský
Miloslav Konopík
Anna Nedoluzhko
Michal Novák
Maciej Ogrodniczuk
Martin Popel
Ondřej Pražák
Jakub Sido
Daniel Zeman
Yilun Zhu


From a lingustic theory towards an annotated corpus and back

Cesta od lingvistické teorie k anotovanému korpusu a zpátky

A theoretically well-founded annotation of language corpora is a very importatnt component part of such corpora. In our paper, we support this point by the example of the Prague Dependency Treebank  and its annotation scheme. We bring some case studies concerning the information structure of the sentence. At the same time, we also demonstrate that the work with a consistently annotated corpus may lead to some modifications of the original theory.

Dobře teoreticky podložená všestranná anotace  je velmi důležitou součástí jazykových korpusů. Jako příklad ve stati uvádíme Pražský závislostní korpus, který obsahuje anotace na několika jazykových rovinách, a tento přístup ilustrujeme na několika případkových studiích z oblasti aktuálního členění. Zároveň na těchto příkladech dokládáme, že práce s anotovaným korpusem může vést k upřesnění výchozí teorie.


A glimpse at an effort to explain certain regularities as well as (seemingly) irregularities in Czech and other Slavonic languages (first of all in the domain of inflectional and derivational morphology) by means of rules, i.e. to "calculate" these phenomena.

Zamyšlení nad snahou vysvětlit některé pravidelnosti a zdánlivé nepravidelnosti v češtině a jiných slovanských jazycích (především v oblasti deklinační i slovotvorné morfologie) pomocí pravidel, tedy tyto jevy "vypočítat".


Corpus Annotation as a Feasible and Scientifically Beneficial Task

Korpusová anotace jako proveditelný a vědecky prospěšný úkol

The aim of the present chapter is to demonstrate that a well-designed
and theoretically founded corpus annotation contributes significantly to the use of
the corpus for testing a linguistic theory and its further development. The data for
our analyses come from the Prague Dependency Treebank family both monolingual
Czech and parallel English-Czech and concern the underlying syntactic level of
language description and the annotation of discourse structure. In particular, the
case studies concern three research questions, namely (i) the semantic relevance
of information structure of the sentence, (ii) the relation between focus sensitive
particles and discourse connectives with respect to the semantics of discourse
relations, and (iii) the relation between primary and secondary connectives. In the
Appendix, some data on measuring inter-annotator agreement are presented and
discussed.

Cílem této kapitoly je ukázat, že dobře navržená a teoreticky podložená korpusová anotace významně přispívá k využití korpusu pro testování lingvistické teorie a pro její další rozvoj. Data
našich analýz pocházejí z korpusové rodiny Prague Dependency Treebank; jde o  jednojazyčná česká data a o paralelní anglicko-česká data, která
se týkají základní syntaktické úrovně popisu jazyka a anotace struktury diskurzu. Konkrétní případové studie se týkají tří výzkumných otázek, a to (i) sémantické relevance informační struktury věty, (ii) vztahu mezi fokalizátory a diskurzními konektory vzhledem k sémantice diskurzních vztahů a (iii) vztahu mezi primárními a sekundárními spojovacími výrazy. V příloze jsou uvedeny a rozebrány údaje o měření mezianotátorské shody.

Eva Hajičová
Jan Hajič
Barbora Hladká
Jiří Mírovský
Lucie Poláková
Kateřina Rysová
Magdaléna Rysová
Pavel Straňák
Barbora Štěpánková
Šárka Zikánová


Function Words at Praguian Functional Generative Description

Funkční slova v pražském Funkčním generativním popisu

The present contribution is aimed at a complex description of the treatment of the so-called function words within the framework of a dependency-based Functional Generative Description as proposed in Prague by Petr Sgall and his team and its reflection in the Prague Dependency Treebank, an original annotated corpus of Czech. Both the framework and the treebank are based on a stratificational model of language, a part of which are two levels of dependency-based syntactic structure, one oriented towards the syntactic structure of the sentence on the surface layer called analytical and the other oriented towards the underlying, deep sentence structure called tectogrammatical. The dependency tree structure of the sentence on the analytical level contains all the words present in the sentence as separate nodes, while the dependency representation of a sentence on the tectogrammatical level conceived of as a linguistically structured meaning of the sentence contains only content words as its nodes. On the analytical level, a distinction is made between different classes of function words, the main boundary being between the function words functioning within verbal complexes and containing information about the morpho-syntactic properties of verbs (i.e. auxiliaries) and those being parts of nominal groups (prepositions) or connecting clauses (or, as the case may be, parts of clauses) into one whole (conjunctions). It is argued in the paper that auxiliaries should be considered to be dependents on the verb that is their governor and to which they „belong“, and the prepositions and conjunctions, on the contrary, should be considered to be the heads of the nouns or clauses the form of which they “govern” or “control”. On the tectogrammatical level, the semantic contribution of the function words to the meaning of the sentence is reflected by information attached to the nodes of the tectogrammatical tree in the form of complex labels.  Auxiliaries, prepositions and conjunctions are the most evident classes of function words, though there are some groups of words such as particles that stand on the borderline between function words and content words, to which we also pay attention in our study.

Tento příspěvek je zaměřen na komplexní popis zacházení s tzv. funkčními slovy v rámci závislostního funkčního generativního popisu a jeho odraz v Pražském závislostním korpusu. Teoretický rámec i treebank jsou založeny na stratifikačním modelu jazyka, jehož součástí jsou dvě úrovně syntaktické struktury založené na závislosti, jedna orientovaná na povrchovou syntaktickou strukturu věty (analytická rovina) a druhá orientovaná na hloubkovou větnou strukturu (tektogramatická). Závislostní stromová struktura věty na analytické úrovni obsahuje všechna slova přítomná ve větě jako samostatné uzly, zatímco závislostní reprezentace věty na tektogramatické úrovni koncipované jako lingvisticky strukturovaný význam věty obsahuje pouze obsahová slova jako její uzly. Na analytické úrovni se rozlišují různé třídy funkčních slov, přičemž hlavní hranice je mezi funkčními slovy fungujícími v rámci verbálních komplexů a obsahujícími informace o morfosyntaktických vlastnostech sloves a těch, které jsou součástí nominálních skupin (předložky) nebo spojují věty (případně části vět) v jeden celek (spojky). V příspěvku se tvrdí, že pomocná slovesa se považují za závislé na slovesu, ke kterému „patří“, a předložky a spojky se naopak považují za hlavy podstatných jmen, jejichž formu „řídí“ nebo „ovládají“. Na tektogramatické rovině se sémantický přínos funkčních slov k významu věty odráží v informacích připojených k uzlům tektogramatického stromu ve formě komplexních atributů. Pomocná slovesa, předložky a spojky jsou nejzřetelnějšími třídami funkčních slov, existují skupiny také slov, jako jsou částice, které stojí na pomezí mezi funkčními slovy a obsahovými slovy, kterým je ve studii také věnována pozornost.

Eva Hajičová
Jarmila Panevová
Marie Mikulová
Jan Hajič


Advantages of a complex multilayer annotation scheme: The case of the Prague Dependency Treebank

Výhody komplexního více-rovinného anotačního schématu: Případ Pražského závislostního korpusu

Recently, many corpora have been developed that contain multiple annotations of various linguistic phenomena, from morphological categories of words through the syntactic structure of sentences to discourse and coreference relations in texts. Discussions are ongoing on an appropriate annotation scheme for a large amount of diverse information. In our contribution we express our conviction that a multilayer annotation scheme offers to view the language system in its complexity and in the interaction of individual phenomena and there are at least two aspects that support a multilayer annotation scheme:
(i) A multilayer annotation scheme makes it possible to use the annotation of one layer to design the annotation of another layer(s) both conceptually and in a form of a pre-annotation procedure or annotation checking rules.
(ii) A multilayer annotation scheme presents a reliable ground for corpus studies based on features across the layers.
These aspects are demonstrated on the case of the Prague Dependency Treebank. Its multilayer annotation scheme withstood the test of time and serves well also for complex textual annotations, in which earlier morpho-syntactic annotations are advantageously used. In addition to a reference to the previous projects that utilise its annotation scheme, we present several current investigations.

V poslední době bylo vyvinuto mnoho korpusů, které obsahují více anotací různých jazykových jevů, od morfologických kategorií slov přes syntaktickou stavbu vět až po diskurz a koreferenční vztahy v textech. Probíhají diskuse o vhodném anotačním schématu pro velké množství různorodých informací. V našem příspěvku vyjadřujeme přesvědčení, že vícevrstvé anotační schéma nabízí pohled na jazykový systém v jeho komplexnosti a v interakci jednotlivých jevů a že existují minimálně dva aspekty, které vícevrstvé anotační schéma podporují: (i) Vícevrstvé anotační schéma umožňuje použít anotaci jedné vrstvy k návrhu anotace další vrstvy (vrstev) jak koncepčně, tak ve formě předanotačního postupu nebo pravidel kontroly anotace. (ii) Vícevrstvé anotační schéma představuje spolehlivý základ pro korpusové studie založené na vlastnostech napříč vrstvami. Tyto aspekty jsou demonstrovány na případu Pražského závislostního korpusu. Jeho více-rovinné anotační schéma obstálo ve zkoušce času a dobře poslouží i pro složité textové anotace, ve kterých se s výhodou používají dřívější morfosyntaktické anotace. Kromě odkazu na předchozí projekty, které využívají toto anotační schéma, uvádíme několik aktuálních výzkumů.

Eva Hajičová
Marie Mikulová
Barbora Štěpánková
Jiří Mírovský


The SynSemClass synonym verb lexicon version 3.5 investigates, with respect to contextually-based verb synonymy, semantic ‘equivalence’ of Czech, English, and German verb senses and their valency behavior in parallel Czech-English and German-English language resources. SynSemClass4.0 is a multilingual event-type ontology based on classes of synonymous verb senses, complemented with semantic roles and links to existing semantic lexicons. The SynSemClass is not only enriched by an additional number of classes but in the context of content hierarchy, some classes have been merged. Compared to the older version of the lexicon, the novelty is the definitions of classes and the definitions of roles.
Apart from the already used links to PDT-Vallex, EngVallex, CzEngVallex, FrameNet, VerbNet, PropBank, Ontonotes, and English WordNet for Czech and English entries the new links to German language lexical resources are exploited for German verb entries, such as Woxikon, E-VALBU, and GUP. The German part of the lexicon has been created within the project Multilingual Event-Type-Anchored Ontology for Natural Language Understanding (META-O-NLU) by two cooperating teams - the team of the Charles University, Faculty of Mathematics and Physics, Institute of Formal and Applied Linguistics, Prague (ÚFAL), Czech Republic and the team of the German Research Center for Artificial Intelligence (DFKI) Speech and Language Technology, Berlin, Germany.

SynSemClass lexicon 4.0 zkoumá s ohledem na kontextově založenou slovesnou synonymii, sémantickou „ekvivalenci“ českých, anglických a německých sloves a jejich valenční chování v paralelních česko-anglických a německo-anglických jazykových zdrojích. SynSemClass 4.0 je vícejazyčná ontologie typu události založená na třídách synonymních významů sloves, doplněná sémantickými rolemi a odkazy na existující sémantické lexikony. Slovník je nejen obohacen o další množství tříd, ale v rámci hierarchizace obsahu byly některé třídy sloučeny. V porovnání se starou verzí obsahuje slovník nově  definice tříd a definice rolí. Kromě již použitých odkazů na položky PDT-Vallex, EngVallex, CzEngVallex, FrameNet, VerbNet, PropBank, Ontonotes a English WordNet pro české a anglické záznamy jsou nové odkazy na německé jazykové lexikální zdroje, jako je Woxikon, E-VALBU a GUP, využívány pro německé slovesné záznamy. Německá část lexikonu byla vytvořena v rámci projektu Multilingual Event-Type-Anchored Ontology for Natural Language Understanding (META-O-NLU) dvěma spolupracujícími týmy - týmem Univerzity Karlovy, Matematicko-fyzikální fakulty, Ústavu formální a aplikované lingvistiky, Praha (ÚFAL), Česká republika a týmem Německého výzkumného centra pro umělou inteligenci (DFKI) Speech and Language Technology, Berlín, Německo.

Zdeňka Urešová
Peter Bourgonje
Eva Fučíková
Jan Hajič
Eva Hajičová
Kateřina Rysová
Georg Rehm
Karolina Zaczynska


Making a Semantic Event-type Ontology Multilingual

We present an extension of the SynSemClass event-type ontology, originally conceived as a bilingual Czech-English resource. We added German entries to the classes representing the concepts of the ontology. Having a different starting point than the original work (unannotated parallel corpus without links to a valency lexicon and, of course, different existing lexical resources), it was a challenge to adapt the annotation guidelines, the data model and the tools used for the original version. We describe the process and results of working in such a setup. We also show the next steps to adapt the annotation process, data structures and formats and tools necessary to make the addition of a new language in the future more smooth and efficient, and possibly to allow for various teams to work on SynSemClass extensions to many languages concurrently. We also present the latest release which contains the results of adding German, freely available for download as well as for online access.

Představujeme rozšíření ontologie typu události SynSemClass, původně koncipované jako dvojjazyčný česko-anglický zdroj. Do tříd představujících koncepty ontologie jsme přidali německé záznamy. Vzhledem k tomu, že jsme měli jiný výchozí bod než
původní práce (neoznačený paralelní korpus bez odkazů na valenční lexikon a samozřejmě různé existující lexikální zdroje), bylo náročné přizpůsobit pokyny pro anotaci, datový model a nástroje použité pro původní verzi. Popisujeme proces a výsledky práce v takovém nastavení. Dále ukazujeme další kroky k úpravě procesu anotace,
datové struktury a formáty a nástroje nezbytné k tomu, aby přidání nového jazyka v budoucnu bylo plynulejší a efektivnější a případně aby různé týmy mohly pracovat na rozšíření SynSemClass do mnoha jazyků současně.
představujeme nejnovější verzi, která obsahuje výsledky přidání němčiny, volně dostupné ke stažení i pro online přístup.

Zdeňka Urešová
Karolina Zaczynska
Peter Bourgonje
Eva Fučíková
Georg Rehm
Jan Hajič


NomVallex: A Valency Lexicon of Czech Nouns and Adjectives

NomVallex: Valenční slovník českých substantiv a adjektiv

We present NomVallex, a manually annotated valency lexicon of Czech nouns and adjectives. The lexicon is created in the theoretical
framework of the Functional Generative Description and based on corpus data. In total, NomVallex 2.0 is comprised of 1027 lexical
units contained in 570 lexemes, covering the following part-of-speech and derivational categories: deverbal and deadjectival nouns,
and deverbal, denominal, deadjectival and primary adjectives. Valency properties of a lexical unit are captured in a valency frame
which is modeled as a sequence of valency slots, supplemented with a list of morphemic forms. In order to make it possible to study
the relationship between valency behavior of base words and their derivatives, lexical units of nouns and adjectives in NomVallex are
linked to their respective base words, contained either in NomVallex itself or, in case of verbs, in a valency lexicon of Czech verbs
called VALLEX. NomVallex enables a comparison of valency properties of a significant number of Czech nominals with their base
words, both manually and in an automatic way; as such, we can address the theoretical question of argument inheritance, concentrating
on systemic and non-systemic valency behavior.

Představujeme NomVallex, ručně anotovaný valenční slovník českých substantiv a adjektiv. Slovník je vytvořený v teoretickém rámci Funkčního generativního popisu a je založený na korpusových datech. Obsahuje celkem 1027 lexikálních jednotek v celkovém počtu 570 lexémů, přičemž zahrnuje následující slovnědruhové a derivační kategorie: deverbální a deadjektivní substantiva, a deverbální, desubstantivní, deadjektivní a primární adjektiva. Valenční vlastnosti lexikálních jednotek zachycuje v podobě valenčního rámce, který pro každé valenční doplnění uvádí funktor a množinu možných morfematických vyjádření, a dokládá je pomocí příkladů, které se vyskytly v použitých korpusech. NomVallex je koncipován jako lexikografický zdroj umožňující výzkum valence derivačně příbuzných lexikálních jednotek, proto v relevantních případech poskytuje odkaz od určité lexikální jednotky k odpovídající lexikální jednotce jejího základového slova, obsaženého buď v NomVallexu, nebo – v případě sloves – ve slovníku VALLEX, čímž propojuje až tři slovní druhy, konkrétně substantivum – sloveso, adjektivum – sloveso, substantivum – adjektivum nebo substantivum – adjektivum – sloveso. NomVallex umožňuje srovnání valenčního chování velkého počtu českých substantiv a adjektiv s valencí jejich základových slov, což je jeden
z předpokladů ke zkoumání teoretické otázky dědičnosti valence a k popisu systémového a nesystémového valenčního chování.


NomVallex 2.0 is a manually annotated valency lexicon of Czech nouns and adjectives, created in the theoretical framework of the Functional Generative Description and based on corpus data (the SYN series of corpora from the Czech National Corpus and the Araneum Bohemicum Maximum corpus). In total, NomVallex is comprised of 1027 lexical units contained in 570 lexemes, covering the following parts-of-speech and derivational categories: deverbal or deadjectival nouns, and deverbal, denominal, deadjectival or primary adjectives. Valency properties of a lexical unit are captured in a valency frame (modeled as a sequence of valency slots, each supplemented with a list of morphemic forms) and documented by corpus examples. In order to make it possible to study the relationship between valency behavior of base words and their derivatives, lexical units of nouns and adjectives in NomVallex are linked to their respective base lexical units (contained either in NomVallex itself or, in case of verbs, in the VALLEX lexicon), linking up to three parts-of-speech (i.e., noun – verb, adjective – verb, noun – adjective, and noun – adjective – verb).
In order to facilitate comparison, this submission also contains abbreviated entries of the base verbs of these nouns and adjectives from the VALLEX lexicon and simplified entries of the covered nouns and adjectives from the PDT-Vallex lexicon.

NomVallex 2.0 je ručně anotovaný valenční slovník českých substantiv a adjektiv, vytvořený v teoretickém rámci Funkčního generativního popisu a založený na korpusových datech (korpusy řady SYN Českého národního korpusu a korpus Araneum Bohemicum Maximum). Slovník obsahuje celkem 1027 lexikálních jednotek v celkovém počtu 570 lexémů, přičemž zahrnuje následující slovnědruhové a derivační kategorie: (i) deverbální a deadjektivní substantiva, (ii) deverbální, desubstantivní, deadjektivní a primární adjektiva. Valenční vlastnosti lexikálních jednotek zachycuje v podobě valenčního rámce, který pro každé valenční doplnění uvádí funktor a množinu možných morfematických vyjádření, a dokládá je pomocí příkladů, které se vyskytly v použitých korpusech. NomVallex je koncipován jako lexikografický zdroj umožňující výzkum valence derivačně příbuzných lexikálních jednotek, proto v relevantních případech poskytuje odkaz od určité lexikální jednotky k odpovídající lexikální jednotce jejího základového slova, obsaženého buď v NomVallexu, nebo – v případě sloves – ve slovníku VALLEX, čímž propojuje až tři slovní druhy, konkrétně substantivum – sloveso, adjektivum – sloveso, substantivum – adjektivum nebo substantivum – adjektivum – sloveso. Za účelem umožnit srovnání obsahuje toto vydání rovněž zkrácená hesla základových sloves daných substantiv a adjektiv ze slovníku VALLEX a zjednodušená hesla příslušných substantiv a adjektiv ze slovníku PDT-Vallex.

Veronika Kolářová
Anna Vernerová
Jana Klímová


Parsing Old Czech with Modern Czech Models

Parsing staré češtiny s využitím modelů natrénovaných na nové češtině

In the first part of the talk we will present the Universal Dependencies project. In the second part we will focus on parsers trained on the Czech corpora in UD and their usage in building an Old Czech treebank.

V první části přednášky představíme projekt Universal Dependencies. Ve druhé se zaměříme na parsery natrénované na českých korpusech v UD a na jejich využití při budování staročeského treebanku.


Universal Dependencies: Principles and Tools

Universal Dependencies: principy a nástroje

Universal Dependencies is an international community project and a collection of morphosyntactically annotated data sets (“treebanks”) for more than 100 languages. The collection is an invaluable resource for various linguistic studies, ranging from grammatical constructions within one language to language typology, documentation of endangered languages, and historical evolution of language.
In the tutorial, I will first quickly show the main principles of UD, then I will present the actual data and various tools that are available to work with it: parsers, batch processors, search engines and viewers.

Universal Dependencies je mezinárodní komunitní projekt a sbírka morfosyntakticky anotovaných dat (treebanků) pro více než 100 jazyků. Tato sbírka je neocenitelným zdrojem pro různé jazykovědné studie od gramatických konstrukcí v jednom jazyku po jazykovou typologii, dokumentaci ohrožených jazyků a historického vývoje jazyka.
V tomto tutoriálu nejdříve rychle představím hlavní principy UD, potom ukážu vlastní data a různé nástroje, které jsou k dispozici pro práci s nimi: parsery, dávkové procesory, vyhledávače a prohlížeče.


Universal Dependencies is a project that seeks to develop cross-linguistically consistent treebank annotation for many languages, with the goal of facilitating multilingual parser development, cross-lingual learning, and parsing research from a language typology perspective. The annotation scheme is based on (universal) Stanford dependencies (de Marneffe et al., 2006, 2008, 2014), Google universal part-of-speech tags (Petrov et al., 2012), and the Interset interlingua for morphosyntactic tagsets (Zeman, 2008). This is the sixteenth release of UD Treebanks, Version 2.10.

Universal Dependencies je projekt, který vyvíjí mezijazykově konzistentní morfologicko-syntaktickou anotaci mnoha jazyků s cílem usnadnit vývoj jazykově nezávislých parserů, mezijazykové strojové učení a výzkum parsingu z perspektivy jazykové typologie. Anotační schéma je založeno na univerzálních Stanfordských závislostech (de Marneffe et al., 2006, 2008, 2014), univerzálních značkách Google (Petrov et al., 2012) a na Intersetu, tj. interlingvě pro sady morfologických značek (Zeman, 2008). Toto je šestnácté vydání treebanků UD, verze 2.10.

Daniel Zeman
Joakim Nivre
Mitchell Abrams
Elia Ackermann
Noëmi Aepli
Hamid Aghaei
Željko Agić
Amir Ahmadi
Lars Ahrenberg
Chika Kennedy Ajede
Gabrielė Aleksandravičiūtė
Ika Alfina
Avner Algom
Erik Andersen
Lene Antonsen
Katya Aplonova
Angelina Aquino
Carolina Aragon
Glyd Aranes
Maria Jesus Aranzabe
Bilge Nas Arıcan
Þórunn Arnardóttir
Gashaw Arutie
Jessica Naraiswari Arwidarasti
Masayuki Asahara
Deniz Baran Aslan
Cengiz Asmazoğlu
Luma Ateyah
Furkan Atmaca
Mohammed Attia
Aitziber Atutxa
Liesbeth Augustinus
Elena Badmaeva
Keerthana Balasubramani
Miguel Ballesteros
Esha Banerjee
Sebastian Bank
Verginica Barbu Mititelu
Starkaður Barkarson
Rodolfo Basile
Victoria Basmov
Colin Batchelor
John Bauer
Seyyit Talha Bedir
Kepa Bengoetxea
Yifat Ben Moshe
Gözde Berk
Yevgeni Berzak
Irshad Ahmad Bhat
Riyaz Ahmad Bhat
Erica Biagetti
Eckhard Bick
Agnė Bielinskienė
Kristín Bjarnadóttir
Rogier Blokland
Victoria Bobicev
Loïc Boizou
Emanuel Borges Völker
Carl Börstell
Cristina Bosco
Gosse Bouma
Sam Bowman
Adriane Boyd
Anouck Braggaar
Kristina Brokaitė
Aljoscha Burchardt
Marie Candito
Bernard Caron
Gauthier Caron
Lauren Cassidy
Tatiana Cavalcanti
Gülşen Cebiroğlu Eryiğit
Flavio Massimiliano Cecchini
Giuseppe G. A. Celano
Slavomír Čéplö
Neslihan Cesur
Savas Cetin
Özlem Çetinoğlu
Fabricio Chalub
Shweta Chauhan
Ethan Chi
Taishi Chika
Yongseok Cho
Jinho Choi
Jayeol Chun
Juyeon Chung
Alessandra T. Cignarella
Silvie Cinková
Aurélie Collomb
Çağrı Çöltekin
Miriam Connor
Daniela Corbetta
Marine Courtin
Mihaela Cristescu
Philemon Daniel
Elizabeth Davidson
Mathieu Dehouck
Martina de Laurentiis
Marie-Catherine de Marneffe
Valeria de Paiva
Mehmet Oguz Derin
Elvis de Souza
Arantza Diaz de Ilarraza
Carly Dickerson
Arawinda Dinakaramani
Elisa Di Nuovo
Bamba Dione
Peter Dirix
Kaja Dobrovoljc
Timothy Dozat
Kira Droganova
Puneet Dwivedi
Hanne Eckhoff
Sandra Eiche
Marhaba Eli
Ali Elkahky
Binyam Ephrem
Olga Erina
Tomaž Erjavec
Aline Etienne
Wograine Evelyn
Sidney Facundes
Richárd Farkas
Federica Favero
Jannatul Ferdaousi
Marília Fernanda
Hector Fernandez Alcalde
Jennifer Foster
Cláudia Freitas
Kazunori Fujita
Katarína Gajdošová
Daniel Galbraith
Federica Gamba
Marcos Garcia
Moa Gärdenfors
Sebastian Garza
Fabrício Ferraz Gerardi
Kim Gerdes
Filip Ginter
Gustavo Godoy
Iakes Goenaga
Koldo Gojenola
Memduh Gökırmak
Yoav Goldberg
Xavier Gómez Guinovart
Berta González Saavedra
Bernadeta Griciūtė
Matias Grioni
Loïc Grobol
Normunds Grūzītis
Bruno Guillaume
Céline Guillot-Barbance
Tunga Güngör
Nizar Habash
Hinrik Hafsteinsson
Jan Hajič
Jan Hajič, jr.
Mika Hämäläinen
Linh Hà Mỹ
Na-Rae Han
Muhammad Yudistira Hanifmuti
Takahiro Harada
Sam Hardwick
Kim Harris
Dag Haug
Johannes Heinecke
Oliver Hellwig
Felix Hennig
Barbora Hladká
Jaroslava Hlaváčová
Florinel Hociung
Petter Hohle
Jena Hwang
Takumi Ikeda
Anton Karl Ingason
Radu Ion
Elena Irimia
Ọlájídé Ishola
Kaoru Ito
Siratun Jannat
Tomáš Jelínek
Apoorva Jha
Anders Johannsen
Hildur Jónsdóttir
Fredrik Jørgensen
Markus Juutinen
Sarveswaran K
Hüner Kaşıkara
Andre Kaasen
Nadezhda Kabaeva
Sylvain Kahane
Hiroshi Kanayama
Jenna Kanerva
Neslihan Kara
Ritván Karahóǧa
Boris Katz
Tolga Kayadelen
Jessica Kenney
Václava Kettnerová
Jesse Kirchner
Elena Klementieva
Elena Klyachko
Arne Köhn
Abdullatif Köksal
Kamil Kopacewicz
Timo Korkiakangas
Mehmet Köse
Natalia Kotsyba
Jolanta Kovalevskaitė
Simon Krek
Parameswari Krishnamurthy
Sandra Kübler
Oğuzhan Kuyrukçu
Aslı Kuzgun
Sookyoung Kwak
Veronika Laippala
Lucia Lam
Lorenzo Lambertino
Tatiana Lando
Septina Dian Larasati
Alexei Lavrentiev
John Lee
Phương Lê Hồng
Alessandro Lenci
Saran Lertpradit
Herman Leung
Maria Levina
Cheuk Ying Li
Josie Li
Keying Li
Yuan Li
KyungTae Lim
Bruna Lima Padovani
Krister Lindén
Nikola Ljubešić
Olga Loginova
Stefano Lusito
Andry Luthfi
Mikko Luukko
Olga Lyashevskaya
Teresa Lynn
Vivien Macketanz
Menel Mahamdi
Jean Maillard
Aibek Makazhanov
Michael Mandl
Christopher Manning
Ruli Manurung
Büşra Marşan
Cătălina Mărănduc
David Mareček
Katrin Marheinecke
Stella Markantonatou
Héctor Martínez Alonso
Lorena Martín Rodríguez
André Martins
Jan Mašek
Hiroshi Matsuda
Yuji Matsumoto
Alessandro Mazzei
Ryan McDonald
Sarah McGuinness
Gustavo Mendonça
Tatiana Merzhevich
Niko Miekka
Karina Mischenkova
Margarita Misirpashayeva
Anna Missilä
Cătălin Mititelu
Maria Mitrofan
Yusuke Miyao
AmirHossein Mojiri Foroushani
Judit Molnár
Amirsaeid Moloodi
Simonetta Montemagni
Amir More
Laura Moreno Romero
Giovanni Moretti
Keiko Sophie Mori
Shinsuke Mori
Tomohiko Morioka
Shigeki Moro
Bjartur Mortensen
Bohdan Moskalevskyi
Kadri Muischnek
Robert Munro
Yugo Murawaki
Kaili Müürisep
Pinkey Nainwani
Mariam Nakhlé
Juan Ignacio Navarro Horñiacek
Anna Nedoluzhko
Gunta Nešpore-Bērzkalne
Manuela Nevaci
Lương Nguyễn Thị
Huyền Nguyễn Thị Minh
Yoshihiro Nikaido
Vitaly Nikolaev
Rattima Nitisaroj
Alireza Nourian
Hanna Nurmi
Stina Ojala
Atul Kr. Ojha
Adédayọ̀ Olúòkun
Mai Omura
Emeka Onwuegbuzia
Noam Ordan
Petya Osenova
Robert Östling
Lilja Øvrelid
Şaziye Betül Özateş
Merve Özçelik
Arzucan Özgür
Balkız Öztürk Başaran
Teresa Paccosi
Alessio Palmero Aprosio
Hyunji Hayley Park
Niko Partanen
Elena Pascual
Marco Passarotti
Agnieszka Patejuk
Guilherme Paulino-Passos
Giulia Pedonese
Angelika Peljak-Łapińska
Siyao Peng
Cenel-Augusto Perez
Natalia Perkova
Guy Perrier
Slav Petrov
Daria Petrova
Andrea Peverelli
Jason Phelan
Jussi Piitulainen
Tommi A Pirinen
Emily Pitler
Barbara Plank
Thierry Poibeau
Larisa Ponomareva
Martin Popel
Lauma Pretkalniņa
Sophie Prévost
Prokopis Prokopidis
Adam Przepiórkowski
Tiina Puolakainen
Sampo Pyysalo
Peng Qi
Andriela Rääbis
Alexandre Rademaker
Mizanur Rahoman
Taraka Rama
Loganathan Ramasamy
Carlos Ramisch
Fam Rashel
Mohammad Sadegh Rasooli
Vinit Ravishankar
Livy Real
Petru Rebeja
Siva Reddy
Mathilde Regnault
Georg Rehm
Ivan Riabov
Michael Rießler
Erika Rimkutė
Larissa Rinaldi
Laura Rituma
Putri Rizqiyah
Luisa Rocha
Eiríkur Rögnvaldsson
Mykhailo Romanenko
Rudolf Rosa
Valentin Roșca
Davide Rovati
Ben Rozonoyer
Olga Rudina
Jack Rueter
Kristján Rúnarsson
Shoval Sadde
Pegah Safari
Benoît Sagot
Aleksi Sahala
Shadi Saleh
Alessio Salomoni
Tanja Samardžić
Stephanie Samson
Manuela Sanguinetti
Ezgi Sanıyar
Dage Särg
Baiba Saulīte
Yanin Sawanakunanon
Shefali Saxena
Kevin Scannell
Salvatore Scarlata
Nathan Schneider
Sebastian Schuster
Lane Schwartz
Djamé Seddah
Wolfgang Seeker
Mojgan Seraji
Syeda Shahzadi
Mo Shen
Atsuko Shimada
Hiroyuki Shirasu
Yana Shishkina
Muh Shohibussirri
Dmitry Sichinava
Janine Siewert
Einar Freyr Sigurðsson
Aline Silveira
Natalia Silveira
Maria Simi
Radu Simionescu
Katalin Simkó
Mária Šimková
Kiril Simov
Maria Skachedubova
Aaron Smith
Isabela Soares-Bastos
Shafi Sourov
Carolyn Spadine
Rachele Sprugnoli
Vivian Stamou
Steinþór Steingrímsson
Antonio Stella
Milan Straka
Emmett Strickland
Jana Strnadová
Alane Suhr
Yogi Lesmana Sulestio
Umut Sulubacak
Shingo Suzuki
Daniel Swanson
Zsolt Szántó
Chihiro Taguchi
Dima Taji
Yuta Takahashi
Fabio Tamburini
Mary Ann C. Tan
Takaaki Tanaka
Dipta Tanaya
Mirko Tavoni
Samson Tella
Isabelle Tellier
Marinella Testori
Guillaume Thomas
Sara Tonelli
Liisi Torga
Marsida Toska
Trond Trosterud
Anna Trukhina
Reut Tsarfaty
Utku Türk
Francis Tyers
Sumire Uematsu
Roman Untilov
Zdeňka Urešová
Larraitz Uria
Hans Uszkoreit
Andrius Utka
Elena Vagnoni
Sowmya Vajjala
Rob van der Goot
Martine Vanhove
Daniel van Niekerk
Gertjan van Noord
Viktor Varga
Uliana Vedenina
Eric Villemonte de la Clergerie
Veronika Vincze
Natalia Vlasova
Aya Wakasa
Joel C. Wallenberg
Lars Wallin
Abigail Walsh
Jing Xian Wang
Jonathan North Washington
Maximilan Wendt
Paul Widmer
Shira Wigderson
Sri Hartati Wijono
Seyi Williams
Mats Wirén
Christian Wittern
Tsegay Woldemariam
Tak-sum Wong
Alina Wróblewska
Mary Yako
Kayo Yamashita
Naoki Yamazaki
Chunxiao Yan
Koichi Yasuoka
Marat M. Yavrumyan
Arife Betül Yenice
Olcay Taner Yıldız
Zhuoran Yu
Arlisa Yuliawati
Zdeněk Žabokrtský
Shorouq Zahra
Amir Zeldes
He Zhou
Hanzhi Zhu
Anna Zhuravleva
Rayan Ziane


Annotating Attribution in Czech News Server Articles

Anotace přisuzování v článcích českého zpravodajského serveru

This paper focuses on detection of sources in the Czech articles published on a news server of Czech public radio. In particular, we search for attribution in sentences and we recognize attributed sources and their sentence context (signals). We organized a crowdsourcing annotation task that resulted in a data set of 2,167 stories with manually recognized signals and sources. In addition, the sources were classified into the classes of named and unnamed sources.

Tato práce se zaměřuje na detekci zdrojů v českých článcích publikovaných na zpravodajském serveru Českého veřejnoprávního rozhlasu. Hledáme zejména přiřazení ve větách a rozeznáváme přiřazené zdroje a jejich větný kontext(signály). Zorganizovali jsme crowdsourcingovou anotační úlohu, jejímž výsledkem byl datový soubor 2 167 článků s ručně rozpoznanými signály a zdroji. Zdroje byly navíc zařazeny do kategorií jmenovaných a nejmenovaných zdrojů.

Barbora Hladká
Jiří Mírovský
Matyáš Kopp
Václav Moravec


Quality and Efficiency of Manual Annotation: Data from the Pre-annotation Bias Experiment (part of the PDT-C 2.0 project)

Kvalita a efektivita manuální anotace: Data z experimentu zabývajícího se vlivem předanotace  (součást projektu PDT-C 2.0)

Input data, individual experimental annotations, and a complete and detailed overview of the measured results related to the experiment dealing with the influence of automatic pre-annotation on the quality and efficiency of manual annotation efforts.

Vstupní data, jednotlivé experimentální anotace a úplný a podrobný přehled naměřených výsledků souvisejících s experimentem zabývajícím se vlivem automatické před-anotace na kvalitu a efektivitu anotačního úsilí.

Marie Mikulová
Milan Straka
Jan Štěpánek
Barbora Štěpánková
Jan Hajič


Quality and Efficiency of Manual Annotation: Pre-annotation Bias

Kvalita a efektivita ruční anotace: zkreslení před-anotací

This paper presents an analysis of annotation using an automatic pre-annotation for a mid-level annotation complexity task - dependency syntax annotation. It compares the annotation efforts made by annotators using a pre-annotated version (with a high-accuracy parser) and those made by fully manual annotation. The aim of the experiment is to judge the final annotation quality when pre-annotation is used. In addition, it evaluates the effect of automatic linguistically-based (rule-formulated) checks and another annotation on the same data available to the annotators, and their influence on annotation quality and efficiency. The experiment confirmed that the pre-annotation is an efficient tool for faster manual syntactic annotation which increases the consistency of the resulting annotation without reducing its quality.

Tento článek představuje analýzu anotace pomocí automatické před-anotace pro úkol anotace závislostní syntaxe. Porovnává úsilí anotátorů, kteří používají před-anotovanou verzi (s vysoce přesným parserem), a úsilí vytvořené plně ruční anotací. Cílem experimentu je posoudit výslednou kvalitu anotace při použití před-anotace. Kromě toho hodnotí vliv automatických lingvisticky založených (pravidlově formulovaných) kontrol a jiné anotace na stejných datech, kterou mají anotátoři k dispozici, a jejich vliv na kvalitu a efektivitu anotace. Experiment potvrdil, že pre-anotace je účinným nástrojem pro rychlejší manuální syntaktickou anotaci, která zvyšuje konzistenci výsledné anotace bez snížení její kvality.


Digital Humanities courses in Czech Tertiary Education Described by Latent Semantic Analysis

Výuka digitálních humanitních věd na českých veřejných vysokých školách podle latentní sémantické analýzy

Our study was created as the first attempt to map the Czech pedagogy of Digital Humanities in 2018. We believe that Czech memory institutions are already well integrated into European infrastructure projects (eg Library of the Academy of Sciences, National Library and National Museum in Europeana) and Czech researchers have also successfully joined the international DH community (as evidenced by their contributions in this volume). So far, however, we know little about the DH paradigm in the teaching of humanities at Czech universities. To aggregate the information, we used Latent semantic analysis on the names of the courses and institutions where they are taught.

Naše studie vznikla jako první pokus zmapovat podhoubí české pedagogiky digitálních humanitních věd v roce 2018. Máme za to, že české paměťové instituce jsou už dobře integrovány do evropských infrastrukturních projektů (například Knihovna Akademie věd ČR, Národní knihovna a Národní muzeum v projektu Europeana ) a čeští badatelé se již také úspěšně připojili k mezinárodní DH komunitě (o čemž svědčí také jejich příspěvky v tomto svazku). Zatím však málo víme o DH paradigmatu ve výuce humanitních oborů na českých vysokých školách.Proto jsme během roku 2018 ručně prohledali aktuální studijní katalogy většiny českých veřejných vysokých škol s cílem shromáždit kontakty na vyučující, kteří by mohli stát u zrodu digitálně humanitní pedagogické komunity v Česku, a udělat si představu o jejich specializacích. K agregaci informací jsme použili Latentně sémantickou analýzu na názvech kurzů a institucí, kde se vyučují.

Silvie Cinková
Jan Škvrňák
Michael Škvrňák


Action meanings in noun/verb conversion: Native and foreign word-formation in Czech

Dějové významy v konverzi mezi substantivem a slovesem: Tvoření slov s domácími a přejatými kořeny v češtině

The study deals with Czech conversion pairs of a noun and a verb, both of which denote actions (test ‘test.n’ – testovat ‘to test’). Elaborating on previous research on prototypical verb-to-noun and noun-to-verb conversion in Czech, the direction in these pairs is determined based on whether the verb forms its aspectual counterpart by changing the theme (which is characteristic of the deverbal direction), or whether the suffixed counterpart is not available (typical of denominal verbs). The analysis, carried out on a corpus sample of 1,300 action nouns and directly related verbs, demonstrates that pairs with native roots mostly conform to the deverbal pattern, whereas the denominal direction applies to a smaller subset of the native sample but clearly prevails in the data with foreign roots. The denominal direction ascribed to foreign pairs is consistent with the typological hypothesis that verbs are borrowed rather as nouns and subsequently turned into verbs in the target language.

Studie se zabývá českými konverzními dvojicemi, v nichž podstatné jméno i sloveso mají dějový význam (test 'zkoušet.n' - testovat 'zkoušet'). V návaznosti na předchozí výzkum prototypických případů deverbální a denominální konverze v češtině je směr v těchto dvojicích určován na základě toho, zda sloveso tvoří svůj vidový protějšek změnou kmenotvorné přípony (což je charakteristické pro deverbální směr), nebo zda sufixální protějšek není k dispozici (typické pro denominální slovesa). Analýza provedená na korpusovém vzorku 1 300 podstatných jmen s dějovým významem a přímo souvisejících sloves ukazuje, že dvojice založené na domácích kořenech mají většinou rysy deverbálního tvoření, zatímco denominální směr se uplatňuje v menší skupině domácích dvojic a v datech s cizími kořeny jasně převažuje. Denominální směr přisuzovaný dvojicím s cizími kořeny je v souladu s typologickou hypotézou, že slovesa jsou přejímána do češtiny spíše jako podstatná jména a následně se v cílovém jazyce mění na slovesa.


Conversion of action nouns to verbs: Insights from Czech

Tvoření sloves z dějových substnativ konverzí: Případ češtiny

Although actions are prototypical verbal concepts, there are verbs that are assumed to be derived or converted from nouns with action meanings, cf. apology > to apologize or attack.n > to attack. Conversion of action nouns to verbs, discussed as the PERFORMATIVE category by Plag (1999) or Bauer et al. (2013), has been attested since the earliest period documented by the Oxford English Dictionary and, remarkably, have become predominant among verbs converted from nouns in English during the 20th century (Gottfurcht 2008).
The present paper deals with Czech conversion pairs, where both the noun and the verb denote an action (e.g. řez ‘cut.n’ – řezat ‘to cut’, test ‘test.n’ – testovat ‘to test’). Elaborating on our previous research on word formation without derivational affixes in Czech, phonological and morphological features of nouns and verbs are employed to determine the direction of conversion in individual pairs.

Přestože dějový význam je prototypicky přisuzován slovesu, existují slovesa, u nichž se předpokládá, že jsou odvozena nebo konvertována od podstatných jmen s dějovým významem. Předkládaný příspěvek se zabývá českými konverzními dvojicemi, kde jak podstatné jméno, tak sloveso vyjadřují děj (např. řez - řezat, test - testovat). V návaznosti na náš předchozí výzkum tvoření slov bez derivačních afixů v češtině jsou pro určení směru konverze v jednotlivých dvojicích využity fonologické a morfologické vlastnosti podstatných jmen a sloves.


Paradigms in English and Czech noun/verb conversion: A contrastive study of lexemes with borrowed roots

Paradigmata v konverzním tvoření substantiv a sloves v angličtině a češtině: Kontrastivní studie lexémů s přejatými kořeny

The study deals with English noun/verb conversion pairs that have both formally and semantically close counterpart pairs in Czech. The study’s aim is to examine how these nouns and verbs, linked with similar semantic relations in English and Czech, are accommodated in the two languages with different morphological structures and conversion playing a different role. The noun/verb pairs, extracted from the British National Corpus and from the SYN2000 corpus, are analysed as two-cell paradigms and examined along with selected derivatives. The data suggest that in the Czech sample, nominals are preferred over verbs in expressing the particular meanings and most verbs appear as denominal formations, often differently from their English counterparts.

Studie se zabývá anglickými konverzními dvojicemi podstatných a sloves, které mají formálně i významově blízké protějšky v češtině. Cílem studie je prozkoumat, jak se tato substantiva a slovesa, která jsou v angličtině a češtině spojena podobnými sémantickými vztahy, chovají v jazycích, které mají odlišnou morfologickou strukturu a v jejichž slovotvorných systémech hraje konverze odlišnou roli. Dvojice substantiv a sloves, extrahované z Britského národního korpusu a z korpusu SYN2000, jsou popisována jako dvoučlenná paradigmata a zkoumány spolu s vybranými deriváty. Data ukazují, že v českých dvojicích jsou pro vyjadřování konkrétních významů preferována substantiva před slovesy a většina sloves je používána jako denominální formace, často odlišně od anglických protějšků.


The ParlaMint corpora of parliamentary proceedings

Korpusy přepisů parlamentních zasedání ParlaMint

This paper presents the ParlaMint corpora containing transcriptions of the sessions of the 17 European national parliaments with half a billion words. The corpora are uniformly encoded, contain rich meta-data about 11 thousand speakers, and are linguistically annotated following the Universal Dependencies formalism and with named entities. Samples of the corpora and conversion scripts are available from the project’s GitHub repository, and the complete corpora are openly available via the CLARIN.SI repository for download, as well as through the NoSketch Engine and KonText concordancers and the Parlameter interface for on-line exploration and analysis.

Tato práce představuje korpus ParlaMint obsahující přepisy ze zasedání 17 evropských národních parlamentů s půl miliardou slov. Korpusy jsou jednotně kódovány, obsahují bohatá metadata o 11 tisících mluvčích a jsou lingvisticky anotovány podle Universal Dependencies a s pojmenovanými entitami. Vzorky korpusů a konverzních skriptů jsou k dispozici v úložišti projektu na GitHub a kompletní korpusy jsou otevřeně k dispozici prostřednictvím úložiště CLARIN.SI ke stažení, stejně jako prostřednictvím NoSketch Engine a KonText a rozhraní Parlameter pro on-line průzkum a analýzu.

Tomaž Erjavec
Maciej Ogrodniczuk
Petya Osenova
Nikola Ljubešić
Kiril Simov
Andrej Pančur
Michał Rudolf
Matyáš Kopp
Starkaður Barkarson
Steinþór Steingrímsson
Çağrı Çöltekin
Jesse de Does
Katrien Depuydt
Tommaso Agnoloni
Giulia Venturi
María Calzada Pérez
Luciana de Macedo
Costanza Navarretta
Giancarlo Luxardo
Matthew Coole
Paul Rayson
Vaidas Morkevičius
Tomas Krilavičius
Roberts Darģis
Orsolya Ring
Ruben van Heusden
Maarten Marx
Darja Fišer


Language Technologies for the Creation of Multilingual Terminologies. Lessons Learned from the SSHOC Project

Jazykové technologie pro tvorbu vícejazyčných terminologií. Poznatky z projektu SSHOC

This paper is framed in the context of the SSHOC project and aims at exploring how Language Technologies can help in promoting and facilitating multilingualism in the Social Sciences and Humanities (SSH). Although most SSH researchers produce culturally and societally relevant work in their local languages, metadata and vocabularies used in the SSH domain to describe and index research data are currently mostly in English. We thus investigate Natural Language Processing and Machine Translation approaches in view of providing resources and tools to foster multilingual access and discovery to SSH content across different languages. As case studies, we create and deliver as freely, openly available data a set of multilingual metadata concepts and an automatically extracted multilingual Data Stewardship terminology. The two case studies allow as well to evaluate performances of state-of-the-art tools and to derive a set of recommendations as to how best apply them. Although not adapted to the specific domain, the employed tools prove to be a valid asset to translation tasks. Nonetheless, validation of results by domain experts proficient in the language is an unavoidable phase of the whole workflow.

Tento článek je zasazen do kontextu projektu SSHOC a jeho cílem je prozkoumat, jak mohou jazykové technologie pomoci při podpoře a usnadnění vícejazyčnosti v sociálních a humanitních vědách (SSH). Přestože většina výzkumných pracovníků v oblasti SSH vytváří kulturně a společensky relevantní práce ve svých místních jazycích, metadata a slovníky používané v oblasti SSH k popisu a indexování výzkumných dat jsou v současné době většinou v angličtině. Zkoumáme proto přístupy zpracování přirozeného jazyka a strojového překladu s cílem poskytnout zdroje a nástroje na podporu vícejazyčného přístupu k obsahu SSH a jeho vyhledávání v různých jazycích. Jako případové studie vytváříme a poskytujeme jako volně dostupná data soubor vícejazyčných metadatových konceptů a automaticky extrahovanou vícejazyčnou terminologii Data Stewardship. Tyto dvě případové studie umožňují také vyhodnotit výkonnost nejmodernějších nástrojů a odvodit soubor doporučení, jak je nejlépe použít. Přestože nejsou přizpůsobeny konkrétní doméně, použité nástroje se ukázaly být platným přínosem pro překladatelské úlohy. Nicméně ověření výsledků experty na danou doménu, kteří ovládají daný jazyk, je nevyhnutelnou fází celého pracovního postupu.

Federica Gamba
Francesca Frontini
Daan Broeder
Monica Monachini


Elitr LangTools and THEaiTRE script generation

Elitr LangTools a generování scénářů THEaiTRE

Presentation of Elitr language tools and THEaiTRE script generation for EUROSAI congress attendees.

Prezentace jazykových nástrojů systému Elitr a generování scénářů THEaiTRE pro účastníky EUROSAI kongresu.


THEaiTRE 1.0: Interactive generation of theatre play scripts

THEaiTRE 1.0: Interaktivní generování scénářů divadelních her

Hacking the GPT-2 language model
Building a web application
Generating a theatre play script
Performing the play on stage
Demo of the tool

Hackování jazykového modelu GPT-2
Sestavení webové aplikace
Vytváří se scénář divadelní hry
Představení hry na jevišti
Demo nástroje


THEaiTRE: Interactive generation of theatre play scripts

THEaiTRE: Interaktivní generování scénářů divadelních her

Presentation of interactive theatre script generation for employees of the Novartis company.

Prezentace interaktivního generování scnářů divadelních her pro zaměstnance společnosti Novartis.


GPT-2-based Human-in-the-loop Theatre Play Script Generation

Interaktivní generování scénářů divadelních her založené na GPT-2

We experiment with adapting generative language models for the generation of long coherent narratives in the form of theatre plays. Since fully automatic generation of whole plays is not currently feasible, we created an interactive tool that allows a human user to steer the generation somewhat while minimizing intervention. We pursue two approaches to long-text generation: a flat generation with summarization of context, and a hierarchical text-to-text two-stage approach, where a synopsis is generated first and then used to condition generation of the final script. Our preliminary results and discussions with theatre professionals show improvements over vanilla language model generation, but also identify important limitations of our approach.

Experimentujeme s adaptací generativních jazykových modelů pro generování dlouhých souvislých vyprávění v podobě divadelních her. Protože plně automatické generování celých her není v současné době proveditelné, vytvořili jsme interaktivní nástroj, který umožňuje lidskému uživateli poněkud nasměrovat generování a zároveň minimalizovat zásahy. Pro generování dlouhých textů sledujeme dva přístupy: ploché generování se sumarizací kontextu a hierarchický dvoufázový přístup text-to-text, kdy je nejprve vygenerována synopse a poté použita k podmiňování generování konečného scénáře. Naše předběžné výsledky a diskuse s divadelními profesionály ukazují zlepšení oproti základnímu generování, ale také identifikují důležitá omezení našeho přístupu.

Rudolf Rosa
Patrícia Schmidtová
Ondřej Dušek
Tomáš Musil
David Mareček
Saad Obaid
Marie Nováková
Klára Vosecká
Josef Doležal


THEaiTRobot: An Interactive Tool for Generating Theatre Play Scripts

THEaiTRobot: Interaktivní nástroj pro generování scénářů divadelních her

We present a free online demo of THEaiTRobot, an open-source bilingual tool for interactively generating theatre play scripts, in two versions. THEaiTRobot 1.0 uses the GPT-2 language model with minimal adjustments. THEaiTRobot 2.0 uses two models created by fine-tuning GPT-2 on purposefully collected and processed datasets and several other components, generating play scripts in a hierarchical fashion (title → synopsis → script). The underlying tool is used in the THEaiTRE project to generate scripts for plays, which are then performed on stage by a professional theatre.

Představujeme volně dostupné online demo THEaiTRobot, dvojjazyčný nástroj s otevřeným zdrojovým kódem pro interaktivní generování scénářů divadelních her, ve dvou verzích. THEaiTRobot 1.0 používá jazykový model GPT-2 s minimálními úpravami. THEaiTRobot 2.0 používá dva modely vytvořené doladěním GPT-2 na cíleně shromážděných a zpracovaných datových souborech a několika dalších komponentách, které hierarchicky generují scénáře divadelních her (název → synopse → skript). Podkladový nástroj se používá v projektu THEaiTRE pro generování scénářů divadelních her, které pak na jevišti hraje profesionální divadlo.

Rudolf Rosa
Patrícia Schmidtová
Alisa Zakhtarenko
Ondřej Dušek
Tomáš Musil
David Mareček
Saad Obaid
Marie Nováková
Klára Vosecká
Daniel Hrbek
David Košťák


Czech Grammar Error Correction with a Large and Diverse Corpus

Oprava gramatických chyb v češtině pomocí velkého a rozmanitého korpusu

We introduce a large and diverse Czech corpus annotated for grammatical error correction (GEC) with the aim to contribute to the still scarce data resources in this domain for languages other than English. The Grammar Error Correction Corpus for Czech (GECCC) offers a variety of four domains, covering error distributions ranging from high error density essays written by non-native speakers, to website texts, where errors are expected to be much less common. We compare several Czech GEC systems, including several Transformer-based ones, setting a strong baseline to future research. Finally, we meta-evaluate common GEC metrics against human judgements on our data. We make the new Czech GEC corpus publicly available under the CC BY-SA 4.0 license at http://hdl.handle.net/11234/1-4639.

Představujeme velký a různorodý český korpus pro opravu gramatických chyb s cílem přispět ke stále nedostatkovým datovým zdrojům v této doméně pro jiné jazyky než angličtinu. Korpus pro gramatickou opravu chyb pro češtinu (GECCC) nabízí čtyři domény, které pokrývají distribuci chyb od esejů s vysokou hustotou chyb napsaných nerodilými mluvčími až po texty webových stránek, kde jsou chyby mnohem méně časté. Porovnáváme několik českých GEC systémů, včetně několika na bázi architektury Transformer, a nastavujeme tak silnou baseline pro budoucí výzkum. V neposlední řadě také provádíme meta-evaluaci běžných GEC metrik pomocí ručního hodnocení na našich datech. Nový český GEC korpus zveřejňujeme pod licencí CC BY-SA 4.0 na adrese http://hdl.handle.net/11234/1-4639.

Jakub Náplava
Milan Straka
Jana Straková
Alexandr Rosen


In ParlaMint I, a CLARIN-ERIC supported project in pandemic times, a set of comparable and uniformly annotated multilingual corpora for 17 national parliaments were developed and released in 2021. For 2022 and 2023, the project has been extended to ParlaMint II, again with the CLARIN ERIC financial support, in order to enhance the existing corpora with new data and metadata; upgrade the XML schema; add corpora for 10 new parliaments; provide more application scenarios and carry out additional experiments. The paper reports on these planned steps, including some that have already been taken, and outlines future plans.

V ParlaMint I, projektu podporovaném CLARIN-ERIC v době pandemie, byla v roce 2021 vyvinuta a vydána sada srovnatelných a jednotně anotovaných vícejazyčných korpusů pro 17 národních parlamentů. Pro roky 2022 a 2023 byl projekt rozšířen na ParlaMint II, opět s finanční podporou CLARIN-ERIC, s cílem rozšířit stávající korpusy o nová data a metadata; aktualizovat schéma XML; přidat korpusy pro 10 nových parlamentů; poskytnout více scénářů aplikace a provést další experimenty. Dokument informuje o těchto plánovaných krocích, včetně některých, které již byly podniknuty, a nastiňuje budoucí plány.

Maciej Ogrodniczuk
Petya Osenova
Tomaž Erjavec
Darja Fišer
Nikola Ljubešić
Çağrı Çöltekin
Matyáš Kopp
Katja Meden


Probing the Role of Positional Information in Vision-Language Models

Zkoumání role poziční informace v modelech kombinujích jazyk a vidění

In most Vision-Language models (VL), the understanding of the image structure is enabled by injecting the position information (PI) about objects in the image. In our case study of LXMERT, a state-of-the-art VL model, we probe the use of the PI in the representation and study its effect on Visual Question Answering. We show that the model is not capable of leveraging the PI for the image-text matching task on a challenge set where only position differs. Yet, our experiments with probing confirm that the PI is indeed present in the representation. We introduce two strategies to tackle this: (i) Positional Information Pre-training and (ii) Contrastive Learning on PI using Cross-Modality Matching. Doing so, the model can correctly classify if images with detailed PI statements match. Additionally to the 2D information from bounding boxes, we introduce the object’s depth as new feature for a better object localization in the space. Even though we were able to improve the model properties as defined by our probes, it only has a negligible effect on the downstream performance. Our results thus highlight an important issue of multimodal modeling: the mere presence of information detectable by a probing classifier is not a guarantee that the information is available in a cross-modal setup.

Ve většině modelů kombinujících jazyk a vizuální informaci (Vision-Language, VL) je porozumění struktuře obrazu umožněno přidáním informací o poloze objektů v obraze. V naší případové studii se věmnujeme modelu VL modelu LXMERT a zkoumáme použití jakým způsobem poziční informaci používá a studujeme její vliv na úspěšnost v úloze odpovídání otázek o obrázcích. Ukazujeme, že model není schopen poziční informaci využít pro přiřazování textů k obrázkům, pokud se texty liší polohou objektů. A to i přesto, že další experimenty ale ukazují, že PI je v modelech skutečně přítomna. Představujeme dvě strategie, jak se s tímto problémem vypořádat: (i) předtrénování s přidanou informací o poloze a (ii) kontrastní učení s porovnáváním napříč modalitami. Tímto způsobem může model správně klasifikovat, zda se obrázky s podrobnými výroky PI shodují. Kromě 2D informací o objektech na obrázku, přidáváme hloubku objektu pro lepší lokalizaci v prostoru. Přestože se nám podařilo zlepšit vlastnosti modelu, na kvalitu odpovídání otázek to má jen zanedbatelný vliv. Naše výsledky tak poukazují na důležitý problém multimodálního modelování: pouhá přítomnost informace detekovatelné klasifikátorem není zárukou, že tato informace je k dispozici napříč modalitami.


CUNI-KIT System for Simultaneous Speech Translation Task at IWSLT 2022

CINI-KIT Syst0m pre Simultaneous Speech Translation Task na IWSLT 2022

In this paper, we describe our submission to the Simultaneous Speech Translation at IWSLT 2022. We explore strategies to utilize an offline model in a simultaneous setting without the need to modify the  riginal model. In our experiments, we show that our onlinization algorithm is almost on par with the offline setting while being 3×  faster than offline in terms of latency on the test set. We make our system publicly available.

V tomto článku popisujeme naše předložení k Simultaneous Speech Translation na
IWSLT 2022. Zkoumáme strategie využití offline modelu v simultánním prostředí bez nutnosti upravovat původní model. V našich experimentech ukazujeme, že náš online algoritmus je téměř na stejné úrovni jako offline nastavení, přičemž je 3× rychlejší než offline, pokud jde o latenci na testovací sadě. Náš systém zpřístupňujeme veřejnosti.

Peter Polák
Ngoc-Quan Ngoc
Tuan-Nam Nguyen
Danni Liu
Jan Niehues
Ondřej Bojar
Alex Waibel


ALIGNMEET: A Comprehensive Tool for Meeting Annotation, Alignment, and Evaluation

ALIGNMEET: Komplexní nástroj pro anotaci, zarovnání a hodnocení schůzek

Meeting summarization is primarily focused on topi cal coverage rather than on fluency or coherence. It is a challenging and tedious task, even when meeting summaries are created manually. The resulting sum maries vary in the goals, style, and they are inevitably very subjective due to the human in the loop. Also, the awareness of the context of the meeting is essential to create adequate and informative summaries.

Sumarizace schůzek se primárně zaměřuje spíše na aktuální téma než na plynulost nebo koherenci. Je to náročný a zdlouhavý úkol, i když se shrnutí schůzek vytváří ručně. Výsledná shrnutí se liší v cílech, stylu a jsou nevyhnutelně velmi subjektivní kvůli člověku, který je ve smyčce. Pro vytvoření adekvátních a informativních shrnutí je rovněž nezbytné uvědomění si kontextu schůzky.

Peter Polák
Muskaan Singh
Anna Nedoluzhko
Ondřej Bojar


Morphosyntactic features in distributional space

Morfosyntaktické vlastnosti v distribučním prostoru

The work deals with the paradigmatic system of Czech inflexion from the perspective of distributional semantics. We use extensive morphological and corpus resources available for Czech to obtain models of the Czech distributional vector space and examine the behaviour of selected morphosyntactic features of Czech nouns and adjectives.

Práce se zabývá paradigmatickým systémem české flexe z perspektivy distribuční sémantiky. Využíváme rozsáhlé morfologické zdroje a korpusy k získání modelů distribuční sémantiky češtiny a zkoumáme chování vybraných morfosémantických vlastností českých podstatných a přídavných jmen.

Olivier Bonami
Marine Wauquier
Lukáš Kyjánek


A data-based approach to competition in word-formation

Datově orientovaný přístup ke kompetici ve slovotvorbě

The presentation summarises the work of our START grant team on the topic of competition in word formation. It presents language resources as well as the methodology used in the mentioned research area.

Prezentace shrnuje dosavadní práci našeho grantového týmu START na tématu kompetice ve slovotvorbě. Prezentují se jak jazykové zdroje, tak metodologie používané v rámci dané výzkumné oblasti.


A Distributional Approach to Inflection vs. Derivation in Czech

Distribuční přístup k flexi vs. derivaci v češtině

The work deals with the borderline between inflexion and derivation in Czech, especially from the perspective of distributional semantics. We use extensive morphological and corpus resources available for Czech to obtain models of the Czech distributional vector space and examine a collection of 24 types of morphological contrasts exemplifying canonical inflexion, canonical derivation, and different types of intermediate cases.

Práce se zabývá hranicí mezi flektivní a derivační morfologií v češtině, zvláště pak z perspektivy distribuční sémantiky. Využíváme rozsáhlé morfologické zdroje a korpusy k získání modelů distribuční sémantiky češtiny a zkoumáme kolekci 24 typů morfologických kontrastů reprezentujících jak kanonickou flexi a kanonickou derivaci, tak různé typy mezních případů.


Constructing a Lexical Resource of Russian Derivational Morphology

Příprava lexikálních dat pro derivační morfologii ruštiny

Words of any language are to some extent related thought the ways they are formed. For instance, the verb exempl-ify and the noun example-s are both based on the word example, but the verb is derived from it, while the noun is inflected. In Natural Language Processing of Russian, the inflection is satisfactorily processed; however, there are only a few machine-tractable resources that capture derivations even though Russian has both of these morphological processes very rich. Therefore, we
devote this paper to improving one of the methods of constructing such resources and to the application of the method to a Russian lexicon, which results in the creation of the largest lexical resource of Russian derivational relations. The resulting database dubbed DeriNet.RU includes more than 300 thousand lexemes connected with more than 164 thousand binary
derivational relations. To create such data, we combined the existing machine-learning methods that we improved to manage this goal. The whole approach is evaluated on our newly created data set of manual, parallel annotation. The resulting
DeriNet.RU is freely available under an open license agreement.

Slova jsou v jazycích provázána slovotvornými vztahy, např. sloveso examplify a substantivum examples obě souvisí s example, přičemž uvedené sloveso z něj vzniklo odvozením a substantivní tvar inflexí. Mezi jazykovými zdroji pro ruštinu je inflexe pokrytá dostatečně, nicméně derivace je pokryta datovými zdroji daleko omezeněji. Tento článek je věnován vylepšení metody konstrukce derivačních sítí a aplikaci tohoto postupu na ruštinu, vedoucí k vytvoření dosud největšího datového zdroje ruských derivačních relací. Výsledná databáze DeriNet.RU obsahuje víc než 300 tisíc lemmat spojených s více než 164 tisíci slovotvornými relacemi. Pro vytvoření takových dat jsme použili metody strojového učení. Databáze je zveřejněna pod otevřenou licencí.

Lukáš Kyjánek
Olga Lyashevskaya
Anna Nedoluzhko
Daniil Vodolazsky
Zdeněk Žabokrtský


We present Eyetracked Multi-Modal Translation (EMMT), a dataset containing monocular eye movement recordings, audio data and 4-electrode wearable electroencephalogram (EEG) data of 43 participants while engaged in sight translation task supported by an image.

Představujeme soubor dat Eyetracked Multi-Modal Translation (EMMT), který obsahuje záznamy monokulárních očních pohybů, zvuková data a data 4elektrodového nositelného elektroencefalogramu (EEG) 43 účastníků, kteří se věnovali překladu z angličtiny do češtiny, a to na základě psaného textu a doprovodných obrázků.

Sunit Bhattacharya
Věra Kloudová
Vilém Zouhar
Ondřej Bojar


What do the eyes really see? An eye-tracking account of language processing

Co oči skutečně vidí? Výzkum zpracování jazyka pomocí metody eye tracking

This experimental study aims to investigate the translation process from English to Czech in a multimodal scenario by using an eye tracker.
We investigate specific aspects of translating ambiguous and unambiguous sentences, and simultaneously, we focus on the possible impact of visual information on the translation process. Thus, we show how mechanisms of visual search, as well as the presence and attention mechanisms involved in such translation processes, can be explored based on various eye-movement data, i.e., cognitive mechanisms involved in reading original sentences and producing the corresponding translation are studied using a plethora of eye-tracking-specific metrics.
Among other things, the paper demonstrates how the Stroop effect is visible in the experimental setup.

Cílem této experimentální studie je prozkoumat proces překladu z angličtiny do češtiny v multimodálním scénáři s využitím eye trackeru. Zkoumáme specifické aspekty překladu nejednoznačných a jednoznačných vět a současně se zaměřujeme na možný vliv vizuálních informací na proces překladu. Ukazujeme tak, jak lze na základě různých údajů o pohybu očí zkoumat mechanismy vizuálního vyhledávání, jakož i mechanismy přítomnosti a pozornosti zapojené do těchto překladatelských procesů, tj. kognitivní mechanismy zapojené do čtení originálních vět a vytváření odpovídajícího překladu studujeme pomocí několika metrik specifických pro sledování očí. Článek mimo jiné ukazuje, jak se v experimentálním uspořádání projevuje Stroopův efekt.


Team ÚFAL at CMCL 2022 Shared Task: Figuring out the correct recipe for predicting Eye-Tracking features using Pretrained Language Model

Tým ÚFAL na CMCL 2022 Sdílený úkol: Vymyslet správný recept pro předvídání funkcí sledování očí pomocí předem připraveného jazykového modelu

Eye-Tracking data is a very useful source of information to study cognition and especially language comprehension in humans. In this paper, we describe our systems for the CMCL 2022 shared task on predicting eye-tracking information. We describe our experiments with pretrained models like BERT and XLM and the different ways in which we used those representations to predict four eye-tracking features. Along with analysing the effect of using two different kinds of pretrained multilingual language models and different ways of pooling the tokenlevel representations, we also explore how contextual information affects the performance of the systems. Finally, we also explore if factors like augmenting linguistic information affect the predictions. Our submissions achieved an average MAE of 5.72 and ranked 5th in the shared task. The average MAE showed further reduction to 5.25 in post task evaluation.

Data sledování očí jsou velmi užitečným zdrojem informací pro studium kognice a zejména porozumění jazyku u lidí. V tomto článku popisujeme naše systémy pro sdílenou úlohu CMCL 2022 o předpovídání informací o sledování očí. Popisujeme naše experimenty s předem připravenými modely, jako jsou BERT a XLM, a různé způsoby, jak jsme tyto reprezentace použili k predikci čtyř funkcí sledování očí. Spolu s analýzou účinku použití dvou různých druhů předtrénovaných vícejazyčných jazykových modelů a různých způsobů sdružování reprezentací na úrovni tokenů také zkoumáme, jak kontextové informace ovlivňují výkon systémů. Nakonec také zkoumáme, zda faktory, jako je rozšíření jazykových informací, ovlivňují předpovědi. Naše příspěvky dosáhly průměrného MAE 5,72 a umístily se na 5. místě ve sdíleném úkolu. Průměrný MAE ukázal další snížení na 5,25 při hodnocení po úkolu.

Sunit Bhattacharya
Ondřej Bojar
Rishu Kumar


In the Shannon game, the goal is to guess the next letter in a sentence based on the previous context.
It has since become a widely known thought experiment on which concepts in psycholinguistics, computational linguistics and natural language processing are based.
We extend this game by including an optional extra modality in the form of images and run an experiment on human participants.

We find that the presence of an image greatly improves users' confidence and accuracy accross all POS.
This includes determiners (a, an, the), which should otherwise be predicted solely from the previous (left) context of the sentence.

Ve hře Shannon je cílem uhodnout další písmeno ve větě na základě předchozího kontextu.
Od té doby se stal široce známým myšlenkovým experimentem, na kterém jsou založeny koncepty v psycholingvistice, počítačové lingvistice a zpracování přirozeného jazyka.
Tuto hru rozšiřujeme o volitelnou extra modalitu ve formě obrázků a provádíme experiment na lidských účastnících.

Zjistili jsme, že přítomnost obrázku výrazně zvyšuje důvěru a přesnost uživatelů ve všech POS.
To zahrnuje determinanty (a, an, the), které by jinak měly být predikovány výhradně z předchozího (levého) kontextu věty.

Sunit Bhattacharya
Vilém Zouhar
Ondřej Bojar


Sentence Ambiguity, Grammaticality and Complexity Probes

Sondy nejednoznačnosti, gramatiky a složitosti vět

It is unclear whether, how and where large pre-trained language models capture subtle linguistic traits like ambiguity, grammaticality and sentence complexity.
We present results of automatic classification of these traits and compare their viability and patterns across representation types.
We demonstrate that template-based datasets with surface-level artifacts should not be used for probing,
careful comparisons with baselines should be done
and that t-SNE plots should not be used to determine the presence of a feature among dense vectors representations. We also demonstrate how features might be highly localized in the layers for these models and get lost in the upper layers.

Není jasné, zda, jak a kde velké předem trénované jazykové modely zachycují jemné lingvistické rysy, jako je nejednoznačnost, gramatika a složitost vět.
Prezentujeme výsledky automatické klasifikace těchto znaků a porovnáváme jejich životaschopnost a vzorce napříč typy reprezentace.
Ukazujeme, že datové sady založené na šablonách s artefakty na úrovni povrchu by neměly být používány pro sondování,
měla by být provedena pečlivá srovnání se základními hodnotami
a že grafy t-SNE by se neměly používat k určení přítomnosti rysu mezi reprezentacemi hustých vektorů. Také ukazujeme, jak mohou být prvky vysoce lokalizovány ve vrstvách těchto modelů a ztratit se v horních vrstvách.