Textual Coverage of Eventive Entries in Lexical Semantic Resources

Textové pokrytí dějových položek v lexikálních sémantických zdrojích

This short paper focuses on the coverage of eventive entries (verbs, predicates, etc.) of some well-known lexical semantic resources when applied to random running texts taken from the internet. While coverage gaps are often reported for manually created lexicons (which is the case of most semantically-oriented lexical ones), it was our aim to quantify these gap.

Tato krátká práce se zaměřuje na pokrytí dějů (sloves, predikátů apod.) některých známých lexikálních sémantických zdrojů při aplikaci na náhodně běžící texty převzaté z internetu. Zatímco mezery v pokrytí jsou často hlášeny u ručně vytvořených lexikonů (což je případ většiny sémanticky orientovaných lexikálních zdrojů), bylo naším cílem kvantifikovat tyto mezery.

Eva Fučíková
Cristina Fernández-Alcaina
Jan Hajič
Zdeňka Urešová


A Comparison of Human and Machine Performance in Simultaneous Interpreting as a Basis for Further Research in Automatic Simultaneous Speech Translation

Srovnání výkonu člověka a stroje při simultánním tlumočení jako základ pro další výzkum v oblasti automatického simultánního překladu řeči

Simultaneous interpreting (SI) is a cognitively difficult task which requires specialized training and continued learning to deliver the best performance. Even with full attention, occasional errors in interpreting are inevitable, and they are likely to raise in longer sessions. With the advances in deep learning and quality increase in automatic simultaneous speech translation (ASST), we can consider using them as a substitute solution if human interpreters are not available, e.g. for capacity reasons or due to financial constraints.
The presented study assesses the state of the art by analysing translation departures in human SI (professional and trainee interpreters) and ASST. Two terminologically rich speeches, delivered by non-native English speakers, were remotely interpreted by two M.A. interpreting students, and one professional interpreter, to Czech. We had the speeches translated also by an in-house speech translation system.
Our quality assessment focuses on content transfer from the original speech, extending Barik’s taxonomy (1971), which identifies omissions, additions, substitutions, and semantic errors, with grammatical errors and formal defects (Kopczyński 1980).
Our findings reveal that trainee interpreters outperformed the professional one in multiple areas, such as avoiding over-reliance on original structure or excessive use of demonstrative pronouns. In comparison, the ASST model translated more literally, with outputs having fewer translation departures than human interpretations. However, focusing on content transfer only could ignore other qualities of human SI that are more important to the client. Future research aims to expand our sample size and evaluation criteria, incorporating more evaluators, students, and professionals, to further validate our findings.

Simultánní tlumočení (SI) je kognitivně náročný úkol, který vyžaduje specializovaný výcvik a neustálé vzdělávání, aby bylo možné podat co nejlepší výkon. I při plné pozornosti jsou občasné chyby v tlumočení nevyhnutelné a při delších sezeních se pravděpodobně zvýší. Díky pokroku v oblasti hlubokého učení a zvyšování kvality automatického simultánního překladu řeči (ASST) můžeme uvažovat o jejich využití jako náhradního řešení, pokud nejsou k dispozici lidští tlumočníci, např. z kapacitních důvodů nebo kvůli finančním omezením.
Předkládaná studie hodnotí současný stav na základě analýzy posunů v překladu u lidských profesionálních tlumočníků a tlumočníků-studentů a ASST. Dva terminologicky bohaté projevy, přednesené nerodilými mluvčími angličtiny, byly na dálku tlumočeny dvěma studenty magisterského studia tlumočnictví a jedním profesionálním tlumočníkem do češtiny. Projevy jsme nechali přeložit také interním systémem pro překlad řeči.
Naše hodnocení kvality se zaměřuje na přenos obsahu z originálního projevu a rozšiřuje Barikovu taxonomii (1971), která identifikuje vynechávky, přidávání, záměny a sémantické chyby, o gramatické chyby a formální nedostatky (Kopczyński 1980).
Naše zjištění ukazují, že tlumočníci-studenti překonali profesionální tlumočníky v několika oblastech, například v tom, že se vyhýbali přílišnému spoléhání na původní strukturu nebo nadměrnému používání ukazovacích zájmen. Ve srovnání s tím model ASST překládal doslovněji, přičemž výstupy vykazují méně posunů v překladu. Zaměření pouze na přenos obsahu by však mohlo mít za následek, že budeme ignorovat jiné vlastnosti lidského SI, které jsou pro klienta důležitější. Cílem budoucího výzkumu je rozšířit velikost našeho vzorku a kritéria hodnocení a zahrnout více hodnotitelů, studentů a odborníků, aby bylo možné naše zjištění dále ověřit.

Věra Kloudová
Petra Vavroušová Mračková
Dávid Javorský
Ondřej Bojar


Annotation and automated classification of dramatic situations

Anotace a automatizovaná klasifikace dramatických situací

In this paper, we describe the process of annotation of dramatic situations on 52 selected play scripts. We updated the list of the original Polti’s 36 situations and use 58 situations in total. We show that the task of selection and annotation of dramatic situation is hard, as annotators often disagrees. In the second part of the paper, we propose and evaluate a method of automatic detection of 5 selected situations in the play scripts.

V tomto příspěvku popisujeme proces anotace dramatických situací na 52 vybraných scénářích. Aktualizovali jsme seznam 36 situací původního Poltiho a celkem používáme 58 situací. Ukazujeme, že úkol výběru a anotace dramatických situací je těžký, protože anotátoři často nesouhlasí. V druhé části příspěvku navrhujeme a hodnotíme metodu automatické detekce 5 vybraných situací ve scénářích.

David Mareček
Marie Nováková
Klára Vosecká
Josef Doležal
Tomáš Musil
Rudolf Rosa


OOVs in the Spotlight: How to Inflect them?

OOV v centru pozornosti: Jak je skloňovat?

We focus on morphological inflection in out-of-vocabulary (OOV) conditions, an under-researched subtask in which state-of-the-art systems usually are less effective. We developed three systems: a retrograde model and two sequence-to-sequence (seq2seq) models based on LSTM and Transformer. For testing in OOV conditions, we automatically extracted a large dataset of nouns in the morphologically rich Czech language, with lemma-disjoint data splits, and we further manually annotated a real-world OOV dataset of neologisms.

In the standard OOV conditions, Transformer achieves the best results, with increasing performance in ensemble with LSTM, the retrograde model and SIGMORPHON baselines. On the real-world OOV dataset of neologisms, the retrograde model outperforms all neural models. Finally, our seq2seq models achieve state-of-the-art results in 9 out of 16 languages from SIGMORPHON 2022 shared task data in the OOV evaluation (feature overlap) in the large data condition.

We release the inflection system with the seq2seq models as a ready-to-use Python library.

Zaměřujeme se na morfologické skloňování v podmínkách mimo slovní zásobu (OOV), což je nedostatečně prozkoumaná dílčí úloha, v níž jsou nejmodernější systémy obvykle méně efektivní. Vyvinuli jsme tři systémy: retrográdní model a dva sekvenční modely (seq2seq) založené na LSTM a Transformeru. Pro testování v podmínkách OOV jsme automaticky extrahovali rozsáhlý dataset podstatných jmen v morfologicky bohaté češtině s rozdělením dat na lemmata a dále jsme ručně anotovali reálný dataset OOV neologismů.

Ve standardních podmínkách OOV dosahuje Transformer nejlepších výsledků, přičemž jeho výkonnost se zvyšuje v ensamblu s LSTM, retrográdním modelem a základními modely SIGMORPHON. V reálném datovém souboru OOV neologismů dosahuje retrográdní model lepších výsledků než všechny neuronové modely. A konečně naše modely seq2seq dosahují nejlepších výsledků v 9 ze 16 jazyků z dat sdílené úlohy SIGMORPHON 2022 při hodnocení OOV (překrývání funkcí) v podmínce velkého množství dat.

Inflexní systém s modely seq2seq vydáváme jako knihovnu v jazyce Python připravenou k použití.


Multiword Expressions between the Corpus and the Lexicon: Universality, Idiosyncrasy, and the Lexicon-Corpus Interface

Víceslovné výrazy mezi korpusem a lexikonem: Univerzalita, idiosynkrazie a rozhraní mezi slovníkem a korpusem

We present ongoing work towards defining a lexicon-corpus interface to serve as a benchmark in the representation of multiword expressions (of various parts of speech) in dedicated lexica and the linking of these entries to their corpus occurrences. The final aim is the harnessing of such resources for the automatic identification of multiword expressions in a text. The involvement of several natural languages aims at the universality of a solution not centered on a particular language, and also accommodating idiosyncrasies. Challenges in the lexicographic description of multiword expressions are discussed, the current status of lexica dedicated to this linguistic phenomenon is outlined, as well as the solution we envisage for creating an ecosystem of interlinked lexica and corpora containing and, respectively, annotated with multiword expressions.

Představujeme probíhající práci na rozhraní mezi lexikonem a korpusem, které bude sloužit jako standard pro reprezentaci víceslovných výrazů (různých slovních druhů) ve specializovaných slovnících, a na propojení slovníkových hesel a jejich výskytů v korpusu. Konečným cílem je použití dotyčných zdrojů k automatickému rozpoznávání víceslovných výrazů v textu.

Verginica Barbu Mititelu
Voula Giouli
Stella Markantonatou
Ivelina Stoyanova
Petya Osenova
Kilian Evang
Daniel Zeman
Simon Krek
Carole Tiberius
Christian Chiarcos
Ranka Stanković


A COST Action on Universality, Diversity and Idiosyncrasy in Language Technology

Akce COST o univerzálnosti, diverzitě a idiosynkrazii v jazykových technologiích

This paper presents the objectives, organization and activities of a scientific network dedicated to universality, diversity and idiosyncrasy in language technology. We describe the objectives and organization of this initiative, the people involved, the working groups and the ongoing tasks and activities. This paper is also an open call for participation towards new members and countries.

Tento příspěvek představuje cíle, organizaci a aktivity vědecké sítě zaměřené na univerzalitu, diverzitu a idiosynkrazii v jazykových technologiích. Popisujeme cíle a organizaci této iniciativy, komunitu do iniciativy zapojených výzkumníků, pracovní skupiny a probíhající činnosti. Tento článek je také otevřenou výzvou k účasti nových členů a zemí.

Agata Savary
Daniel Zeman
Verginica Barbu Mititelu
Anabela Barreiro
Olesea Caftanatov
Marie-Catherine de Marneffe
Kaja Dobrovoljc
Gülşen Cebiroğlu Eryiğit
Voula Giouli
Bruno Guillaume
Stella Markantonatou
Nurit Melnik
Joakim Nivre
Atul Kr. Ojha
Carlos Ramisch
Abigail Walsh
Beata Wójtowicz
Alina Wróblewska


UDMorph: Morphosyntactically Tagged UD Corpora

UDMorph: Morfosyntakticky označené UD Corpora

UDMorph provides an infrastructure parallel to that provided by UD for annotated corpus data that follow the UD guidelines, but do not provide dependency relations: a place where new annotated data-sets can be deposited, and where existing data-sets can be found and downloaded. It also provides a corpus creation environment to easily create annotated data for additional languages and variants. And it provides a REST and GUI interface to a growing collection taggers with a CoNLL-U output, currently for around 150 different languages, where taggers for new data-sets in UDMorph are automatically added.

UDMorph poskytuje infrastrukturu paralelní s infrastrukturou poskytovanou UD pro anotovaná korpusová data, která se řídí pokyny UD, ale neposkytují vztahy závislostí: místo, kam lze ukládat nové anotované datové sady a kde lze najít a stáhnout existující datové sady. . Poskytuje také prostředí pro vytváření korpusů pro snadné vytváření anotovaných dat pro další jazyky a varianty. A poskytuje rozhraní REST a GUI rostoucím taggerům sbírek s výstupem CoNLL-U, aktuálně pro přibližně 150 různých jazyků, kam se automaticky přidávají taggery pro nové datové sady v UDMorph.


Polish-ASTE: Aspect-Sentiment Triplet Extraction Datasets for Polish

Polish-ASTE: Datové sady pro extrakci aspektu a sentimentu pro polštinu

Aspect-Sentiment Triplet Extraction (ASTE) is one of the most challenging and complex tasks in sentiment analysis. It concerns the construction of triplets that contain an aspect, its associated sentiment polarity, and an opinion phrase that serves as a rationale for the assigned polarity.
Despite the growing popularity of the task and the many machine learning methods being proposed to address it, the number of datasets for ASTE is very limited.
In particular, no dataset is available for any of the Slavic languages.
In this paper, we present two new datasets for ASTE containing customer opinions about hotels and purchased products expressed in Polish.
We also perform experiments with two ASTE techniques combined with two large language models for Polish to investigate their performance and the difficulty of the assembled datasets.
The new datasets are available under a permissive licence and have the same file format as the English datasets, facilitating their use in future research.

Aspect-Sentiment Triplet Extraction (ASTE) je jednou z nejnáročnějších a nejsložitějších úloh v analýze sentimentu. Jedná se o konstrukci trojic, které obsahují aspekt, s ním spojenou polaritu sentimentu a názorovou frázi, která slouží jako zdůvodnění přiřazené polarity.
Navzdory rostoucí popularitě této úlohy a mnoha navrženým metodám strojového učení pro její řešení je počet datových sad pro ASTE velmi omezený.
Zejména není k dispozici žádný datový soubor pro žádný ze slovanských jazyků.
V tomto článku představujeme dva nové datové soubory pro ASTE obsahující názory zákazníků na hotely a zakoupené produkty vyjádřené v polštině.
Provádíme také experimenty se dvěma technikami ASTE v kombinaci se dvěma velkými jazykovými modely pro polštinu, abychom prozkoumali jejich výkonnost a obtížnost sestavených datových sad.
Nové datové sady jsou k dispozici pod povolenou licencí a mají stejný formát souborů jako anglické datové sady, což usnadňuje jejich použití v budoucím výzkumu.

Marta Lango
Borys Naglik
Mateusz Lango
Iwo Naglik


Towards a Unified Taxonomy of Deep Syntactic Relations

Na cestě ke sjednocené taxonomii hloubkově syntaktických vztahů

This paper analyzes multiple deep-syntactic frameworks with the goal of creating a proposal for a set of universal semantic role labels. The proposal examines various theoretic linguistic perspectives and focuses on Meaning-Text Theory and Functional Generative Description frameworks and PropBank. For the purpose of this research, data from five languages is used – Spanish and Catalan, Czech, English, and Finnish. This proposal is oriented towards Universal Dependencies, therefore the universal semantic role labels have been applied to the 5 languages described in the paper with the further intention of applying the universal semantic role labels to the full UD data.

Tento článek rozebírá několik systémů hloubkové syntaxe s cílem navrhnout univerzální sadu sémantických rolí. Návrh studuje různé teoreticky-lingvistické pohledy a zaměřuje se na Teorii význam-text (MTT), Funkční generativní popis (FGD) a PropBank. Pro tento výzkum byla použita data z pěti jazyků – španělštiny a katalánštiny, češtiny, angličtiny a finštiny. Návrh je orientován na Universal Dependencies. Univerzální značky sémantických rolí byly aplikovány na 5 jazyků popsaných v článku, nicméně cílem do budoucnosti je aplikovat toto značkování na kompletní data UD.


Announcing the Prague Discourse Treebank 3.0

Uvedení Pražského diskurzního treebanku 3.0

We present the Prague Discourse Treebank 3.0 - a new version of annotation of discourse relations marked by primary and secondary discourse connectives in the data of the Prague Dependency Treebank. It brings three major updates: (i) largely revised annotation of discourse relations, (ii) consistency with the Lexicon of Czech Discourse Connectives (CzeDLex), and (iii) data not only in its native format (Prague Markup Language, discourse relations annotated at the top of the dependency trees), but also in the Penn Discourse Treebank 3.0 format and sense taxonomy (plain text plus a stand-off discourse annotation).

Představujeme Pražský diskurzní treebank 3.0 - novou verzi anotace diskurzních vztahů vyjádřených primárními a sekundárními diskurzními konektory v datech Pražského závislostního korpusu. Přináší tři hlavní aktualizace: (i) opravenou anotaci diskurzních vztahů, (ii) konzistenci se Slovníkem českých diskurzních konektorů (CzeDLex) a (iii) data nejen v původním formátu (Prague Markup Language, diskurzní vztahy anotované v závislostních stromech), ale také ve formátu a taxonomii diskurzních typů Penn Discourse Treebanku 3.0 (prostý text plus samostatná diskurzní anotace).

Pavlína Synková
Jiří Mírovský
Lucie Poláková
Magdaléna Rysová


How Gender Interacts with Political Values: A Case Study on Czech BERT Models

Jak gender interaguje s politickými hodnotami: Studie na českých modelech typu BERT

Neural language models, which reach state-of-the-art results on most natural language processing tasks, are trained on large text corpora that inevitably contain value-burdened content and often capture undesirable biases, which the models reflect. This case study focuses on the political biases of pre-trained encoders in Czech and compares them with a representative value survey. Because Czech is a gendered language, we also measure how the grammatical gender coincides with responses to men and women in the survey.
We introduce a novel method for measuring the model's perceived political values. We find that the models do not assign statement probability following value-driven reasoning, and there is no systematic difference between feminine and masculine sentences.
We conclude that BERT-sized models do not manifest systematic alignment with political values and that the biases observed in the models are rather due to superficial imitation of training data patterns than systematic value beliefs encoded in the models.

Neuronové jazykové modely, které dosahují nejlepších výsledků ve většině úloh zpracování přirozeného jazyka, jsou trénovány na rozsáhlých textových korpusech, které nevyhnutelně obsahují hodnotově zatížený obsah a často zachycují nežádoucí zkreslení, které modely odrážejí. Tato studie se zaměřuje na politická zkreslení předtrénovaných kodérů v češtině a porovnává je s reprezentativním hodnotovým průzkumem. Protože čeština používá gramatický rod, měříme také, jak se gramatický rod shoduje s odpověďmi mužů a žen v průzkumu.
Zavádíme novou metodu měření modelově vnímaných politických hodnot. Zjišťujeme, že modely nepřiřazují pravděpodobnost výroků podle hodnotově orientovaného uvažování a že neexistuje systematický rozdíl mezi větami v ženském a mužském rodě.
Docházíme k závěru, že modely velikosti BERT neprojevují systematický soulad s politickými hodnotami a že zkreslení pozorovaná v modelech jsou spíše důsledkem povrchního napodobování vzorů v trénovacích dat než systematických hodnotových přesvědčení zakódovaných v modelech.


Uhglish : Corpus of Spoken Contact Center Conversations Annotated in Dialog States

Uhglish : korpus mluvených konverzací kontaktních center s anotovanými k dialogovými stavmi

We present a new corpus, named Uhglish, composed of real-life contact center conversations in English that are annotated in dialog states and Named Entities. This corpus has been set up to develop new systems able to model dialog flows in a 2023 event at the turn of speech level. In the contact center industry, the conversation usually aims at solving the caller’s request. As far as we know, most dialog states databases contain acted conversation and are not representative of contact centers. We hypothesize that the current corpora are either too easy or too far from the real conversations happening in contact centers. To solve this issue, we propose a corpus with a double-rich annotation scheme enabling an investigation of the named entities, dialog states, and dialog flow. Uhglish regroups 245 conversations with a total of approximately 85 000 turns of speech, all recorded in a semi-acted environments collected by an intelligent call tracking company. First analyses show a good consistency of the annotations. We also show that ground truth dialog state information can be retrieve by algorithms.

Představujeme nový korpus nazvaný Uhglish, který se skládá z reálných konverzací v kontaktním centru v angličtině, které jsou anotovány v dialogových stavech a pojmenovaných entitách. Tento korpus byl vytvořen za účelem vývoje nových systémů schopných modelovat dialogové toky v události 2023 na úrovni obratu řeči. V oboru kontaktních center je konverzace obvykle zaměřena na na vyřešení požadavku volajícího. Pokud je nám známo, většina databází stavů dialogů obsahuje hranou konverzaci a jsou nejsou reprezentativní pro kontaktní centra. Předpokládáme, že současné korpusy jsou buď příliš jednoduché, nebo příliš vzdálené od skutečných konverzací probíhajících v kontaktních centrech. Abychom tento problém vyřešili, navrhujeme korpus s dvojnásobně bohatým obsahem anotačním schématem, které umožňuje zkoumat pojmenované entity, stavy dialogu a průběh dialogu. Uhglish přeskupuje 245 konverzací s celkem přibližně 85 000 obraty řeči, které byly zaznamenány v poloaktuálním prostředí. shromážděných inteligentní společností pro sledování hovorů. První analýzy ukazují dobrou konzistenci anotací. Rovněž jsme ukazujeme, že základní pravdivé informace o stavu dialogu lze získat pomocí algoritmů.


Compounds in Universal Dependencies: A Survey in Five European Languages

Kompozita v Universal Dependencies: průzkum napříč pěti evropskými jazyky

V Universal Dependencies jsou kompozita, která chápeme jako slova obsahující dva nebo více kořeny, reprezentovány podle tokenizace odrážející ortografické konvence daného jazyka. Uzavřená složenina odpovídá jedinému slovu v Universal Dependencies (např. "vodopád"), zatímco spojovníková složenina ("tchán") a otevřená složenina ("jablkový koláč") se skládají z více slov. Cílem tohoto článku je otevřít diskuzi o tom, jak postoupit směrem k jednotné anotaci složenin. Řešení, které navrhujeme, spočívá v reprezentaci interní struktury všech typů složenin analogicky k syntaktickým frázím. To by nejen zvýšilo srovnatelnost složení uvnitř i mezi jazyky, ale také umožnilo srovnávání složenin a syntaktických frází.

In Universal Dependencies, compounds, which we understand as words containing two or more roots, are represented according to tokenization, which reflects the orthographic conventions of the language. A closed compound corresponds to a single word in Universal Dependencies (e.g., "waterfall") while a hyphenated compound ("father-in-law") and an open compound ("apple pie") to multiple words. The aim of this paper is to open a discussion on how to move towards a more consistent annotation of compounds. The solution we argue for is to represent the internal structure of all compound types analogously to syntactic phrases, which would not only increase the comparability of compounding within and across languages but also allow comparisons of compounds and syntactic phrases.


PaReNT (Parent Retrieval Neural Tool): A Deep Dive into Word Formation Across Languages

PaReNT (Parent Retrieval Neural Tool): Hluboký vhled do slovotvorby napříč jazyky

We present PaReNT (Parent Retrieval Neural Tool), a deep-learning-based multilingual tool performing parent retrieval and word formation classification in English, German, Dutch, Spanish, French, Russian, and Czech. Parent retrieval refers to determining the lexeme or lexemes the input lexeme was based on (e.g. ‘darkness’ is traced back to ‘dark’; ‘waterfall’ decomposes into ‘water’ and ‘fall’). Additionally, PaReNT performs word formation classification, which determines the input lexeme as a compound (e.g. ‘proofread’), a derivative (e.g. ‘deescalate’) or as an unmotivated word (e.g. ‘dog’). These seven languages are selected from three major branches of the Indo-European language family (Germanic, Romance, Slavic). Data is aggregated from a range of word-formation resources, as well as Wiktionary, to train and test the tool. The tool is based on a custom-architecture hybrid transformer block-enriched sequence-to-sequence neural network utilizing both a character-based and semantic representation of the input lexemes, with two output modules – one decoder-based dedicated to parent retrieval, and one classifier-based for word formation classification. PaReNT achieves a mean accuracy of 0.62 in parentretrieval and a mean balanced accuracy of 0.74 in word formation classification.

Představujeme PaReNT (Parent Retrieval Neural Tool), vícejazyčný nástroj založený na hlubokém učení pro vyhledávání slovotvorných předků a slovotvornou klasifikaci v angličtině, němčině, holandštině, španělštině, francouzštině, ruštině a češtině. Vyhledávání slovotvorných předků znamená určení lexému nebo lexémů, na kterých byl založen vstupní lexém (např. „darkness“ se dá vysledovat k ‚dark‘; „waterfall“ se rozloží na „water“ a „fall“). PaReNT navíc provádí slovotvornou klasifikaci, která určuje vstupní lexém jako složený (např. ‚proofread‘), derivát (např. ‚deescalate‘) nebo jako nemotivované slovo (např. ‚dog‘). Těchto sedm jazyků je vybráno ze tří hlavních větví indoevropské jazykové rodiny (germánská, románská, slovanská). Data byla agregována z celé řady slovotvorných zdrojů a Wikislovníku za účelem tréninku a testování nástroje. Nástroj je založen na vlastní hybridní architektuře -- sequence-to-sequence neuronové sítě obohacené o transformerový blok využívající jak znakovou, tak sémantickou reprezentaci vstupních lexémů se dvěma výstupními moduly – jednoho na bázi dekodéru určený pro vyhledávání slovotvorných předů a jednoho klasifikačního modulu určeného pro slovotvornou klasifikaci. PaReNT dosahuje 0,62 accuracy ve vyhledávání slovotvorných předků a balanced accuracy 0,74 ve slovotvorné klasifikaci.


Universal Anaphora: The First Three Years

The aim of the Universal Anaphora initiative is to push forward the state of the art in anaphora and anaphora resolution by expanding the aspects of anaphoric interpretation which are or can be reliably annotated in anaphoric corpora, producing unified standards to annotate and encode these annotations, delivering datasets encoded according to these standards, and developing methods for evaluating models that carry out this type of interpretation. Although several papers on aspects of the initiative have appeared, no overall description of the initiative's goals, proposals and achievements has been published yet except as an online draft. This paper aims to fill this gap, as well as to discuss its progress so far.

Cílem iniciativy Universal Anaphora je posunout stav poznání v oblasti anafory a analýzy anafory tím, že rozšíříme aspekty interpretace anafory, které jsou nebo mohou být spolehlivě anotované v anaforických korpusech, vytvoříme jednotné standardy pro takové anotace, poskytneme sady dat s anotacemi podle těchto standardů a vyvineme metody hodnocení modelů, které vykonávají tento typ interpretace. I když už vyšlo několik článků popisujících jednotlivé aspekty této iniciativy, dosud nebyl publikován žádný souhrnný popis jejích cílů, návrhů a dosažených výsledků. Předkládaný článek má za cíl tuto mezeru zaplnit a probrat dosavadní pokrok iniciativy.

Massimo Poesio
Maciej Ogrodniczuk
Vincent Ng
Sameer Pradhan
Juntao Yu
Nafise Sadat Moosavi
Silviu Paun
Amir Zeldes
Anna Nedoluzhko
Michal Novák
Martin Popel
Zdeněk Žabokrtský
Daniel Zeman


Exploring Interpretability of Independent Components of Word Embeddings with Automated Word Intruder Test

Zkoumání interpretovatelnosti nezávislých složek slovních embeddigů pomocí automatizovaného testu nevhodných slov

Analýza nezávislých komponent (ICA) je algoritmus původně vyvinutý pro vyhledávání oddělených zdrojů ve smíšeném signálu, například v nahrávce více osob mluvících ve stejnou dobu ve stejné místnosti. Na rozdíl od analýzy hlavních komponent (PCA) umožňuje ICA reprezentovat slovo jako nestrukturovanou sadu rysů, aniž by byl některý konkrétní rys považován za významnější než ostatní. V tomto článku jsme použili ICA k analýze slovních vložek. Zjistili jsme, že ICA lze použít k nalezení sémantických rysů slov a tyto rysy lze snadno kombinovat a hledat slova, která kombinaci vyhovují. Ukázali jsme, že většina nezávislých komponent představuje takové rysy. Ke kvantifikaci interpretovatelnosti komponent používáme test narušitelů slov, který provádějí jak lidé, tak velké jazykové modely. Navrhujeme použít automatizovanou verzi testu narušitele slov jako rychlý a levný způsob kvantifikace interpretovatelnosti vektorů bez nutnosti lidské práce.

Independent Component Analysis (ICA) is an algorithm originally developed for finding separate sources in a mixed signal, such as a recording of multiple people in the same room speaking at the same time. Unlike Principal Component Analysis (PCA), ICA permits the representation of a word as an unstructured set of features, without any particular feature being deemed more significant than the others. In this paper, we used ICA to analyze word embeddings. We have found that ICA can be used to find semantic features of the words and these features can easily be combined to search for words that satisfy the combination. We show that most of the independent components represent such features. To quantify the interpretability of the components, we use the word intruder test, performed both by humans and by large language models. We propose to use  the automated version of the word intruder test as a fast and inexpensive way of quantifying vector interpretability without the need for human effort.


Uvádění divadelních her generovaných umělou inteligencí

In this chapter, we look at the theater play AI: When a Robot Writes a Play, which was created in a human-machine collaboration, and discuss the implications of the creation and production process on our understanding of authorship and performance.

V této kapitole se podíváme na divadelní hru AI: When a Robot Writes a Play, která vznikla ve spolupráci člověka a stroje, a rozebereme důsledky procesu tvorby a produkce na naše chápání autorství a performance.


Function Words at Praguian Functional Generative Description

Funkční slova v pražském Funkčním generativním popisu

The present contribution is aimed at a complex description of the treatment of the so-called function words within the framework of a dependency-based Functional Generative Description as proposed in Prague by Petr Sgall and his team and its reflection in the Prague Dependency Treebank, an original annotated corpus of Czech. Both the framework and the treebank are based on a stratificational model of language, a part of which are two levels of dependency-based syntactic structure, one oriented towards the syntactic structure of the sentence on the surface layer called analytical and the other oriented towards the underlying, deep sentence structure called tectogrammatical. The dependency tree structure of the sentence on the analytical level contains all the words present in the sentence as separate nodes, while the dependency representation of a sentence on the tectogrammatical level conceived of as a linguistically structured meaning of the sentence contains only content words as its nodes. On the analytical level, a distinction is made between different classes of function words, the main boundary being between the function words functioning within verbal complexes and containing information about the morpho-syntactic properties of verbs (i.e. auxiliaries) and those being parts of nominal groups (prepositions) or connecting clauses (or, as the case may be, parts of clauses) into one whole (conjunctions). It is argued in the paper that auxiliaries should be considered to be dependents on the verb that is their governor and to which they „belong“, and the prepositions and conjunctions, on the contrary, should be considered to be the heads of the nouns or clauses the form of which they “govern” or “control”. On the tectogrammatical level, the semantic contribution of the function words to the meaning of the sentence is reflected by information attached to the nodes of the tectogrammatical tree in the form of complex labels.  Auxiliaries, prepositions and conjunctions are the most evident classes of function words, though there are some groups of words such as particles that stand on the borderline between function words and content words, to which we also pay attention in our study.

Tento příspěvek je zaměřen na komplexní popis zacházení s tzv. funkčními slovy v rámci závislostního funkčního generativního popisu a jeho odraz v Pražském závislostním korpusu. Teoretický rámec i treebank jsou založeny na stratifikačním modelu jazyka, jehož součástí jsou dvě úrovně syntaktické struktury založené na závislosti, jedna orientovaná na povrchovou syntaktickou strukturu věty (analytická rovina) a druhá orientovaná na hloubkovou větnou strukturu (tektogramatická). Závislostní stromová struktura věty na analytické úrovni obsahuje všechna slova přítomná ve větě jako samostatné uzly, zatímco závislostní reprezentace věty na tektogramatické úrovni koncipované jako lingvisticky strukturovaný význam věty obsahuje pouze obsahová slova jako její uzly. Na analytické úrovni se rozlišují různé třídy funkčních slov, přičemž hlavní hranice je mezi funkčními slovy fungujícími v rámci verbálních komplexů a obsahujícími informace o morfosyntaktických vlastnostech sloves a těch, které jsou součástí nominálních skupin (předložky) nebo spojují věty (případně části vět) v jeden celek (spojky). V příspěvku se tvrdí, že pomocná slovesa se považují za závislé na slovesu, ke kterému „patří“, a předložky a spojky se naopak považují za hlavy podstatných jmen, jejichž formu „řídí“ nebo „ovládají“. Na tektogramatické rovině se sémantický přínos funkčních slov k významu věty odráží v informacích připojených k uzlům tektogramatického stromu ve formě komplexních atributů. Pomocná slovesa, předložky a spojky jsou nejzřetelnějšími třídami funkčních slov, existují skupiny také slov, jako jsou částice, které stojí na pomezí mezi funkčními slovy a obsahovými slovy, kterým je ve studii také věnována pozornost.

Eva Hajičová
Jarmila Panevová
Marie Mikulová
Jan Hajič


Cost-Effective Discourse Annotation in the Prague Czech–English Dependency Treebank

Nákladově efektivní anotace diskurzu v Pražském česko-anglickém závislostním treebanku.

We present a cost-effective method for obtaining a high quality annotation of explicit discourse relations in the Czech part of the Prague Czech-English Dependency Treebank, utilizing three resources: (i) annotation projection from the Penn Discourse Treebank 3.0, (ii) manual tectogrammatical (deep syntax) representation of sentences of the corpus, and (iii) the Lexicon of Czech Discourse Connectives CzeDLex.

Představujeme nákladově efektivní metodu pro získání vysoce kvalitní anotace explicitních diskurzních vztahů v české části Pražského česko-anglického závislostního treebanku s využitím tří zdrojů: (i) projekce anotace z Penn Discourse Treebanku 3.0, (ii) ruční tektogramatické (hloubkové syntaktické) reprezentace vět korpusu a (iii) Slovníku českých diskurzních konektorů CzeDLex.

Jiří Mírovský
Pavlína Synková
Lucie Poláková
Marie Paclíková


Fine-grained Classification of Circumstantial Meanings within the Prague Dependency Treebank Annotation Scheme

Jemná klasifikace okolnostních významů v rámci anotačního schématu Pražského závislostního korpusu

In the contribution, we propose a formally and semantically based fine-grained classification of circumstantial meanings based on the analysis of a large number of valuable examples from the Prague Dependency Treebanks. The methodology and principles of the presented approach are elaborated in detail and demonstrated on two case studies. The classification of circumstantial meanings is carried out for the Czech language, but the methodology and principles used are language independent. The contribution also addresses the question of language universality and specificity through a comparison with English. The aim of this work is to enrich the annotation in the Prague Dependency Treebanks with detailed information on circumstantial meanings but it may also be useful for other semantically oriented projects. To the best of our knowledge, a similar corpus-based and corpus-verified elaborate classification of circumstantial meanings has not yet been proposed in any annotation project. The contribution presents the results of an ongoing work.

V příspěvku navrhujeme formálně a sémanticky podloženou jemnozrnnou klasifikaci okolnostních významů na základě analýzy velkého množství příkladů z Pražských závislostních korpusů. Metodika a principy prezentovaného přístupu jsou podrobně rozpracovány a demonstrovány na dvou případových studiích. Klasifikace okolnostních významů se provádí pro český jazyk, ale použitá metodika a principy jsou jazykově nezávislé. Příspěvek se také zabývá otázkou jazykové univerzality a specifičnosti prostřednictvím srovnání s angličtinou. Cílem této práce je obohatit anotaci Pražských závislostních korpusů, ale navržená klasifikace může být užitečná i pro jiné sémanticky zaměřené projekty. Pokud je nám známo, podobná korpusově založená a korpusově ověřená propracovaná klasifikace okolnostních významů nebyla dosud navržena v žádném anotačním projektu. Příspěvek prezentuje výsledky probíhající práce.


The function-to-form principle in the determination of secondary forms (On the case of delimitation of circumstantial meanings)

Uplatňování funkčního přístupu při určování sekundárních předložek (na úloze klasifikace okolnostních významů)vání

Within the task of classifying circumstantial meanings, we revise existing approaches to the determination of secondary prepositions and conjunctions. Introducing a function-to-form approach, we propose three principles for determining secondary forms and their meanings. The functional approach sheds light on the nuanced nature of these formal means, highlighting their capacity to convey semantico-syntactic dependency and emphasising the dynamic and diverse nature of this class of formal means.

Na úkolu klasifikace okolnostních významů revidujeme dosavadní přístupy k určování sekundárních předložek a spojek. Zavedením přístupu od funkce k formě navrhujeme tři principy pro určování sekundárních forem a jejich významů. Funkční přístup poukazuje na nuanční povahu těchto formálních prostředků a zdůrazňuje jejich schopnost zprostředkovat sémantiko-syntaktickou závislost.


ReadabilityCzech - softwarová knihovna pro jazyk R

ReadabilityCzech computes readability of texts written in Czech with language-specific adaptations of the classic readability formulas Flesch Reading Ease and Flesch-Kincaid Grade Level.

Both readability formulas use counts of syllables, word counts per sentence, and sentence counts. The syllable counts per word are computed by a dedicated script in this package. The word and sentence counts are obtained from an automatic text analysis implemented by the udpipe package by J. Wijffels.

ReadabilityCzech počítá pochopitelnost česky psaného textu pomocí klasických vzorců Flesch Reading Ease a Flesch-Kincaid Grade Level adaptovaných na češtinu. Oba vzorce počítají s počtem slabik ve slově a počtem slov ve větě. Slabiky se počítají speciálním skriptem vyvinutým pro tento balíček. Počty vět a počty slov ve větách se získávají pomocí výstupu z největšího českého jazykového modelu parseru UDPipe.


Training data for the shared task Ideology and Power Identification in Parliamentary Debates

Trénovací data pro sdílený úkol Ideologie a identifikace moci v parlamentních debatách

This dataset contains a selection of speeches from ParlaMint corpora (version 4.0) as the training set for  the shared task on "Ideology and Power Identification in Parliamentary Debates" in CLEF 2024.

Tento datový soubor obsahuje výběr projevů z ParlaMint corpora (verze 4.0) jako tréninkový soubor pro sdílený úkol „Ideologie a identifikace moci v parlamentních debatách“ v CLEF 2024.

Çağrı Çöltekin
Matyáš Kopp
Vaidas Morkevičius
Nikola Ljubešić
Katja Meden
Tomaž Erjavec


More than just ChatGPT: Principles and capabilities of current artificial intelligence tools

Více než jen ChatGPT: Principy a možnosti současných nástrojů umělé inteligence


AudioPSP 24.01: Audio recordings of proceedings of the Chamber of Deputies of the Parliament of the Czech Republic

Audio recordings of proceedings of the Chamber of Deputies of the Parliament of the Czech Republic. Recordings cover all available audio files from 2013-11-25 to 2023-07-26.

Zvukové záznamy z jednání Poslanecké sněmovny Parlamentu České republiky. Záznamy pokrývají všechny dostupné zvukové soubory od 2013-11-25 do 2023-07-26.


The ParCzech 4.0 corpus consists of stenographic protocols that record the Chamber of Deputies' meetings in the 7th term (2013-2017), the 8th term (2017-2021) and the current 9th term (2021-Jul 2023). The protocols are provided in their original HTML format, Parla-CLARIN TEI format. The corpus is automatically enriched with the morphological, syntactic, and named-entity annotations using the procedures UDPipe 2 and NameTag 2. The audio files are aligned with the texts in the annotated TEI files.

Korpus ParCzech 4.0 se skládá ze stenografických protokolů, které zaznamenávají schůze Poslanecké sněmovny v 7. volebním období (2013-2017), 8. volebním období (2017-2021) a aktuálním 9. volebním období (2021-7. 2023). Protokoly jsou poskytovány v původním HTML formátu, Parla-CLARIN TEI formátu. Korpus je automaticky obohacen o morfologické, syntaktické a pojmenované anotace pomocí postupů UDPipe 2 a NameTag 2. Zvukové soubory jsou sladěny s texty v komentovaných TEI souborech.


Function Words in Universal Dependencies

Languages differ in the way they encode grammatical structure, drawing on a wide range of strategies including the linear arrangement of words and phrases, morphological processes such as inflection, derivation, compounding and incorporation, as well as the use of specialized particles which may be realized as clitics or independent words. The latter are commonly known as function words.

Jazyky se liší v tom, jakým způsobem kódují gramatickou strukturu, přičemž využívají širokou škálu strategií včetně lineárního uspořádání slov a frází, morfologických procesů jako je ohýbání, odvozování, skládání slov a inkorporace, ale také použitím zvláštních částic, které mohou být realizovány jako příklonky nebo samostatná slova. Pokud jde o samostatná slova, používá se pro ně pojem funkční (též synsémantická) slova.

Marie-Catherine de Marneffe
Joakim Nivre
Daniel Zeman


Building an Infrastructure for Uniform Meaning Representations

This paper reports the first release of the UMR (Uniform Meaning Representation) data set. UMR is a graph-based
meaning representation formalism consisting of a sentence-level graph and a document-level graph. The sentencelevel graph represents predicate-argument structures, named entities, word senses, aspectuality of events, as
well as person and number information for entities. The document-level graph represents coreferential, temporal,
and modal relations that go beyond sentence boundaries. UMR is designed to capture the commonalities and
variations across languages and this is done through the use of a common set of abstract concepts, relations, and
attributes as well as concrete concepts derived from words from individual languages. This UMR release includes
annotations for six languages (Arapaho, Chinese, English, Kukama, Navajo, Sanapana) that vary greatly in terms
of their linguistic properties and resource availability. We also describe on-going efforts to enlarge this data set
and extend it to other genres and modalities. We also briefly describe the available infrastructure (UMR annotation
guidelines and tools) that others can use to create similar data sets.

Tento článek informuje o prvním vydání datové sady UMR (Uniform Meaning Representation). UMR je na grafu založený
reprezentační formalismus, který se skládá z grafu na úrovni věty a grafu na úrovni dokumentu. Graf na úrovni věty reprezentuje struktury predikátových argumentů, pojmenované entity, slovní smysly, aspektualitu událostí, jako
i informace o osobách a číslech pro entity. Graf na úrovni dokumentu reprezentuje koreferenční, časové,
a modální vztahy, které přesahují hranice věty. UMR je navrženo tak, aby zachycovalo společné rysy a
variace napříč jazyky, a to pomocí společné sady abstraktních pojmů, relací a
atributů i konkrétních konceptů odvozených ze slov z jednotlivých jazyků. Tato verze UMR obsahuje
anotace pro šest jazyků (Arapaho, čínština, angličtina, Kukama, Navajo, Sanapana), které se značně liší z hlediska
jejich jazykových vlastností a dostupnosti zdrojů. Popisujeme také probíhající snahy o rozšíření této datové sady
a rozšířit ji na další žánry a modality. Dále stručně popisujeme dostupnou infrastrukturu (UMR anotace
pokyny a nástroje), které mohou ostatní použít k vytvoření podobných datových souborů.

Julia Bonn
Matthew Buchholz
Jayeol Chun
Andrew Cowell
William Croft
Lukas Denk
Jens E L Van Gysel
Jan Hajič
Kenneth Lai
James Martin
Skatje Myers
Alexis Palmer
Martha Palmer
James Pustejovsky
Zdeňka Urešová
Nianwen Xue
Jin Zhao
Bennet Post
Kristine Stenzel
Haibo Sun
Rosa Vallejos
Sijia Ge


Towards Unified Uni- and Multi-modal News Headline Generation

Směrem ke sjednocenému uni- a multimodálnímu vytváření titulků zpráv

Thanks to the recent progress in vision-language modeling and the evolving nature of news consumption, the tasks of automatic summarization and headline generation based on multimodal news articles have been gaining popularity. One of the limitations of the current approaches is caused by the commonly used sophisticated modular architectures built upon hierarchical cross-modal encoders and modality-specific decoders, which restrict the model's applicability to specific data modalities – once trained on, e.g., text+video pairs there is no straightforward way to apply the model to text+image or text-only data. In this work, we propose a unified task formulation that utilizes a simple encoder-decoder model to generate headlines from uni- and multi-modal news articles. This model is trained jointly on data of several modalities and extends the textual decoder to handle the multimodal output.

Díky nedávnému pokroku v modelování vizuálního jazyka a vyvíjející se povaze spotřeby zpráv získávají na oblibě úkoly automatické sumarizace a generování titulků na základě multimodálních zpravodajských článků. Jedno z omezení současných přístupů je způsobeno běžně používanými sofistikovanými modulárními architekturami postavenými na hierarchických crossmodálních kodérech a dekodérech specifických pro modalitu, které omezují použitelnost modelu na konkrétní datové modality – jakmile jsou natrénovány např. na párech text+video. neexistuje žádný přímý způsob, jak aplikovat model na text+obrázek nebo pouze textová data. V této práci navrhujeme jednotnou formulaci úkolu, která využívá jednoduchý model kodér-dekodér pro generování titulků z uni- a multimodálních zpravodajských článků. Tento model je trénován společně na datech několika modalit a rozšiřuje textový dekodér o zpracování multimodálního výstupu.


Evaluating Optimal Reference Translations

Hodnocení optimálních referenčních překladů

The overall translation quality reached by current machine translation (MT) systems for high-resourced language pairs is remarkably good. Standard methods of evaluation are not suitable nor intended to uncover the many translation errors and quality deficiencies that still persist. Furthermore, the quality of standard reference translations is commonly questioned and comparable quality levels have been reached by MT alone in several language pairs. Navigating further research in these high-resource settings is thus difficult. In this paper, we propose a methodology for creating more reliable document-level human reference translations, called “optimal reference translations,” with the simple aim to raise the bar of what should be deemed “human translation quality.” We evaluate the obtained document-level optimal reference translations in comparison with “standard” ones, confirming a significant quality increase and also documenting the relationship between evaluation and translation editing.

Celková kvalita překladu, které dosahují současné systémy strojového překladu (MT) pro jazykové páry s velkým množstvím zdrojů, je pozoruhodně vysoká. Standardní metody hodnocení nejsou vhodné ani nejsou určeny k odhalování chyb a nedostatků v kvalitě překladu, které stále přetrvávají. Kromě toho je kvalita standardních referenčních překladů běžně zpochybňována a srovnatelné úrovně kvality dosáhlysystémy MT pouze v několika jazykových párech. Orientace v dalším výzkumu v těchto podmínkách s velkým množstvím zdrojů je tedy obtížná. V tomto článku navrhujeme metodiku pro vytváření spolehlivějších referenčních dokumentů na úrovni lidských překladů, nazývaných "optimální referenční překlady", s jednoduchým cílem zvýšit laťku toho, co by mělo být považováno za "kvalitu lidského překladu". Získané optimální referenční překlady na úrovni dokumentů vyhodnocujeme v porovnání se "standardními" překlady, přičemž potvrzujeme výrazné zvýšení kvality a také dokumentujeme vztah mezi hodnocením a úpravou překladu.

Vilém Zouhar
Věra Kloudová
Martin Popel
Ondřej Bojar


Leak, Cheat, Repeat: Data Contamination and Evaluation Malpractices in Closed-Source LLMs

Kontaminace dat a nekalé praktiky při vyhodnocování komerčních jazykových modelů

Natural Language Processing (NLP) research is becoming increasingly focused on the use of Large Language Models (LLMs), with some of the most popular ones being either fully or partially closed-source. The lack of access to model details, especially regarding training data, has repeatedly raised concerns about data contamination among researchers. Several attempts have been made to address this issue, but they are limited to anecdotal evidence and trial and error. Additionally, they overlook the problem of indirect data leaking, where models are iteratively improved by using data coming from users. In this work, we conduct the first systematic review of work using OpenAI's ChatGPT and GPT-4, the most prominently used LLMs today, in the context of data contamination. By analysing 255 papers and considering OpenAI's data usage policy, we extensively document how much data has been leaked to ChatGPT in the first year after the model's release. At the same time, we document a number of evaluation malpractices emerging in the reviewed papers, including unfair or missing baseline comparisons, reproducibility issues, and authors' lack of awareness of the data usage policy. Our work provides the first quantification of the ChatGPT data leakage problem.

Výzkum zpracování přirozeného jazyka (NLP) se stále více zaměřuje na používání velkých jazykových modelů (LLM), přičemž některé z nejpopulárnějších modelů jsou buď plně, nebo částečně closed-source. Nedostatečný přístup k údajům o modelu, zejména pokud jde o trénovací data, opakovaně vyvolává mezi výzkumníky obavy z kontaminace dat. Bylo učiněno několik pokusů o řešení tohoto problému, které se však omezují na anekdotické důkazy a pokusy a omyly. Navíc přehlížejí problém nepřímého úniku dat, kdy jsou modely iterativně vylepšovány pomocí dat pocházejících od uživatelů. V této práci provádíme první systematický přehled prací využívajících ChatGPT a GPT-4 společnosti OpenAI, dnes nejpoužívanější LLM, v kontextu kontaminace dat. Na základě analýzy 255 prací a s přihlédnutím k politice používání dat společnosti OpenAI rozsáhle dokumentujeme, kolik dat uniklo do modelu ChatGPT v prvním roce po jeho vydání. Současně dokumentujeme řadu chybných praktik při evaluaci, které se objevují v recenzovaných článcích, včetně nekorektních srovnání nebo chybějících baselines, problémů s reprodukovatelností a nedostatečného povědomí autorů o politice používání dat. Naše práce poskytuje první kvantifikaci problému úniku dat v ChatGPT.

Simone Balloccu
Patrícia Schmidtová
Mateusz Lango
Ondřej Dušek


LatinPipe at the EvaLatin 2024 Dependency Parsing Shared Task

Příspěvek LatinPipe ve sdílené úloze EvaLatin 2024 v závislostním parsingu

We present LatinPipe, the winning submission to the EvaLatin 2024 Dependency Parsing shared task. Our system consists of a fine-tuned concatenation of base and large pre-trained LMs, with a dot-product attention head for parsing and softmax classification heads for morphology to jointly learn both dependency parsing and morphological analysis. It is trained by sampling from seven publicly available Latin corpora, utilizing additional harmonization of annotations to achieve a more unified annotation style. Before fine-tuning, we train the system for a few initial epochs with frozen weights. We also add additional local relative contextualization by stacking the BiLSTM layers on top of the Transformer(s). Finally, we ensemble output probability distributions from seven randomly instantiated networks for the final submission. The code is available at https://github.com/ufal/evalatin2024-latinpipe.

Představujeme LatinPipe, vítězný soutěžní systém do EvaLatin 2024 sdíleného úkolu v závislostním parsingu. Náš systém se skládá z fine-tunovaného předtrénovaného jazykového modelu a modeluje jak závislostní parsing pomocí dot-product attention hlavy, tak morfologickou analýzu pomocí softmaxových klasifikačních hlav. Systém je trénován vzorkováním ze sedmi veřejně dostupných latinských korpusů, využívajících dodatečnou harmonizaci anotací k dosažení jednotnějšího stylu anotací. Před doladěním trénujeme systém po několik počátečních epoch se zafixovanými váhami. Přidáváme také dodatečnou lokální relativní kontextualizaci přidáním BiLSTM vrstev nad Transformer(y). Nakonec ve finálním systému skládáme výstupní pravděpodobnostní rozdělení jako ensemble ze sedmi náhodně instancovaných sítí. Zdrojový kód je dostupný na https://github.com/ufal/evalatin2024-latinpipe.

Milan Straka
Jana Straková
Federica Gamba


Developing a Rhetorical Structure Theory Treebank for Czech

Vývoj treebanku dle teorie rétorické struktury pro češtinu

We introduce the first version of the Czech RST Discourse Treebank, a collection of Czech journalistic texts manually annotated using the Rhetorical Structure Theory (RST), a global coherence model proposed by Mann and Thompson (1988).

Představujeme první verzi korpusu Czech RST Discourse Treebank, soubor českých žurnalistických textů ručně anotovaných na základě lingvistické teorie globální koherence Rhetorical Structure Theory (RST, Mann a Thompsonová, 1988).

Lucie Poláková
Jiří Mírovský
Šárka Zikánová
Eva Hajičová


Conversion in languages with different morphological structures: A semantic comparison of English and Czech

Konverze v jazycích s jinými morfologickými strukturami: Kognitivně-sémantické srovnání angličtiny a češtiny

This article presents a comparative study of the semantics of conversion between verbs and nouns in two languages with different morphological structures – English and Czech. To make the cross-linguistic comparison of semantic relations possible, a cognitive approach is used to provide conceptual semantic categories applicable across both languages. The semantic categories, based on event schemata introduced by Radden & Dirven (2007) primarily for syntactic description, are applied to data samples of verb–noun conversion pairs in both languages, using a dictionary-based approach. We analyse a corpus sample of 300 conversion pairs of verbs and nouns in each language (e.g., run.v – run.n, pepper.n – pepper.v; běhat ‘run.v’– běh ‘run.n’, pepř ‘pepper.n’ – pepřit ‘pepper.v’) annotated for the semantic relation between the verb and the noun. We analyse which relations appear in the two languages and how often, looking for significant differences to answer the question of whether the morphological characteristics of a language influence the semantics of conversion. The analysis of the annotated samples documents that the languages most often employ conversion for the same concepts (namely, instance of action and result) and that the range of semantic categories in English and Czech is generally the same, suggesting that the typological differences between the two languages do not affect the range of possible meanings that conversion can express. The data also show a marked difference in the number of conversion pairs with multiple semantic relations between the verb and the noun, which was found to be larger in English than in Czech, and also in the frequency with which certain semantic relations occur, and these differences seem to be at least partially related to the morphological characteristics of Czech and English.

Tento článek představuje srovnávací studii sémantiky konverze mezi slovesy a podstatnými jmény ve dvou jazycích s odlišnou morfologickou strukturou - angličtině a češtině. Aby bylo možné mezijazykové srovnání sémantických vztahů, je použit kognitivní přístup, který poskytuje konceptuální sémantické kategorie použitelné v obou jazycích. Sémantické kategorie, založené na konceptuálních schématech událostí zavedených Raddenem & Dirvenem (2007) primárně pro syntaktický popis, jsou aplikovány na datové vzorky konverzních dvojic sloves a podstatných jmen v obou jazycích, a to na základě slovníků. Analyzujeme korpusový vzorek 300 konverzních dvojic sloves a podstatných jmen v každém jazyce (např. run.v - run.n, pepper.n - pepper.v; běhat - běh, pepř - pepřit), u nichž je anotován sémantický vztah mezi slovesem a podstatným jménem. Analyzujeme, které vztahy se v obou jazycích objevují a jak často, a hledáme významné rozdíly, abychom odpověděli na otázku, zda morfologické charakteristiky jazyka ovlivňují sémantiku konverze. Analýza anotovaných vzorků dokládá, že oba jazyky nejčastěji používají konverzi pro stejné koncepty (konkrétně instanci děje a výsledek) a že rozsah sémantických kategorií v angličtině a češtině je obecně stejný, což naznačuje, že typologické rozdíly mezi oběma jazyky nemají vliv na rozsah možných významů, které konverze může vyjádřit. Data také ukazují výrazný rozdíl v počtu konverzních dvojic s více sémantickými vztahy mezi slovesem a podstatným jménem, který je větší v angličtině než v češtině, a také ve frekvenci, s níž se určité sémantické vztahy vyskytují - tyto rozdíly zřejmě alespoň částečně souvisejí s morfologickými charakteristikami češtiny a angličtiny.


Charles Translator: A Machine Translation System between Ukrainian and Czech

Charles Translator: překladový systém mezi ukrajinštinou a češtinou

We present the Charles Translator, a machine translation system between Ukrainian and Czech. The translator is implemented as an online web interface and as an Android app with speech input, both featuring Cyrillic-Latin script transliteration. The system translates directly, in comparison to other available systems that use English as a pivot.

Představujeme Charles Translator, překladový systém mezi ukrajinštinou a češtinou. Překladač je implementován jako online webová služba a jako aplikace pro Android s řečovým vstupem, včetně transliterace mezi azbukou a latinkou. Systém překládá přímo, ve srovnání s jinými dostupnými překladači, které pivotují přes angličtinu.

Martin Popel
Lucie Poláková
Michal Novák
Jindřich Helcl
Jindřich Libovický
Pavel Straňák
Tomáš Krabač
Jaroslava Hlaváčová
Mariia Anisimova
Tereza Chlaňová


Simultaneouly translates into more than 40 languages. Czech scientists developed a unique translation system

Simultánně tlumočí do více než 40 jazyků současně. Čeští vědci vyvinuli unikátní překladatelský systém

The abstract is only in Czech:

Jeden řečník, pět tlumočníků a simultánní tlumočení do více než 40 jazyků. To dokáže systém Elitr, evropský on-line překladatel, u jehož zrodu stáli odborníci z Matematicko-fyzikální fakulty Univerzity Karlovy. Je určený pro konference a každé slovo pronesené řečníkem musí během několika milisekund proběhnout skoro celou Evropou, aby si je lidé mohli vzápětí přečíst na mobilu.

Eva Kézrová
Ondřej Bojar
Dominik Macháček


Overview of the Second Shared Task on Automatic Minuting (AutoMin) at INLG 2023

Přehled druhého úkolu o automatickém zápisu ze schůzek (AutoMin) na konferenci INLG 2023

In this article, we report the findings of the second shared task on Automatic Minuting (AutoMin) held as a Generation Challenge at the 16th International Natural Language Generation (INLG) Conference 2023. The second Automatic Minuting shared task is a successor to the first AutoMin which took place in 2021. The primary objective of the Au- toMin shared task is to garner participation of the speech and natural language process- ing and generation community to create au- tomatic methods for generating minutes from multi-party meetings. Five teams from diverse backgrounds participated in the shared task this year. A lot has changed in the Genera- tive AI landscape since the last AutoMin espe- cially with the emergence and wide adoption of Large Language Models (LLMs) to differ- ent downstream tasks. Most of the contribu- tions are based on some form of an LLM and we are also adding current outputs of GPT- 4 as a benchmark. Furthermore, we examine the applicability of GPT-4 for automatic scor- ing of minutes. Compared to the previous in- stance of AutoMin, we also add another do- main, the minutes for EU Parliament sessions, and we experiment with a more fine-grained manual evaluation. More details on the event can be found at https://ufal.github.io/ automin-2023/.

V tomto článku informujeme o výsledcích druhé sdílené úlohy o automatickém zzápisu ze schůzek (AutoMin), která se konala jako Generation Challenge na 16. mezinárodní konferenci o generování přirozeného jazyka (INLG) 2023. Druhá sdílená úloha Automatic Minuting navazuje na první úlohu AutoMin, která se konala v roce 2021. Hlavním cílem sdílené úlohy AutoMin je získat účast komunity zpracovávající a generující řeč a přirozený jazyk pro vytvoření automatických metod pro generování zápisů z jednání více stran. Letos se sdílené úlohy zúčastnilo pět týmů z různých oblastí. Od posledního AutoMinu se v oblasti generativní umělé inteligence hodně změnilo, zejména s nástupem a širokým rozšířením velkých jazykových modelů (Large Language Models, LLM) pro různé navazující úlohy. Většina příspěvků je založena na nějaké formě LLM a přidáváme také aktuální výstupy GPT- 4 jako benchmark. Dále zkoumáme použitelnost GPT-4 pro automatické skórování protokolů. Oproti předchozímu institutu AutoMin přidáváme také další dokumentaci, zápisy ze zasedání Parlamentu EU, a experimentujeme s jemnějším manuálním hodnocením. Více podrobností o této akci naleznete na adrese https://ufal.github.io/ automin-2023/.

Tirthankar Ghosal
Ondřej Bojar
Marie Hledíková
Tom Kocmi
Anna Nedoluzhko


Multi-Feature Clustering of Search Results

Shlukování výsledků vyhledávání s ohledem na více rysů

Search engines are a helpful tool used by many people on a daily basis. However, their usability is limited: Search results are returned as flat ranked lists and additional user input is required in order to explore the subtopics of the given search query. One way to bring more structure into these search results is clustering.

This thesis proposes methods to automatically cluster search results into different subtopics by making use of query-specific features. These features include the topics of documents, which can be determined from their paragraphs with the help of language models, as well as named entities, which are abundant in news documents, and metadata such as publication dates.
Hereby, the focus lies on computationally viable feature extraction and embedding techniques using recent technologies in natural language processing that generalize to different domains and languages.
In addition to traditional document clustering methods, novel approaches for temporal clustering are proposed, which are based on bin-wise gradients and the hierarchical merging of histograms of timestamps.

Experiments on English search results and on a corpus of German news documents determine baseline models for topical clustering and named entity clustering, and show the potential for trend identification by temporal clustering. They further conclude that the order of operations significantly impacts the results when search results are clustered hierarchically with respect to multiple features on different levels of the hierarchy. The main takeaway for constructing a search clustering pipeline architecture is that the majority of its computation time can be hidden by precomputing document embeddings and retrieving them with the input search results.

Vyhledávače jsou užitečným nástrojem, který denně používá mnoho lidí. Jejich použitelnost je však omezená: Výsledky vyhledávání jsou vraceny jako ploché řazené seznamy a pro prozkoumání dílčích rysů daného vyhledávacího dotazu je nutný dodatečný uživatelský vstup. Jedním ze způsobů, jak do výsledků vyhledávání vnést větší strukturu, je shlukování.

Tato práce navrhuje metody pro automatické seskupování výsledků vyhledávání do různých dílčích rysů s využitím vlastností specifických pro dotaz. Mezi tyto vlastnosti patří témata dokumentů, která lze určit z jejich odstavců pomocí jazykových modelů, stejně jako pojmenované entity, které jsou hojně zastoupeny v diskusních dokumentech, a metadata, jako jsou data publikace.
Tím je kladen důraz na výpočetně životaschopné techniky extrakce a vkládání funkcí s využitím nejnovějších technologií ve zpracování přirozeného jazyka, které se zobecňují do různých domén a jazyků.
Kromě tradičních metod shlukování dokumentů jsou navrhovány nové přístupy k časovému shlukování, které jsou založeny na přechodech podle bin a hierarchickém slučování histogramů časových razítek.

Experimenty s výsledky vyhledávání v angličtině a na korpusu německých zpravodajských dokumentů určují základní modely pro aktuální shlukování a shlukování pojmenovaných entit a ukazují potenciál pro identifikaci trendů pomocí časového shlukování. Dále dochází k závěru, že pořadí operací významně ovlivňuje výsledky, když jsou výsledky vyhledávání shlukovány hierarchicky s ohledem na více funkcí na různých úrovních hierarchie. Hlavní myšlenkou pro konstrukci architektury potrubí pro shlukování vyhledávání je, že většina jeho výpočetního času může být skryta předkomprimováním vložení dokumentů a jejich načtením se vstupními výsledky vyhledávání.


DocMarker is an annotation tool for creating training data for the text-to-form information retrieval NLP task. Say you have a free-form text (rich-text maybe) that contains some information that should be filled out into some structured form. This tool lets you record and annotate this form-filling process.

DocMarker je anotační nástroj pro tvorbu trénovacích dat pro úlohu získávání informací z volného textu do strukturovaného formuláře.


Czech Language Olympics in the changes of time

Olympiáda v českém jazyce v proměnách času

The paper presents an analysis of the Czech Language Olympics tasks.

Článek předkládá analýzu soutěžních úkolů Olympiády v českém jazyce.


Analysis of Corpus-based Word-Order Typological Methods

Analýza typologických metod korpusového zkoumání slovosledu

This article presents a comparative analysis of four different syntactic typological approaches applied to 20 different languages. We compared three specific quantitative methods, using parallel CoNLL-U corpora, to the classification obtained via syntactic features provided by a typological data-base (lang2vec).

Tento článek představuje srovnávací analýzu čtyř různých syntaktických typologických přístupů aplikovaných na 20 různých jazyků. Porovnali jsme tři specifické kvantitativní metody s využitím paralelních korpusů ve formátu CoNLL-U, na klasifikaci prostřednictvím syntaktických rysů získaných z typologické databáze (lang2vec).

Diego Alves
Božo Bekavac
Daniel Zeman
Marko Tadić


Corpus-based Syntactic Typological Methods for Dependency Parsing Improvement

Na korpusu založené syntaktické typologické metody zlepšení závislostní syntaktické analýzy

This article presents a comparative analysis of four different syntactic typological approaches applied to 20 different languages to determine the most effective one to be used for the improvement of dependency parsing results via corpus combination. We evaluated these strategies by calculating the correlation between the language distances and the empirical LAS results obtained when languages were combined in pairs. From the results, it was possible to observe that the best method is based on the extraction of word order patterns which happen inside subtrees of the syntactic structure of the sentences.

Tento článek představuje srovnávací analýzu čtyř různých syntaktických typologických metod použitých na 20 různých jazyků za účelem stanovení, která metoda může nejvíce přispět ke zlepšení výsledků automatické syntaktické analýzy (parsingu) při kombinování korpusů. Tyto strategie jsme vyhodnotili tak, že jsme spočítali korelaci mezi vzdáleností jazyků na jedné straně a úspěšností parsingu (LAS), získanou při kombinaci jazyků po dvojicích. Ve výsledcích bylo možné pozorovat, že nejlepší metoda je založena na extrakci slovosledných vzorů, které se objevují uvnitř podstromů v syntaktické struktuře vět.


Corpus-Based Multilingual Event-type Ontology: annotation tools and principles

Vícejazyčná ontologie synonym založená na korpusu: anotační nástroje a principy

In the course of building a multilingual Event-type Ontology resource called SynSemClass, it was necessary to provide the maintainers and the annotators with a set of tools to facilitate their job, achieve data format consistency, and in general obtain high-quality data. We have adapted a previously existing tool, developed to assist the work in capturing bilingual synonymy. This tool needed to be both substantially expanded with some new features and fundamentally changed in the context of developing the resource for more languages, which necessarily is to be done in parallel. We are thus presenting here the tool, the new data structure design which had to change at the same time, and the associated workflow.

V průběhu budování vícejazyčného zdroje Event-type Ontology s názvem SynSemClass bylo nutné poskytnout správcům a anotátorům sadu nástrojů, které jim usnadní práci, dosáhnou konzistence datového formátu a obecně získají vysoce kvalitní data. Upravili jsme dříve existující nástroj, vyvinutý tak, aby pomáhal při práci se zachycením dvojjazyčných synonym. Tento nástroj bylo potřeba jak podstatně rozšířit o některé nové funkce, tak zásadně změnit v souvislosti s vývojem zdroje pro více jazyků, což se nutně musí dít paralelně. Prezentujeme zde tedy nástroj, návrh nové datové struktury, která se musela zároveň změnit, a související workflow.


HaVQA: A Dataset for Visual Question Answering and Multimodal Research in Hausa Language

HaVQA: Datová sada pro vizuální zodpovídání otázek a multimodální výzkum v jazyce hausa

This paper presents HaVQA, the first multimodal
dataset for visual question-answering
(VQA) tasks in the Hausa language. The
dataset was created by manually translating
6,022 English question-answer pairs, which
are associated with 1,555 unique images from
the Visual Genome dataset. As a result, the
dataset provides 12,044 gold standard English-
Hausa parallel sentences that were translated in
a fashion that guarantees their semantic match
with the corresponding visual information. We
conducted several baseline experiments on the
dataset, including visual question answering,
visual question elicitation, text-only and multimodal
machine translation.

Tento článek představuje HaVQA, první multimodální soubor dat pro úlohy vizuálního odpovídání na otázky (VQA) v hauském jazyce. Dataset byl vytvořen ručním překladem 6 022 anglických dvojic otázka-odpověď, které jsou přiřazeny k 1 555 unikátním obrázkům z datové sady Visual Genome. Výsledkem je 12 044 paralelních anglicko-hauských vět, které byly přeloženy způsobem zaručujícím jejich sémantickou shodu s odpovídající vizuální informací. Na tomto souboru dat jsme provedli několik základních experimentů, včetně vizuálního zodpovídání otázek, vizuální elicitace otázek, překladu pouze textu a multimodálního strojového překladu.


Symbol Generation via Autoencoders for Handwritten Music Synthesis

Generování symbolů pomocí autoenkodérů pro syntézu ručně psaných notopisů

Optical Music Recognition is one of the fields where synthetic data is effectively utilized for training deep learning recognition models. Due to the lack of manually annotated
data, the training data is generated by an automatic procedure which produces real-looking images of music scores in large quantities. Mashcima, a system for synthesizing training data for handwritten music recognition, generates complete music scores but the individual symbols are not synthetic, they are sampled from real symbol datasets. In this paper, we explore the impact of utilizing an adversarial autoencoder within the symbol synthesis pipeline. We show that in some cases the use of an autoencoder may not only be motivated by the creation of latent-space symbol embeddings but also by improved recognition accuracy.

Optické rozpoznávání notopisů je jednou z oblastí, kde jsou syntetická data efektivně využívána pro trénování rozpoznávacích modelů hlubokého učení. Vzhledem k nedostatku ručně anotovaných dat jsou trénovací data generována automatickým postupem, který vytváří reálně vypadající obrázky notopisů ve velkém množství. Mashcima, systém pro syntézu trénovacích dat pro rozpoznávání hudebních rukopisů, generuje kompletní notopisy, ale jednotlivé symboly nejsou syntetické, jsou vzorkovány z reálných datových souborů symbolů. V tomto článku zkoumáme dopad využití adversariálního autoenkodéru v rámci syntézy symbolů. Ukazujeme, že v některých případech může být použití autoenkodéru motivováno nejen vytvořením latentního prostoru symbolů, ale také zlepšenou přesností rozpoznávání.


Possibilities and limitations of optimal reference translations: Exploring ‘translationese’ in professional translations of newspaper articles

Možnosti a meze tvorby tzv. optimálních referenčních překladů: po stopách „překladatelštiny“ v profesionálních překladech zpravodajských textů

The study explores translation quality by analysing two different Czech translations of English newspaper articles, done by professionals hired by a translation company. The original idea was for a tandem of translators-cum-theoreticians to synthesise the best of the two existing translations, while introducing slight to moderate modifications where necessary, to arrive at an optimal reference translation, i.e. a translation thought to be the best possible that can be achieved by a team of human translators; optimal reference translations can then be used in assessments of excellent machine translations. It soon became apparent, however, that a considerable amount of editing and creativity was needed from the team striving for an optimal reference translation, prompting the present authors to subject the original translations to a detailed quality assessment. The primary focus is on the formal aspect of the existing translations and the phenomenon known as translationese, which is understood here – in line with Translation Studies authorities (Newmark, Baker) – to refer to a lack of sensitivity to target language usage. The problems identified fall into a wide range of linguistic categories such as spelling, morphosyntax, grammar, lexicon and word formation. Special attention is paid to the presence of source-language interference; having reviewed existing theoretical discussions of interference, the authors drafted a typology which was then expanded to include several other types of errors recurrent in the translations analysed.

Studie zkoumá kvalitu překladů, zejména styl včetně přítomnosti rušivých vlivů zdrojového jazyka, a to na základě analýzy kvality českých překladů dvou anglických novinových článků. Překlady vyhotovili tři překladatelé najatí překladatelskou agenturou. Další oblastí, kterou studie zkoumá, je tvorba tzv. otimálních překladů, tj. překladů považovaných za nejlepší možné za daných podmínek. Hodnocení kvality se zaměřuje především na styl stávajících překladů a zjištěné problémy spadají do široké škály jazykových kategorií, jako je pravopis, morfologie, gramatika, slovní zásoba a tvorba slov. Zvláštní důraz je kladen na interference a návrh typologie sestavený autory lze rozšířit o několik dalších typů interference, které se v analyzovaných překladech opakují. Optimální překlady, vyplývající z týmové práce dvou překladatelů a teoretiků, kteří syntetizovali to nejlepší ze tří existujících překladů a přitom využívali značnou část vlastní kreativity, mohou být v budoucnu použity při hodnocení vynikajících strojových překladů.

Věra Kloudová
David Mraček
Ondřej Bojar
Martin Popel


Optimal reference translation of English-Czech WMT2020

Optimální referenční překlady z angličtiny do češtiny WMT2020

We define "optimal reference translation" as a translation thought to be the best possible that can be achieved by a team of human translators. Optimal reference translations can be used in assessments of excellent machine translations.

We selected 50 documents (online news articles, with 579 paragraphs in total) from the 130 English documents included in the WMT2020 news test (http://www.statmt.org/wmt20/) with the aim to preserve diversity (style, genre etc.) of the selection. In addition to the official Czech reference translation provided by the WMT organizers (P1), we hired two additional translators (P2 and P3, native Czech speakers) via a professional translation agency, resulting in three independent translations. The main contribution of this dataset are two additional translations (i.e. optimal reference translations N1 and N2), done jointly by two translators-cum-theoreticians with an extreme care for various aspects of translation quality, while taking into account the translations P1-P3. We publish also internal comments (in Czech) for some of the segments.

Translation N1 should be closer to the English original (with regards to the meaning and linguistic structure) and female surnames use the Czech feminine suffix (e.g. "Mai" is translated as "Maiová"). Translation N2 is more free, trying to be more creative, idiomatic and entertaining for the readers and following the typical style used in Czech media, while still preserving the rules of functional equivalence. Translation N2 is missing for the segments where it was not deemed necessary to provide two alternative translations. For applications/analyses needing translation of all segments, this should be interpreted as if N2 is the same as N1 for a given segment.

We provide the dataset in two formats: OpenDocument spreadsheet (odt) and plain text (one file for each translation and the English original). Some words were highlighted using different colors during the creation of optimal reference translations; this highlighting and comments are present only in the odt format (some comments refer to row numbers in the odt file). Documents are separated by empty lines and each document starts with a special line containing the document name (e.g. "# upi.205735"), which allows alignment with the original WMT2020 news test. For the segments where N2 translations are missing in the odt format, the respective N1 segments are used instead in the plain-text format.

„Optimální referenční překlady“ definujeme jako nejlepší možné překlady, jakých může dosáhnout tým lidských překladatelů. Optimální referenční překlady lze použít při hodnocení vynikajících strojových překladů.

Ze 130 anglických dokumentů zařazených do datasetu WMT2020 (http://www.statmt.org/wmt20/) jsme vybrali 50 dokumentů (online zpravodajské články, celkem 579 odstavců) s cílem zachovat rozmanitost (styl, žánr atd.) výběru. Kromě oficiálního referenčního českého překladu poskytnutého organizátory WMT (P1) jsme prostřednictvím profesionální překladatelské agentury najali další dva překladatele (P2 a P3, rodilí mluvčí češtiny), čímž vznikly tři nezávislé překlady. Hlavním přínosem tohoto souboru dat jsou dva další překlady (tj. optimální referenční překlady N1 a N2), které společně provedli dva překladatelé a zároveň teoretici překladu s mimořádnou péčí o různé aspekty kvality překladu, přičemž zohlednili překlady P1-P3. K některým segmentům zveřejňujeme i interní komentáře (v češtině).

Překlad N1 by se měl co nejvíce blížit anglickému originálu (co do významu i jazykové struktury). Ženská příjmení přechýlena (např. „Mai“ je přeloženo jako „Maiová“). Překlad N2 je volnější, snaží se být kreativnější, idiomatičtější, pro čtenáře čtivější a řídí se typickým stylem používaným v českých médiích, přičemž zachovává pravidla funkční ekvivalence. Překlad N2 chybí u segmentů, kde nebylo považováno za nutné uvést dva alternativní překlady. U aplikací/analýz, které vyžadují překlad všech segmentů, by se to mělo interpretovat tak, že N2 je pro daný segment stejný jako N1.

Soubor dat poskytujeme ve dvou formátech: OpenDocument spreadsheet (odt) a prostý text (jeden soubor pro každý překlad a anglický originál). Některá slova byla při tvorbě optimálních referenčních překladů zvýrazněna různými barvami; toto zvýraznění a komentáře jsou přítomny pouze ve formátu odt (některé komentáře odkazují na čísla řádků v souboru odt). Dokumenty jsou odděleny prázdnými řádky a každý dokument začíná zvláštním řádkem obsahujícím název dokumentu (např. "# upi.205735"), což umožňuje zarovnání s originálem datasetu WMT2020. Pro segmenty, kde chybí překlady N2 ve formátu odt, se místo nich použijí příslušné segmenty N1 ve formátu prostého textu.


Throw it in the machine. Will machine translation work in fiction?

Hoď to do stroje. Uplatní se strojový překlad v umělecké literatuře?

"Machine translation is improving all the time and translators will eventually not be needed." Is this true, or does this improvement have its limits? What all is lost in machine translation and are we content with that? Věra Kloudová and Ondřej Bojar from ÚFAL MFF UK discuss with literary translators Dagmar Heeg and Viktor Janiš. Moderated by Martin Severýn.
The debate will take place at the World of Books Prague in the Professional Forum section.

„Strojový překlad se stále zlepšuje a překladatelé časem nebudou potřeba.“ Je to pravda, nebo má toto zlepšování své limity? Co všechno se ve strojovém překladu ztrácí a spokojíme se s tím? Věra Kloudová a Ondřej Bojar z ÚFAL MFF UK diskutují s literárními překladateli Dagmar Heeg a Viktorem Janišem. Moderuje Martin Severýn.
Debata proběhne v rámci veletrhu Svět Knihy Praha v sekci Profesní fórum.


Sustaining the European Language Grid: Towards the ELG Legal Entity

Udržitelnost European Language Grid: Směřování k právnímu subjektu ELG

When preparing the European Language Grid EU project proposal and
designing the overall concept of the platform, the need for drawing up a long-term
sustainability plan was abundantly evident. Already in the phase of developing the
proposal, the centrepiece of the sustainability plan was what we called the “ELG
legal entity”, i. e., an independent organisation that would be able to take over operations,
maintenace, extension and governance of the European Language Grid platform
as well as managing and helping to coordinate its community. This chapter
describes our current state of planning with regard to this legal entity. It explains the
different options discussed and it presents the different products specified, which
can be offered by the legal entity in the medium to long run. We also describe which
legal form the organisation will take and how it will ensure the sustainability of ELG.

Popisujeme současný stav plánování udržitelnosti platformy ELG včetně možných právních forem ELG a diskuse, jakým způsobem by byly schopny převzít správu, údržbu a rozšiřování platformy European Language Grid. Představujeme a diskutujeme různé možnosti a specifické produkty, které může právnická osoba nabízet ve střednědobém až dlouhodobém horizontu.

Georg Rehm
Katrin Marheinecke
Stefanie Hegele
Stelios Piperidis
Kalina Bontcheva
Jan Hajič
Khalid Choukri
Andrejs Vasiljevs
Gerhard Backfried
Katja Prinz
José Manuel Gómez-Pérez
Ulrich Germann


Spanish Verbal Synonyms in the SynSemClass Ontology

Španělská Synonyma v Ontologii SynSemClass

This paper presents ongoing work in the expansion of the multilingual semantic event-type ontology SynSemClass (Czech-English-German)to include Spanish. As in previous versions of the lexicon, Spanish verbal synonyms have
been collected from a sentence-aligned parallel corpus and classified into classes based on their syntactic-semantic properties. Each class member is linked to a number of syntactic and/or semantic resources specific to each language, thus enriching the annotation and enabling interoperability. This paper describes
the procedure for the data extraction and annotation of Spanish verbal synonyms in the lexicon.

Tato práce prezentuje probíhající práce v rozšiřování
 vícejazyčného sémantického event-type ontology SynSemClass (česko-anglicko-německy)
zahrnout španělštinu. Stejně jako v předchozích verzích
lexikonu, španělská slovní synonyma
byla sebrána z  paralelníhokorpusu a zařazena do tříd založených na jejich syntakticko-sémantických vlastnostech. Každý člen třídy je spojen s určitým počtem syntactických a/nebo sémantických zdrojů specifických pro každý jazyk, čímž se obohatí anotace a umožní interoperabilitu. Tato práce popisuje
postup pro extrakci dat a annotaci španělských slovních synonym v lexikonu.

Cristina Fernández-Alcaina
Eva Fučíková
Jan Hajič
Zdeňka Urešová


The SynSemClass lexicon: A resource for multilingual synonymy

Slovník SynSemClass: Zdroj pro vicejazyčnou synonymii

This paper presents ongoing work on the multilingual lexicon SynSemClass (henceforth, SSC). Other related projects have addressed the issue of synonymy in multilingual contexts from various perspectives, e.g., WordNet (Vossen 2004; Fellbaum and Vossen 2012) or Predicate Matrix (López de Lacalle et al. 2016). However, to the best of our knowledge, only SSC formalizes multilingual verbal synonymy in terms of syntactic and semantic properties.

Tato práce představuje probíhající práci na vícejazyčném lexikonu SynSemClass (napříště SSC). Další související projekty se zabývaly problematikou synonymie ve vícejazyčných kontextech z různých pohledů, např. WordNet (Vossen 2004; Fellbaum a Vossen 2012) nebo Predicate Matrix (López de Lacalle et al. 2016). Podle našeho nejlepšího vědomí však pouze SSC formalizuje vícejazyčné slovní synonymum z hlediska syntaktických a sémantických vlastností.


Abstract is only in Czech:

Demonstrovali jsme živý překlad řeči vycházející z projektu ELITR (elitr.eu) na Jednom dni s informatikou a matematikou, popularizační akci pro středoškoláky na MFF UK. Měli jsme stánek, u kterého účastníci akce mohli mluvit do mikrofonu v některém ze čtyř podporovaných jazyků a sledovat živý překlad do 42 jazyků.


Demonstration of live speech translation and of Whisper-Streaming

Demonstrace živého překladu řeči a Whisper-Streaming

Demonstration of live speech translation from ELITR project. The system uses Whisper-Streaming tool.

Demonstrace živého překladu řeči vycházejího z projektu ELITR a nástroje Whisper-Streaming.


We demonstrated Whisper-Streaming -- a tool for live speech transcription and translation of Whisper, big offline speech-to-text model. The event participants could speak into microphone in any of 96 supported languages and observe live speech transcript and translation into English.

Demonstrovali jsme Whisper-Streaming -- nástroj na živý přepis a překlad řeči velkým offline speech-to-text modelem Whisper. Účastníci akce mohli mluvit do mikrofonu v některém z 96 podporovaných jazyků a sledovat živé přepisy a překlady do angličtiny.


Abstract is only in Czech:

Demonstrace a prezentace živého překladu řeči vycházejícího z projektu ELITR a nástroje Whisper-Streaming.


Abstract is only in Czech.

Demonstrovali jsme živý překlad řeči vycházející z projektu ELITR (elitr.eu) na konferenci CzeDER. Překládali jsme všechny projevy na jednodenní konferenci z angličtiny do češtiny a dalších více než 40 jazyků automatickým systémem, a také jsme živě opravovali chyby v přepisech.
Dále jsme měli stánek, na kterém účastníci konference mohli vyzkoušet překlad své řeči a dozvědět se více informací.


MT Metrics Correlate with Human Ratings of Simultaneous Speech Translation

Automatické metriky strojového překladu korelují s lidským hodnocením simultánního překladu řeči

Abstrakt je pouze v angličtině.

There have been several meta-evaluation studies on the correlation between human ratings and offline machine translation (MT) evaluation metrics such as BLEU, chrF2, BertScore and COMET. These metrics have been used to evaluate simultaneous speech translation (SST) but their correlations with human ratings of SST, which has been recently collected as Continuous Ratings (CR), are unclear. In this paper, we leverage the evaluations of candidate systems submitted to the English-German SST task at IWSLT 2022 and conduct an extensive correlation analysis of CR and the aforementioned metrics. Our study reveals that the offline metrics are well correlated with CR and can be reliably used for evaluating machine translation in simultaneous mode, with some limitations on the test set size. We conclude that given the current quality levels of SST, these metrics can be used as proxies for CR, alleviating the need for large scale human evaluation. Additionally, we observe that correlations of the metrics with translation as a reference is significantly higher than with simultaneous interpreting, and thus we recommend the former for reliable evaluation.


Turning Whisper into Real-Time Transcription System

Whisper jako systém pro živý přepis řeči

Abstrakt je pouze v angličtině:

Whisper is one of the recent state-of-the-art multilingual speech recognition and translation models, however, it is not designed for real time transcription. In this paper, we build on top of Whisper and create Whisper-Streaming, an implementation of real-time speech transcription and translation of Whisper-like models. Whisper-Streaming uses local agreement policy with self-adaptive latency to enable streaming transcription. We show that Whisper-Streaming achieves high quality and 3.3 seconds latency on unsegmented long-form speech transcription test set, and we demonstrate its robustness and practical usability as a component in live transcription service at a multilingual conference.


Robustness of Multi-Source MT to Transcription Errors

Robustnost vícezdrojového překladu vůči chybám transkripce

Abstrakt je pouze v angličtině.

Automatic speech translation is sensitive to speech recognition errors, but in a multilingual scenario, the same content may be available in various languages via simultaneous interpreting, dubbing or subtitling. In this paper, we hypothesize that leveraging multiple sources will improve translation quality if the sources complement one another in terms of correct information they contain. To this end, we first show that on a 10-hour ESIC corpus, the ASR errors in the original English speech and its simultaneous interpreting into German and Czech are mutually independent. We then use two sources, English and German, in a multi-source setting for translation into Czech to establish its robustness to ASR errors. Furthermore, we observe this robustness when translating both noisy sources together in a simultaneous translation setting. Our results show that multi-source neural machine translation has the potential to be useful in a real-time simultaneous translation setting, thereby motivating further investigation in this area.

Dominik Macháček
Peter Polák
Ondřej Bojar
Raj Dabre


Machine Translation (MT) is one of the oldest language technologies having
been researched for more than 70 years. However, it is only during the last decade
that it has been widely accepted by the general public, to the point where in many
cases it has become an indispensable tool for the global community, supporting communication
between nations and lowering language barriers. Still, there remain major
gaps in the technology that need addressing before it can be successfully applied
in under-resourced settings, can understand context and use world knowledge. This
chapter provides an overview of the current state-of-the-art in the field of MT, offers
technical and scientific forecasting for 2030, and provides recommendations for the
advancement of MT as a critical technology if the goal of digital language equality
in Europe is to be achieved.

Strojový překlad (MT), jedna z nejstarších jazykových technologií, je zkoumán již více než 70 let. Až v posledním desetiletí však začal být přijímán širokou veřejností, a to do té míry, že v mnoha případech se stal nepostradatelným nástrojem pro globální komunitu podporující komunikaci
mezi národy a snižování jazykových bariér. Tato kapitola podává přehled současného stavu technologie v oblasti MT, nabízí technické a vědecké prognózy do roku 2030 a doporučuje MT jako klíčovou technologii, pokud má být dosaženo digitální jazykové rovnosti v Evropě.

Inguna Skadina
Andrejs Vasiljevs
Marcis Pinnis
Aivars Bērziņš
Nora Aranberri
Joachim van den Bogoaert
Sally O’Connor
Mercedes García-Martínez
Iakes Goenaga
Jan Hajič
Manuel Herranz
Christian Lieske
Martin Popel
Maja Popović
Sheila Castilho
Federico Gaspari
Rudolf Rosa
Riccardo Superbo
Andy Way


What’s the Meaning of Superhuman Performance in Today’s NLU?

Jaký je význam lepší-než-lidé výkonnosti v dnešních úlohách NLP?

In the last five years, there has been a significant
focus in Natural Language Processing (NLP)
on developing larger Pretrained Language Mod-
els (PLMs) and introducing benchmarks such
as SuperGLUE and SQuAD to measure their
abilities in language understanding, reasoning,
and reading comprehension. These PLMs have
achieved impressive results on these bench-
marks, even surpassing human performance in
some cases. This has led to claims of superhu-
man capabilities and the provocative idea that
certain tasks have been solved. In this position
paper, we take a critical look at these claims and
ask whether PLMs truly have superhuman abili-
ties and what the current benchmarks are really
evaluating. We show that these benchmarks
have serious limitations affecting the compar-
ison between humans and PLMs and provide
recommendations for fairer and more transpar-
ent benchmarks.

V posledních pěti letech se v Natural Language Processing (NLP) výrazně zaměřili na vývoj větších předtrénovaných jazykových modelů (PLM) a zavedení benchmarků jako SuperGLUE a SQuAD pro měření jejich schopností v porozumění jazyku, uvažování a porozumění čtení. Tyto PLM dosáhly v těchto testech působivých výsledků, v některých případech dokonce překonaly výkon člověka. To vedlo k tvrzení o nadlidských schopnostech a provokativní myšlence, že určité úkoly byly vyřešeny. V tomto pozičním dokumentu se na tato tvrzení kriticky podíváme a ptáme se, zda PLM skutečně mají nadlidské schopnosti a co současné benchmarky skutečně hodnotí. Ukazujeme, že tyto benchmarky mají vážná omezení ovlivňující srovnání mezi lidmi a PLM a poskytují doporučení pro spravedlivější a transparentnější benchmarky.

Simone Tedeschi
Johan Bos
Thierry Declerck
Jan Hajič
Daniel Hershcovich
Eduard Hovy
Alexander Koller
Simon Krek
Steven Schockaert
Rico Sennrich
Ekaterina Shutova
Roberto Navigli


Shortening of the results of machine translation using paraphrasing dataset

Zkracování strojového překladu pomocí datasetu parafrází

As machine translation applications continue to expand into the realm of real-time events, the need for faster and more concise translation becomes increasingly important. One such application is simultaneous speech translation, an emission of subtitles in the target language given speech in the source language. In this work, we focus on easing reader's comprehension of subtitles by making the translation shorter while preserving its informativeness. For this, we use the S, M and L version of the Paraphrase Database (PPDB), and exploit their property that some of the paraphrasing rules differ in length of the left and right side. Selecting rules that make the output shorter, we fine-tune an MT model to naturally generate shorter translations. The results show that the model's conciseness improves by up to 0.61%, which leaves the space for improvements using bigger versions of PPDB in future work.

S tím, jak se aplikace strojového překladu stále rozšiřují do oblasti událostí v reálném čase, je potřeba rychlejšího a výstižnějšího překladu stále důležitější. Jednou z takových aplikací je simultánní překlad řeči, vysílání titulků v cílovém jazyce dané řeči ve zdrojovém jazyce. V této práci se zaměřujeme na usnadnění čtenářského porozumění titulkům tím, že překlad zkrátíme a zároveň zachováme jeho informativnost. K tomu využíváme S, M a L verzi databáze parafrází (PPDB) a využíváme jejich vlastnosti, že některá pravidla parafrázování se liší délkou levé a pravé strany. Výběrem pravidel, která zkrátí výstup, doladíme model MT tak, aby přirozeně generoval kratší překlady. Výsledky ukazují, že stručnost modelu se zlepšuje až o 0,61 %, což ponechává prostor pro vylepšení pomocí větších verzí PPDB v budoucí práci.

Andrej Perković
Jernej Vičič
Dávid Javorský
Ondřej Bojar


Data-to-text Generation with Neural Language Models

Generování textu z dat pomocí neuronových jazykových modelů

We introduce the problems of data-to-text generation and the current state of the art, i.e. pretrained language models. We further detail our experiments with using pretrained language models in a pipeline setup, thus increasing explainability and accuracy of the outputs. We also discuss our experiment in collecting a special dataset for verbalizing individual facts and evaluating pretrained language models, including ChatGPT, on this data.

Představíme problematiku generování textu z dat a současný stav techniky, tj. předtrénované jazykové modely. Dále podrobně popisujeme naše experimenty s využitím předtrénovaných jazykových modelů v pipeline nastavení, které zvyšuje vysvětlitelnost a přesnost výstupů. Pojednáváme také o našem experimentu se sběrem speciální datové sady pro verbalizaci jednotlivých faktů a o hodnocení předtrénovaných jazykových modelů, včetně ChatGPT, na těchto datech.


This lecture presents an introduction into the state of the art in current dialogue systems, mostly focusing on neural architectures, end-to-end models, and pretrained language models.

V této přednášce se seznámíte s nejnovějším stavem současných dialogových systémů, především se zaměřením na neuronové architektury, end-to-end modely a předtrénované jazykové modely.