Robust Data-to-text Generation with Pretrained Language Models

Robustí generování textu z dat s předtrénovanými jazykovými modely

The task of data-to-text generation amounts to describing structured data, such as RDF triples, in fluent natural language sentences. The state-of-the-art approach in research systems today is finetuning pretrained language models (PLMs). This often leads to overfitting the data and may produce hallucinations, i.e. situations where the PLM generates outputs that are not grounded in the input, typically replicating (or amplifying) training data noise. Rather than applying a PLM as black box for the whole data-to-text task, we aim at using
PLMs for simple individual subtasks, aiming to achieve broad generalization and minimize hallucination.

First, we use a pipeline approach where the PLMs only work as text "editors", rather than generators, taking advantage of their high output fluency. The data is converted into text in an initial preprocessing step, where we use simple handcrafted templates (one per RDF relation). This results in very short sentences recounting the individual input facts, corresponding to RDF triples. The PLMs then order the individual facts and fuse them into fluent sentences. This helps us generate without in-domain training data (except the simple
templates) and achieve good fluency and accuracy.

We further examine the capability of PLMs to produce accurate descriptions of individual RDF triples, in order to remove the last handcrafted step. Using a specially collected dataset of varied RDF triple descriptions, we show that PLMs finetuned with a variety of relations are very robust in verbalizing novel, unseen relations. The key to PLMs' usability here is providing clear and meaningful relation
labels.

Úkolem generování textu z dat je popsat strukturovaná data, například trojice RDF, plynulými větami v přirozeném jazyce. Nejnovějším přístupem ve výzkumných systémech je dnes dolaďování předtrénovaných jazykových modelů (PLM). To často vede k nadměrnému přizpůsobení dat a může vést k halucinacím, tj. situacím, kdy PLM generuje výstupy, které nemají oporu ve vstupních datech, typicky replikují (nebo zesilují) šum tréninkových dat. Namísto použití PLM jako černé skříňky pro celou úlohu generování textu z dat se snažíme využít PLM pro jednoduché jednotlivé dílčí úlohy, přičemž cílem je dosáhnout širokého zobecnění a minimalizovat halucinace.


The task of data-to-text generation amounts to describing structured data in fluent natural language sentences. The state-of-the-art approach in research systems today is finetuning pretrained neural language models (PLMs). This often leads to overfitting and hallucinations, i.e. situations where the PLM generates outputs that are not grounded in the input, replicating or amplifying training data noise. Rather than applying a PLM as black box for the whole data-to-text task, we aim at using PLMs for simple subtasks, aiming to achieve broad generalization and minimize hallucination. First, we use a pipeline approach where the PLMs only work as text “editors”, rather than generators, taking advantage of their high output fluency. The data is converted into text in an initial preprocessing step, where we use simple handcrafted templates recounting the individual input facts (i.e. relations between entities).

The PLMs then order the facts and fuse them into fluent sentences. This helps us generate without in-domain training data and achieve good fluency and accuracy. We further examine the capability of PLMs to produce accurate descriptions of individual facts from the data, in order to remove the last handcrafted step. Using a specially collected dataset, we show that PLMs finetuned to describe a variety of relations are very robust in verbalizing novel, unseen relations. The key to PLMs’ usability here is providing clear relation names on the input.

Úkolem generování textu z dat je popsat strukturovaná data plynulými větami v přirozeném jazyce. Nejnovějším přístupem ve výzkumných systémech je dnes jemné ladění předtrénovaných neuronových jazykových modelů (PLM). To často vede k overfittingu a halucinacím, tj. k situacím, kdy PLM generuje výstupy, které nemají oporu ve vstupních datech, a replikuje nebo zesiluje šum tréninkových dat. Spíše než na použití PLM jako černé skříňky pro celou úlohu převodu dat na text se zaměřujeme na použití PLM pro jednoduché dílčí úlohy s cílem dosáhnout široké generalizace a minimalizovat halucinace. Nejprve použijeme pipeline přístup, kdy PLM pracují pouze jako textové "editory", nikoliv generátory, přičemž využijeme jejich vysokou plynulost výstupu. Data jsou převedena na text v úvodním kroku předzpracování, kde používáme jednoduché ručně vytvořené šablony přepočítávající jednotlivá vstupní fakta (tj. vztahy mezi entitami).

PLM pak fakta seřadí a spojí je do plynulých vět. To nám pomáhá generovat bez tréninkových dat v doméně a dosáhnout dobré plynulosti a přesnosti. Dále zkoumáme schopnost PLM vytvářet z dat přesné popisy jednotlivých faktů, abychom odstranili poslední ručně vytvořený krok. Pomocí speciálně shromážděné sady dat ukazujeme, že PLM vyladěné pro popis různých vztahů jsou velmi robustní při verbalizaci nových, dosud neviděných vztahů. Klíčem k použitelnosti PLM je zde poskytování jasných názvů relací na vstupu.


Artificial intelligence and language learning

Functioning principles of artificial intelligence and especially large language models like ChatGPT.
What to look out for with AI tools.
Legal issues of AI tools.
Different ways to use ChatGPT or tips and tricks for prompting.
Recommendations on the use of AI in language learning.

Principy fungování umělé inteligence a zejména velkých jazykových modelů jako je ChatGPT.
Na co si dát pozor s AI nástroji.
Právní otázky AI nástrojů.
Různé způsoby použití ChatGPT aneb tipy a triky na promptování.
Doporučení ohledně využití AI ve výuce jazyků.


Speaking Multiple Languages Affects the Moral Bias of Language Models

Vícejazyčnost ovlivňuje morální tendence jazykových modelů

Pre-trained multilingual language models (PMLMs) are commonly used when dealing with data from multiple languages and cross-lingual transfer. However, PMLMs are trained on varying amounts of data for each language. In practice this means their performance is often much better on English than many other languages. We explore to what extent this also applies to moral norms. Do the models capture moral norms from English and impose them on other languages? Do the models exhibit random and thus potentially harmful beliefs in certain languages? Both these issues could negatively impact cross-lingual transfer and potentially lead to harmful outcomes. In this paper, we (1) apply the MORALDIRECTION framework to multilingual models, comparing results in German, Czech, Arabic, Chinese, and English, (2) analyse model behaviour on filtered parallel subtitles corpora, and (3) apply the models to a Moral Foundations Questionnaire, comparing with human responses from different countries. Our experiments demonstrate that, indeed, PMLMs encode differing moral biases, but these do not necessarily correspond to cultural differences or commonalities in human opinions. We release our code and models.

Předtrénované vícejazyčné jazykové modely (PMLM) se běžně používají při práci s daty z více jazyků a při mezijazykovém přenosu. PMLM se však pro každý jazyk trénují na různém množství dat. V praxi to znamená, že často fungují mnohem lépe v angličtině než v mnoha jiných jazycích. V tomto článku zkoumáme, do jaké míry to platí i pro schopnost zachytit morální normy a intuice. Zachycují modely morální normy z angličtiny a vnucují je ostatním jazykům? Vykazují modely v některých jazycích náhodná, a tedy potenciálně škodlivá morální přesvědčení? Oba tyto problémy by mohly negativně ovlivnit mezijazykový přenos a potenciálně vést ke škodlivým výsledkům. V tomto článku (1) aplikujeme metodu MORALDIRECTION na vícejazyčné modely a porovnáváme výsledky v němčině, češtině, arabštině, čínštině a angličtině, (2) analyzujeme chování modelů na paralelních korpusech z filmových titulků a (3) aplikujeme modely na dotazník Moral Foundation Questionaire a porovnáváme je s odpověďmi lidí z různých zemí. Naše experimenty ukazují, že PMLM skutečně zachycují různé morální intuice, které však nutně neodpovídají kulturním rozdílům nebo obvyklým lidským názorům. Spolu s článkem zveřejňujeme zdrojový kód a modely.

Katharina Hämmerl
Björn Dieseroth
Patrick Schramowski
Jindřich Libovický
Constantin A. Rothkopf
Alexander Fraser
Kristian Kersting


Exploring Anisotropy and Outliers in Multilingual Language Models for Cross-Lingual Semantic Sentence Similarity

Zkoumání anizotropie a odlehlých hodnot ve vícejazyčných jazykových modelech pro mezijazykovou sémantickou podobnost vět

Previous work has shown that the representations output by contextual language models are more anisotropic than static type embeddings, and typically display outlier dimensions. This seems to be true for both monolingual and multilingual models, although much less work has been done on the multilingual context. Why these outliers occur and how they affect the representations is still an active area of research.We investigate outlier dimensions and their relationship to anisotropy in multiple pre-trained multilingual language models. We focus on cross-lingual semantic similarity tasks, as these are natural tasks for evaluating multilingual representations. Specifically, we examine sentence representations. Sentence transformers which are fine-tuned on parallel resources (that are not always available) perform better on this task, and we show that their representations are more isotropic. However, we aim to improve multilingual representations in general. We investigate how much of the performance difference can be made up by only transforming the embedding space without fine-tuning, and visualise the resulting spaces. We test different operations: Removing individual outlier dimensions, cluster-based isotropy enhancement, and ZCA whitening. We publish our code for reproducibility.

Předchozí práce ukázaly, že reprezentace, které jsou výstupem kontextových jazykových modelů, jsou více anizotropní než statické slovní embedingy a obvykle mají dimenze s odlehlými hodnotami. Zdá se, že to platí jak pro jednojazyčné, tak pro vícejazyčné modely, ačkoli jim bylo věnováno mnohem méně práce. Proč se tyto odlehlé hodnoty objevují a jak ovlivňují reprezentaci, je stále aktivní oblastí výzkumu. V tomto článku zkoumáme odlehlé dimenze a jejich vztah k anizotropii v několika předtrénovaných vícejazyčných modelech. Zaměřujeme se na úlohy mezijazykové sémantické podobnosti, protože se jedná o přirozené úlohy pro hodnocení vícejazyčných reprezentací. Konkrétně zkoumáme reprezentace vět, tzv. Sentence Transformers, které jsou dotrénované na paralelních datech (které nejsou vždy k dispozici). Dosahují v této úloze lepších výsledků jejich reprezentace jsou izotropnější. Naším cílem je však zlepšit vícejazyčné reprezentace obecně. Zkoumáme, jak velký rozdíl ve výkonnosti lze dohnat pouhou transformací embedingů bez dotrénování, a vizualizujeme výsledné prostory. Testujeme různé operace: Odstranění jednotlivých odlehlých dimenzí, vylepšení izotropie na základě shluků a whitening pomocí ZCA.

Katharina Hämmerl
Alina Fastowski
Jindřich Libovický
Alexander Fraser


Valency structure of complex predicates with Light Verbs, The case of Czech

Valenční struktura komplexních predikátů s kategoriálními slovesy, Případ češtiny

This chapter deals with light verb constructions. It is shown that what differentiates individual complex predicates from each other is the interaction between valency complementations
of the Light Verb and those of the predicative noun through sharing semantic roles,
which is manifested as their coreference. It is shown that the coreference, affecting
the deep syntactic structure of the complex predicate, has consequences for both
the semantic and the surface syntactic layer.

Tato kapitola se zabývá konstrukcemi s kategoriálním slovesem. Ukazuje, že to, co odlišuje jednotlivé komplexní predikáty, je interakce mezi valenčními doplněními kategoriálního slovesa a predikátového jména. Tato interakce, která se v hloubkové rovině projevuje jako koreference valenčních doplnění, má pak sémantické i syntaktické důsledky.


On the reciprocity of adjectives in Czech

This paper aims to extend the knowledge of reciprocity outside the largely examined verbal domain, focusing on the reciprocity of adjectives in Czech. Our main aim is to show how syntactic reciprocalization is applied to constructions of adjectives where one of their valency complementations is subject to a systemic surface ellipsis. We argue that the reciprocity of adjectives is mostly encoded by the same inventory of language means as the reciprocity of verbs, in particular by pluralization of one of the valency complementations affected by reciprocity (where the only difference from verbs is the form mezi ‘between’+Instr) and by an anaphoric expression occupying the other valency complementation involved in reciprocity. The main difference between the formal marking of verbal and adjectival constructions lies in the fact that adverbials (e.g., navzájem ‘mutually’), serving as the so-called specifiers in reciprocal constructions of verbs, often take over the role of the primary marker of reciprocity in adjectival constructions. Further, we show that – similarly to verbs – adjectives bearing the semantic feature of mutuality require less linguistic marking in their reciprocal constructions, relying on pluralization only, while reciprocal constructions of adjectives without this feature are marked by both pluralization and an anaphoric expression or adverbials.

Práce má za cíl rozšířit studium problematiky reciprocity mimo oblast sloves a ukázat, jak je operace syntaktické reciprokalizace aplikována v adjektivních konstrukcích, v nichž jedno z valenčních doplnění podléhá systémové povrchové elipse. Reciprocita adjektiv vykazuje v mnohém shodné rysy s reciprocitou sloves. Jako podstatná se i v případě adjektiv jeví distinkce mezi adjektivy, která nesou rys vzájemnosti ve svém významu, a adjektivy, která takový rys nenesou, ale vyjádření vzájemnosti mezi určitými participanty umožňují. U adjektiv bez rysu vzájemnosti i u inherentně recipročních adjektiv se na vytváření recipročních konstrukcí podílejí stejné jazykové prostředky, avšak oba typy adjektiv se liší mírou jejich využití. Společným formálním rysem recipročních konstrukcí obou typů adjektiv je pluralizace jednoho ze zasažených valenčních doplnění (jediný rozdíl oproti slovesům zde představuje možnost vyjádření pomocí předložkové skupiny mezi+Instr). Povrchová pozice druhého doplnění zasaženého reciprocitou (obsazená reflexivním osobním zájmenem, příp. výrazem jeden druhý) nemusí být v recipročních konstrukcích obou typů adjektiv přítomna. Zatímco tento rys mají inherentně reciproční adjektiva společný s inherentně recipročními slovesy, adjektiva bez rysu vzájemnosti se v tomto bodě se slovesy bez rysu vzájemnosti rozcházejí: u těchto sloves je přítomnost anaforického výrazu v reciproční konstrukci (až na výjimky, kdy má druhé zasažené doplnění formu s+Instr) nutná. V recipročních konstrukcích adjektiv bez rysu vzájemnosti pak pozorujeme, že roli primárního prostředku vyjádření reciprocity přebírají ve vysoké míře adverbia, příp. předložková skupina mezi sebou, které jsou – na základě jejich funkce v recipročních konstrukcích sloves – řazeny k tzv. specifikátorům, tedy k výrazům, které samy o sobě nemohou reciproční význam vyjádřit, pouze ho v souvýskytu s jinými jazykovými prostředky zdůrazňují, příp. desambiguují. Jak zde však ukazujeme, v recipročních konstrukcích adjektiv sehrávají tyto prostředky mnohem podstatnější úlohu – bez jejich přítomnosti by konstrukce neměly reciproční čtení. Reciproční konstrukce adjektiv tak ve vyšší míře než reciproční konstrukce sloves dokládají přechod adverbií a předložkové skupiny mezi sebou od funkce „pouhého“ specifikátoru k funkci primárního markeru reciprocity.


A contribution to mark the occasion of Jarmila Panevová's birthday

In order to mark the occasion of professor Jarmila Panevová’s birthday we present research activities she was involved in over the last fifteen years.

Při příležitosti významného životního jubilea profesorky Jarmily Panevové představujeme jubilantčinu výzkumnou činnost za posledních patnáct let.

Václava Kettnerová
Veronika Kolářová
Marie Mikulová
Magda Ševčíková


Valence of reflexive verbs and its representation in the VALLEX lexicon

Valence reflexivních sloves a její zachycení ve valenčním slovníku VALLEX

As reflexive verbs, we refer here to verbs with the word-forming morpheme se or si in the lemma. These verbs include reflexiva tantum, i.e. verbs without a non-reflexive base counterpart (e.g. smát se `to laugh', stýskat si to complain), verbs derived by word-forming reflexivization from non-reflexive base verbs (e.g. odlišovat se - odlišit se `to differ', povídat si `to talk') and also verbs with the reflexive in the lemma is only optional (e.g. končit (se) `end', naříkat (si) `lament'). In this talk, we present the representation of individual types of reflexive verbs in the VALLEX lexicon. We focus especially on derived reflexive verbs, which are characterized by changes in their valency and meaning, compared to their non-reflexive base counterparts. Based on these changes, we define the following types of derived reflexive verbs: decausative reflexive verbs (e.g. kazit se ← kazit `to spoil'), autocausative reflexive verbs (e.g. nadchnout se ← nadchnout `to get excited'), reflexive verbs with a so-called partitive object (e.g. ovládat se - ovládnout se ← ovládat - ovládnout `to control'), reciprocal reflexive verbs (e.g. důvěřovat si ← důvěřovat `to trust'), conversion reflexive verbs (e.g. plnit se ← plnit `to fill') and deaccusative reflexive verbs (e.g. tajit se ← tajit `to melt'); the last group consists of the so-called quasi-conversion reflexive verbs, which have a systemic relationship with decausatives. For defined types of reflexive verbs, we describe changes in their syntactic behavior, taking into account changes in their semantics, and further show their representation in VALLEX, including basic statistical data.

Jako reflexivní slovesa zde označujeme slovesa se slovotvorným morfémem se nebo si v lemmatu. K těmto slovesům náleží reflexiva tantum, tedy slovesa bez nereflexivního základového protějšku (např. smát se, stýskat si), slovesa odvozená slovotvornou reflexivizací od nereflexivních základových sloves (např. odlišovat se – odlišit se, povídat si) a dále slovesa, u nichž je reflexivum v lemmatu pouze fakultativní (např. končit (se), naříkat (si)). V příspěvku představíme zachycení jednotlivých typů reflexivních sloves ve valenčním slovníku VALLEX. Soustředíme se zejména na odvozená reflexivní slovesa, která vykazují oproti svým nereflexivním základovým protějškům (systémové i nesystémové) změny ve valenci a významu. Na základě těchto změn vymezujeme následující typy odvozených reflexivních sloves: dekauzativní reflexivní slovesa (např. kazit se ← kazit), autokauzativní reflexivní slovesa (např. nadchnout se ← nadchnout), reflexivní slovesa s tzv. partitivním objektem (např. ovládat se – ovládnout se ← ovládat – ovládnout), reciproční reflexivní slovesa (např. důvěřovat si ← důvěřovat), konverzní reflexivní slovesa (např. plnit se ← plnit) a deakuzativní reflexivní slovesa (např. tajit se ← tajit); poslední skupinu tvoří tzv. kvazikonverzní reflexivní slovesa, která mají systémový vztah k dekauzativům. U vymezených typů reflexivních sloves popisujeme změny v jejich syntaktickém chování s přihlédnutím ke změnám v jejich sémantice a dále ukazujeme jejich reprezentaci ve VALLEXu, včetně základních statistických údajů.

Václava Kettnerová
Markéta Lopatková
Jiří Mírovský


The aim of the course is to show artificial intelligence from the perspective of various disciplines of science. To reflect on how artificial intelligence affects our daily lives in various fields. The course will focus mainly on contexts/perspectives: AI in psychology, pedagogy, transport, health, linguistics, journalism and theatre. Within all parts of the course, emphasis will be placed on strengthening the multiperspective view of artificial intelligence, providing a broad pension of information on the use of artificial intelligence, its role, impacts and vision for the future.

Cílem kurzu je ukázat umělou inteligenci z perspektivy různých vědních disciplín. Zamyslet nad tím, jak umělá inteligence ovlivňuje náš každodenní život v různých oblastech. Kurz bude zaměřen především na kontexty/perspektivy: AI v psychologie, pedagogice, dopravě, zdravotnictví, lingvistice, žurnalistice a divadle. V rámci všech částí kurzu bude kladen důraz na posilování multiperspektivního pohledu na umělou inteligenci, poskytnutí širokého penza informací o využití umělé inteligence, její roli, dopadech a vizi do budoucnosti.


UFAL Parallel Corpus of North Levantine 1.0

UFAL Paralelní Korpus Severní Levanštiny 1.0

This is the first release of the UFAL Parallel Corpus of North Levantine, compiled by the Institute of Formal and Applied Linguistics (ÚFAL) at Charles University within the Welcome project (https://welcome-h2020.eu/). The corpus consists of 120,600 multiparallel sentences in English, French, German, Greek, Spanish, and Standard Arabic selected from the OpenSubtitles2018 corpus [1] and manually translated into the North Levantine Arabic language. The corpus was created for the purpose of training machine translation for North Levantine and the other languages.

Toto je první vydání UFAL Parallel Corpus of North Levantine, sestaveného Ústavem formální a aplikované lingvistiky (ÚFAL) Univerzity Karlovy v rámci projektu Welcome (https://welcome-h2020.eu/). Korpus se skládá ze 120 600 multiparalelních vět v angličtině, francouzštině, němčině, řečtině, španělštině a standardní arabštině vybraných z korpusu OpenSubtitles2018 [1] a ručně přeložených do severolevantské arabštiny. Korpus byl vytvořen za účelem trénování strojového překladu pro severní levantinu a další jazyky.

Hashem Sellat
Shadi Saleh
Mateusz Krubiński
Adam Pospíšil
Petr Zemánek
Pavel Pecina


Bad MT Systems are Good for Quality Estimation

Špatné MT systémy jsou dobré pro odhad kvality

Quality estimation (QE) is the task of predicting quality of outputs produced by machine translation (MT) systems. Currently, the highest-performing QE systems are supervised and require
training on data with golden quality scores. In this paper, we investigate the impact of the quality of the underlying MT outputs on the performance of QE systems. We find that QE models trained on datasets with lower-quality translations often outperform those trained on higher-quality data. We also demonstrate that good performance can be achieved by using a mix of data from different MT systems.

Odhad kvality (Quality Estimation, QE) je úkol předpovídat kvalitu výstupů vytvořených systémy strojového překladu (MT). V současné době jsou nejvýkonnější systémy QE pod dohledem a vyžadují
trénování na datech se zlatým skóre kvality. V tomto článku zkoumáme vliv kvality podkladových výstupů MT na výkonnost systémů QE. Zjistili jsme, že modely QE natrénované na datových sadách s méně kvalitními překlady často překonávají modely natrénované na datech s vyšší kvalitou. Ukazujeme také, že dobrého výkonu lze dosáhnout použitím kombinace dat z různých systémů MT.

Iryna Tryhubyshyn
Aleš Tamchyna
Ondřej Bojar


Extending an Event-type Ontology: Adding Verbs and Classes using Fine-tuned LLMs Suggestions

Rozšiřování ontologie: přidávání sloves a tříd s použitím LLM

In this project, we have investigated the use of advanced machine learning methods, specifically fine-tuned large language models, for pre-annotating data for a lexical extension task, namely adding descriptive words (verbs) to an existing (but incomplete, as of yet) ontology of event types. Several research questions have been focused on, from the investigation of a possible heuristics to provide at least hints to annotators which verbs to include and which are outside the current version of the ontology, to the possible use of the automatic scores to help the annotators to be more efficient in finding a threshold for identifying verbs that cannot be assigned to any existing class and therefore they are to be used as seeds for a new class. We have also carefully examined the correlation of the automatic scores with the human annotation. While the correlation turned out to be strong, its influence on the annotation proper is modest due to its near linearity, even though the mere fact of such pre-annotation leads to relatively short annotation times.

V tomto projektu jsme zkoumali využití pokročilých metod strojového učení, konkrétně vyladěných velkých jazykových modelů, pro předanotační data pro úlohu lexikálního rozšíření, konkrétně přidání popisných slov (sloves) do existující (ale zatím neúplné) ontologie typů událostí. Zaměřili jsme se na několik výzkumných otázek, od zkoumání možných heuristik pro poskytnutí alespoň náznaků anotátorům, která slovesa zahrnout a která jsou mimo současnou verzi ontologie, až po možné využití automatických skóre pro pomoc anotátorům, aby byli efektivnější při hledání prahu pro identifikaci sloves, která nemohou být přiřazena do žádné existující třídy, a proto mají být použita jako semena pro novou třídu. Pečlivě jsme také zkoumali korelaci automatických skóre s lidskou anotací. I když se korelace ukázala jako silná, její vliv na vlastní anotaci je vzhledem k její téměř linearitě skromný, i když pouhý fakt takové pre-anotace vede k relativně krátkým časům anotace.

Jana Straková
Eva Fučíková
Jan Hajič
Zdeňka Urešová


In cooperation with the Research Group on Theology and Contemporary Culture of the Evangelical Theological Faculty of Charles University, the Faculty of Mathematics and Physics of Charles University and the Multidisciplinary Working Group on AI in Context, we have prepared an unconventional full-length programme “Man, Soul and Artificial Intelligence” for visitors at the Church of the Infant Jesus for this year. On prepared posters in the space of the church, people could reflect on the possibility of linking the abilities of artificial intelligence and the spirituality of man. Through the application, people could then try to answer a series of questions on their smartphones and let artificial intelligence create an individual image of the soul of man using the artistic techniques of several world-famous artists.

Ve spolupráci s výzkumnou skupinou pro teologii a současnou kulturu Evangelické teologické fakulty Univerzity Karlovy, Matematicko-fyzikální fakultou Univerzity Karlovy a multidisciplinární pracovní skupinou AI v kontextu jsme na letošní rok v kostele Pražského Jezulátka připravili pro návštěvníky netradiční celovečerní program “ Člověk, duše a umělá inteligence“. Na připravených posterech v prostoru kostela se lidé mohli zamyslet nad možností propojení schopností umělé inteligence a spirituality člověka. Prostřednictvím aplikace si pak lidé mohli na svých chytrých telefonech zkusit odpovědět na sérii otázek a nechat umělou inteligenci, aby vytvořila individuální obraz duše člověka s použitím výtvarných technik několika světoznámých umělců.

František Štěch
Rudolf Rosa
Jiří Dosoudil
Tereza Hannemann
Pavel Pola


Exploratory Analysis of the Applicability of Formalised Knowledge to Personal Experience Narration

Průzkumná analýza aplikovatelnosti formalizovaných znalostí na výpovědi o osobních prožitcích

Some of the victims of Nazi prosecution have consigned their personal experiences in the form of diaries of their internment in concentration camps. Such human-centric texts may contrast with the organisation of knowledge about such events that, for example, historians and archivists make. In this work, we analyse six such narrations with the use of Entity Extraction and Named Entity Recognition techniques, present the results of the corresponding exploration, and discuss the suitability of such tools on this corpus. We show that knowledge tools, that have been successfully used to organise documents, can be lacking when describing personal accounts, and we suggest ways to alleviate this.

Některé z obětí nacistického stíhání předávají své osobní zkušenosti v podobě deníků z internování v koncentračních táborech. Takové texty zaměřené na člověka mohou kontrastovat s uspořádáním znalostí o takových událostech, které dělají například historici a archiváři. V této práci analyzujeme šest takových vyprávění pomocí technik extrakce entit a rozpoznávání pojmenovaných entit, prezentujeme výsledky odpovídajícího zkoumání a diskutujeme o vhodnosti takových nástrojů na tomto korpusu. Ukazujeme, že znalostní nástroje, které se úspěšně používají k organizaci dokumentů, mohou při popisu osobních účtů chybět, a navrhujeme způsoby, jak to zmírnit.

Victor Mireles
Stephanie Billib
Artem Revenko
Stephan Jänicke
Frank Uiterwaal
Pavel Pecina


Tackling Hallucinations in Neural Chart Summarization

Řešení halucinací při neuronové sumarizaci grafů

Hallucinations in text generation occur when the system produces text that is not grounded in the input. In this work, we tackle the problem of hallucinations in neural chart summarization. Our analysis shows that the target side of chart summarization training datasets often contains additional information, leading to hallucinations. We propose a natural language inference (NLI) based method to preprocess the training data and show through human evaluation that our method significantly reduces hallucinations. We also found that shortening long-distance dependencies in the input sequence and adding chart-related information like title and legends improves the overall performance.

K halucinacím při generování textu dochází tehdy, když systém produkuje text, který nemá opodstatnění na vstupu. V této práci se zabýváme problémem halucinací v neuronové sumarizaci grafů. Naše analýza ukazuje, že cílová strana trénovacích datových sad pro sumarizaci grafů často obsahuje dodatečné informace, což vede k halucinacím. Navrhujeme metodu založenou na inferenci v přirozeném jazyce (NLI) pro předzpracování trénovacích dat a pomocí lidského hodnocení ukazujeme, že naše metoda významně snižuje výskyt halucinací. Zjistili jsme také, že zkrácení závislostí na dlouhé vzdálenosti ve vstupní sekvenci a přidání informací souvisejících s grafem, jako je název a legenda, zlepšuje celkový výkon.

Saad Obaid ul Islam
Iza Škrjanec
Ondřej Dušek
Vera Demberg


We describe the two ELG open calls for pilot projects, the objective of
which was to demonstrate the use and the advantages of ELG in providing basic LT
for applications and as a basis for more advanced LT-based modules or components
useful to industry. Our main goal was to attract SMEs and research organisations
to either contribute additional tools or resources to the ELG platform (type A pilot
projects) or develop applications using Language Technologies available in the ELG
platform (type B pilot projects). We start with the detailed description of the submission
and evaluation processes, followed by a presentation of the open call results.
Afterwards we describe the supervision and evaluation of the execution phase of the
projects, as well as lessons learned. Overall, we were very satisfied with the setup
and with the results of the pilot projects, which demonstrate an enormous interest in
ELG and the Language Technology topic in general.

Popisujeme dvě otevřené výzvy ELG pro pilotní projekty, jejichž cílem bylo demonstrovat využití a výhody ELG při poskytování základního LT pro aplikace a jako základ pro pokročilejší LT moduly nebo komponenty užitečné pro průmysl. Naším hlavním cílem bylo přilákat malé a střední podniky  výzkumné organizace k tomu, aby buď přispěly dalšími nástroji nebo zdroji do platformy ELG pilotní projekty typu A), nebo vyvíjely aplikace s využitím jazykových technologií dostupných v platformě ELG (pilotní projekty typu B). Začneme podrobným popisem procesu podání a vyhodnocení, po kterém následuje prezentace výsledků otevřené výzvy. Poté popíšeme dozor a vyhodnocení realizační fáze projektů, jakož i získané poznatky. Celkově jsme byli velmi spokojeni s nastavením a s výsledky pilotních projektů, které prokazují enormní zájem o ELG a téma jazykových technologií obecně.


Meaning Representations for Natural Languages: Design, Models and Applications

Reprezentace významu pro přirozené jazyky: design, modely a aplikace

Meaning representations vary along many dimensions
• How meaning is connected to text
• Anchoring, alignment, multi‐layer vs. text‐span only
• Relationship to logical and/or executable form
• Mapping to Lexicons/Ontologies
• General, task‐oriented
• Relationship to discourse and discourse‐like phenomena
We’ll overview these in this tutorial.

Významové reprezentace se liší v mnoha dimenzích
• Jak je význam spojen s textem
• Ukotvení, zarovnání, pouze vícevrstvé vs. text‐span
• Vztah k logické a/nebo spustitelné formě
• Mapování na lexikony/Ontologie
• Obecné, zaměřené na úlohy
• Vztah k diskurzu a diskurzu-podobným jevům
V tomto tutoriálu si ukážeme jejich přehled.


Findings of the 2023 Conference on Machine Translation (WMT23): LLMs Are Here but Not Quite There Yet

Výsledky WMT23, Konference o strojovém překladu 2023: LLM jsou tu, ale ještě nedosáhly cíle zcela

This paper presents the results of the General
Machine Translation Task organised as part of
the 2023 Conference on Machine Translation
(WMT). In the general MT task, participants
were asked to build machine translation sys-
tems for any of 8 language pairs (correspond-
ing to 14 translation directions), to be evaluated
on test sets consisting of up to four different do-
mains. We evaluate system outputs with profes-
sional human annotators using a combination
of source-based Direct Assessment and scalar
quality metric (DA+SQM).

(lindat translation) Tato práce prezentuje výsledky Obecné úlohy strojového překladu organizované v rámci Konference o strojovém překladu (WMT) v roce 2023. V obecné úloze MT byli účastníci požádáni o sestavení systémů strojového překladu pro kteroukoli z 8 jazykových dvojic (odpovídajících 14 směrům překladu), které budou vyhodnoceny na testovacích souborech skládajících se až ze čtyř různých oblastí. Vyhodnocujeme systémové výstupy s profesionálními lidskými anotátory pomocí kombinace přímého hodnocení založeného na zdroji a metriky skalární kvality (DA+SQM).

Tom Kocmi
Eleftherios Avramidis
Rachel Bawden
Ondřej Bojar
Anton Dvorkovich
Christian Federmann
Mark Fishel
Markus Freitag
Thamme Gowda
Roman Grundkiewicz
Barry Haddow
Philipp Koehn
Benjamin Marie
Christof Monz
Makoto Morishita
Kenton Murray
Makoto Nagata
Toshiaki Nakazawa
Martin Popel
Maja Popović
Mariya Shmatova


Dynamically Chaining APIs: from Dracor to TEITOK

Dynamicky řetězené API: od Dracoru po TEITOK

The FAIR principles are meant to ensure that (corpus) data can be reused for other purposes. But reusability is typically only considered from the perspective of static resources, while nowadays, many important data sources are regularly updated. In this paper, we will show how creating one resource from another using the API of both sides can make for a dynamic setup in which two resources can be kept in-sync programmatically, even in the case of changing source data. We will illustrate this by pulling data from the Dracor corpus via the API, and uploading and processing data into a TEITOK corpus also via the API. In the setup in this paper, syncing is done by periodically checking for modified data, but in a more involved integration, an on-update trigger could be used on the source side.

Principy FAIR mají zajistit, aby (korpusová) data mohla být znovu použita pro jiné účely. Ale opětovná použitelnost je obvykle zvažována pouze z pohledu statických zdrojů, zatímco v dnešní době je mnoho důležitých datových zdrojů pravidelně aktualizováno. V tomto článku si ukážeme, jak může vytvoření jednoho zdroje z druhého pomocí API obou stran vytvořit dynamické nastavení, ve kterém mohou být dva zdroje programově synchronizovány, a to i v případě změny zdrojových dat. To si ukážeme na vytažení dat z korpusu Dracor přes API a nahrání a zpracování dat do korpusu TEITOK také přes API. V nastavení v tomto dokumentu se synchronizace provádí periodickou kontrolou upravených dat, ale při složitější integraci lze na zdrojové straně použít spouštěč při aktualizaci.


This chapter provides an in-depth account of current research activities
and applications in the field of Speech Technology (ST). It discusses technical, scientific,
commercial and societal aspects in various ST sub-fields and relates ST to the
wider areas of Natural Language Processing and Artificial Intelligence. Furthermore,
it outlines breakthroughs needed, main technology visions and provides an outlook
towards 2030 as well as a broad view of how ST may fit into and contribute to a
wider vision of Deep Natural Language Understanding and Digital Language Equality
in Europe. The chapter integrates the views of several companies and institutions
involved in research and commercial application of ST.

Tato kapitola popisuje do hloubky současné výzkumné aktivity
a existující aplikace v oblasti řečových technologií (ST). Pojednává o technických, vědeckých,
komerčních i společenské aspektech v nejrůznějších dílčích oblastech ST a vztahuje ST k
širší oblasti zpracování přirozeného jazyka a umělé inteligence. Dále
nastiňuje potřebné technologické průlomy v ST, hlavní technologické vize a poskytuje výhled
směrem k roku 2030 včetně nastínění způsobu, jak může ST zapadat do
širší vize hlubokého porozumění přirozenému jazyku a digitální jazykové rovnosti
v Evropě. Kapitola integruje pohledy několika firem a institucí
podílejících se na výzkumu a tvorbě komerčních aplikaci ST.

Marcin Skowron
Gerhard Backfried
Eva Navas
Aivars Bērziņš
Joachim van den Bogoaert
Franciska de Jong
Andrea DeMarco
Inma Hernáez
Marek Kováč
Peter Polák
Johan Rohdin
Michael Rosner
Jon Sanchez
Ibon Saratxaga
Petr Schwarz


A Unified Taxonomy of Deep Syntactic Relations

Sjednocená taxonomie hloubkově syntaktických vztahů

This paper analyzes multiple deep-syntactic frameworks with the goal of creating a proposal for a set of universal semantic role labels. The proposal examines various theoretic linguistic perspectives and focuses on Meaning-Text Theory and Functional Generative Description frameworks.

Tento článek rozebírá dvě existující anotační schémata pro hloubkovou syntax s cílem navrhnout sadu univerzálních sémantických rolí. Návrh zkoumá různé lingvisticko-teoretické pohledy se zvláštním zřetelem k Teorii smysl-text a k Funkčnímu generativnímu popisu.


Results of the Forward-looking Community-wide Consultation

Výsledky konzultace v rámci komunity týkající se výhledů do budoucna

Within the ELE project three complementary online surveys were designed
and implemented to consult the Language Technology (LT) community with regard
to the current state of play and the future situation in about 2030 in terms of Digital
Language Equality (DLE). While Chapters 4 and 38 provide a general overview of
the community consultation methodology and the results with regard to the current
situation as of 2022, this chapter summarises the results concerning the future situation
in 2030. All of these results have been taken into account for the specification
of the project’s Strategic Research, Innovation and Implementation Agenda (SRIA)
and Roadmap for Achieving Full DLE in Europe by 2030.

V rámci projektu ELE byly navrženy a uskutečněny tři online průzkumy za účelem konzultace současného stavu a budoucí situace kolem roku 2030 v oblasti digitální jazykvé rovnosti (DLE) s komunitou jazykových technologií (LT).
Zatímco kapitoly 4 a 38 poskytují obecný přehled
metodiky komunitních konzultací a výsledky s ohledem na současnou situaci k roku 2022, tato kapitola shrnuje výsledky týkající se budoucí situace
v roce 2030.

Emma Daly
Jane Dunne
Federico Gaspari
Teresa Lynn
Natalia Resende
Andy Way
Maria Giagkou
Stelios Piperidis
Tereza Vojtěchová
Jan Hajič
Annika Grützner-Zahn
Stefanie Hegele
Katrin Marheinecke
Georg Rehm


Understanding Borrowing through Derivational Morphology: A Case Study of Czech Verbs

Zkoumání výpůjček pohledem derivační morfologie: Případová studie českých sloves

The transfer of morphemes across languages in language contact situations may lead to an
alteration in the morphology of the recipient language. One of the possible outcomes can
be the introduction of newer word forms or a formation of newer morphological variants of
the existing word forms in the recipient language. Languages often borrow nominal roots and
morphologically derive them into verbs and are thus integrated into respective derivational classes.
This corpus-based analysis for Czech tries to show how synchronic derivational resources can be
used to probabilistically analyze the effects of borrowing in language evolution by focusing on
morphological integration of the borrowed nominal roots in verb formations.

Přenos morfémů mezi jazyky v situacích jazykového kontaktu může mít dopady v morfologii cílového jazyka. Jedním z možných výsledků může být zavádění novějších slovních tvarů nebo tvoření novějších morfologických variant existujících tvarů slov v cílovém jazyku. Jazyky si často vypůjčují nominální kořeny, odvozují od nich slovesa a integrují je do derivačních tříd. Předložená korpusová analýza se na materiálu pro češtinu ukazuje, jak lze využít synchronní derivační zdroje pro pravděpodobnostní analýzu výpůjček z hlediska vývoje jazyka.


Universal Dependencies pro malajálamštinu

Treebanks can play a crucial role in developing natural language processing systems and to have a gold-standard treebank data it becomes necessary to adopt a uniform framework for the annotations. Universal Dependencies (UD) aims to develop cross-linguistically consistent annotations for the world's languages. The current paper presents the essential pivots of the UD based syntactically annotated treebank for Malayalam. Sentences extracted from the IndicCorp corpus were manually annotated for morphological features and dependency relations. Language-specific properties are discussed which shed light on many of the grammatical areas in the Dravidian language syntax which needs to be examined in-depth. This paper also discusses some pertaining issues in UD taking into consideration the Dravidian languages and provides insights for further improvements in the existing treebanks.

Treebanky mohou hrát zásadní roli při vývoji systémů automatického zpracování přirozeného jazyka a k získání ručně anotovaných syntaktických dat (treebanku) je nezbytné použít uniformní anotační rámec. Universal Dependencies (UD) se snaží vyvinout kroslingvisticky konzistentní anotace pro jazyky světa. Tento článek představuje základy syntakticky anotovaného korpusu založeného na UD pro malajálamštinu.


Spanish Synonyms as Part of a Multilingual Event-Type Ontology

Španělská slovesná synonyma jako součást SynSemClass ontologie

This paper presents ongoing work on the multilingual event-type ontology SynSemClass, where multilingual verbal synonymy is formalized in terms of syntactic and semantic properties. In the ontology, verbs are grouped into synonym classes, both monolingually and cross-lingually. Specifically, verbs are considered to belong to the same class if they both express the same meaning in a specific context, and theirvalency frame  can be mapped to the set of roles defined for a particular class. SynSemClass is built following a bottom-up approach where translational equivalents are automatically extracted from parallel corpora and annotated by human annotators. The task of the annotators consists in mapping the valency frame of a particular verb with the set of roles defined for the class where the verb is included as a potential class member, establishing links to external resources, and selecting relevant examples. The Spanish part of the ontology contains 99 classes enriched with Spanish synonyms (as of March 2023). The resulting resource provides fine-grained syntactic-semantic information on multilingual verbal synonyms and at the same time it links data to other existing monolingual and multilingual resources.

Tato práce představuje probíhající práci na vícejazyčné ontologii typu událostí SynSemClass, kde je vícejazyčné slovní synonymum formalizováno z hlediska syntaktických a sémantických vlastností. V ontologii jsou slovesa seskupena do synonymních tříd, a to jak jednojazyčně, tak i vícejazyčně. Konkrétně jsou slovesa považována za patřící do stejné třídy, pokud obě vyjadřují stejný význam v určitém kontextu, a jejich valenční rámec může být mapován do množiny rolí definovaných pro konkrétní třídu. SynSemClass je postavena na základě přístupu zdola nahoru, kde jsou translační ekvivalenty automaticky extrahovány z paralelních korpusů a anotovány lidskými anotátory. Úkol anotátorů spočívá v mapování valenčního rámce konkrétního slovesa se množinou rolí definovaných pro třídu, kde je sloveso zahrnuto jako potenciální člen třídy, vytvoření odkazů na externí zdroje a výběru relevantních příkladů. Španělská část ontologie obsahuje 99 tříd obohacených o španělská synonyma (k březnu 2023). Výsledný zdroj poskytuje jemnozrnné syntakticko-sémantické informace o vícejazyčných slovních synonymech a zároveň propojuje data s dalšími existujícími jednojazyčnými a vícejazyčnými zdroji.

Cristina Fernández Alcaina
Eva Fučíková
Jan Hajič
Zdeňka Urešová


The study proposes that some words in Czech, including navzdory ‘despite’ and počínaje ‘starting from,’ should be treated as ambipositions, i.e., adpositions that may either precede or follow their complement. This avoids the awkwardness of the traditional view on which the former, for instance, is a preposition when preceding a complement and a homonymous adverb when following one. Based on 3,234 corpus instances of navzdory ‘despite,’ nevyjímaje ‘including,’ nemluvě o ‘not to mention,’ počínaje ‘starting with,’ konče ‘ending with,’ and počínaje – konče ‘from – to,’ the study examines the factors determining whether ambipositions in Czech precede or follow their complements. Special attention is paid to the length and the syntactic complexity of the complement, but also to the text type and the position of the adpositional phrase in the clause. The study uses the random forests algorithm to gauge the relative importance of the variables for each of the ambipositions examined. The length of the complement is systematically the best predictor of the position of ambipositions: the longer the complement, the more likely the ambiposition is to precede it. This is argued to follow primarily from the limits of the human working memory.

V článku se zabýváme výrazy typu "navzdory" a "počínaje", které chápeme jako tzv. ambipozice, tj. adpozice, které mohou stát jak před svým komplementem, tak za ním. Tradičně tyto výrazy bývají chápány např. jako předložky (v případě prepozičního postavení) a příslovce (v případě postpozičního postavení). Na základě anotace korpusových dokladů jsme u vybraných ambipozic zjištovali, které faktory ovlivňují jejich postavení vzhledem ke komplementu. Zaměřili jsme se přitom na délku komplementu a jeho syntaktickou komplexitu, dále na typ textu a na pozici adpoziční fráze ve větě. Pro zjištění vlivu jednotlivých faktorů jsme využili statistckou metodu "random forests." Podle našich zjištění má na postavení ambipozice v postpozici či v prepozici největší vliv délka komplementu: čím delší je komplement, tím větší je pravděpodobnost prepozice, což může souviset s kapacitou pracovní paměti člověka.


Transferring Word-Formation Networks Between Languages

We present a method for supervised cross-lingual construction of word-formation networks
(WFNs). WFNs are resources capturing derivational, compositional and other relations
between lexical units in a single language. Current state-of-the-art methods for automatically
creating them typically rely on supervised or unsupervised pattern-matching of affixes in string
representations of words, with few recent inroads into deep learning. All methods known to
us work purely in a monolingual setting, limiting the use of higher-quality supervised models
to high-resource languages.

In this paper, we present two methods, one based on cross-lingual
word alignments and translation and another based on cross-lingual word embeddings and
neural networks. Both methods are capable of transfer of WFNs into languages for which no
word-formational data are available. We evaluate our models on manually-annotated
word-formation data from the Universal Derivations and UniMorph projects.

Článek představuje metodu řízeného strojového učení pro vícejazyčnou tvorbu slovotvorných sítí (word-formation networks, WFN). WFN jsou lingvistické datové zdroje zachycující odvozovací, skládací a jiné vztahy mezi lexémy v rámci jednoho jazyka. Nejlepší současné metody pro automatickou tvorbu WFN typicky využívají řízené nebo neřízené hledání vzorů v řetězcové (textové) reprezentaci slov. V poslední době se objevují metody využívající neuronové sítě. Všechny nám známé metody pracují pouze monolinguálně, což omezuje využití řízeného strojového učení pouze na několik vybraných jazyků s dostupnými trénovacími daty.

V tomto článku představujeme dvě metody, jednu založenou na zarovnaných paralelních korpusech a lexikálním překladu a druhou založenou na cross-linguálních embeddinzích a neuronových sítích. Obě metody dokáží přenášet existující WFN do jazyků, pro které zatím nebyla dostupná žádná data. Modely vyhodnocujeme na ručně anotovaných slovotvorných datech vytvořených v rámci projektů Universal Derivations a UniMorph.


Interoperable Metadata Bridges to the wider Language Technology Ecosystem

Interoperabilní propojení metadat pro širší ekosystém jazykových technologií

One of the objectives of the European Language Grid is to help overcome
the fragmentation of the European Language Technology community by bringing
together language resources and technologies, information about them, Language
Technology consumers, providers and the wider public. This chapter describes the
mechanisms ELG has put in place to build interoperable bridges to related initiatives,
infrastructures, platforms and repositories in the wider Language Technology
landscape. We focus on the different approaches implemented for the exchange of
metadata records about, in a generic sense, resources and exemplify them with the
help of four use cases through which the ELG catalogue has been further populated.
The chapter presents the protocols used for the population processes as well as the
adaptations of the ELG metadata schema and platform policies that proved necessary
to be able to ingest these new records. Last, we discuss the challenges emerging
in large-scale metadata aggregation processes and propose a number of alternative
options to address them.

Jedním z cílů evropské jazykové sítě je pomoci překonat roztříštěnost evropské komunity jazykových technologií tím, že se spojí jazykové zdroje a technologie, informace o nich, spotřebitelé jazykových technologií, poskytovatelé a širší veřejnost. Tato kapitola popisuje mechanismy, které ELG zavedla pro budování interoperabilních mostů k souvisejícím iniciativám, infrastrukturám, platformám a úložištím v širším prostředí jazykových technologií. Zaměřujeme se na různé přístupy uplatňované pro výměnu záznamů metadat o zdrojích v obecném slova smyslu a příkladně je ilustrujeme pomocí čtyř případů použití, jejichž prostřednictvím byl katalog ELG dále zalidněn. Kapitola představuje protokoly používané pro populační procesy, jakož i úpravy schémat metadat ELG a politiky platforem, které se ukázaly jako nezbytné pro schopnost tyto nové záznamy vstřebat. Na závěr diskutujeme o problémech vznikajících v procesech agregace rozsáhlých metadat a navrhujeme řadu alternativních možností, jak je řešit.

Penny Labropoulou
Stelios Piperidis
Miltos Deligiannis
Leon Voukoutis
Maria Giagkou
Ondřej Košarko
Jan Hajič
Georg Rehm


Are Experts Needed? On Human Evaluation of Counselling Reflection Generation

Jsou odborníci potřeba? O lidském hodnocení generovaných reflexí v psychologickém poradenství

Reflection is a crucial counselling skill where the therapist conveys to the client their interpretation of what the client said. Language models have recently been used to generate reflections automatically, but human evaluation is challenging, particularly due to the cost of hiring experts. Laypeople-based evaluation is less expensive and easier to scale, but its quality is unknown for reflections. Therefore, we explore whether laypeople can be an alternative to experts in evaluating a fundamental quality aspect: coherence and context-consistency. We do so by asking a group of laypeople and a group of experts to annotate both synthetic reflections and human reflections from actual therapists. We find that both laypeople and experts are reliable annotators and that they have moderate-to-strong inter-group correlation, which shows that laypeople can be trusted for such evaluations. We also discover that GPT-3 mostly produces coherent and consistent reflections, and we explore changes in evaluation results when the source of synthetic reflections changes to GPT-3 from the less powerful GPT-2.

Reflexe je klíčovou poradenskou dovedností, při níž terapeut sděluje klientovi svou interpretaci toho, co klient řekl. K automatickému vytváření reflexí se v poslední době používají jazykové modely, ale jejich vyhodnocení člověkem je náročné, zejména kvůli nákladům na najímání odborníků. Hodnocení založené na laické veřejnosti je levnější a snadněji se škáluje, ale jeho kvalita u reflexí není známa. Proto zkoumáme, zda laici mohou být alternativou k expertům při hodnocení základního aspektu kvality: koherence a kontextové konzistence. Činíme tak tak, že požádáme skupinu laiků a skupinu expertů, aby anotovali jak syntetické reflexe, tak lidské reflexe od skutečných terapeutů. Zjistili jsme, že jak laici, tak experti jsou spolehlivými anotátory a že mezi nimi existuje středně silná až silná korelace, což ukazuje, že laikům lze při takovém hodnocení důvěřovat. Zjistili jsme také, že GPT-3 většinou vytváří koherentní a konzistentní reflexe, a zkoumáme změny ve výsledcích hodnocení, když se zdroj syntetických reflexí změní z méně výkonného GPT-2 na GPT-3.

Diego Angelo Gaetano Reforgiato Recupero


The SynSemClass Search Tool provides a web search tool for the SynSemClass 4.0 ontology. It includes several search options and criteria for building complex queries. The search results are rendered in a clear and user-friendly interactive representation.

Vyhledávací nástroj SynSemClass poskytuje webový vyhledávací nástroj pro ontologii SynSemClass 4.0. Zahrnuje několik možností vyhledávání a kritérií pro sestavení komplexních dotazů. Výsledky vyhledávání jsou vykresleny v přehledné a uživatelsky přívětivé interaktivní reprezentaci.

Nataliia Petliak
Eva Fučíková
Jan Hajič
Zdeňka Urešová


Sourabrata Mukherjee: Position Paper on Stylized Dialog Response Generation

Sourabrata Mukherjee: Poziční dokument o generování stylizovaných dialogových odpovědí

My primary research focus lies in the domain of Text Style Transfer (TST), a fascinating area within Natural Language Processing (NLP). TST involves the transformation of text into a desired style while approximately preserving its underlying content. In my research, I am also driven by the goal of incorporating TST techniques into NLP systems, particularly within the realm of dialogue systems. I am intrigued by the concept of Stylized Dialog Response Generation, which aims to enhance the versatility and adaptability of dialog systems in generating text responses with specific style attributes. By advancing our understanding of TST and its integration into dialogue systems, my research seeks to contribute to the broader field of human-computer interaction. Through the development of robust and versatile dialogue systems with enhanced style transfer capabilities, we can facilitate more engaging and personalized conversational experiences.

Ve svém výzkumu se zaměřuji především na oblast přenosu textových stylů (TST), což je fascinující oblast zpracování přirozeného jazyka (NLP). TST zahrnuje transformaci textu do požadovaného stylu při přibližném zachování jeho základního obsahu. Ve svém výzkumu se také řídím cílem začlenit techniky TST do systémů NLP, zejména v oblasti dialogových systémů. Zaujala mě koncepce stylizovaného generování dialogových odpovědí, jejímž cílem je zvýšit univerzálnost a přizpůsobivost dialogových systémů při generování textových odpovědí se specifickými stylovými atributy. Pokrokem v chápání TST a jeho integrací do dialogových systémů se můj výzkum snaží přispět k širší oblasti interakce člověk-počítač. Vývojem robustních a všestranných dialogových systémů s rozšířenými možnostmi přenosu stylu můžeme usnadnit poutavější a personalizovanější konverzační zážitky.


Leveraging Low-resource Parallel Data for Text Style Transfer

Využití paralelních dat s malým množstvím zdrojů pro přenos stylu textu

Text style transfer (TST) involves transforming a text into a desired style while approximately preserving its content. The biggest challenge in TST in the general lack of parallel data. Many existing approaches rely on complex models using substantial non-parallel data, with mixed results. In this paper, we leverage a pretrained BART language model with minimal parallel data and incorporate low-resource methods such as hyperparameter tuning, data augmentation, and self-training, which have not been explored in TST. We further include novel style-based rewards in the training loss. Through extensive experiments in sentiment transfer, a sub-task of TST, we demonstrate that our simple yet effective approaches achieve well-balanced results, surpassing non-parallel approaches and highlighting the usefulness of parallel data even in small amounts.

Přenos stylu textu (TST) znamená transformaci textu do požadovaného stylu při přibližném zachování jeho obsahu. Největší problém při TST spočívá v obecném nedostatku paralelních dat. Mnoho stávajících přístupů se spoléhá na složité modely využívající velká množství neparalelních dat, a to se smíšenými výsledky. V tomto článku využíváme předtrénovaný jazykový model BART s minimem paralelních dat a začleňujeme metody s nízkými nároky na zdroje, jako je ladění hyperparametrů, rozšiřování dat a sebetrénování, které nebyly v TST dosud prozkoumány. Dále do trénovací ztrátové funkce zahrnujeme nové odměny založené na stylu. Prostřednictvím rozsáhlých experimentů v přenosu sentimentu, dílčí úloze TST, demonstrujeme, že naše jednoduché, ale účinné přístupy dosahují dobře vyvážených výsledků, překonávají neparalelní přístupy a zdůrazňují užitečnost paralelních dat i v malém množství.


UFAL-ULD at BLP-2023 Task 1: Violence Detection in Bangla Text

UFAL-ULD v BLP-2023, úloha 1: Detekce násilí v textu v bangálštině

In this paper, we present UFAL-ULD team's system, desinged as a part of the BLP Shared Task 1: Violence Inciting Text Detection (VITD). This task aims to classify text, with a particular challenge of identifying incitement to violence into Direct, Indirect or Non-violence levels. We experimented with several pre-trained sequence classification models, including XLM-RoBERTa, BanglaBERT, Bangla BERT Base, and Multilingual BERT. Our best-performing model was based on the XLM-RoBERTa-base architecture, which outperformed the baseline models.
Our system was ranked 20th among the 27 teams that participated in the task.

V tomto článku představujeme systém týmu UFAL-ULD, který byl navržen v rámci společného úkolu 1 BLP: VITD (Violence Inciting Text Detection). Cílem této úlohy je klasifikace textů, přičemž konkrétním úkolem je identifikovat podněcování k násilí na úroveň přímého, nepřímého nebo nenásilného. Experimentovali jsme s několika předtrénovanými modely klasifikace sekvencí, včetně XLM-RoBERTa, BanglaBERT, Bangla BERT Base a Multilingual BERT. Náš nejvýkonnější model byl založen na architektuře XLM-RoBERTa-base, která překonala základní modely.
Náš systém se umístil na 20. místě mezi 27 týmy, které se úlohy zúčastnily.

Sourabrata Mukherjee
Atul Kr. Ojha
Ondřej Dušek


UFAL-ULD at BLP-2023 Task 2 Sentiment Classification in Bangla Text

UFAL-ULD v BLP-2023, úloha 2: Klasifikace sentimentu v textu v bengálštině

In this paper, we present the UFAL-ULD team's system for the BLP Shared Task 2: Sentiment Analysis of Bangla Social Media Posts. The Task 2 involves classifying text into Positive, Negative, or Neutral sentiments. As a part of this task, we conducted a series of experiments with several pre-trained sequence classification models -- XLM-RoBERTa, BanglaBERT, Bangla BERT Base and Multilingual BERT. Among these, our best-performing model was based on the XLM-RoBERTa-base architecture, which outperforms baseline models. Our system was ranked 19th among the 30 teams that participated in the task.

V tomto článku představujeme systém týmu UFAL-ULD pro sdílenou úlohu 2 BLP: Analýza sentimentu příspěvků na sociálních sítích v bengálštině. Úloha 2 zahrnuje klasifikaci textu na pozitivní, negativní nebo neutrální sentimenty. V rámci této úlohy jsme provedli sérii experimentů s několika předtrénovanými modely klasifikace sentencí -- XLM-RoBERTa, BanglaBERT, Bangla BERT Base a Multilingual BERT. Mezi nimi byl náš nejvýkonnější model založený na architektuře XLM-RoBERTa-base, který překonává základní modely. Náš systém se umístil na 19. místě mezi 30 týmy, které se úlohy zúčastnily.


Polite Chatbot: A Text Style Transfer Application

Zdvořilý chatbot: Aplikace přenosu textového stylu

Generating polite responses is essential to build intelligent and engaging dialogue systems. However, this task is far from well-explored due to the difficulties of rendering a particular style in coherent responses, especially when parallel datasets for regular-to-polite pairs are usually unavailable. This paper proposes a polite chatbot that can produce responses that are polite and coherent to the given context. In this study, a politeness transfer model is first used to generate polite synthetic dialogue pairs of contexts and polite utterances. Then, these synthetic pairs are employed to train a dialogue model. Automatic and human evaluations demonstrate that our method outperforms baselines in producing polite dialogue responses while staying competitive in terms of coherent to the given context.

Generování zdvořilých odpovědí je nezbytné pro vytvoření inteligentních a poutavých dialogových systémů. Tento úkol však není zdaleka tak dobře prozkoumán kvůli obtížnosti vykreslení určitého stylu v souvislých odpovědích, zvláště když paralelní datové soubory pro dvojice běžných a zdvořilých odpovědí obvykle nejsou k dispozici. Tento článek navrhuje zdvořilého chatbota, který dokáže vytvářet odpovědi, jež jsou zdvořilé a koherentní vzhledem k danému kontextu. V této studii je nejprve použit model přenosu zdvořilosti, který generuje zdvořilé syntetické dialogové dvojice kontextů a zdvořilých výroků. Poté jsou tyto syntetické dvojice použity k trénování dialogového modelu. Automatická a lidská hodnocení ukazují, že naše metoda překonává baseliny při vytváření zdvořilostních dialogových odpovědí a zároveň zůstává konkurenceschopná z hlediska koherence s daným kontextem.

Sourabrata Mukherjee
Vojtěch Hudeček
Ondřej Dušek


Low-Resource Text Style Transfer for Bangla: Data & Models

Přenos stylu textu s malým množstvím zdrojů pro bengálštinu: Data a modely

Text style transfer (TST) involves modifying the linguistic style of a given text while retaining its core content. This paper addresses the challenging task of text style transfer in the Bangla language, which is low-resourced in this area. We present a novel Bangla dataset that facilitates text sentiment transfer, a subtask of TST, enabling the transformation of positive sentiment sentences to negative and vice versa. To establish a high-quality base for further research, we refined and corrected an existing English dataset of 1,000 sentences for sentiment transfer based on Yelp reviews, and we introduce a new human-translated Bangla dataset that parallels its English counterpart.
Furthermore, we offer multiple benchmark models that serve as a validation of the dataset and baseline for further research.

Přenos stylu textu (TST) zahrnuje úpravu jazykového stylu daného textu při zachování jeho hlavního obsahu. Tento článek se zabývá náročným úkolem přenosu textového stylu v bengálštině, která má v této oblasti málo zdrojů. Představujeme novou datovou sadu v bengálštině, která usnadňuje převod sentimentu textu, dílčí úkol TST, umožňující transformaci pozitivních sentimentálních vět na negativní a naopak. Abychom vytvořili kvalitní základnu pro další výzkum, zdokonalili jsme a opravili existující anglický dataset o 1 000 větách pro přenos sentimentu založený na recenzích na Yelpu a představujeme nový dataset v bengálštině přeložený člověkem, který je paralelní s jeho anglickým protějškem.
Dále nabízíme několik srovnávacích modelů, které slouží jako validace datové sady a východisko pro další výzkum.

Sourabrata Mukherjee
Akansha Bansal
Pritha Majumdar
Atul Kr. Ojha
Ondřej Dušek


The aim of the Universal Anaphora initiative is to push forward the state of the art both in anaphora (coreference) annotation and in the evaluation of models for anaphora resolution. The first release of the Universal Anaphora Scorer (Yu et al., 2022b) supported the scoring not only of identity anaphora as in the Reference Coreference Scorer (Pradhan et al., 2014) but also of split antecedent anaphoric reference, bridging references, and discourse deixis. That scorer was used in the CODI-CRAC 2021/2022 Shared Tasks on Anaphora Resolution in Dialogues (Khosla et al., 2021; Yu et al., 2022a). A modified version of the scorer supporting discontinuous markables and the COREFUD markup format was also used in the CRAC 2022 Shared Task on Multilingual Coreference Resolution (Žabokrtský et al., 2022). In this paper, we introduce the second release of the scorer, merging the two previous versions, which can score reference with discontinuous markables and zero anaphora resolution.

Článek představuje novou verzi evaluačního nástroje na hodnocení rozpoznávání koreference a dalších anaforických vztahů v rámci iniciativy Universal Anaphora.

Juntao Yu
Michal Novák
Abdulrahman Aloraini
Nafise Sadat Moosavi
Silviu Paun
Sameer Pradhan
Massimo Poesio


Missing information, unresponsive authors, experimental flaws: The impossibility of assessing the reproducibility of previous human evaluations in NLP

Chybějící informace, neteční autoři, chyby v návrhu experimentů: nemožnost vyhodnocení reprodukovatelnosti předchozích lidských vyhodnocení v NLP

We report our efforts in identifying a set of previous human evaluations in NLP that would be suitable for a coordinated study examining what makes human evaluations in NLP more/less reproducible. We present our results and findings, which include that just 13% of papers had (i) sufficiently low barriers to reproduction, and (ii) enough obtainable information, to be considered for reproduction, and that all but one of the experiments we selected for reproduction was discovered to have flaws that made the meaningfulness of conducting a reproduction questionable. As a result, we had to change our coordinated study design from a reproduce approach to a standardisethen-reproduce-twice approach. Our overall (negative) finding that the great majority of human evaluations in NLP is not repeatable and/or not reproducible and/or too flawed to justify reproduction, paints a dire picture, but presents an opportunity for a rethink about how to design and report human evaluations in NLP.

Referujeme o našem úsilí při identifikaci souboru předchozích lidských hodnocení v NLP, která by byla vhodná pro koordinovanou studii zkoumající, co činí lidská hodnocení v NLP více či méně reprodukovatelnými. Uvádíme naše výsledky a zjištění, mezi něž patří, že pouze 13 % prací mělo (i) dostatečně nízké překážky pro reprodukci a (ii) dostatek dostupných informací, aby mohly být uvažovány pro reprodukci, a že až na jeden u všech experimentů vybraných pro reprodukci byly zjištěny nedostatky, které samotné provádění reprodukce zpochybnily. V důsledku toho jsme museli změnit náš koordinovaný plán studie z přístupu reprodukce na přístup standardizace + dvojí reprodukce. Naše celkové (negativní) zjištění, že velká většina lidských hodnocení v NLP není opakovatelná a/nebo není reprodukovatelná a/nebo je příliš chybová na to, aby reprodukce dávala smysl, vykresluje neradostný obraz, ale představuje příležitost k přehodnocení toho, jak navrhovat a podávat zprávy o lidských hodnoceních v NLP.

Anya Belz
Craig Thomson
Ehud Reiter
Gavin Abercrombie
Jose M. Alonso-Moral
Mohammad Arvan
Jackie Cheung
Mark Cieliebak
Elizabeth Clark
Kees van Deemter
Tanvi Dinkar
Ondřej Dušek
Steffen Eger
Qixiang Fang
Albert Gatt
Dimitra Gkatzia
Javier González Corbelle
Dirk Hovy
Manuela Hürlimann
Takumi Ito
John D. Kelleher
Filip Klubička
Huiyuan Lai
Chris van der Lee
Emiel van Miltenburg
Yiru Li
Saad Mahamood
Margot Mieskes
Malvina Nissim
Natalie Parde
Ondřej Plátek
Verena Rieser
Pablo Mosteiro Romero
Joel Tetreault
Antonio Toral
Xiaojun Wan
Leo Wanner
Lewis Watson
Diyi Yang


Automatic generation of seminars/homework/ and eventually possibly bachelor and thesis

Automatické generování seminárek/domácích úkolů/ a časem možná i bakalářek a diplomek

The aim of the seminar will be to reflect informally on how to handle the new technology in the classroom and to share experiences and visions.

Cílem semináře bude se společně neformálně zamyslet jak s novou technologií v rámci výuky zacházet a případně sdílet zkušenosti a vize.


How does ChatGPT etc. change informatics?
How does ChatGPT etc. change the study in the informatics section?
How does ChatGPT etc. affect the entering and evaluation of tasks?
Is the use of GPT etc. in the study a fraud or an effective solution?

Jak ChatGPT aj. mění informatiku?
Jak ChatGPT aj. mění studium na informatické sekci?
Jak ChatGPT aj. ovlivňuje zadávání a hodnocení úkolů?
Je využívání GPT aj. při studiu podvod nebo efektivní řešení?


On Difficulties of Attention Factorization through Shared Memory

K obtížnosti faktorizace attention pomocí sdílené paměti

Transformers are powerful deep learning models that have revolutionized various fields like natural language processing, computer vision, and audio processing. Their strength lies in the attention mechanism, which enables learning complex dependencies between inputs.
However, this attention mechanism also comes with quadratic time
and memory complexity, making it challenging to apply the model
to larger inputs. Among other approaches to accelerate computation,
researchers are exploring models that use external learnable memory
to reduce attention computation to linear complexity. We focus on
one such model, Linear Unified Nested Attention (Luna), to examine
how memory size and block connectivity affect model training convergence and predictive accuracy. Our research brings some counter-intuitive results regarding the Luna model, e.g. that the size of the
memory has much less impact on the performance than one might
expect, and that the block might significantly benefit from layer reordering.

Transformátory jsou výkonné modely hlubokého učení, které způsobily revoluci v různých oblastech, jako je zpracování přirozeného jazyka, počítačové vidění a zpracování zvuku. Jejich síla spočívá v mechanismu pozornosti, který umožňuje učení komplexních závislostí mezi vstupy.
Tento mechanismus pozornosti však přichází také s kvadratickým časem
a složitostí paměti, takže je náročné aplikovat model
na větší vstupy. Mezi dalšími přístupy k urychlení výpočtů
výzkumníci zkoumají modely, které využívají externí naučitelnou paměť
k redukci výpočtu pozornosti na lineární složitost. Zaměřujeme se na
jeden takový model, Lineární sjednocená vnořená pozornost (Luna), abychom zkoumali,
jak velikost paměti a připojení bloku ovlivňují trénink modelu konvergence a prediktivní přesnost. Náš výzkum přináší několik protichůdných výsledků týkajících se modelu Luny, např. že velikost
paměti má mnohem menší dopad na výkon, než by se dalo
očekávat, a že blok by mohl významně těžit z přeskupení vrstev.

Uladzislau Yorsh
Ondřej Bojar
Martin Holeňa


Assessing Word Importance Using Models Trained for Semantic Tasks

Určení důležitosti slova pomocí modelů trénovaných pro sémantické úlohy

Many NLP tasks require to automatically identify the most significant words in a text. In this work, we derive word significance from models trained to solve semantic task: Natural Language Inference and Paraphrase Identification. Using an attribution method aimed to explain the predictions of these models, we derive importance scores for each input token. We evaluate their relevance using a so-called cross-task evaluation: Analyzing the performance of one model on an input masked according to the other model’s weight, we show that our method is robust with respect to the choice of the initial task. Additionally, we investigate the scores from the syntax point of view and observe interesting patterns, e.g. words closer to the root of a syntactic tree receive higher importance scores. Altogether, these observations suggest that our method can be used to identify important words in sentences without any explicit word importance labeling in training.

Mnoho úloh NLP vyžaduje automatickou identifikaci nejdůležitějších slov v textu. V této práci odvozujeme význam slov z modelů natrénovaných k řešení sémantických úloh: Inference přirozeného jazyka a identifikace parafrází. Pomocí atribuční metody, jejímž cílem je vysvětlit předpovědi těchto modelů, odvozujeme skóre důležitosti pro každý vstupní token. Jejich relevanci hodnotíme pomocí tzv. křížového hodnocení úloh: Analýzou výkonu jednoho modelu na vstupu maskovaném podle váhy druhého modelu prokážeme, že naše metoda je robustní s ohledem na volbu výchozí úlohy. Kromě toho zkoumáme skóre z hlediska syntaxe a pozorujeme zajímavé vzorce, např. slova blíže ke kořeni syntaktického stromu dostávají vyšší skóre důležitosti. Celkově tato pozorování naznačují, že naši metodu lze použít k identifikaci důležitých slov ve větách bez jakéhokoli explicitního označení důležitosti slov v tréninku.

Dávid Javorský
Ondřej Bojar
François Yvon


Breeding Machine Translations: Evolutionary approach to survive and thrive in the world of automated evaluation

Šlechtění strojového překladu: Evoluční přístup k přežití a prosperitě ve světě automatizovaného hodnocení

We propose a genetic algorithm (GA) based method for modifying n-best lists produced by a machine translation (MT) system. Our method offers an innovative approach to improving MT quality and identifying weaknesses in evaluation metrics. Using common GA operations (mutation and crossover) on a list of hypotheses in combination with a fitness function (an arbitrary MT metric), we obtain novel and diverse outputs with high metric scores. With a combination of multiple MT metrics as the fitness function, the proposed method leads to an increase in translation quality as measured by other held-out automatic metrics.With a single metric (including popular ones such as COMET) as the fitness function, we find blind spots and flaws in the metric. This allows for an automated search for adversarial examples in an arbitrary metric, without prior assumptions on the form of such example. As a demonstration of the method, we create datasets of adversarial examples and use them to show that reference-free COMET is substantially less robust than the reference-based version.

Navrhujeme metodu založenou na genetickém algoritmu (GA) pro modifikaci n-nejlepších seznamů vytvořených systémem strojového překladu (MT). Naše metoda nabízí inovativní přístup ke zlepšení kvality MT a identifikaci slabin v metrikách hodnocení. Pomocí běžných GA operací (mutace a crossover) na seznamu hypotéz v kombinaci s fitness funkcí (libovolná MT metrika) získáváme nové a různorodé výstupy s vysokými metrickými skóre. Díky kombinaci více metrik MT jako fitness funkce vede navrhovaná metoda ke zvýšení kvality překladu měřené jinými automatickými metrikami. S jedinou metrikou (včetně populárních, jako je COMET) jako funkce fitness, najít slepá místa a nedostatky v metrice. To umožňuje automatizované vyhledávání příkladů protivníka v libovolné metrice, bez předchozích předpokladů o formě takového příkladu. Jako demonstraci metody vytváříme datové sady protichůdných příkladů a používáme je, abychom ukázali, že bezreferenční COMET je podstatně méně robustní než referenční verze.


Character-level NMT and language similarity

NMT na úrovni znaků a jazyková podobnost

We explore the effectiveness of character-level neural machine translation using Transformer
architecture for various levels of language similarity and size of the training dataset on translation between Czech and Croatian, German, Hungarian, Slovak, and Spanish. We evaluate the
models using automatic MT metrics and show that translation between similar languages benefits from character-level input segmentation, while for less related languages, character-level
vanilla Transformer-base often lags behind subword-level segmentation. We confirm previous findings that it is possible to close the gap by finetuning the already trained subword-level
models to character-level.

Zkoumáme efektivitu neuronového strojového překladu na úrovni znaků pomocí architektury Transformer pro různé úrovně jazykové podobnosti a velikosti trénovacího souboru dat na překladu mezi češtinou a chorvatštinou, němčinou, maďarštinou, slovenštinou a španělštinou. Modely vyhodnocujeme pomocí metrik automatického MT a ukazujeme, že překlad mezi podobnými jazyky těží ze segmentace vstupů na úrovni znaků, zatímco u méně příbuzných jazyků vanilková báze Transformer na úrovni znaků často zaostává za segmentací na úrovni subwordů. Potvrzujeme předchozí zjištění, že je možné tuto mezeru zmenšit finetuningem již natrénovaných modelů na úrovni subwordů na úroveň znaků.


CUNI at WMT23 General Translation Task: MT and a Genetic Algorithm

Příspěvky CUNI na WMT23 úkol obecného překladu

This paper describes the submissions of different Charles University teams to WMT23 General translation task (English to Czech and Czech to Ukrainian translation directions). Our main submission, CUNI-GA, is a result of applying a novel n-best list reranking and modification method on translation candidates produced by the two other submitted systems, CUNI-Transformer and CUNI-DocTransformer (document-level translation only used for the $en \rightarrow cs$ direction). Our method uses a genetic algorithm and MBR decoding to search for optimal translation under a given metric (in our case, a weighted combination of ChrF, BLEU, COMET22-DA, and COMET22-QE-DA). Based on the automatic metrics, our submissions are first in the constrained track and competitive with the best unconstrained systems according to some of the metrics.

Tento příspěvek popisuje příspěvky různých týmů Univerzity Karlovy do překladatelské úlohy WMT23 General (překladatelské směry z češtiny do angličtiny a z češtiny do ukrajinštiny). Naše hlavní podání, CUNI-GA, je výsledkem aplikace nové metody přeřazování a modifikace n-nejlepších seznamů na kandidáty překladu vytvořené dalšími dvěma předloženými systémy, CUNI-Transformer a CUNI-DocTransformer (překlad na úrovni dokumentů se používá pouze pro směr $en \rightarrow cs$). Naše metoda používá genetický algoritmus a dekódování MBR k hledání optimálního překladu podle dané metriky (v našem případě vážené kombinace ChrF, BLEU, COMET22-DA a COMET22-QE-DA). Na základě automatických metrik jsou naše příspěvky první v omezené stopě a podle některých metrik konkurují nejlepším neomezeným systémům.


Negative Lexical Constraints in Neural Machine Translation

Negativní lexikální omezení ve strojovém překladu

This paper explores negative lexical constraining in English to Czech neural machine translation. Negative lexical constraining is used to prohibit certain words or expressions in the translation produced by the neural translation model. We compared various methods based on modifying either the decoding process or the training data. The comparison was performed on two tasks: paraphrasing and feedback-based translation refinement. We also studied to which extent these methods “evade" the constraints presented to the model (usually in the dictionary form) by generating a different surface form of a given constraint.We propose a way to mitigate the issue through training with stemmed negative constraints to counter the model’s ability to induce a variety of the surface forms of a word that can result in bypassing the constraint. We demonstrate that our method improves the constraining, although the problem still persists in many cases.

Tento článek zkoumá negativní lexikální omezení v angličtině do českého neuronového strojového překladu. Negativní lexikální omezení se používá k zákazu určitých slov nebo výrazů v překladu vytvořeném modelem neurální translace. Porovnali jsme různé metody založené na úpravě buď dekódovacího procesu nebo trénovacích dat. Srovnání bylo provedeno na dvou úlohách: parafrázování a zpřesňování překladu na základě zpětné vazby. Zkoumali jsme také, do jaké míry se tyto metody „vyhýbají“ omezením prezentovaným v modelu (obvykle ve formě slovníku) tím, že generují jinou povrchovou formu daného omezení. Navrhujeme způsob, jak tento problém zmírnit pomocí tréninku s odstraněnými negativními omezeními. čelit schopnosti modelu vyvolat různé povrchové formy slova, což může vést k obejití omezení. Ukazujeme, že naše metoda omezení zlepšuje, i když problém v mnoha případech stále přetrvává.

Josef Jon
Dušan Variš
Michal Novák
Joao Paulo Aires
Ondřej Bojar


AI, where are you heading? Where are we heading together?

Do you want to make magic with AI?

I'll show you a gallery of AI spells and explain how you can use it too. I'll show you AI chatting, talking, and playing music. I'll briefly summarise the history and predict what will be hot in AI this Christmas.

Is AI hard to understand? It is, and it isn't. Come to the talk and join the open online community for advice. You'll learn how to use AI, create it, and maybe even improve it.
Take your phone and come. You'll learn how to get started and how to grow your knowledge.

Getting started with AI is easy!

Chceš začít kouzlit s AI?

Ukážu ti galerii AI kouzel a vysvětlím, jak ji můžeš používat i ty. Předvedu ti AI chatující, mluvící i hrající muziku. Krátce shrnu historii a předpovím, co bude frčet v AI o Vánocích.

Je těžké AI rozumět? Je a není. Přijď na přednášku a přidej se do otevřené online komunity, která ti poradí. Naučíš se AI používat, tvořit a třeba ji i vylepšíš.
Vem si mobil a přijď. Dozvíš se jak začít i jak své znalosti prohlubovat.

Začít s AI je jednoduché!


AI f* ups. How to avoid troubles and be ethical?

AI přešlapy. Jak se vyhnout průšvihům a chovat se eticky?

AI overshoots? How will I stay out of trouble?
(Generative) AI can't be avoided anymore. At the same time, as a new technology, it creates many controversial situations with no precedents for how to behave in them.
Let's demonstrate them so you can recognize them and have time to prepare an appropriate ethical solution.

AI přešlapy? Vyhnu se průšvihům.
(Generativní) AI se vyhnout již nedá. Zároveň AI, jako nová technologie, vytváří řadu kontroverzních situací bez precedensu jak se v nich chovat.
Pojdmě si kontroverzní situace ukázat, abychom je rozpoznali a měli čas si připravit vhodné etické řešení.


AI přešlapy? Vyhnu se průšvihům.
(Generativní) AI se vyhnout již nedá. Zároveň jako nová technologie vytváří řadu kontroverzních situací bez precedenců jak se v nich chovat.
Pojdmě si je ukázat ať je rozpoznáte a máte se čas si připravit vhodné etické řešení.


MooseNet: A Trainable Metric for Synthesized Speech with a PLDA Module

MooseNet: trénovatelná metrika pro syntetizovanou řeč s PLDA modulem

We present MooseNet, a trainable speech metric that predicts the listeners’ Mean Opinion Score (MOS). We propose a novel approach where the Probabilistic Linear Discriminative Analysis (PLDA) generative model is used on top of an embedding obtained from a self-supervised learning (SSL) neural network (NN) model. We show that PLDA works well with a non-finetuned SSL model when trained only on 136 utterances (ca. one minute training time) and that PLDA consistently improves various neural MOS prediction models, even stateof-the-art models with task-specific fine-tuning. Our ablation study shows PLDA training superiority over SSL model finetuning in a low-resource scenario. We also improve SSL model fine-tuning using a convenient optimizer choice and additional contrastive and multi-task training objectives. The fine-tuned MooseNet NN with the PLDA module achieves the best results, surpassing the SSL baseline on the VoiceMOS Challenge data.

Představujeme MooseNet trénovatelnou metriku pro syntetizovanou řeč, která předpovídá průměrné skóre názorů posluchačů (MOS). Navrhujeme nový přístup, v němž je generativní model pravděpodobnostní lineární diskriminační analýzy (PLDA) použit nad předtrénovaným modelem neuronové sítě (NN) natrénovaným self-supervised learning(SSL). Ukazujeme, že PLDA funguje dobře i s netrénovaným modelem SSL, když je trénován pouze na 136 promluvách, a že PLDA konzistentně zlepšuje různé neuronové modely predikce MOS, dokonce i nejmodernější modely adaptované na konkrétní úlohy. Naše ablační studie ukazuje nadřazenost PLDA nad adaptovanými modely SSL ve scénáři s malým počtem trénovacích dat. Zlepšili jsme také adaptaci SSL modelu pomocí. Adaptovaný MooseNet NN s modulem PLDA dosahuje nejlepších výsledků a překonává základní model SSL na datech VoiceMOS Challenge.


Three Ways of Using Large Language Models to Evaluate Chat

Tři způsoby použití velkých jazykových modelů pro evaluaci chatu

This paper describes the systems submitted by team6 for ChatEval, the DSTC 11 Track 4 competition. We present three different approaches to predicting turn-level qualities of chatbot responses based on large language models (LLMs). We report improvement over the baseline using dynamic few-shot examples from a vector store for the prompts for ChatGPT. We also analyze the performance of the other two approaches and report needed improvements for future work. We developed the three systems over just two weeks, showing the potential of LLMs for this task. An ablation study conducted after the challenge deadline shows that the new Llama 2 models are closing the performance gap between ChatGPT and open-source LLMs. However, we find that the Llama 2 models do not benefit from few-shot examples in the same way as ChatGPT.

Tento článek popisuje systémy odevzdané týmem 6 v soutěži ChatEval, která se koná v rámci DSTC 11 Track 4. Představuje tři různé přístupy k předpovídání kvality odpovědí chatbotů na úrovni tahů na základě velkých jazykových modelů (LLM). Uvádíme zlepšení oproti základnímu systému pomocí dynamických příkladů s několika příklady z vektorového úložiště pro ChatGPT prompty. Analyzujeme také výkonnost dalších dvou přístupů a uvádíme potřebná zlepšení pro budoucí práci. Tyto tři systémy jsme vyvinuli během pouhých dvou týdnů, což ukazuje potenciál LLM pro tuto úlohu. Ablační studie provedená po soutěži ukazuje, že nové modely Llama 2 zmenšují rozdíl mezi ChatGPT a open-source LLM. Zjistili jsme však, že modely Llama 2 nevyužívají příklady s několika příklady stejným způsobem jako ChatGPT.

Ondřej Plátek
Vojtěch Hudeček
Patrícia Schmidtová
Mateusz Lango
Ondřej Dušek


With a Little Help from the Authors: Reproducing Human Evaluation of an MT Error Detector

S dopomocí autorů: Reprodukce lidského hodnocení MT detektoru

This work presents our efforts to reproduce the results of the human evaluation experiment presented in the paper of Vamvas and Sennrich (2022), which evaluated an automatic system detecting over- and undertranslations (translations containing more or less information than the original) in machine translation (MT) outputs. Despite the high quality of the documentation and code provided by the authors, we discuss some problems we found in reproducing the exact experimental setup and offer recommendations for improving reproducibility. Our replicated results generally confirm the conclusions of the original study, but in some cases statistically significant differences were observed, suggesting a high variability of human annotation.

Tato práce představuje naši snahu o reprodukci výsledků experimentu s lidským hodnocením, který byl prezentován v článku Vamvase a Sennricha (2022), který hodnotil automatický systém pro detekci "under-" a "over-" translation (překladů obsahujících více nebo méně informací než originál) ve výstupech strojového překladu (MT). Navzdory vysoké kvalitě dokumentace a kódu, které autoři poskytli, jsme popsali problémy, které jsme zjistili při reprodukci přesného experimentálního uspořádání, a nabízíme doporučení pro zlepšení reprodukovatelnosti. Naše replikované výsledky obecně potvrzují závěry původní studie, ale v některých případech byly pozorovány statisticky významné rozdíly, což naznačuje vysokou variabilitu lidské anotace.

Ondřej Plátek
Mateusz Lango
Ondřej Dušek


THEaiTRE: Artificial Intelligence Writes a Theatre Play

THEaiTRE: Umělá inteligence píše divadelní hru

Presentation of the THEaiTRE project within the conference for both professional and lay public.

Prezentace projektu THEaiTRE v rámci konference pro odbornou i laickou veřejnost.


ESPnet-ST-v2: Multipurpose Spoken Language Translation Toolkit

ESPnet-ST-v2: Víceúčelová sada nástrojů pro překlad mluveného jazyka

ESPnet-ST-v2 is a revamp of the open-source ESPnet-ST toolkit necessitated by the broadening interests of the spoken language translation community. ESPnet-ST-v2 supports 1) offline speech-to-text translation (ST), 2) simultaneous speech-to-text translation (SST), and 3) offline speech-to-speech translation (S2ST) -- each task is supported with a wide variety of approaches, differentiating ESPnet-ST-v2 from other open source spoken language translation toolkits. This toolkit offers state-of-the-art architectures such as transducers, hybrid CTC/attention, multi-decoders with searchable intermediates, time-synchronous blockwise CTC/attention, Translatotron models, and direct discrete unit models. In this paper, we describe the overall design, example models for each task, and performance benchmarking behind ESPnet-ST-v2, which is publicly available at https://github.com/espnet/espnet.

ESPnet-ST-v2 je přepracováním open-source sady nástrojů ESPnet-ST, kterou si vyžádaly rozšiřující se zájmy komunity překladatelů mluveného jazyka. ESPnet-ST-v2 podporuje 1) offline překlad řeči do textu (ST), 2) simultánní překlad řeči do textu (SST) a 3) offline převod řeči na řeč (S2ST) – každý úkol je podporováno širokou škálou přístupů, které odlišují ESPnet-ST-v2 od jiných open source sad nástrojů pro překlad mluveného jazyka. Tato sada nástrojů nabízí nejmodernější architektury, jako jsou převodníky, hybridní CTC/attention, multi dekodéry s prohledávatelnými meziprodukty, časově synchronní blokové CTC/attention, modely Translatotron a přímé modely diskrétních jednotek. V tomto dokumentu popisujeme celkový design, příklady modelů pro každou úlohu a výkonnostní benchmarking za ESPnet-ST-v2, který je veřejně dostupný na https://github.com/espnet/espnet.

Brian Yan
Jiatong Shi
Yun Tang
Hirofumi Inaguma
Yifan Peng
Siddharth Dalmia
Peter Polák
Patrick Fernandes
Dan Berrebbi
Tomoki Hayashi
Xiaohui Zhang
Zhaoheng Ni
Moto Hira
Soumi Maiti
Juan Pino
Shinji Watanabe


From MT to Solving All World’s Language Tasks

Od strojového překladu k řešení všech jazykových úloh světa

At the workshop organized by AG Keim (https://www.vis.uni-konstanz.de/), I presented the brief history, current status and common misconceptions about the Transformer models.

Na workshopu pořádaném kolegy z AG Keim (https://www.vis.uni-konstanz.de/) jsem představil stručnou historii, současný stav a typické omyly při práci s modely typu Transformer.


From MT to Solving All World’s Text Problems

Od strojového překladu k řešení všech textových problémů

At the DeepLayers event of Brno AI Days, I presented the sudden changes that the Transformer model brought to the area of machine translation and the common pitfalls in interpreting Transformer behaviour.

Na akci DeepLayers v rámci Brno AI Days jsem představil náhlé změny, které model Transformer přinesl do oblasti strojového překladu a typické nástrahy v interpretaci chování Transformeru.


How to Progress beyond Human Quality in Speech and Machine Translation?

Jak vylepšovat strojový překlad psané a mluvené řeči po dosažení lidských kvalit?

I presented the status of machine and speech translation, which is reaching human quality levels for certain settings of English->Czech and then discussed how to navigate further research.

Prezentoval jsem stav strojového překladu a překladu mluvené řeči, který za určitých podmínek dosahuje úrovně lidské kvality pro angličtinu->češtinu a poté jsem diskutoval, jak vést další výzkum.


The lecture has summarized current limitations fo large language models (LLMs) and highlighted problems with their evaluation.

Přednáška shrnula současná omezení velkých jazykových modelů a vypíchla problémy při jejich vyhodnocování.


A block of two lectures on machine translation: from basics and data preparation over Transformers and multi-lingual models to common pitfalls in analysis of Transformer behaviour.

Blok dvou přednášek o strojovém překladu: od základů a přípravy dat přes Transformery a vícejazyčné modely až po běžná úskalí v analýze chování Transformerů.


A presentation for students of translation studies and interpretring.

Příspěvek na semináři pro studenty překladatelství a zejména tlumočnictví.


Generative AI: opportunities, risks and challenges

Artificial Intelligence is with us for decades – from Marvin Minsky’s experiments through its ups and downs in the 70s and 80s of the last century, to successful implementations in practice, especially in industry and services, through signs of a quote superhuman unquote performance on certain tasks usually considered tests of human intelligence, such as the games of chess or go, we have seen a huge lap in its abilities when – finally – natural language came into the picture in full, and the so-called Generative AI was born and, even more importantly, became available for the public in the form of so-called Large Language Models.

Umělá inteligence nás provází desítky let – od experimentů Marvina Minskyho přes jeho vzestupy a pády v 70. a 80. letech minulého století až po úspěšné implementace v praxi, zejména v průmyslu a službách, přes známky citovaného nadlidského unquote výkonu na určitých úkolech obvykle považovaných za testy lidské inteligence, jako jsou partie šachů nebo go, jsme viděli obrovské kolečko v jejích schopnostech, když – konečně – se do hry plně dostal přirozený jazyk a zrodila se takzvaná Generativní AI, a co je ještě důležitější, stala se přístupnou veřejnosti v podobě takzvaných Velkých jazykových modelů.


HPLT High-Performance Language Technology: Building LLMs and TMs in European languages

HPLT High-Performance Language Technology: Budování LLM a TM v evropských jazycích

Description of the HPLT project for building large language data (monolingual, parallel) and on their basis large language and translation models in 80 languages.

Popis projektu HPLT pro budování velkých jazykových dat (monolingválních, paralelních) a na jejich základě pak velkých jazykových a překladových modelů v 80 jazycích.


Language Technology Research Serving the SSH domain: Access to Oral History Archives

Výzkum jazykové technologie Obsluhování domény SSH: Přístup k archivům orální historie

Talk will describe language technologies for access to oral history archives in multiple languages.

Přednáška se bude týkat jazykových technologií pro přístup k multilingválním archivům orální historie.


Research Support for AI nad NLP (LT) in Czechia

POssibilities of funding speech nad language technology research worldwide for Czech research organizations.

Možnosti financování pro výzkum v oblasti řeči a jazykových technologií pro české organizace v celosvětovém měřítku.


Natural Language Processing: analysis, generation, apllicaitons

Zpracování textu (NLP): analýza, generování, aplikace

Summary of possibilities and conditions of language technologies in the field of artificial intelligence and their application.

Shrnutí možností a podmínek jazykových technologií v oblasti umělé inteligence a jejich aplikace.


Consulting the Community: How to Reach Digital Language Equality in Europe by 2030?

Konzultace s komunitou: Jak dosáhnout digitální jazykovou rovnost v Evropě do roku 2030?

This chapter describes the community consultation process carried out in
the European Language Equality (ELE) project concerning the future situation in
2030. Due to its central status for the future-looking activities within the project,
this chapter introduces the second part of the present book. We gathered, analysed
and structured the views, visions, demands, needs and gaps of European Language
Technology (LT) developers, both industry and academia, and European LT users
and consumers. Additionally, based on these collected findings and other evidence,
we attempted to derive a thorough description of the steps to take to reach Digital
Language Equality (DLE) in Europe by the year 2030 and, moreover, what the field
of LT will look like in Europe in about ten years from now.

Tato kapitola popisuje proces konzultací s LT komunitou prováděný v rámciprojektu European Language Equality (ELE) týkající se budoucí situace v roce 2030. Shromáždili jsme, analyzovali
a strukturoval názory, vize, požadavky a potřeby týkající se jazykových technologií (LT) v Evropě od vývojářů těchto technologií, jak z průmyslu, tak z akademické sféry, a evropských uživatelů LT
a spotřebitelů. Na základě těchto shromážděných zjištění jsme se pokusili odvodit a navrhnout kroky, které je třeba podniknout k dosažení digitální jazykové rovnosti (DLE) v Evropě do roku 2030 a nastínit, jak by mohl obor
LT v Evropě vypadat za cca deset let.

Jan Hajič
Maria Giagkou
Stelios Piperidis
Georg Rehm
Natalia Resende