The aim of the course is to show artificial intelligence from the perspective of various disciplines of science. To reflect on how artificial intelligence affects our daily lives in various fields. The course will focus mainly on contexts/perspectives: AI in psychology, pedagogy, transport, health, linguistics, journalism and theatre. Within all parts of the course, emphasis will be placed on strengthening the multiperspective view of artificial intelligence, providing a broad pension of information on the use of artificial intelligence, its role, impacts and vision for the future.

Cílem kurzu je ukázat umělou inteligenci z perspektivy různých vědních disciplín. Zamyslet nad tím, jak umělá inteligence ovlivňuje náš každodenní život v různých oblastech. Kurz bude zaměřen především na kontexty/perspektivy: AI v psychologie, pedagogice, dopravě, zdravotnictví, lingvistice, žurnalistice a divadle. V rámci všech částí kurzu bude kladen důraz na posilování multiperspektivního pohledu na umělou inteligenci, poskytnutí širokého penza informací o využití umělé inteligence, její roli, dopadech a vizi do budoucnosti.

Rudolf Rosa
Jindřich Libovický
Ondřej Hrách
Tereza Hannemann


CorefUD is a collection of previously existing datasets annotated with coreference, which we converted into a common annotation scheme.

CorefUD je kolekce existujících korpusů s anotací koreference, které jsme převedli na jednotné anotační schéma.

Michal Novák
Martin Popel
Zdeněk Žabokrtský
Daniel Zeman
Anna Nedoluzhko
Kutay Acar
Peter Bourgonje
Silvie Cinková
Gülşen Cebiroğlu Eryiğit
Jan Hajič
Christian Hardmeier
Dag Haug
Tollef Jørgensen
Andre Kåsen
Pauline Krielke
Frédéric Landragin
Ekaterina Lapshinova-Koltunski
Petter Mæhlum
Maria Antònia Martí
Marie Mikulová
Anders Nøklestad
Maciej Ogrodniczuk
Lilja Øvrelid
Tuğba Pamay Arslan
Marta Recasens
Per Erik Solberg
Manfred Stede
Milan Straka
Svetlana Toldova
Noémi Vadász
Erik Velldal
Veronika Vincze
Amir Zeldes
Voldemaras Žitkus


Linguistically annotated multilingual comparable corpora of parliamentary debates in English ParlaMint-en.ana 4.0

Lingvisticky anotovaný vícejazyčný korpus parlamentních debat v angličtině ParlaMint.ana 4.0

ParlaMint is a multilingual set of comparable corpora containing parliamentary debates. It contains parliament debates from these countries and regions: Austria, Belgium, Bosnia, Bulgaria, Basque Country, Catalonia, Croatia, Czechia, Denmark, Estonia, Galicia, Greek, Finland, France, Iceland, Italy, Latvia, Hungary, Netherlands, Norway, Poland, Portugal, Serbia, Slovenia, Spain, Sweden, Turkey, UK, Ukraine.

ParlaMint je vícejazyčný soubor srovnatelných korpusů obsahujících parlamentní debaty. Obsahuje parlamentní debaty z těchto zemí a regionů: Belgie, Bosna, Bulharsko, Baskicko, Katalánsko, Chorvatsko, Česko, Dánsko, Estonsko, Galicie, Řecko, Finsko, Francie, Island, Itálie, Lotyšsko, Maďarsko, Nizozemsko, Norsko, Polsko, Portugalsko, Srbsko, Slovinsko, Španělsko, Švédsko, Turecko, Spojené království, Ukrajina.

Taja Kuzman
Nikola Ljubešić
Tomaž Erjavec
Matyáš Kopp
Maciej Ogrodniczuk
Petya Osenova
Paul Rayson
John Vidler
Rodrigo Agerri
Manex Agirrezabal
Tommaso Agnoloni
José Aires
Monica Albini
Jon Alkorta
Iván Antiba-Cartazo
Ekain Arrieta
Mario Barcala
Daniel Bardanca
Starkaður Barkarson
Roberto Bartolini
Roberto Battistoni
Núria Bel
Maria del Mar Bonet Ramos
María Calzada Pérez
Aida Cardoso
Çağrı Çöltekin
Matthew Coole
Roberts Darģis
Jesse de Does
Ruben de Libano
Griet Depoorter
Katrien Depuydt
Sascha Diwersy
Réka Dodé
Kike Fernandez
Elisa Fernández Rei
Francesca Frontini
Marcos Garcia
Noelia García Díaz
Pedro García Louzao
Maria Gavriilidou
Dimitris Gkoumas
Ilko Grigorov
Vladislava Grigorova
Dorte Haltrup Hansen
Mikel Iruskieta
Johan Jarlbrink
Kinga Jelencsik-Mátyus
Bart Jongejan
Neeme Kahusk
Martin Kirnbauer
Anna Kryvenko
Noémi Ligeti-Nagy
Giancarlo Luxardo
Carmen Magariños
Måns Magnusson
Carlo Marchetti
Maarten Marx
Katja Meden
Amália Mendes
Michal Mochtak
Martin Mölder
Simonetta Montemagni
Costanza Navarretta
Bartłomiej Nitoń
Fredrik Mohammadi Norén
Amanda Nwadukwe
Mihael Ojsteršek
Andrej Pančur
Vassilis Papavassiliou
Rui Pereira
María Pérez Lago
Stelios Piperidis
Hannes Pirker
Marilina Pisani
Henk van der Pol
Prokopis Prokopidis
Valeria Quochi
Xosé Luís Regueira
Michał Rudolf
Manuela Ruisi
Peter Rupnik
Daniel Schopper
Kiril Simov
Laura Sinikallio
Jure Skubic
Minna Tamper
Lars Magne Tungland
Jouni Tuominen
Ruben van Heusden
Zsófia Varga
Marta Vázquez Abuín
Giulia Venturi
Adrián Vidal Miguéns
Kadri Vider
Ainhoa Vivel Couso
Adina Ioana Vladu
Tanja Wissik
Väinö Yrjänäinen
Rodolfo Zevallos
Darja Fišer


Linguistically annotated multilingual comparable corpora of parliamentary debates in English ParlaMint-en.ana 3.0

Lingvisticky anotovaný vícejazyčný korpus parlamentních debat v angličtině ParlaMint.ana 3.0

ParlaMint-en.ana is a multilingual set of comparable linguistically annotated corpora translated to English containing parliamentary debates. It contains parliament debates from these countries and regions: Austria, Belgium, Bosnia, Bulgaria, Catalonia, Croatia, Czechia, Denmark, Estonia, Galicia, Greek, France, Iceland, Italy, Latvia, Hungary, Netherlands, Norway, Poland, Portugal, Serbia, Slovenia, Sweden, Turkey, UK, Ukraine

ParlaMint.ana je vícejazyčný soubor srovnatelných jazykově anotovaných korpusů přeložený do angličtiny obsahujících parlamentní debaty. Obsahuje parlamentní debaty z těchto zemí a regionů: Belgie, Bosna, Bulharsko, Katalánsko, Chorvatsko, Česko, Dánsko, Estonsko, Galicie, Řecko, Francie, Island, Itálie, Lotyšsko, Maďarsko, Nizozemsko, Norsko, Polsko, Portugalsko, Srbsko, Slovinsko, Švédsko, Turecko, Velká Británie, Ukrajina

Taja Kuzman
Nikola Ljubešić
Tomaž Erjavec
Matyáš Kopp
Maciej Ogrodniczuk
Petya Osenova
Darja Fišer
Hannes Pirker
Tanja Wissik
Daniel Schopper
Martin Kirnbauer
Michal Mochtak
Peter Rupnik
Henk van der Pol
Griet Depoorter
Jesse de Does
Kiril Simov
Vladislava Grigorova
Ilko Grigorov
Bart Jongejan
Dorte Haltrup Hansen
Costanza Navarretta
Martin Mölder
Neeme Kahusk
Kadri Vider
Núria Bel
Iván Antiba-Cartazo
Marilina Pisani
Rodolfo Zevallos
Xosé Luís Regueira
Adina Ioana Vladu
Carmen Magariños
Daniel Bardanca
Mario Barcala
Marcos Garcia
María Pérez Lago
Pedro García Louzao
Ainhoa Vivel Couso
Marta Vázquez Abuín
Noelia García Díaz
Adrián Vidal Miguéns
Elisa Fernández Rei
Sascha Diwersy
Giancarlo Luxardo
Matthew Coole
Paul Rayson
Amanda Nwadukwe
Dimitris Gkoumas
Vassilis Papavassiliou
Prokopis Prokopidis
Maria Gavriilidou
Stelios Piperidis
Noémi Ligeti-Nagy
Kinga Jelencsik-Mátyus
Zsófia Varga
Réka Dodé
Starkaður Barkarson
Tommaso Agnoloni
Roberto Bartolini
Francesca Frontini
Simonetta Montemagni
Valeria Quochi
Giulia Venturi
Manuela Ruisi
Carlo Marchetti
Roberto Battistoni
Roberts Darģis
Ruben van Heusden
Maarten Marx
Katrien Depuydt
Lars Magne Tungland
Michał Rudolf
Bartłomiej Nitoń
José Aires
Amália Mendes
Aida Cardoso
Rui Pereira
Väinö Yrjänäinen
Fredrik Mohammadi Norén
Måns Magnusson
Johan Jarlbrink
Katja Meden
Andrej Pančur
Mihael Ojsteršek
Çağrı Çöltekin
Anna Kryvenko


Overview of the 10th Workshop on Asian Translation

Přehled 10. workshopu o překladech pro asijské jazyky

This paper presents the results of the shared tasks from the 10th workshop on Asian translation (WAT2023). For the WAT2023, 2 teams submitted their translation results for the human evaluation.
We also accepted 1 research paper. About 40 translation results were submitted to the automatic evaluation server, and selected submissions were manually evaluated.

Tento článek představuje výsledky společných úkolů z 10. workshopu o asijském překladu (WAT2023). V rámci workshopu WAT2023 předložily 2 týmy své výsledky překladu k hodnocení lidmi a přijali jsme také 1 výzkumnou práci. Na automatický hodnotící server bylo zasláno přibližně 40 výsledků překladů a vybrané příspěvky byly hodnoceny ručně.

Toshiaki Nakazawa
Kazutaka Kinugawa
Hideya Mino
Isao Goto
Raj Dabre
Shohei Higashiyama
Shantipriya Parida
Makoto Morishita
Ondřej Bojar
Akiko Eriguchi
Yusuke Oda
Chenhui Chu
Sadao Kurohashi


Discussion after the derniere of the performance AI: When a Robot Writes a Play

Diskuze po derniéře představení AI: Když robot píše hru

What does the robot think about, how does it feel and can it write a play? Snippets from the life of artificial intelligence in its own words. Futuristic Little Prince of the postpandemic era. Every reprise will be followed by a debate with experts in artificial intelligence and theater makers. The show is not only a testament to the current capabilities of computer technology, but also an engaging vision of the future world inspired by the sci-fi classics.

O čem robot přemýšlí, co cítí a dokáže napsat divadelní hru? Střípky ze života umělé inteligence jejími vlastními slovy. Futuristický Malý princ z doby postpandemické. Inscenace, po jejíž každé repríze následuje debata s odborníky na umělou inteligenci i divadelními tvůrci, je nejen svědectvím o současných schopnostech počítačových technologií, ale i poutavou vizí budoucího světa inspirující se v klasikách žánru sci-fi.

Daniel Hrbek
David Košťák
Rudolf Rosa
Tomáš Musil


In March 2023, the OmniOMR project started with the aim of applying OMR technologies in a digital library
environment. The project aims to provide full-text search functionality in musical documents in diverse library collections, covering primarily Common Western Music Notation, but (white) mensural and diastematic chant notations as well, both printed and handwritten. To provide this capability, we aim to build
an ”OmniOMR Service” - not just for recognition, but also the preceding step of music notation detection and classification, as not all documents that contain music notation are marked in library collections with the appropriate metadata. A significant condition for the project’s success is building a dataset that accurately reflects the challenges present in a broad library collection. This report lays out in more detail the goals of the project, its current status, and most importantly, we outline the opportunities for collaboration across the OMR community.

V březnu 2023 byl zahájen projekt OmniOMR s cílem aplikovat technologie OMR v prostředí digitální knihovny. Cílem projektu je zajistit funkčnost fulltextového vyhledávání v hudebních dokumentech v rozličných knihovních sbírkách, pokrývající především Common Western Music Notation, ale i (bílé) menzurální a diastematické zápisy nápěvů, tištěných i psaných rukou. Pro zajištění této schopnosti chceme vybudovat službu OmniOMR - nejen pro rozpoznávání, ale také pro předchozí krok detekce a klasifikace notových zápisů, protože ne všechny dokumenty, které obsahují notový zápis, jsou v knihovních sbírkách označeny příslušnými metadaty. Významnou podmínkou úspěchu projektu je sestavení datasetu, který přesně odráží výzvy obsažené v široké knihovní sbírce. Tato zpráva podrobněji popisuje cíle projektu, jeho současný stav, a co je nejdůležitější, nastiňuje možnosti spolupráce napříč komunitou OMR.

Jan Hajič, jr.
Petr Žabička
Jan Rychtář
Jiří Mayer
Martina Dvořáková
Filip Jebavý
Markéta Vlková
Pavel Pecina


The ParlaMint Project: Ever-growing Family of Comparable and Interoperable Parliamentary Corpora

Projekt ParlaMint: Stále rostoucí rodina srovnatelných a interoperabilních parlamentních korporací

We present an overview of the current status of the CLARIN flagship project ParlaMint (ParlaMint II), summarizing coverage of the parliament corpora, their size and time span. The organization of the workflow is outlined and newly added corpus enrichment procedures are described,
such as machine translation of the corpora into English and showcasing of multimodal aspects.
Last but not least, a number of ways for exploring the corpora are described.

Představujeme přehled aktuálního stavu vlajkového projektu CLARIN ParlaMint (ParlaMint II), shrnující pokrytí korpusu parlamentu, jejich velikost a časové rozpětí. Je nastíněna organizace workflow a jsou popsány nově přidané postupy obohacování korpusu, jako je strojový překlad korpusu do angličtiny a ukázka multimodálních aspektů. V neposlední řadě je popsána řada způsobů, jak korpus prozkoumat.

Maciej Ogrodniczuk
Petya Osenova
Tomaž Erjavec
Darja Fišer
Nikola Ljubešić
Çağrı Çöltekin
Matyáš Kopp
Katja Meden
Taja Kuzman


Generating clickbait spoilers with an ensemble of large language models

Generování clickbaitových spoilerů pomocí souboru velkých jazykových modelů

Clickbait posts are a widespread problem in the webspace. The generation of spoilers, i.e. short texts that neutralize clickbait by providing information that makes it uninteresting, is one of the proposed solutions to the problem. Current state-of-the-art methods are based on passage retrieval or question answering approaches and are limited to generating spoilers only in the form of a phrase or a passage. In this work, we propose an ensemble of fine-tuned large language models for clickbait spoiler generation. Our approach is not limited to phrase or passage spoilers, but is also able to generate multipart spoilers that refer to several non-consecutive parts of text. Experimental evaluation demonstrates that the proposed ensemble model outperforms the baselines in terms of BLEU, METEOR and BERTScore metrics.

Clickbait příspěvky jsou ve webovém prostoru rozšířeným problémem. Jedním z navrhovaných řešení tohoto problému je generování spoilerů, tj. krátkých textů, které clickbait neutralizují tím, že poskytují informace, které jej činí nezajímavým. Současné nejmodernější metody jsou založeny na přístupech vyhledávání pasáží nebo zodpovídání otázek a omezují se na generování spoilerů pouze ve formě fráze nebo pasáže. V této práci navrhujeme soubor vyladěných rozsáhlých jazykových modelů pro generování spoilerů typu clickbait. Náš přístup se neomezuje pouze na spoilery typu fráze nebo pasáž, ale je schopen generovat i vícedílné spoilery, které se vztahují k několika nesouvislým částem textu. Experimentální vyhodnocení ukazuje, že navržený model souboru překonává základní modely z hlediska metrik BLEU, METEOR a BERTScore.


The Ukrainian parliamentary corpus ParlaMint-UA 4.0.1 is an extended version of the ParlaMint-UA 4.0 corpus. It contains plenary proceedings for the 4th, 5th, 6th, 7th, 8th and 9th terms of the Rada between 14 May 2002 and 10 November 2023. Tokens in Ukrainian comprise 94% and tokens in Russian comprise 6%.

Ukrajinský parlamentní korpus ParlaMint-UA 4.0.1 je rozšířenou verzí korpusu ParlaMint-UA 4.0. Obsahuje plenární zasedání pro 4., 5., 6., 7., 8. a 9. funkční období Rady v období od 14. května 2002 do 10. listopadu 2023. Tokeny v ukrajinštině tvoří 94% a tokeny v ruštině 6%.


Nástroje a služby jazykových technologií

At the time of writing, the European Language Grid includes more than 800 LT services of varied types, including machine translation (MT), automatic speech recognition (ASR), text-to-speech synthesis (TTS), and text analysis ranging from simple tokenisers and part-of-speech taggers through to complete named entity recognition and sentiment analysis systems. This chapter gives a high-level summary of the development of the ELG service catalogue over time and digs deeper to discuss the process of service integration by looking at a few example services.

V době psaní tohoto textu zahrnuje European Language Grid více než 800 jazykových služeb různých typů, včetně strojového překladu (MT), automatického rozpoznávání řeči (ASR), syntézy řeči (TTS) a analýzy textu od jednoduchých tokenizérů a taggerů až po kompletní systémy rozpoznávání pojmenovaných entit a analýzy sentimentu. Tato kapitola podává vysokoúrovňový přehled o vývoji katalogu služeb ELG v průběhu času a hlouběji se zabývá procesem integrace služeb na několika ukázkových příkladech.

Ian Roberts
Andres Garcia-Silva
Cristian Berrìo Aroca
José Manuel Gómez-Pérez
Miroslav Jánoší
Dimitris Galanis
Rémi Callizano
Andis Lagzdiņš
Milan Straka
Ulrich Germann


VisuaLLM: Easy Web-based Visualization for Neural Language Generation

VisuaLLM: Snadná webová vizualizace pro neuronové generování jazyka

VisuaLLM is a Python library that enables interactive visualization of common tasks in natural language generation with pretrained language models (using HuggingFace's model API), with tight integration of benchmark datasets and fine-grained generation control. The system runs as a local generation backend server and features a web-based frontend, allowing simple interface configuration by minimal Python code. The currently implemented views include data visualization, next-token prediction with probability distributions, and decoding parameter control, with simple extension to additional tasks.

VisuaLLM je knihovna pro Python, která umožňuje interaktivní vizualizaci běžných úloh generování přirozeného jazyka s předtrénovanými jazykovými modely (pomocí modelového API HuggingFace), s úzkou integrací referenčních datových sad a jemným řízením generování. Systém běží jako lokální generovací backendový server a je vybaven webovým frontendem, který umožňuje jednoduchou konfiguraci rozhraní pomocí minimálního kódu jazyka Python. Aktuálně implementované pohledy zahrnují vizualizaci dat, predikci dalších tokenů s pravděpodobnostními distribucemi a řízení parametrů dekódování s možností jednoduchého rozšíření o další úlohy.


Searching for Reasons of Transformers’ Success: Memorization vs Generalization

Hledání příčin úspěchu transformerů: Zapamatování vs. zobecnění

The Transformer architecture has, since its conception, led to numerous breakthrough advancements in natural language processing. We are interested in finding out whether its success is primarily due to its capacity to learn the various generic language rules, or whether the architecture leverages some mem-
orized constructs without understanding their structure. We conduct a series of experiments in which we modify the training dataset to prevent the model from memorizing bigrams of words that are needed by the test data. We find out that while such a model performs worse than its unrestricted counterpart, the findings
do not indicate that the Transformers’ success is solely due to its memorization capacity. In a small qualitative analysis, we demonstrate that a human translator lacking the necessary terminological knowledge would likely struggle in a similar
way.

Architektura transformeru vedla od svého vzniku k mnoha změnám a dosáhla přelomových pokroků v oblasti zpracování přirozeného jazyka. Chceme zjistit, zda je její úspěch způsoben především schopností učit se různá obecná jazyková pravidla, nebo zda architektura využívá některé zapamatované konstrukce, aniž by rozuměla jejich struktuře. Provádíme řadu experimentů, v nichž modifikujeme trénovací datovou sadu tak, aby si model nemohl
zapamatovat bigramy slov, které jsou potřebné v testovacích datech. Ačkoli takový model dosahuje horších výsledků než jeho neomezený protějšek, zjištění nenaznačují, že by úspěch modelu transformetu byl způsoben pouze jeho schopností pamatovat si. V malé kvalitativní analýze prokazujeme, že lidský překladatel postrádající potřebné terminologické znalosti by měl pravděpodobně velmi podobné potíže.

František Trebuňa
Kristína Szabová
Ondřej Bojar


We present Universal Dependencies as one of the pillars on which the UniDive COST Action is constructed.

Představujeme Universal Dependencies jako jeden ze dvou pilířů, na kterých je postavena COST akce UniDive.

Marie-Catherine de Marneffe
Joakim Nivre
Daniel Zeman


Are Large Language Models All You Need for Task-Oriented Dialogue?

Jsou velké jazykové modely vše, co potřebujete pro modelování task-oriented dialogů?

Instruction-finetuned large language models (LLMs) gained a huge popularity recently, thanks to their ability to interact with users through conversation. In this work, we aim to evaluate their ability to complete multi-turn tasks and interact with external databases in the context of established task-oriented dialogue benchmarks. We show that in explicit belief state tracking, LLMs underperform compared to specialized task-specific models. Nevertheless, they show some ability to guide the dialogue to a successful ending through their generated responses if they are provided with correct slot values. Furthermore, this ability improves with few-shot in-domain examples.

Velké jazykové modely (LLM) si v poslední době získaly velkou popularitu díky své schopnosti komunikovat s uživateli prostřednictvím konverzace. V této práci se snažíme vyhodnotit jejich schopnost plnit víceúlohové úlohy a komunikovat s externími databázemi v kontextu zavedených benchmarků pro dialog orientovaný na úlohy. Ukazujeme, že při explicitním sledování dialogového stavu  mají LLM ve srovnání se specializovanými modely zaměřenými na konkrétní úlohy horší výsledky. Nicméně vykazují určitou schopnost vést dialog k úspěšnému konci prostřednictvím svých generovaných odpovědí, pokud jsou jim poskytnuty správné hodnoty slotů. Tato schopnost se navíc zlepšuje při použití několika málo příkladů z dané domény.


Similarly to AMR, Uniform Meaning Representation (UMR) is a graph-based formalism with nodes as concepts and edges as relations between them. When used to represent natural language semantics, words in a sentence will be mapped to concepts in the UMR graph. Multiword expressions (MWEs) pose a particular challenge to UMR annotation because they deviate from the default one-to-one mapping between words and concepts. There are different types of MWEs which require different kinds of annotation that must be specified in guidelines. This paper discusses the specific treatment for each type of MWE and its mapping to a UMR concept.

Podobně jako AMR, Uniform Meaning Representation (UMR) je grafový formalismus s uzly jako pojmy a hranami jako vztahy mezi nimi. Pokud se používá k reprezentaci sémantiky přirozeného jazyka, budou slova ve větě mapována na pojmy v UMR grafu. Víceslovné výrazy (MWE) představují zvláštní výzvu pro UMR anotaci, protože se odchylují od výchozího mapování jeden na jednoho mezi slovy a pojmy. Existují různé typy MWE, které vyžadují různé druhy anotací, které musí být specifikovány v pokynech. Tato práce pojednává o specifickém zacházení pro každý typ MWE a jeho mapování na UMR koncept.

Julia Bonn
Andrew Cowell
Jan Hajič
Alexis Palmer
Martha Palmer
James Pustejovsky
Zdeňka Urešová
Shira Wein
Nianwen Xue
Jin Zhou


Mapping AMR to UMR: Resources for Adapting Existing Corpora for Cross-Lingual Compatibility

Mapování AMR na UMR: Zdroje pro přizpůsobení stávajících korpusů pro mezijazykovou kompatibilitu

This paper presents detailed mappings between
the structures used in Abstract Meaning Representation (AMR) and those used in Uniform
Meaning Representation (UMR). These structures include general semantic roles, rolesets, and concepts that are largely shared between
AMR and UMR, but with crucial differences. While UMR annotation of new low-resource languages is ongoing, AMR-annotated corpora
already exist for many languages, including lots of English data, which are ripe for conversion to UMR format. Rather than focusing on semantic coverage that is new to UMR (which
 will likely need to be dealt with manually), this paper serves as a resource (with illustrated mappings) for users looking to understand the fine-grained adjustments that have been made to the representation techniques for semantic categories present in both AMR and UMR

Tato práce představuje detailní mapování mezi
strukturami používanými v Abstract Meaning Representation (AMR) a strukturami používanými v Uniform
Meaning Representation (UMR). Tyto struktury zahrnují obecné sémantické role, rolesety a koncepty, které jsou z velké části sdíleny mezi
AMR a UMR, ale se zásadními rozdíly. Zatímco UMR anotace nových nízkozdrojových jazyků probíhá, AMR anotované korpusy
již existují pro mnoho jazyků, včetně spousty anglických dat, které jsou zralé pro konverzi do formátu UMR. Spíše než se soustředit na sémantické pokrytí, které je v UMR nové (které
bude pravděpodobně potřeba řešit ručně), tato práce slouží jako zdroj (s ilustrovanými mapováním) pro uživatele, kteří hledají pochopení jemnozrnných úprav, které byly provedeny v reprezentačních technikách pro sémantické kategorie přítomné v AMR i UMR

Julia Bonn
Skatje Myers
Jens E. L. van Gysel
Lukas Denk
Meagan Vigus
Jin Zhou
Andrew Cowell
William Croft
Jan Hajič
James Martin
Alexis Palmer
Martha Palmer
James Pustejovsky
Zdeňka Urešová
Rosa Vallejos
Nianwen Xue


Unsupervised segmentation of Gregorian chant melodies for exploring chant modality

Unsupervised segmentace gregoriánských melodií pro zkoumání chorální modality

Gregorian chant, as an oral musical tradition, was performed by singers that had to memorize thousands of melodies. Each melody has a set of properties, one of which is what mode it belongs to within the modal system. To understand the learning process principles of chants, it may be helpful to decompose melodies into smaller units and analyze their relationship to modality. In this work, we compare Bayesian and neural network unsupervised segmentation methods. We measure their performance on evaluation metrics we design in order to examine the chant’s properties with respect to the memorization challenge considering the modality aspects. For this purpose, we have two datasets, one with over thirteen thousand antiphons and the other with over seven thousand responsories. We find the Pitman-Yor process to be a more fitting model than BERT for this particular task, especially the conditional Pitman-Yor process model we proposed to segment each mode independently. We provide several clear arguments that modality and chant segmentation are closely connected. We also dispute the claim by Cornelissen et al. [2020] that the natural segmentation by chant words or syllables is best in terms of mode classification, and we provide a new state-of-the-art performance on the mode classification task.

Gregoriánský chorál, jako ústní hudební tradice, byl prováděn zpěváky, kteří se museli naučit tisíce melodií. Každá melodie má několik vlastností, z nichž jednou je, do jakého modu v rámci modálního systému patří. Pro pochopení principů vyučování chorálových melodií může být užitečné rozložit melodie na menší jednotky a analyzovat jejich vztah k modalitě. V této práci porovnáváme modely neřízené segmentace založené na Bayesovských metodách s těmi, které využívají neuronové sítě. Jejich schopnost segmentovat chorální melodie měříme námi navrženými metrikami s cílem prozkoumat vlastnosti chorálů, jak v kontextu modality, tak v kontextu řešení problému se zapamatováním si všech zpěvů. K tomuto účelu máme k dispozici dva datasety: jeden s více než třinácti tisíci antifonami a druhý s více než sedmi tisíci responsorií. Zjistili jsme, že metoda založená na Pitman-Yor procesu je pro tuto konkrétní úlohu vhodnějším modelem než BERT, zejména námi navržený podmíněný model Pitman-Yor procesu, který segmentuje každý modus samostatně. Uvádíme několik jasných argumentů, že modalita úzce souvisí se segmentací melodií. Rovněž zpochybňujeme tvrzení, že přirozená segmentace podle slov nebo slabik chorálu je z hlediska klasifikace modů nejlepší (Cornelissen et al. [2020]), a poskytujeme doposud nejlepší výsledek v úloze klasifikace modů.


Text boundaries do not provide a better segmentation of Gregorian antiphons

Hranice textu neumožňují lepší segmentaci gregoriánských antifon

It has been previously proposed that syllable and word boundaries in Gregorian chant texts can be used to segment chant melodies in a more meaningful way than segmentation methods that do not take textual information into account, based on how accurately the mode of a melody can be determined from the presence of such melodic segments. This was evidenced by empirical measurements on antiphons and responsories with fully transcribed melodies available from the Cantus database. We show that for antiphons, however, this result does not hold, as in these experiments, differentiae were not removed from the transcribed melodies. With appropriate data cleaning, the modality of a melody can be determined from segments that ignore textual boundaries just as accurately, and the resulting classification scores are not significantly better than those obtained from pitch profiles. Thus, while the idea is clearly attractive, there is currently no reason to suspect that textual boundaries lead to a more meaningful segmentation of chant melodies.

Již dříve bylo navrženo, že hranice slabik a slov v textech gregoriánského chorálu mohou být použity k segmentaci zpěvních melodií smysluplnějším způsobem než segmentační metody, které neberou v úvahu textové informace, a to na základě toho, jak přesně lze z přítomnosti těchto melodických segmentů určit modus melodie. To bylo prokázáno empirickými měřeními na antifonách a responsoriích s plně transkribovanými melodiemi dostupnými z databáze Cantus. Ukázali jsme však, že u antifon tento výsledek neplatí, protože při těchto experimentech nebyly z transkribovaných melodií odstraněny diference. Při vhodném čištění dat lze modalitu melodie určit ze segmentů, které ignorují textové hranice, stejně přesně a výsledné klasifikační skóre není výrazně lepší než skóre získané z výškových profilů. Ačkoli je tedy tato myšlenka zjevně lákavá, v současné době není důvod se domnívat, že textové hranice vedou k smysluplnější segmentaci zpěvních melodií.


Team Synapse @ AutoMin 2023: Leveraging BART-Based Models for Automatic Meeting Minuting

Tým Synapse @ AutoMin 2023: Využití modelů založených na BART pro automatické zápisy ze schůzek

This paper describes the approach we followed for our submission to the Second Run of the Automatic Minuting Shared Task. Our method- ology centers around employing BART-based models fine-tuned on diverse summarization corpora. The segmented meeting transcripts are fed into the models, generating summaries that are subsequently combined and formatted into the final meeting minutes.

Tento článek popisuje přístup, který jsme použili při zadávání druhého běhu sdílené úlohy automatických zápisů ze schůzek. Naše metodika se soustředí na použití modelů založených na BART a vyladěných na různých korpusech se sumarizacemi. Segmentované přepisy schůzí se vkládají do modelů a ty generují shrnutí, která jsou následně spojena a zformátována do konečného zápisu ze schůze.


Attitude identification in diplomatic speeches: challenges in the annotation process

Identifikace postojů v diplomatických projevech: výzvy v procesu anotace

This study provides an overview of challenges that occurred during the creation of the annotation scenario for the attitude annotation in diplomatic speeches of the UNSC.

Diplomatic speeches form a very peculiar group of texts that are different from other types of discourse. The prominent characteristics of these texts are the understated tone (Stanko, 2001) and indirectness. These pragmatic features prove to be important to how diplomats express opinions, which are most frequently not of their own but of the political body they represent. It is also because of them, that the diplomatic attitudes are so particular and require their own approach in the process of annotation.

The research on annotating attitudes has long been an ongoing process (Fuoli, 2018), (O’Donnell, 2013) and is generally perceived as a complex procedure not only due to elaborated annotation schemes but more so due to the lack of definitive criteria for the identification and categorization of attitudes and the other appraisal labels.

Our annotation scenario followed the attitude part of the Appraisal theory (Martin and White, 2005). The various challenges in annotating the speeches such as the extent of arguments, identification of attitude in verbal forms, and complex structures, were classified, and, in part, resolved. The conclusions of this study would be helpful for anyone considering this type of attitude analysis for working with diplomatic texts.

Tato studie poskytuje přehled výzev, které se vyskytly při tvorbě anotačního scénáře pro postojovou anotaci v diplomatických projevech RB OSN.

Diplomatické projevy tvoří velmi svéráznou skupinu textů, které se liší od jiných typů diskurzu. Charakteristickými rysy těchto textů jsou decentní vyznění (Stanko, 2001) a nepřímost. Tyto pragmatické rysy se ukazují jako důležité pro to, jak diplomaté vyjadřují názory, které většinou nejsou jejich vlastní, ale politického orgánu, který zastupují. I kvůli nim jsou diplomatické postoje tak osobité a vyžadují vlastní přístup v procesu anotace.

Výzkum anotačních postojů je dlouhodobě probíhajícím procesem (Fuoli, 2018), (O'Donnell, 2013) a je obecně vnímán jako komplexní postup nejen díky propracovaným anotačním schématům, ale především kvůli nedostatku definitivních kritérií pro identifikace a kategorizace postojů a dalších hodnotících značek.

Náš scénář anotace sledoval postojovou část teorie hodnocení (Martin a White, 2005). Různé problémy při anotaci projevů, jako je rozsah argumentů, identifikace postoje ve verbálních formách a složité struktury, byly klasifikovány a částečně vyřešeny. Závěry této studie by byly užitečné pro každého, kdo uvažuje o tomto typu analýzy postojů pro práci s diplomatickými texty.


A picture is worth a thousand words - on Multimodal Summarization

Obrázek má cenu tisíce slov - o multimodální sumarizaci

Automatic summarization is one of the basic tasks both in Natural Language Processing – text summarization – and in Computer Vision – video summarization. Multimodal summarization connects those two fields by creating a summary based on information from different modalities. To motivate such research, it’s enough to visit any news portal: the most popular multimedia news formats are now multimodal – the reader is often presented not only with a textual article but also with a short, vivid video. To draw the attention of the reader, such video-based articles are usually presented as a short textual summary paired with an image thumbnail.

In this talk, I will present a brief history of text-centric Multimodal Summarization - a formulation in which we require the textual modality to be present both in the input and in the output. I will show how the task evolved over the years and highlight what I believe to be the major challenges. In the second part, I will talk about my own experiments, focusing on pre-training and evaluation methodologies. I will also share my experience with creating a dataset based on information automatically collected from internet webpages, which shows that sometimes aiming lower may lead to a great outcome.

Automatická sumarizace je jedním ze základních úkolů jak v Natural Language Processing – sumarizace textu, tak v Computer Vision – sumarizace videa. Multimodální sumarizace spojuje tyto dva obory tím, že vytváří souhrn založený na informacích z různých modalit. Pro motivaci k takovému výzkumu stačí navštívit jakýkoli zpravodajský portál: nejpopulárnější multimediální zpravodajské formáty jsou dnes multimodální – čtenář je často prezentován nejen s textovým článkem, ale také s krátkým, živým videem. Pro upoutání pozornosti čtenáře jsou takové video-články obvykle prezentovány jako krátký textový souhrn spojený s náhledem obrázku.

V tomto příspěvku představím stručnou historii textově zaměřené multimodální sumarizace – formulace, ve které požadujeme, aby textová modalita byla přítomna jak ve vstupu, tak ve výstupu. Ukážu, jak se úkol vyvíjel v průběhu let, a zdůrazním, co považuji za hlavní výzvy. V druhé části budu mluvit o svých vlastních experimentech, se zaměřením na metodiky předškolení a hodnocení. Podělím se také o své zkušenosti s vytvářením datového souboru založeného na informacích automaticky shromážděných z internetových stránek, které ukazují, že někdy míření níže může vést ke skvělému výsledku.


Basic Arithmetic Properties in the Space of Language Model Prompts

Základní aritmetické vlastnosti v prostoru jazykového modelu Výzvy

Large pre-trained neural language models (LLMs) that can effectively utilize enormous amounts of unlabeled textual data have recently changed the whole field of Natural Language Processing. By utilizing prompting techniques enabled by the in-context learning capabilities, LLMs have been shown to perform on par with dedicated models trained for downstream tasks. One such task is numerical reasoning and, in particular, the ability to conduct basic arithmetic operations. The question we wish to answer is whether the basic properties of arithmetic operations, such as the commutative property, hold in the space of LLM prompts - does asking the LLM model to compute 13+37 vs 37+13 result, on average, in the same outcome? In contrast to previous works, which reported Accuracy only, we take a closer look (MAE, Pearson's R) at the error distribution to better understand the performance with regards to scaling laws.

Velké předškolené neurojazykové modely (LLM), které dokáží efektivně využívat obrovské množství neoznačených textových dat, v poslední době změnily celou oblast zpracování přirozeného jazyka. Využitím technik nápovědy, které umožňují schopnosti učení v kontextu, se ukázalo, že LLM fungují na stejné úrovni jako specializované modely trénované pro navazující úlohy. Jednou z takových úloh je numerické uvažování a zejména schopnost provádět základní aritmetické operace. Otázkou, na kterou chceme odpovědět, je, zda základní vlastnosti aritmetických operací, jako je komutativní vlastnost, drží v prostoru LLM nápověd – vede dotazování LLM modelu na výpočet 13+37 vs 37+13 v průměru ke stejnému výsledku? Na rozdíl od předchozích prací, které uváděly pouze Přesnost, se blíže podíváme (MAE, Pearsonovo R) na rozložení chyb, abychom lépe porozuměli výkonu s ohledem na škálovací zákony.


Can Summary Evaluation Benefit from Translation Evaluation?

Může souhrnné hodnocení prospět hodnocení překladu?

Comet is a recently proposed trainable neural-based evaluation metric developed to assess the quality of Machine Translation systems. In this paper, we explore the usage of Comet for evaluating Text Summarization systems -- despite being trained on multilingual MT outputs, it performs remarkably well in monolingual settings, when predicting summarization output quality. We introduce a variant of the model -- Comes -- trained on the annotated summarization outputs that uses MT data for pre-training. We examine its performance on several datasets with human judgments collected for different notions of summary quality, covering several domains and languages.

Comet je nedávno navržená trénovatelná neurální vyhodnocovací metrika vyvinutá pro hodnocení kvality systémů strojového překladu. V tomto článku prozkoumáme použití Cometu pro vyhodnocování systémů sumarizace textu – přestože jsme byli vyškoleni na vícejazyčné výstupy MT, funguje pozoruhodně dobře v jednojazyčném prostředí, když předpovídá kvalitu výstupu sumarizace. Představujeme variantu modelu -- Comes -- trénovanou na anotovaných sumárních výstupech, která využívá MT data pro předtrénování. Zkoumáme jeho výkon na několika souborech dat s lidskými úsudky shromážděnými pro různé pojmy souhrnné kvality, které pokrývají několik domén a jazyků.


Multi-Parallel Corpus of North Levantine Arabic

Multiparalelní korpus Severní Levantštiny

Low-resource Machine Translation (MT) is characterized by the scarce availability of training data and/or standardized evaluation benchmarks. In the context of Dialectal Arabic, recent works introduced several evaluation benchmarks covering both Modern Standard Arabic (MSA) and dialects, mapping, however, mostly to a single Indo-European language - English. In this work, we introduce a multi-lingual corpus consisting of 120,600 multi-parallel sentences in English, French, German, Greek, Spanish, and MSA selected from the OpenSubtitles corpus, which were manually translated into the North Levantine Arabic. By conducting a series of training and fine-tuning experiments, we explore how this novel resource can contribute to the research on Arabic MT. We make the dataset publicly available at http://hdl.handle.net/11234/1-5033 for research purposes.

Nízkozdrojový strojový překlad (MT) se vyznačuje vzácnou dostupností školicích dat a/nebo standardizovaných hodnotících měřítek. V souvislosti s dialektickou arabštinou zavedly nedávné práce několik hodnotících měřítek zahrnujících jak moderní standardní arabštinu (MSA), tak dialekty, mapující však většinou do jediného indoevropského jazyka – angličtiny. V této práci představujeme mnohojazyčný korpus skládající se ze 120 600 víceparalelních vět v angličtině, francouzštině, němčině, řečtině, španělštině a MSA vybraných z korpusu OpenSubtitles, které byly ručně přeloženy do severolevantinské arabštiny. Provedením řady školicích a dolaďovacích experimentů zkoumáme, jak může tento neotřelý zdroj přispět k výzkumu arabské MT. Datový soubor zveřejňujeme pro výzkumné účely na adrese http://hdl.handle.net/11234/1-5033.

Mateusz Krubiński
Hashem Sellat
Shadi Saleh
Adam Pospíšil
Petr Zemánek
Pavel Pecina


MLASK: Multimodal Summarization of Video-based News Articles

MLASK: Multimodální shrnutí zpravodajských článků založených na videu

In recent years, the pattern of news consumption has been changing. The most popular multimedia news formats are now multimodal - the reader is often presented not only with a textual article but also with a short, vivid video. To draw the attention of the reader, such video-based articles are usually presented as a short textual summary paired with an image thumbnail.In this paper, we introduce MLASK (MultimodaL Article Summarization Kit) - a new dataset of video-based news articles paired with a textual summary and a cover picture, all obtained by automatically crawling several news websites. We demonstrate how the proposed dataset can be used to model the task of multimodal summarization by training a Transformer-based neural model. We also examine the effects of pre-training when the usage of generative pre-trained language models helps to improve the model performance, but (additional) pre-training on the simpler task of text summarization yields even better results. Our experiments suggest that the benefits of pre-training and using additional modalities in the input are not orthogonal.

V posledních letech se vzorec konzumace zpráv mění. Nejoblíbenější multimediální zpravodajské formáty jsou nyní multimodální – čtenáři je často prezentován nejen textový článek, ale také krátké, živé video. Abychom upoutali pozornost čtenáře, jsou takové články založené na videu obvykle prezentovány jako krátké textové shrnutí spárované s miniaturou obrázku. V tomto článku představujeme MLASK (MultimodaL Article Summarization Kit) - nový datový soubor zpravodajských článků založených na videu. spárované s textovým shrnutím a úvodním obrázkem, vše získané automatickým procházením několika zpravodajských webů. Ukazujeme, jak lze navrhovanou datovou sadu použít k modelování úlohy multimodální sumarizace pomocí trénování neurálního modelu založeného na transformátoru. Zkoumáme také účinky předtrénování, kdy použití generativních předtrénovaných jazykových modelů pomáhá zlepšit výkon modelu, ale (dodatečné) předtrénování jednoduššího úkolu sumarizace textu přináší ještě lepší výsledky. Naše experimenty naznačují, že výhody předtréninku a použití dalších modalit ve vstupu nejsou ortogonální.


What is clear writing and why it makes sense. How to write clearly. A clear writing handbook for clerks.

Co je srozumitelný úřední text a proč má smysl psát srozumitelně.  Jak psát srozumitelné úřední texty. Příručka srozumitelného psaní pro úředníky

This is a comprehensible writing guide for officials with many practical examples of both comprehensible and non-comprehensible texts. At the beginning, there is a motivational chapter with an overview of the foreign practice of legal and official writing focused on the client.

Toto je příručka srozumitelného psaní pro úředníky s mnoha praktickými ukázkami srozumitelných i nesrozumitelných textů. Na začátku je motivační kapitola s rozhledem po zahraniční praxi právního a úředního psaní zaměřeného na klienta.

Jana Šamánková
Silvie Cinková
Adam Herma


The Problem of Coherence in Natural Language Explanations of Recommendations

Problém koherence ve vysvětleních doporučení v přirozeném jazyce

Providing natural language explanations for recommendations is particularly useful from the perspective of a non-expert user. Although several methods for providing such explanations have recently been proposed, we argue that an important aspect of explanation quality has been overlooked in their experimental evaluation. Specifically, the coherence between generated text and predicted rating, which is a necessary condition for an explanation to be useful, is not properly captured by currently used evaluation measures. In this paper, we highlight the issue of explanation and prediction coherence by 1) presenting results from a manual verification of explanations generated by one of the state-of-the-art approaches 2) proposing a method of automatic coherence evaluation 3) introducing a new transformer-based method that aims to produce more coherent explanations than the state-of-the-art approaches 4) performing an experimental evaluation which demonstrates that this method significantly improves the explanation coherence without affecting the other aspects of recommendation performance.

Poskytování vysvětlení v přirozeném jazyce pro doporučení je užitečné zejména z pohledu neodborného uživatele. Ačkoli bylo v poslední době navrženo několik metod pro poskytování takových vysvětlení, tvrdíme, že při jejich experimentálním hodnocení byl opomenut důležitý aspekt kvality vysvětlení. Konkrétně koherence mezi generovaným textem a předpovídaným hodnocením, která je nezbytnou podmínkou užitečnosti vysvětlení, není v současnosti používanými hodnotícími metrikami náležitě zachycena. V tomto článku upozorňujeme na problematiku koherence vysvětlení a předpovědi tím, že 1) prezentujeme výsledky manuálního ověřování vysvětlení generovaných jedním z nejmodernějších přístupů 2) navrhujeme metodu automatického hodnocení koherence 3) představujeme novou metodu založenou na transformeru, jejímž cílem je vytvářet koherentnější vysvětlení než nejmodernější přístupy 4) provádíme experimentální vyhodnocení, které ukazuje, že tato metoda výrazně zlepšuje koherenci vysvětlení, aniž by ovlivnila ostatní aspekty kvality doporučení.

Jakub Raczyński
Mateusz Lango
Jerzy Stefanowski


Long-form Simultaneous Speech Translation: Thesis Proposal

Simultánny preklad dlhých prejavov: Téza

Simultaneous speech translation (SST) aims to provide real-time translation of spoken language, even before the speaker finishes their sentence. Traditionally, SST has been addressed primarily by cascaded systems that decompose the task into subtasks, including speech recognition, segmentation, and machine translation. However, the advent of deep learning has sparked significant interest in end-to-end (E2E) systems. Nevertheless, a major limitation of most approaches to E2E SST reported in the current literature is that they assume that the source speech is pre-segmented into sentences, which is a significant obstacle for practical, real-world applications. This thesis proposal addresses end-to-end simultaneous speech translation, particularly in the long-form setting, i.e., without pre-segmentation. We present a survey of the latest advancements in E2E SST, assess the primary obstacles in SST and its relevance to long-form scenarios, and suggest approaches to tackle these challenges.

Cílem simultánního překladu řeči (SST) je zajistit překlad mluvené řeči v reálném čase, ještě než mluvčí dokončí větu. Tradičně se SST řeší především pomocí kaskádových systémů, které rozkládají úlohu na dílčí úkoly, včetně rozpoznávání řeči, segmentace a strojového překladu. Nástup hlubokého učení však vyvolal značný zájem o systémy typu end-to-end (E2E). Nicméně hlavním omezením většiny přístupů k E2E SST uváděných v současné literatuře je to, že předpokládají, že zdrojová řeč je předem segmentována do vět, což je pro praktické, reálné aplikace významnou překážkou. Tento návrh disertační práce se zabývá simultánním překladem řeči end-to-end, zejména v prostředí dlouhých promluv, tj. bez předběžné segmentace. Předkládáme přehled nejnovějších pokroků v E2E SST, hodnotíme hlavní překážky v SST a jejich význam pro scénáře s dlouhou formou a navrhujeme přístupy k řešení těchto problémů.


Towards Efficient Simultaneous Speech Translation:  CUNI-KIT System for Simultaneous Track at IWSLT 2023

K efektivnímu simultánnímu překladu řeči: Systém CUNI-KIT pro simultánní stopu na IWSLT 2023

In this paper, we describe our submission to the Simultaneous Track at IWSLT 2023. This year, we continue with the successful setup from the last year, however, we adopt the latest methods that further improve the translation quality. Additionally, we propose a novel online policy based on CTC. We show that the proposed CTC online policy can be applied to both streaming blockwise models and offline encoder-decoder models. We observe significant improvements in quality (up to 1.1 BLEU) and the computational footprint (up to 45% relative RTF).

V tomto článku popisujeme naše přihlášení do Simultaneous Track na IWSLT 2023. V letošním roce pokračujeme v úspěšném nastavení z minulého roku, ale přijímáme nejnovější metody, které dále zlepšují kvalitu překladu. Navíc navrhujeme nové online zásady založené na CTC. Ukazujeme, že navrhovanou online zásadu CTC lze aplikovat jak na blokové streamování, tak na offline modely kodéru a dekodéru. Pozorujeme výrazné zlepšení kvality (až 1,1 BLEU) a výpočetní stopy (až 45 % relativní RTF).

Peter Polák
Danni Liu
Ngoc-Quan Ngoc
Jan Niehues
Alex Waibel
Ondřej Bojar


Incremental Blockwise Beam Search for Simultaneous Speech Translation with Controllable Quality-Latency Tradeoff

Inkrementální dekódování pro simultánní překlad řeči s regulovatelným kompromisem mezi kvalitou a latencí

Blockwise self-attentional encoder models have recently emerged as one promising end-to-end approach to simultaneous speech translation.
These models employ a blockwise beam search with hypothesis reliability scoring to determine when to wait for more input speech before translating further.
However, this method maintains multiple hypotheses until the entire speech input is consumed - this scheme cannot directly show a single incremental translation to users.
Further, this method lacks mechanisms for controlling the quality vs. latency tradeoff.
We propose a modified incremental blockwise beam search incorporating local agreement or hold-n policies for quality-latency control.
We apply our framework to models with limited and full-context encoders, with the latter demonstrating that offline models can be effectively converted to online models.
Experimental results on MuST-C show 0.6-3.6 BLEU improvement without changing latency or 0.8-1.4 s latency improvement without changing quality.

Blockwise self-attentional encoder modely mají nedávno emerged jako jeden promising end-to-end approach k simultaneous speech translation.
Tyto modely employ a blockwise beam hledání s hypothesis reliability scoring to determine when to wait for more input speech before translating further.
However, this method maintains multiple hypotheses until entire speech input is consumed - this scheme cannot directly show a single incremental translation to users.
Further, this method lacks mechanismy pro kontrolu kvality vs. latency tradeoff.
We propose a modified incremental blockwise beam hledaný integrační místní agreement or hold-n policies pro quality-latency control.
Jsou apply naše framework k modelům s limitovanými a plnými contextovými kodéry, s pozdější demonstrací, že offline modely mohou být efektivně konvertovány do online modelů.
Experimental results on MuST-C show 0.6-3.6 BLEU improvement with changing latency nebo 0.8-1.4 s latency improvement with changing quality.

Peter Polák
Brian Yan
Shinji Watanabe
Alex Waibel
Ondřej Bojar


Long-Form End-to-End Speech Translation via Latent Alignment Segmentation

Překlad dlouhé formy řeči end-to-end pomocí segmentace latentního zarovnání

Current simultaneous speech translation models can process audio only up to a few seconds long. Contemporary datasets provide an oracle segmentation into sentences based on human-annotated transcripts and translations. However, the segmentation into sentences is not available in the real world. Current speech segmentation approaches either offer poor segmentation quality or have to trade latency for quality. In this paper, we propose a novel segmentation approach for a low-latency end-to-end speech translation. We leverage the existing speech translation encoder-decoder architecture with ST CTC and show that it can perform the segmentation task without supervision or additional parameters. To the best of our knowledge, our method is the first that allows an actual end-to-end simultaneous speech translation, as the same model is used for translation and segmentation at the same time. On a diverse set of language pairs and in- and out-of-domain data, we show that the proposed approach achieves state-of-the-art quality at no additional computational cost.

Současné modely simultánního překladu řeči dokážou zpracovat zvuk dlouhý pouze několik sekund. Současné datové sady poskytují věšteckou segmentaci na věty na základě přepisů a překladů komentovaných člověkem. Segmentace na věty však není v reálném světě k dispozici. Současné přístupy k segmentaci řeči nabízejí buď nízkou kvalitu segmentace, nebo musí vyměnit latenci za kvalitu. V tomto článku navrhujeme nový přístup segmentace pro překlad řeči od konce ke konci s nízkou latencí. Využíváme stávající architekturu enkodéru-dekodéru pro překlad řeči s ST CTC a ukazujeme, že může provádět úlohu segmentace bez dohledu nebo dodatečných parametrů. Podle našich nejlepších znalostí je naše metoda první, která umožňuje skutečný simultánní překlad řeči end-to-end, protože pro překlad a segmentaci se používá stejný model současně. Na rozmanitém souboru jazykových párů a dat v doméně i mimo ni ukazujeme, že navrhovaný přístup dosahuje nejmodernější kvality bez dodatečných výpočetních nákladů.


A Dataset and Strong Baselines for Classification of Czech News Texts

Datová sada and silné základní metody pro klasifikaci českých novinových textů

Pre-trained models for Czech Natural Language Processing are often evaluated on purely linguistic tasks (POS tagging, parsing, NER) and relatively simple classification tasks such as sentiment classification or article classification from a single news source. As an alternative, we present CZEch NEws Classification dataset (CZE-NEC), one of the largest Czech classification datasets, composed of news articles from various sources spanning over twenty years, which allows a more rigorous evaluation of such models. We define four classification tasks: news source, news category, inferred author’s gender, and day of the week. To verify the task difficulty, we conducted a human evaluation, which revealed that human performance lags behind strong machine-learning baselines built upon pre-trained transformer models. Furthermore, we show that language-specific pre-trained encoder analysis outperforms selected commercially available large-scale generative language models.

Předtrénované modely pro zpracování přirozeného jazyka (NLP) v češtině se často vyhodnocují na čistě lingvistických úlohách (POS tagging, parsing, NER) a relativně jednoduchých klasifikačních úlohách, jako je klasifikace sentimentu nebo klasifikace zdroje článků. Jako alternativu představujeme CZEch NEws Classification dataset (CZE-NEC), jeden z největších českých klasifikačních datasetů. Skládá se ze zpravodajských článků z různých zdrojů v rozpětí více než dvaceti let, který umožňuje přísnější hodnocení NLP modelů. Definujeme čtyři klasifikační úlohy: zdroj zpráv, kategorie zpráv, odvozený gender autora a den v týdnu. Abychom ověřili obtížnost úloh, provedli jsme lidské hodnocení, které odhalilo, že lidský odhad zaostává za silnými základními modely strojového učení postavenými na předem natrénovaných modelech typu Transformer. Dále jsme ukázali, že jazykově specifické předtrénované enkodéry překonávají komerčně dostupné velké generativní jazykové modely.


We cordially invite you to April's Inspiromat dedicated to the topic of AI, or artificial intelligence. We will talk about what AI actually is (and what it isn't). We will introduce you to basic concepts to get an idea of how it all actually works. In the second part we will then focus specifically on textual models, introduce how such a model works and what can be done with them (like writing a play). In the third phase we will try to outline in the form of a dialogue the possibilities and changes that the development of AI will bring not only to libraries.
The guest will be Rudolf Rosa Ph.D., a researcher in the field of computational linguistics and artificial intelligence at the Institute of Applied and Formal Linguistics of MFF UK. As part of the Theiatre project and in cooperation with Švandový Theatre, he presented a full-length play for which 90% of the script was written by artificial intelligence. He is one of the members of the AI team in a context dedicated to popularization and education in the field of artificial intelligence.

Srdečně vás zveme na dubnový Inspiromat věnovaný tématu AI neboli umělé inteligence. Budeme si povídat o tom, co AI vlastně je (a co není). Seznámíme vás se základními pojmy, abyste získali představu, jak to celé vlastně funguje. V druhé části se pak zaměříme konkrétně na textové modely, představíme, jak takový model funguje a co se s nimi dá dělat (třeba napsat divadelní hra). Ve třetí fázi pak formou dialogu zkusíme nastínit možnosti a změny, které rozvoj AI přinese nejenom do knihoven.
Hostem bude Rudolf Rosa Ph.D., výzkumník v oblasti komputační lingvistiky a umělé inteligence na Ústavu aplikované a formální lingvistiky MFF UK. V rámci projektu Theiatre a ve spolupráci se Švandovým divadlem uvedl celovečerní divadelní hru, ke které z 90% scénář napsala umělá inteligence. Je jedním z členů týmu AI v kontextu, který se věnuje popularizaci a vzdělávání v oblasti umělé inteligence.


A corpus-based study of the semantic distribution of  denominal verb formation in English

Korpusová studie sémantické distribuce výrazů  denominálního tvoření sloves v angličtině

The semantics of verb-deriving processes in English and, specifically, of conversion/zero-derivation and affixation has been extensively described in the literature from various theoretical and empirical approaches. In particular, some studies have proposed a methodology consisting in the manual semantic annotation of corpus concordances in order to assess the distribution of semantic categories across word-formation processes. This paper tests this methodology on a sample of 246 verbal hapaxes from the British National Corpus which were manually classified into the various semantic categories traditionally used in the literature. The results obtained are consistent with previous studies regarding the semantics of denominal verbs. Methodologically, this study shows the suitability of the method used, but also points at some of its limitations to be addressed in future research.

Sémantika slovotvorných procesů v angličtině, konkrétně konverze/derivace a afixace, byla v literatuře rozsáhle popsána z různých teoretických i empirických přístupů. Některé studie navrhly zejména metodiku spočívající v manuální sémantické anotaci korpusových konkordancí s cílem posoudit distribuci sémantických kategorií napříč slovotvornými procesy. Tento článek testuje tuto metodiku na vzorku 246 slovních hapaxů z Britského národního korpusu, které byly manuálně zařazeny do různých sémantických kategorií tradičně používaných v literatuře. Získané výsledky jsou v souladu s předchozími studiemi týkajícími se sémantiky denominálních sloves. Z metodologického hlediska tato studie ukazuje vhodnost použité metody, ale také poukazuje na některá její omezení, která je třeba v budoucím výzkumu odstranit.

Ana Díaz-Negrillo
Cristina Fernández Alcaina


The epistemic particle zřejmě in the light of parallel corpora

Epistemická částice zřejmě pohledem paralelního korpusu

In  this  paper,  we  analyze  the  meaning  potential  of  the  Czech  epistemic  particle
zřejmě, focusing on the degree of certainty it expresses. Based on a preliminary observation,
we hypothesize that, contrary to the existing dictionary treatment, there are two separate meanings of zřejmě with different degree of certainty.
Our corpus study follows the assumption that comparing data from parallel corpora may be
helpful in determining the fine-grained meaning of pragmatic markers, including epistemic markers. In the analysis, we investigate the epistemic features of English and Swedish translation equivalents of zřejmě, their semantic consistency and the ability of recipients to interpret the degree of certainty expressed.
The corpus data show that there are two interpretative tendencies differing in the degree of
certainty expressed, one of them rooted in the evidential meaning. Nevertheless, not even native
speakers are fully able to distinguish between these two meaning interpretations.

Článek se zabývá významem jistotní částice zřejmě, především s ohledem na míru jistoty, kterou tento výraz vyjadřuje. Vychází přitom z předpokladu, že překladová analýza může vyjasnit významové nuance jistotních částic. Srovnání dat z paralelních korpusů (českého-anglického-švédského) naznačuje dvě tendence v užívání výrazu zřejmě, kromě významu vyjadřujícího střední jistotu se objevuje i význam vyjadřující plnou jistotu s příznakem evidenciality. Nicméně ani rodilí mluvčí se zcela neshodnou ve významové interpretaci jednotlivých užití.

Jana Šindlerová
Barbora Štěpánková
Ingrid Lindgren Andrén


Exploring the Impact of Training Data Distribution and Subword Tokenization on Gender Bias in Machine Translation

Zkoumání dopadu distribuce školicích dat a tokenizace podslov na genderové zkreslení ve strojovém překladu

We study the effect of tokenization on gender bias in machine translation, an aspect that has been largely overlooked in previous works. Specifically, we focus on the interactions between the frequency of gendered profession names in training data, their representation in the subword tokenizer's vocabulary, and gender bias. We observe that female and non-stereotypical gender inflections of profession names (e.g., Spanish "doctora" for "female doctor") tend to be split into multiple subword tokens. Our results indicate that the imbalance of gender forms in the model's training corpus is a major factor contributing to gender bias and has a greater impact than subword splitting. We show that analyzing subword splits provides good estimates of gender-form imbalance in the training data and can be used even when the corpus is not publicly available. We also demonstrate that fine-tuning just the token embedding layer can decrease the gap in gender prediction accuracy between female and male forms without impairing the translation quality.

Studujeme vliv tokenizace na genderovou předpojatost ve strojovém překladu, což je aspekt, který byl v předchozích dílech do značné míry přehlížen. Konkrétně se zaměřujeme na interakce mezi frekvencí genderových názvů profesí v tréninkových datech, jejich zastoupením ve slovní zásobě podslova tokenizátora a genderovou předpojatostí. Pozorujeme, že ženské a nestereotypické rodové přechylování názvů povolání (např. španělské „doctora“ pro „doktorka“) má tendenci být rozděleno do více podslov. Naše výsledky naznačují, že nerovnováha genderových forem v modelovém tréninkovém korpusu je hlavním faktorem přispívajícím k genderové zaujatosti a má větší dopad než dělení podslov. Ukazujeme, že analýza rozdělení podslov poskytuje dobré odhady genderové nerovnováhy v trénovacích datech a lze ji použít, i když korpus není veřejně dostupný. Ukazujeme také, že jemné doladění vrstvy pro vkládání tokenů může snížit rozdíl v přesnosti predikce pohlaví mezi ženskými a mužskými formami, aniž by se zhoršila kvalita překladu.

Bar Iluz
Tomasz Limisiewicz
Gabriel Stanovsky
David Mareček


Forms and Functions: Implicitness of Discourse Relations

Formy a funkce: Implicitnost diskurzních vztahů

The lecture deals with the analysis of the causes of inter-annotator disagreement in implicit discourse relations in Czech and the relationship between the explicitness / implicitness of discourse relations and other linguistic features, such as sentence structure and the semantics of individual discourse relations.

Přednáška se zabývá analýzou příčin mezianotátorské neshody u implicitních diskurzních vztahů v češtině a vztahem mezi explicitností / implicitností diskurzních vztahů a dalšími jazykovými rysy, jako je věttná stavba a sémantika jednotlivých diskurzních vztahů.


Forms and functions: Implicitness of discourse relations

Formy a funkce: implicitnost diskurzních vztahů

The invited lecture discusses inter-annotator agreement in implicit discourse relations and traces the relationship between semantics of discourse relations and their way of expression.

Zvaná přednáška rozebírá mezianotátorskou shodu u implicitních diskurzních vztahů a sleduje relaci mezi sémantikou diskurzních vztahů a jejich způsobem vyjádření.


Individual language understanding as a challenge for computational linguistics

Individuální porozumění jazyku jako výzva pro počítačovou lingvistiku

Currently, we are witnessing a sharp increase in the number of available digital language resources, the marking of which focuses on various linguistic phenomena (lemmatization, morphology, syntax, named entities, error types, rhetorical text structure, etc.). Although part of the tagging processes is performed automatically, human interpretation is also an essential component of tagging, e.g. to check the automatic processes.
Until now, when creating manual tagging, it has been usual in computer linguistics to strive for the so-called gold standard, i.e. to create one tagging concept that is perceived as basic based on several tagging variants from several people. This gold standard then serves as reference data for further text processing. Unity in tagging (the so-called inter-annotator agreement rate) is also understood as a reflection of data quality – the more annotators agree, the better the tagging is considered to be.

However, in specific marking tasks, especially at higher language levels, it is becoming more and more difficult to achieve high inter-annotator agreement. One of the causes of these difficulties is the individual understanding of the language by individual annotators. The variability of possible—and fully justified—interpretations makes it difficult to establish a gold standard, which has substantial methodological implications for a number of tasks in computational linguistics. This opens up a space for re-evaluating the concept of standard data; important impulses for computational linguistics in this context are provided by psycholinguistics.

V současné době jsme svědky prudkého nárůstu množství dostupných digitálních jazykových zdrojů, jejichž značkování se zaměřuje na nejrůznější jazykové jevy (lemmatizace, morfologie, syntax, pojmenované entity, typy chyb, rétorická struktura textu ad.). I když se část značkovacích procesů provádí automaticky, je podstatnou složkou značkování také interpretace prováděná lidmi, např. pro kontrolu automatických procesů.
Při vytváření ručního značkování bylo dosud v počítačové lingvistice obvyklé usilovat o tzv. zlatý standard, tedy vytvořit na základě několika variant značkování od více lidí jeden značkovací koncept, který je vnímán jako základní. Tento zlatý standard pak slouží jako referenční data pro další zpracování textů. Jednota ve značkování (tzv. míra mezianotátorské shody) se také pojímá jako odraz kvality dat – čím více se anotátoři shodují, tím se značkování považuje za lepší.

V konkrétních značkovacích úkolech zejména na vyšších jazykových rovinách se však čím dál častěji ukazuje, že je obtížné dosáhnout vysoké mezianotátorské shody. Jednou z příčin těchto obtíží je individuální porozumění jazyku u jednotlivých anotátorů. Variabilita možných – a plně oprávněných – interpretací znesnadňuje stanovení zlatého standardu, což má podstatné metodologické důsledky pro řadu úkolů počítačové lingvistiky. Otevírá se tu prostor pro přehodnocení konceptu standardních dat; důležité impulsy pro počítačovou lingvistiku v tomto kontextu pak přináší psycholingvistika.


Assessing the Featural Organisation of Paradigms with Distributional Methods

Posouzení charakteru organizace paradigmat pomocí distribučních metod

In this paper, we apply distributional methods to Czech data to compare the predictions of two views of inflectional paradigms, as systems of orthogonal morphosyntactic feature oppositions, or as systems of multilateral contrasts between pairs of morphologically related words, not necessarily reducible to orthogonal features.

We define two predictive tasks that probe what it means for two pairs of paradigm cells to contrast in the same features: in the first, we train a classifier to discriminate between two paradigm cells; in the second, we train a family of models to predict the vector of the word in one cell from that of the word in another cell. By varying the choice of training and test data, we show that (i) a model trained on data that contrast in a manner orthogonal to its test data performs on average at chance level, while (ii) a model trained on data that contrast in a manner parallel to its test data performs on average better than chance but still worse than a model trained on the same pair of cell used for testing. This is incompatible with the predictions of a reductive view of paradigms as systems of feature contrasts.

V tomto článku aplikujeme distribuční metody na česká data ke srovnání predikcí dvou pohledů na flektivní paradigmata, a to jako buď systémy ortogonálních opozic morfo-syntaktických rysů, nebo jako systémy multilaterálních kontrastů mezi dvojicemi morfologicky příbuzných slov, které nemusí být nutně redukovatelné na ortogonální rysy.

Definujeme dvě prediktivní úlohy, které zjišťují, co to znamená, když dva páry buněk paradigmatu kontrastují ve stejných rysech: v první trénujeme klasifikátor, aby rozlišoval mezi dvěma buňkami paradigmatu; ve druhé trénujeme rodinu modelů pro predikci vektoru slova v jedné buňce z vektoru slova v jiné buňce. Změnou výběru trénovacích a testovacích dat ukazujeme, že (i) model trénovaný na datech, která kontrastují způsobem ortogonálním k jeho testovacím datům, funguje v průměru na úrovni náhody, zatímco (ii) model trénovaný na datech, která kontrastují způsobem paralelnosti s jeho testovacími daty, funguje v průměru lépe než náhoda, ale stále hůře než model trénovaný na stejném páru buněk použitém pro testování. To je neslučitelné s předpověďmi reduktivního pohledu na paradigmata jako systémy kontrastů rysů.

Olivier Bonami
Lukáš Kyjánek
Marine Wauquier


Team Iterate @ AutoMin 2023 - Experiments with Iterative Minuting

Team Iterate @ AutoMin 2023 - Experimenty s iterativně vytvářenými zápisky

This report describes the development of our system for automatic minuting created for the AutoMin 2023 Task A. As a baseline, we utilize a system based on the BART encoder-decoder model paired with a preprocessing pipeline similar to the one introduced by the winning solutions at AutoMin 2021. We then further explore the possibilities for iterative summarization by constructing an iterative minuting dataset from the provided data, finetuning on it and feeding the model previously generated minutes. We also experiment with adding more context by utilizing the Longformer encoder-decoder model and finetuning it on the SAMSum dataset. Our submitted solution is of the baseline approach, since we were unable to match its performance with our iterative variants. With the baseline, we achieve a ROUGE-1 score of 0.368 on the ELITR minuting corpus development set. We finally explore the performance of Vicuna 13B quantized language model for summarization.

Tato zpráva popisuje vývoj našeho systému pro automatické vytváření zápisků z jednání sestaveného pro AutoMin 2023 Task A. Jako základní scénář využíváme systém založený na modelu enkodéru-dekodéru BART s naším předzpracováním podobným tomu, které bylo představeno vítěznými řešeními na AutoMin 2021. Dále zkoumáme možnosti iterativní sumarizace vytvořením iterativního pohledu na poskytnutá data, finetuningem na něm a vložením dříve generovaných zápisků do modelu. Experimentujeme také s přidáním dalších souvislostí využitím modelu enkodéru-dekodéru Longformer a finetuningem na datovém souboru SAMSum. Pro účast v soutěži nakonec volíme základní přístup, protože jsme nebyli schopni sladit jeho výkon s našimi iterativními variantami. Se základním scénářem dosahujeme skóre ROUGE-1 0,368 na vývojovém souboru korpusu ELITR Minuting Corpus. Nakonec zkoumáme výkon kvantovaného jazykového modelu Vicuna 13B pro sumarizaci.


The Epistemic Marker určitě in the Light of Corpus Data

Epistemická částice určitě ve světle korpusových dat

The paper presents a pilot study for a research project on epistemic modality and/or evidentiality markers in Czech. The study focuses on the expression "určitě". Although this marker is typically considered to signal high certainty, the dictionary of standard Czech (Slovník spisovné češtiny, SSČ) also offers an alternative meaning of probability, indicating a lower degree of certainty. We use parallel data from the InterCorp v15 corpus to determine whether the probability meaning can be identified unequivocally in real language data and whether it correlates with specific translation equivalents, linguistic features, or lexical context. Based on our findings, we propose an alternative method for distinguishing between different shades of meaning based on the communicative functions of the utterances, and we draw conclusions regarding the relevance of individual grammatical and lexical clues in context for future annotations.

Článek je pilotní studií v rámci projektu zaměřeného na epistemickou modalitu a evidencialitu v češtině. Částice "určitě" je obvykle chápána jako výraz vyjadřující vysokou míru jistoty, ve Slovníku spisovné češtiny se však objevuje i s významem vyjadřujícím střední míru jistoty. S využitím dat z paralaleního korpusu InterCorp v15 jsme se pokusili zjistit, zda lze v kontextu identifikovat oba jistotní významy, a to za pomoci překladových ekvivalentů, jazykové intuice rodilých mluvčích a anotace jazykových rysů v lexikálním kontextu. Na základě provedených analýz navrhujeme alternativní metodu pro rozlišování významových odstínů podle komunikačních funkcí výpovědí a vyvozujeme závěry ohledně relevance jednotlivých gramatických a lexikálních rysů v kontextu pro budoucí anotaci.

Barbora Štěpánková
Jana Šindlerová
Lucie Poláková


ÚFAL CorPipe at CRAC 2023: Larger Context Improves Multilingual Coreference Resolution

ÚFAL CorPipe na CRAC 2023: Větší kontext pomáhá při rozpoznávání koreference ve více jazycích

We present CorPipe, the winning entry to the CRAC 2023 Shared Task on Multilingual Coreference Resolution. Our system is an improved version of our earlier multilingual coreference pipeline, and it surpasses other participants by a large margin of 4.5 percent points. CorPipe first performs mention detection, followed by coreference linking via an antecedent-maximization approach on the retrieved spans. Both tasks are trained jointly on all available corpora using a shared pretrained language model. Our main improvements comprise inputs larger than 512 subwords and changing the mention decoding to support ensembling. The source code is available at https://github.com/ufal/crac2023-corpipe.

Představujeme CorPipe, vítězný systém z CRAC 2023 Shared Task on Multilingual Coreference Resolution. CorPipe je vylepšenou verzí našeho dřívějšího vícejazyčného koreferenčního systému a překonává ostatní účastníky s velkým náskokem 4,5 procentního bodu. Náš systém nejprve rozpoznává koreferenční zmínky a poté předpovídá koferenční odkazy na získaných úsecích. Obě úlohy jsou trénovány společně na všech dostupných korpusech pomocí sdíleného předtrénovaného jazykového modelu. Naše hlavní vylepšení zahrnují vstupy delší než 512 podslov a změnu dekódování podporující ensembling. Zdrojový kód je k dispozici na adrese https://github.com/ufal/crac2023-corpipe.


FINDINGS OF THE IWSLT 2023 EVALUATION CAMPAIGN

This paper reports on the shared tasks organized by the 20th IWSLT Conference. The shared tasks address 9 scientific challenges in spoken language translation: simultaneous and offline translation, automatic subtitling and dubbing, speech-to-speech translation, multilingual, dialect and low-resource speech translation, and formality control. The shared tasks attracted a total of 38 submissions by 31 teams. The growing interest towards spoken language translation is also witnessed by the constantly increasing number of shared task organizers and contributors to the overview paper, almost evenly distributed across industry and academia.

Tento dokument informuje o sdílených úkolech organizovaných 20. konferencí IWSLT. Sdílené úkoly řeší 9 vědeckých výzev v mluveném překladu: simultánní a offline překlad, automatické titulky a dabing, překlad řeči do řeči, vícejazyčný, dialektový a nízkozdrojový překlad řeči a kontrola formalit. Sdílené úkoly přilákaly celkem 38 příspěvků od 31 týmů. Rostoucí zájem o překlady do mluveného jazyka je také svědkem neustále se zvyšujícího počtu organizátorů sdílených úkolů a přispěvatelů do přehledu, téměř rovnoměrně distribuovaných napříč průmyslem a akademickou sférou.

Milind Agarwal
Sweta Agrawal
Antonios Anastasopoulos
Luisa Bentivogli
Ondřej Bojar
Claudia Borg
Marine Carpuat
Roldano Cattoni
Mauro Cettolo
Mingda Chen
William Chen
Khalid Choukri
Alexandra Chronopoulou
Thierry Declerck
Qianqian Dong
Kevin Duh
Yannick Estève
Marcello Federico
Souhir Gahbiche
Barry Haddow
Benjamin Hsu
Phu Mon Htut
Hirofumi Inaguma
Dávid Javorský
John Judge
Yasumasa Kano
Tom Ko
Rishu Kumar
Pengwei Li
Xutai Ma
Prashant Mathur
Evgeny Matusov
Paul McNamee
John McCrae
Kenton Murray
Maria Nadejde
Satoshi Nakamura
Matteo Negri
Ha Nguyen
Jan Niehues
Xing Niu
Atul Kr. Ojha
John Ortega
Proyag Pal
Juan Pino
Lonneke van der Plas
Peter Polák
Elijah Rippeth
Elizabeth Salesky
Jiatong Shi
Matthias Sperber
Sebastian Stüker
Katsuhito Sudoh
Yun Tang
Brian Thompson
Kevin Tran
Marco Turchi
Alex Waibel
Mingxuan Wang
Shinji Watanabe
Rodolfo Zevallos


Better Translation + Split and Generate for Multilingual RDF-to-Text (WebNLG 2023)

Lepší překlad + rozdělení a generování pro vícejazyčný převod RDF na text (WebNLG 2023)

This paper presents system descriptions of our submitted outputs for WebNLG Challenge 2023. We use mT5 in multi-task and multilingual settings to generate more fluent and reliable verbalizations of the given RDF triples. Furthermore, we introduce a partial decoding technique to produce more elaborate yet simplified outputs. Additionally, we demonstrate the significance of employing better translation systems in creating training data.

Tento článek představuje popisy systémů pro námi předložené výstupy v soutěži WebNLG Challenge 2023. Používáme mT5 ve víceúlohovém a vícejazyčném prostředí k vytváření plynulejších a spolehlivějších verbalizací zadaných trojic RDF. Dále zavádíme techniku částečného dekódování pro tvorbu propracovanějších, ale zjednodušených výstupů. Kromě toho demonstrujeme význam využití lepších překladových systémů při vytváření trénovacích dat.

Nalin Kumar
Saad Obaid ul Islam
Ondřej Dušek


Genre Transfer in NMT: Creating Synthetic Spoken Parallel Sentences using Written Parallel Data

Přenos žánrů v NMT: vytváření syntetických mluvených paralelních vět pomocí psaných paralelních dat

Text style transfer (TST) aims to control attributes in a given text without changing the
content. The matter gets complicated when
the boundary separating two styles gets blurred.
We can notice similar difficulties in the case of
parallel datasets in spoken and written genres.
Genuine spoken features like filler words and
repetitions in the existing spoken genre parallel
datasets are often cleaned during transcription
and translation, making the texts closer to written datasets. This poses several problems for
spoken genre-specific tasks like simultaneous
speech translation. This paper seeks to address
the challenge of improving spoken language
translations. We start by creating a genre classifier for individual sentences and then try two
approaches for data augmentation using written
examples: (1) a novel method that involves assembling and disassembling spoken and written
neural machine translation (NMT) models, and
(2) a rule-based method to inject spoken features. Though the observed results for (1) are
not promising, we get some interesting insights
into the solution. The model proposed in (1)
fine-tuned on the synthesized data from (2) produces naturally looking spoken translations for
written→spoken genre transfer in En-Hi translation systems. We use this system to produce
a second-stage En-Hi synthetic corpus, which
however lacks appropriate alignments of explicit spoken features across the languages. For
the final evaluation, we fine-tune Hi-En spoken
translation systems on the synthesized parallel
corpora. We observe that the parallel corpus
synthesized using our rule-based method produces the best results.

Cílem přenosu stylu textu (TST) je ovládat atributy v daném textu, aniž by se měnil jeho obsah. Komplikovanější tato problematika je v případě, že se hranice oddělující dva styly stírá.
Podobných potíží si můžeme všimnout v případě
paralelních souborů dat v mluvených a psaných žánrech. Skutečné mluvené rysy, jako jsou výplňová slova a např. opakování v existujících paralelních datech mluvených žánrů, jsou často při přepisu vyčištěny. To představuje několik problémů pro
úlohy specifické pro mluvené žánry, jako je simultánní překlad mluvené řeči. Tento článek se snaží řešit problém překladu mluveného jazyka. Začneme vytvořením žánrového klasifikátoru pro jednotlivé věty a poté vyzkoušíme dva
přístupy pro rozšíření dat pomocí psaných
příkladů: (1) novou metodu, která zahrnuje sestavování a rozkládání mluvených a psaných příkladů pomocí modelů neuronového strojového překladu (NMT) a (2) metodu založenou na pravidlech pro vkládání mluvených rysů. Model navržený v bodě (1) vyladěný na syntetizovaných datech z (2) vytváří přirozeně vypadající mluvené překlady pro psaný→mluvený žánrový převod v překladových systémech En-Hi. Pomocí tohoto systému vytváříme druhý stupeň syntetického korpusu En-Hi, který však postrádá vhodné zarovnání explicitních mluvených rysů napříč jazyky. Pozorujeme, že paralelní korpus
syntetizovaný naší metodou založenou na pravidlech poskytuje nejlepší výsledky.


The Shannon game has long been used as a thought experiment in linguistics and NLP, asking participants to guess the next letter in a sentence based on its preceding context.
We extend the game by introducing an optional extra modality in the form of image information.
To investigate the impact of multimodal information in this game, we use human participants and a language model (LM, GPT-2).

We show that the addition of image information improves both self-reported confidence and accuracy for  both humans and LM.
Certain word classes, such as nouns and determiners, benefit more from the additional modality information.
The priming effect in both humans and the LM becomes more apparent as the context size (extra modality information + sentence context) increases.
These findings highlight the potential of multimodal information in improving language understanding and modeling.

Hra Shannon je již dlouho používána jako myšlenkový experiment v lingvistice a NLP, který po účastnících požaduje, aby odhadli další písmeno ve větě na základě předchozího kontextu.
Rozšiřujeme hru zavedením volitelné extra modality ve formě obrazové informace.
K prozkoumání dopadu multimodálních informací v této hře používáme lidské účastníky a jazykový model (LM, GPT-2).

Ukazujeme, že přidání obrazové informace zlepšuje sebejistotu a přesnost jak u lidí, tak u LM.
Určité slovní třídy, jako podstatná jména a determinanty, těží více z dodatečné informace o modalitě.
Primitivní efekt u lidí i u LM se stává zřetelnějším s rostoucí velikostí kontextu (extra informace o modalitě + kontext věty).
Tato zjištění zdůrazňují potenciál multimodálních informací při zlepšování porozumění jazyku a modelování.


EMMT: A simultaneous eye-tracking, 4-electrode EEG and audio corpus for multi-modal reading and translation scenarios

EMMT: simultánní eye-tracking a EEG se čtyřmi elektrodami a zvukový korpus pro multimodální čtení a sledování překladatelských scénářů

We present the Eyetracked Multi-Modal Translation (EMMT) corpus, a dataset containing monocular eye movement recordings, audio and 4-electrode electroencephalogram (EEG) data of 43 participants. The objective was to collect cognitive signals as responses of participants engaged in a number of language intensive tasks involving different text-image stimuli settings when translating from English to Czech.
Each participant was exposed to 32 text-image stimuli pairs and asked to (1) read the English sentence, (2) translate it into Czech, (3) consult the image, (4) translate again, either updating or repeating the previous translation. The text stimuli consisted of 200 unique sentences with 616 unique words coupled with 200 unique images as the visual stimuli.
The recordings were collected over a two week period and all the participants included in the study were Czech natives with strong English skills. Due to the nature of the tasks involved in the study and the relatively large number of participants involved, the corpus is well suited for research in Translation Process Studies, Cognitive Sciences among other disciplines.

Představujeme korpus EMMT (Eyetracked Multi-Modal Translation), který obsahuje záznamy monokulárních očních pohybů, zvukové záznamy a data ze 4elektrodového elektroencefalogramu (EEG) 43 účastníků. Cílem bylo shromáždit kognitivní signály jako odpovědi účastníků zpracovávajících řadu jazykově náročných úkolů za různých podmínek týkajících se textových a obrazových podnětů při překladu z angličtiny do češtiny.
Každý účastník zpracoval 32 dvojic textových a obrazových podnětů a byl požádán, aby (1) přečetl anglickou větu, (2) přeložil ji do češtiny, (3) konzultoval obrázek, (4) větu znovu přeložil, přičemž buď aktualizoval, nebo zopakoval předchozí překlad. Textové podněty se skládaly z 200 unikátních vět se 616 unikátními slovy ve spojení s 200 unikátními obrázky jako vizuálními podněty.
Nahrávky byly shromažďovány po dobu dvou týdnů a všichni účastníci zahrnutí do studie byli rodilí Češi s dobrou znalostí angličtiny. Vzhledem k povaze úkolů zahrnutých do studie a relativně velkému počtu zapojených účastníků je korpus vhodný mimo jiné pro výzkum v oblasti studia překladatelských procesů, kognitivních věd a dalších oborů.

Sunit Bhattacharya
Věra Kloudová
Vilém Zouhar
Ondřej Bojar


Unveiling Multilinguality in Transformer Models: Exploring Language Specificity in Feed-Forward Networks

Odhalení mnohojazyčnosti v modelech transformátorů: zkoumání jazykové specifičnosti v sítích s posuvem vpřed

Recent research suggests that the feed-forward
module within Transformers can be viewed as
a collection of key-value memories, where the
keys learn to capture specific patterns from the
input based on the training examples. The val-
ues then combine the output from the ‘memo-
ries’ of the keys to generate predictions about
the next token. This leads to an incremental
process of prediction that gradually converges
towards the final token choice near the output
layers.
This interesting perspective raises questions
about how multilingual models might lever-
age this mechanism. Specifically, for autore-
gressive models trained on two or more lan-
guages, do all neurons (across layers) respond
equally to all languages? No! Our hypothe-
sis centers around the notion that during pre-
training, certain model parameters learn strong
language-specific features, while others learn
more language-agnostic (shared across lan-
guages) features. To validate this, we con-
duct experiments utilizing parallel corpora of
two languages that the model was initially pre-
trained on. Our findings reveal that the layers
closest to the network’s input or output tend to
exhibit more language-specific behaviour com-
pared to the layers in the middle.

Nedávné výzkumy naznačují, že zpětná vazba
modul v rámci Transformers lze zobrazit jako
kolekci klíčových-hodnotových pamětí, kde
klíče naučit zachytit konkrétní vzory z
vstup založený na příkladech školení. Val-
ues pak kombinovat výstup z „memo-
ries’ klíčů generovat předpovědi o
další token. To vede k inkrementální
proces predikce, který se postupně sbližuje
směrem ke konečnému výběru tokenu v blízkosti výstupu
vrstvy.
Tento zajímavý pohled vyvolává otázky
o tom, jak vícejazyčné modely mohou páčit-
tento mechanismus stárnout. Konkrétně pro autore-
gressive modely trénované na dvou nebo více lan-
guages, reagují všechny neurony (napříč vrstvami)
stejně do všech jazyků? Ne! Naše hypotéza-
sis center kolem představy, že během pre-
trénink, některé parametry modelu se učí silně
jazykově specifické rysy, zatímco jiní se učí
více jazykově-agnostické (sdílené přes lan-
guages) rysy. Pro potvrzení tohoto, jsme con-
Pokusy potrubí s využitím paralelních korpusů
dvou jazyků, na kterých byl model zpočátku pre-
trénován. Naše zjištění odhalují, že vrstvy
nejblíže vstupu nebo výstupu sítě mají tendenci
vykazovat jazykově specifické chování com-
pared na vrstvy uprostřed.


Stroop Effect in Multi-Modal Sight Translation

Stroopův efekt v multimodálním překladu zraku

This study investigates the human translation process from English to Czech in a multi-modal scenario (images) using reaction times. We make a distinction between ambiguous and unambiguous sentences where in the former, more information would be needed in order to make a proper translation (e.g. gender of the subject). Simultaneously, we also provide visual aid to help in disambiguation, which is necessary for the ambiguous sentences. We confirm that ambiguous sentences take longer to translate and the provision of disambiguating visual aid slows the translation process. When provided with an unrelated visual aid, humans are able to recognize and spend less time on it but still significantly more than in other conditions. These findings are a clear manifestation of the Stroop effect (longer processing times for incongruent combinations).

Tato studie zkoumá proces lidského překladu z angličtiny do češtiny v multimodálním scénáři (obrázcích) s využitím reakčních časů. Rozlišujeme mezi nejednoznačnými a jednoznačnými větami, kde by v prvním případě bylo pro správný překlad potřeba více informací (např. rod předmětu). Zároveň poskytujeme i názornou pomůcku, která pomáhá při jednoznačnosti, která je u nejednoznačných vět nezbytná. Potvrzujeme, že překlad nejednoznačných vět trvá déle a poskytnutí jednoznačné vizuální pomůcky proces překladu zpomaluje. Když je jim poskytnuta nesouvisející vizuální pomůcka, lidé jsou schopni ji rozpoznat a strávit na ní méně času, ale stále výrazně více než v jiných podmínkách. Tyto nálezy jsou jasným projevem Stroopova efektu (delší doby zpracování u nekongruentních kombinací).

Sunit Bhattacharya
Vilém Zouhar
Věra Kloudová
Ondřej Bojar


In the Shannon game, the goal is to guess the next letter in a sentence based on the previous context.
It has since become a widely known thought experiment on which concepts in psycholinguistics, computational linguistics and natural language processing are based.
We extend this game by including an optional extra modality in the form of images and run an experiment on human participants.

We find that the presence of an image greatly improves users' confidence and accuracy accross all POS.
This includes determiners (a, an, the), which should otherwise be predicted solely from the previous (left) context of the sentence.

Ve hře Shannon je cílem uhodnout další písmeno ve větě na základě předchozího kontextu.
Od té doby se stal široce známým myšlenkovým experimentem, na kterém jsou založeny koncepty v psycholingvistice, počítačové lingvistice a zpracování přirozeného jazyka.
Tuto hru rozšiřujeme o volitelnou extra modalitu ve formě obrázků a provádíme experiment na lidských účastnících.

Zjistili jsme, že přítomnost obrázku výrazně zvyšuje důvěru a přesnost uživatelů ve všech POS.
To zahrnuje determinanty (a, an, the), které by jinak měly být predikovány výhradně z předchozího (levého) kontextu věty.

Sunit Bhattacharya
Vilém Zouhar
Ondřej Bojar


ÚFAL Submission for SIGTYP Supervised Cognate Detection Task

ÚFAL Podání pro SIGTYP supervizovaný úkol detekce příbuzných

In this work, I present ÚFAL submission for the supervised task of detecting cognates and derivatives. Cognates are word pairs in different languages sharing the origin in earlier attested forms in ancestral language, while derivatives come directly from another language. For the task, I developed gradient boosted tree classifier trained on linguistic and statistical features. The solution came first from two delivered systems with an 87% F1 score on the test split. This write-up gives an insight into the system and shows the importance of using linguistic features and character-level statistics for the task.

V této práci uvádím zadání ÚFAL pro řízený úkol detekce příbuzných a odvozenin. Příbuzné jsou slovní páry v různých jazycích, které sdílejí původ v dřívějších ověřených formách v jazyce předků, zatímco odvozeniny pocházejí přímo z jiného jazyka. Pro tento úkol jsem vyvinul gradientem zesílený stromový klasifikátor trénovaný na lingvistických a statistických vlastnostech. Řešení vzešlo ze dvou dodaných systémů s 87% skóre F1 na testovacím rozdělení. Tento zápis poskytuje náhled do systému a ukazuje důležitost používání jazykových funkcí a statistik na úrovni znaků pro daný úkol.


You Can Have Your Data and Balance It Too: Towards Balanced and Efficient Multilingual Models

Můžete mít svá data a také je vyvážit: Směrem k vyváženým a efektivním vícejazyčným modelům

Multilingual models have been widely used for the cross-lingual transfer to low-resource languages. However, the performance on these languages is hindered by their under-representation in the pretraining data. To alleviate this problem, we propose a novel multilingual training technique based on teacher-student knowledge distillation. In this setting, we utilize monolingual teacher models optimized for their language. We use those teachers along with balanced (sub-sampled) data to distill the teachers’ knowledge into a single multilingual student. Our method outperforms standard training methods in low-resource languages and retains performance on high-resource languages while using the same amount of data. If applied widely, our approach can increase the representation of low-resource languages in NLP systems.

Vícejazyčné modely byly široce používány pro mezijazyčný převod do jazyků s nízkými zdroji. Výkonu těchto jazyků však brání jejich nedostatečné zastoupení v datech předtrénování. Abychom tento problém zmírnili, navrhujeme novou vícejazyčnou školicí techniku založenou na destilaci znalostí učitele a studenta. V tomto prostředí využíváme jednojazyčné modely učitelů optimalizované pro jejich jazyk. Tyto učitele používáme spolu s vyváženými (subvzorkovanými) údaji k destilaci znalostí učitelů do jednoho vícejazyčného studenta. Naše metoda překonává standardní tréninkové metody v jazycích s nízkými zdroji a zachovává výkon v jazycích s vysokými zdroji při použití stejného množství dat. Pokud bude náš přístup aplikován široce, může zvýšit zastoupení jazyků s nízkými zdroji v systémech NLP.

Tomasz Limisiewicz
Dan Malkin
Gabriel Stanovsky


Tokenization Impacts Multilingual Language Modeling: Assessing Vocabulary Allocation and Overlap Across Languages

Dopady tokenizace na vícejazyčné jazykové modelování: Posouzení alokace slovní zásoby a překrývání mezi jazyky

Multilingual language models have recently gained attention as a promising solution for representing multiple languages in a single model. In this paper, we propose new criteria to evaluate the quality of lexical representation and vocabulary overlap observed in sub-word tokenizers.Our findings show that the overlap of vocabulary across languages can be actually detrimental to certain downstream tasks (POS, dependency tree labeling). In contrast, NER and sentence-level tasks (cross-lingual retrieval, NLI) benefit from sharing vocabulary. We also observe that the coverage of the language-specific tokens in the multilingual vocabulary significantly impacts the word-level tasks. Our study offers a deeper understanding of the role of tokenizers in multilingual language models and guidelines for future model developers to choose the most suitable tokenizer for their specific application before undertaking costly model pre-training.

Vícejazyčné jazykové modely nedávno získaly pozornost jako slibné řešení pro reprezentaci více jazyků v jediném modelu. V tomto článku navrhujeme nová kritéria pro hodnocení kvality lexikální reprezentace a překrývání slovní zásoby pozorované v tokenizérech podslov. Naše zjištění ukazují, že překrývání slovní zásoby mezi jazyky může být ve skutečnosti škodlivé pro určité následné úkoly (POS, označování stromem závislostí) . Naproti tomu úkoly NER a úkoly na úrovni vět (mezijazyčné vyhledávání, NLI) těží ze sdílení slovní zásoby. Pozorujeme také, že pokrytí jazykově specifických tokenů ve vícejazyčné slovní zásobě významně ovlivňuje úkoly na úrovni slov. Naše studie nabízí hlubší pochopení role tokenizérů ve vícejazyčných jazykových modelech a pokyny pro budoucí vývojáře modelů, aby si vybrali nejvhodnější tokenizér pro jejich konkrétní aplikaci, než se pustí do nákladného předtrénování modelu.

Tomasz Limisiewicz
Jiří Balhar
David Mareček


Connectives with both Arguments External: A Survey on Czech

Konektory s oběma externími argumenty: sonda v češtině

This paper investigates discourse connectives whose position in a text deviates from the usual setting - namely connectives that occur in neither of the two arguments - and as such present a challenge for discourse parsers.

Článek se věnuje textovým konektorům, jejichž pozice v textu se liší od obvyklých pozic spojek a textově-propojovacích částic a adverbií. Jsou to takové konektory, které se nevyskytují ani v jednom z textových segmentů, které propojují - a jako takové představují výzvu pro automatickou analýzu diskurzu.