ufal/bilingual-abstracts-corpus huggingface dataset:
Improving Both Domain Robustness and Domain Adaptability in Machine Translation
Zlepšení doménové robustnosti a doménové adaptability strojového překladu
Year: 2022
Authors: Wen Lai, Jindřich Libovický, Alexander Fraser

Abstract (English):
We consider two problems of NMT domain adaptation using meta-learning. First, we want to reach domain robustness, i.e., we want to reach high quality on both domains seen in the training data and unseen domains. Second, we want our systems to be adaptive, i.e., making it possible to finetune systems with just hundreds of in-domain parallel sentences. We study the domain adaptability of meta-learning when improving the domain robustness of the model. In this paper, we propose a novel approach, RMLNMT (Robust Meta-Learning Framework for Neural Machine Translation Domain Adaptation), which improves the robustness of existing meta-learning models. More specifically, we show how to use a domain classifier in curriculum learning and we integrate the word-level domain mixing model into the meta-learning framework with a balanced sampling strategy. Experiments on English-German and English-Chinese translation show that RMLNMT improves in terms of both domain robustness and domain adaptability in seen and unseen domains.

Abstract (Czech):
V článku řešíme dva komplementární problémy doménové adaptace neuronového strojového překladu za pomocí meta-učení, tzv. meta-learningu. Zaprvé, chceme dosáhnout doménové robustnosti, tj. chceme dosáhnout vysoké kvality překladu jak na doménách, které jsou v trénovacích datech, tak na doménách, které v trénovacích datech nejsou zastoupené. Zadruhé, chceme, aby naše systémy byly snadno adaptibilní, tj. aby umožňovaly dotrénování (tzv. finetuning) systému na novou doménu za použití řádově stovek paralelních vět z dané domény. V tomto článku navrhujeme nový přístup, RMLNMT (Robust Meta-Learning Framework for Neural Machine Translation Domain Adaptation), který zlepšuje robustnost stávajících přístupů založených na meta-learningu. Dále ukazujeme, jak používat doménový klasifikátor v postupném učení (curriculum learning) a integrujeme model míchání domén na úrovni slov do meta-learningového rámce. Experimenty s anglicko-německým a anglicko-čínským překladem ukazují, že RMLNMT dosahuje zlepšení jak z hlediska doménové robustnosti, tak z hlediska adaptability na domény, bez ohledu na to, zda byly zastoupeny v trénovaích datech.
Czech Grammar Error Correction with a Large and Diverse Corpus
Oprava gramatických chyb v češtině pomocí velkého a rozmanitého korpusu
Year: 2022
Authors: Jakub Náplava, Milan Straka, Jana Straková, Alexandr Rosen

Abstract (English):
We introduce a large and diverse Czech corpus annotated for grammatical error correction (GEC) with the aim to contribute to the still scarce data resources in this domain for languages other than English. The Grammar Error Correction Corpus for Czech (GECCC) offers a variety of four domains, covering error distributions ranging from high error density essays written by non-native speakers, to website texts, where errors are expected to be much less common. We compare several Czech GEC systems, including several Transformer-based ones, setting a strong baseline to future research. Finally, we meta-evaluate common GEC metrics against human judgements on our data. We make the new Czech GEC corpus publicly available under the CC BY-SA 4.0 license at http://hdl.handle.net/11234/1-4639.

Abstract (Czech):
Představujeme velký a různorodý český korpus pro opravu gramatických chyb s cílem přispět ke stále nedostatkovým datovým zdrojům v této doméně pro jiné jazyky než angličtinu. Korpus pro gramatickou opravu chyb pro češtinu (GECCC) nabízí čtyři domény, které pokrývají distribuci chyb od esejů s vysokou hustotou chyb napsaných nerodilými mluvčími až po texty webových stránek, kde jsou chyby mnohem méně časté. Porovnáváme několik českých GEC systémů, včetně několika na bázi architektury Transformer, a nastavujeme tak silnou baseline pro budoucí výzkum. V neposlední řadě také provádíme meta-evaluaci běžných GEC metrik pomocí ručního hodnocení na našich datech. Nový český GEC korpus zveřejňujeme pod licencí CC BY-SA 4.0 na adrese http://hdl.handle.net/11234/1-4639.
Overview of the 9th Workshop on Asian Translation
Přehled 9. workshopu o překladech pro asijské jazyky
Year: 2022
Authors: Toshiaki Nakazawa, Hideya Mino, Isao Goto, Raj Dabre, Shohei Higashiyama, Shantipriya Parida, Anoop Kunchukuttan, Makoto Morishita, Ondřej Bojar, Chenhui Chu, Kaori Abe, Yusuke Oda, Sadao Kurohashi

Abstract (English):
This paper presents the results of the shared
tasks from the 9th workshop on Asian transla-
tion (WAT2022). For the WAT2022, 8 teams
submitted their translation results for the hu-
man evaluation. We also accepted 4 research
papers. About 300 translation results were sub-
mitted to the automatic evaluation server, and
selected submissions were manually evaluated.

Abstract (Czech):
Č lánek představuje výsledky soutěžních úloh z 9. workshopu pro asijský překlad (WAT2022). Osm týmů odeslalo své výsledky pro ruční hodnocení, z celkového počtu asi 300 automaticky hodnocených výstupů.
Discussion after the performance AI: When a Robot Writes a Play
Diskuze po představení AI: Když robot píše hru
Year: 2022
Authors: Daniel Hrbek, David Košťák, Rudolf Rosa

Abstract (English):
What does the robot think about, how does it feel and can it write a play? Snippets from the life of artificial intelligence in its own words. Futuristic Little Prince of the postpandemic era.
Every reprise will be followed by a debate with experts in artificial intelligence and theater makers. The show is not only a testament to the current capabilities of computer technology, but also an engaging vision of the future world inspired by the sci-fi classics.

Abstract (Czech):
O čem robot přemýšlí, co cítí a dokáže napsat divadelní hru? Střípky ze života umělé inteligence jejími vlastními slovy. Futuristický Malý princ z doby postpandemické.
Inscenace, po jejíž každé repríze následuje debata s odborníky na umělou inteligenci i divadelními tvůrci, je nejen svědectvím o současných schopnostech počítačových technologií, ale i poutavou vizí budoucího světa inspirující se v klasikách žánru sci-fi.
ParlaMint II: The Show Must Go On
ParlaMint II: Show musí pokračovat
Year: 2022
Authors: Maciej Ogrodniczuk, Petya Osenova, Tomaž Erjavec, Darja Fišer, Nikola Ljubešić, Çağrı Çöltekin, Matyáš Kopp, Katja Meden

Abstract (English):
In ParlaMint I, a CLARIN-ERIC supported project in pandemic times, a set of comparable and uniformly annotated multilingual corpora for 17 national parliaments were developed and released in 2021. For 2022 and 2023, the project has been extended to ParlaMint II, again with the CLARIN ERIC financial support, in order to enhance the existing corpora with new data and metadata; upgrade the XML schema; add corpora for 10 new parliaments; provide more application scenarios and carry out additional experiments. The paper reports on these planned steps, including some that have already been taken, and outlines future plans.

Abstract (Czech):
V ParlaMint I, projektu podporovaném CLARIN-ERIC v době pandemie, byla v roce 2021 vyvinuta a vydána sada srovnatelných a jednotně anotovaných vícejazyčných korpusů pro 17 národních parlamentů. Pro roky 2022 a 2023 byl projekt rozšířen na ParlaMint II, opět s finanční podporou CLARIN-ERIC, s cílem rozšířit stávající korpusy o nová data a metadata; aktualizovat schéma XML; přidat korpusy pro 10 nových parlamentů; poskytnout více scénářů aplikace a provést další experimenty. Dokument informuje o těchto plánovaných krocích, včetně některých, které již byly podniknuty, a nastiňuje budoucí plány.
Probing the Role of Positional Information in Vision-Language Models
Zkoumání role poziční informace v modelech kombinujích jazyk a vidění
Year: 2022
Authors: Philipp Rösch, Jindřich Libovický

Abstract (English):
In most Vision-Language models (VL), the understanding of the image structure is enabled by injecting the position information (PI) about objects in the image. In our case study of LXMERT, a state-of-the-art VL model, we probe the use of the PI in the representation and study its effect on Visual Question Answering. We show that the model is not capable of leveraging the PI for the image-text matching task on a challenge set where only position differs. Yet, our experiments with probing confirm that the PI is indeed present in the representation. We introduce two strategies to tackle this: (i) Positional Information Pre-training and (ii) Contrastive Learning on PI using Cross-Modality Matching. Doing so, the model can correctly classify if images with detailed PI statements match. Additionally to the 2D information from bounding boxes, we introduce the object’s depth as new feature for a better object localization in the space. Even though we were able to improve the model properties as defined by our probes, it only has a negligible effect on the downstream performance. Our results thus highlight an important issue of multimodal modeling: the mere presence of information detectable by a probing classifier is not a guarantee that the information is available in a cross-modal setup.

Abstract (Czech):
Ve většině modelů kombinujících jazyk a vizuální informaci (Vision-Language, VL) je porozumění struktuře obrazu umožněno přidáním informací o poloze objektů v obraze. V naší případové studii se věmnujeme modelu VL modelu LXMERT a zkoumáme použití jakým způsobem poziční informaci používá a studujeme její vliv na úspěšnost v úloze odpovídání otázek o obrázcích. Ukazujeme, že model není schopen poziční informaci využít pro přiřazování textů k obrázkům, pokud se texty liší polohou objektů. A to i přesto, že další experimenty ale ukazují, že PI je v modelech skutečně přítomna. Představujeme dvě strategie, jak se s tímto problémem vypořádat: (i) předtrénování s přidanou informací o poloze a (ii) kontrastní učení s porovnáváním napříč modalitami. Tímto způsobem může model správně klasifikovat, zda se obrázky s podrobnými výroky PI shodují. Kromě 2D informací o objektech na obrázku, přidáváme hloubku objektu pro lepší lokalizaci v prostoru. Přestože se nám podařilo zlepšit vlastnosti modelu, na kvalitu odpovídání otázek to má jen zanedbatelný vliv. Naše výsledky tak poukazují na důležitý problém multimodálního modelování: pouhá přítomnost informace detekovatelné klasifikátorem není zárukou, že tato informace je k dispozici napříč modalitami.
AI: When a Robot Writes a Play Workshop
Workshop AI: Když robot píše hru
Year: 2022
Authors: David Košťák, Rudolf Rosa

Abstract (English):
A two-part interactive afternoon will feature a screening of the experimental play AI: When a Robot Writes a Play, written in full by a computer, telling a story of a robot left to the mercy of various representatives of human society after its master dies. The screening will be followed by a workshop with instructors David Kostak and Rudolf Rosa, offering participants the chance to collaborate with a robot on composing a script.

Abstract (Czech):
Dvoudílné interaktivní odpoledne bude obsahovat projekci experimentální hry AI: When a Robot Writes a Play, kterou v plném znění napsal počítač a která vypráví příběh robota, jenž byl po smrti svého pána vydán na milost různým představitelům lidské společnosti. Po projekci bude následovat workshop s instruktory Davidem Košťákem a Rudolfem Rosou, který účastníkům nabídne možnost spolupracovat s robotem na tvorbě scénáře.
AI: When a Robot Writes a Play Workshop
Workshop AI: Když robot píše hru
Year: 2022
Authors: David Košťák, Rudolf Rosa

Abstract (English):
Can a robot write a play? What is the writing process like? What type of input can spark AI’s creativity to write a desired scene? How far has modern technology evolved in terms of robotic writing? The creators of the first ever computer-written play will present you the THEaiTRE project which explores the possibilities of artificial intelligence in the playwriting field.

Abstract (Czech):
Může robot napsat hru? Jaký je proces psaní? Jaký typ vstupu může podnítit kreativitu umělé inteligence, aby napsala požadovanou scénu? Jak daleko se moderní technologie vyvinuly, pokud jde o robotické psaní? Tvůrci vůbec první počítačově psané hry vám představí projekt THEaiTRE, který zkoumá možnosti umělé inteligence na poli psaní her.
Learning Interpretable Latent Dialogue Actions With Less Supervision
Učení interpretovatelných latentních dialogových akcí za použití méně anotovaných dat
Year: 2022
Authors: Vojtěch Hudeček, Ondřej Dušek

Abstract (English):
We present a novel architecture for explainable modeling of task-oriented dialogues with discrete latent variables to represent dialogue actions. Our model is based on variational recurrent neural networks (VRNN) and requires no explicit annotation of semantic information. Unlike previous works, our approach models the system and user turns separately and performs database query modeling, which makes the model applicable to task-oriented dialogues while producing easily interpretable action latent variables. We show that our model outperforms previous approaches with less supervision in terms of perplexity and BLEU on three datasets, and we propose a way to measure dialogue success without the need for expert annotation. Finally, we propose a novel way to explain semantics of the latent variables with respect to system actions.

Abstract (Czech):
Představujeme novou architekturu pro modelování task-oriented dialogů vysvětlitelným způsobem. Tato architektura používá latentní proměnné pro reprezentaci dialogových akcí. Náš model je založen na variačních rekurentních neuronových sítích a nevyžaduje explicitně anotované sémantické informace. Narozdíl od předešlých prací, naše metoda modeluje promluvy systému a uživatele odděleně a modeluje navíc i databázové dotazy, což činí model aplikovatelným na task-oriented systémy. Tato metoda zároveň vytváří jednoduše interpretovatelné latentní proměnné reprezentující akce.
Ukázali jsme, že náš model dosahuje lepších výsledků než předešlé přístupy pracující s omezenou anotací dat, pokud se týká BLEU skóre a perplexity, a to na třech datasetech. Dále navrhujeme způsob měření úspěšnosti dialogů, který nevyžaduje anotaci experta. V neposlední řadě také představujeme inovativní způsob vysvětlení sémantiky obsažené v latentních proměnných.
DIASER: A Unifying View On Task-oriented Dialogue Annotation
DIASER: Sjednocující pohled na anotaci dat pro task-oriented dialogy
Year: 2022
Authors: Vojtěch Hudeček, Léon-Paul Schaub, Daniel Štancl, Patrick Paroubek, Ondřej Dušek

Abstract (English):
Every model is only as strong as the data that it is trained on. In this paper, we present a new dataset, obtained by merging four publicly available annotated corpora for task-oriented dialogues in several domains (MultiWOZ 2.2, CamRest676, DSTC2 and Schema-Guided Dialogue Dataset). This way, we assess the feasibility of providing a unified ontology and annotation schema covering several domains with a relatively limited effort. We analyze the characteristics of the resulting dataset along three main dimensions: language, information content and performance. We focus on aspects likely to be pertinent for improving dialogue success, e.g. dialogue consistency. Furthermore, to assess the usability of this new corpus, we thoroughly evaluate dialogue generation performance under various conditions with the help of two prominent recent end-to-end dialogue models: MarCo and GPT-2. These models were selected as popular open implementations representative of the two main dimensions of dialogue modelling. While we did not observe a significant gain for dialogue state tracking performance, we show that using more training data from different sources can improve language modelling capabilities and positively impact dialogue flow (consistency). In addition, we provide the community with one of the largest open dataset for machine learning experiments.

Abstract (Czech):
Každý model je pouze tak dobrý, jak dobrá jsou data použitá k jeho trénování. V této práci představujeme nový dataset, získaný sloučením čtyř veřejně dostupných korpusů pro task-oriented dialogy v několika doménách (MultiWOZ 2.2, CamRest676, DSTC2 a Schema-Guided Dialogue Dataset). Touto cestou ověřujeme, že je možné vytvořit sjednocující ontologii a anotační schéma pokrývající několik domém s vyvinutím relativně malého úsilí.
V práci analyzujeme charakteristiky získaného datasetu ve třech dimenzích: jazyk, obsah informací a vliv na kvalitu modelu. Zaměřujeme se na aspekty u kterých je velká šance že přispějí ke zlepšení úspěšnosti modellu. Dále detailně vyhodnocujeme kvalitu dialogů vygenerovaných z modelu natrénovaného na našich datech. Pro trénování využíváme modely MarCo a GPT-2.
Ač jsme nepotvrdili významné zlepšení úspěšnosti sledování dialogového stavu, ukazujeme, že zapojení více zdrojů dat zlepšuje schopnost modelovat jazyk a přispívá k lepší konzistenci.
TEAM UFAL @ CreativeSumm 2022: BART and SamSum based few-shot approach for creative Summarization
TEAM UFAL @ CreativeSumm 2022: few-shot přístup založený na BART a SamSum pro kreativní sumarizaci
Year: 2022
Authors: Rishu Kumar, Rudolf Rosa

Abstract (English):
This system description paper details TEAM UFAL’s approach for the SummScreen, TVMegasite subtask of the CreativeSumm shared task. The subtask deals with creating summaries for dialogues from TV Soap operas. We utilized BART based pre-trained model fine-tuned on SamSum dialouge summarization dataset. Few examples from AutoMin dataset and the dataset provided by the organizers were also inserted into the data as a few-shot learning objective. The additional data was manually broken into chunks based on different boundaries in summary and the dialogue file. For inference we choose a similar strategy as the top-performing team at AutoMin 2021, where the data is split into chunks, either on [SCENE_CHANGE] or exceeding a pre-defined token length, to accommodate the maximum token possible in the pre-trained model for one example. The final training strategy was chosen based on how natural the responses looked instead of how well the model performed on an automated evaluation metrics such as ROGUE.

Abstract (Czech):
Tato práce s popisem systému podrobně popisuje přístup TEAM UFAL pro SummScreen, TVMegasite podúkol sdíleného úkolu CreativeSumm. Podúkol se zabývá vytvářením souhrnů pro dialogy z oper TV Soap. Využili jsme BART na bázi předcvičeného modelu vyladěného na SamSum dialouge sumarizační datové sadě. Několik příkladů z AutoMin datové sady a datové sady poskytnuté organizátory bylo také vloženo do dat jako cíl učení na několik záběrů. Dodatečná data byla ručně rozdělena na bloky na základě různých hranic v souhrnu a dialogovém souboru. Pro odvození volíme podobnou strategii jako špičkový tým na AutoMin 2021, kde jsou data rozdělena na bloky, buď na [SCENE_CHANGE] nebo přesahující předdefinovanou délku tokenu, aby se pro jeden příklad vešlo maximum tokenu možného v předcvičeném modelu. Finální tréninková strategie byla zvolena na základě toho, jak přirozené odpovědi vypadaly, namísto toho, jak dobře model fungoval na automatizovaných vyhodnocovacích metrikách, jako je ROGUE.
Attitude in diplomatic speeches: a pilot study
Postoj v diplomatických projevech: pilotní studie
Year: 2022
Authors: Mariia Anisimova, Šárka Zikánová

Abstract (English):
This paper presents a pilot study of attitude analysis in diplomatic discourse. The study was conducted by following the
Appraisal Theory while annotating attitudinal expressions in the diplomatic speeches of the United Nations Security Council.
It is supposed that the Appraisal scheme would unfold new valuable information about the distribution of attitudes in the
diplomatic discourse due to the highly specific ranking of different types of opinion representations. The aim of the study is to
analyze the application of the theory to real diplomatic data. To be fully comprehensible, these texts, though straightforward
on the surface, require additional attention from the reader. The data consist of 20 speeches that were sampled from the
UN Security Council Debates dataset and then manually annotated by applying the “attitude” part of the Appraisal theory
scheme. The annotation process has shown problematic points regarding the influence of polarity of the actors on expressing
attitudes, attitudes implicated in the proper names and phrases, identifying appraisal, as well as the annotator’s subjectivity
issue. We have concluded that the Appraisal theory annotation scheme is generally well applicable to diplomatic speeches.
As for the unclear cases, we have proposed some solutions which could be taken into modification.

Abstract (Czech):
Tento článek představuje pilotní studii analýzy postojů v diplomatickém diskurzu. Studie byla provedena podle
Teorie hodnocení při anotaci postojových projevů v diplomatických projevech Rady bezpečnosti OSN.
Předpokládá se, že schéma hodnocení může přinést nové cenné informace o rozložení postojů ve společnosti
diplomatický diskurz díky vysoce specifickému řazení různých typů názorových reprezentací. Cílem studie je
analyzovat aplikaci teorie na reálná diplomatická data. Aby byly tyto texty plně srozumitelné, vyžadují hlubší pozornost čtenáře, i když na první pohled vypadají jednoduše. Data se skládají z 20 projevů, které byly vybrány z datového souboru
Rady bezpečnosti OSN a poté ručně anotovány podle sekce "postoj" v teorii hodnocení. Proces anotace ukázal problematické body, pokud jde o vliv polarity aktérů na vyjadřování
postoje, dále u postojů spojených s vlastními jmény a frázemi, u identifikace hodnocení, stejně jako u subjektivita anotátorů. Došli jsme k závěru, že anotační schéma teorie hodnocení je obecně dobře použitelné pro diplomatické projevy.
Co se týče nejasných případů, navrhli jsme některá řešení, která by mohla být upravena.
From COMET to COMES – Can Summary Evaluation Benefit from Translation Evaluation?
Od COMET k COMES – může mít hodnocení sumarizace prospěch z hodnocení překladu?
Year: 2022
Authors: Mateusz Krubiński, Pavel Pecina

Abstract (English):
Comet is a recently proposed trainable neural-based evaluation metric developed to assess the quality of Machine Translation systems. In this paper, we explore the usage of Comet for evaluating Text Summarization systems -- despite being trained on multilingual MT outputs, it performs remarkably well in monolingual settings, when predicting summarization output quality. We introduce a variant of the model -- Comes -- trained on the annotated summarization outputs that uses MT data for pre-training. We examine its performance on several datasets with human judgments collected for different notions of summary quality, covering several domains and languages.

Abstract (Czech):
Comet je nedávno navržená trénovatelná neurální vyhodnocovací metrika vyvinutá pro hodnocení kvality systémů strojového překladu. V tomto článku prozkoumáme použití Cometu pro vyhodnocování systémů sumarizace textu – přestože jsme byli vyškoleni na vícejazyčné výstupy MT, funguje pozoruhodně dobře v jednojazyčném prostředí, když předpovídá kvalitu výstupu sumarizace. Představujeme variantu modelu -- Comes -- trénovanou na anotovaných sumárních výstupech, která využívá MT data pro předtrénování. Zkoumáme jeho výkon na několika souborech dat s lidskými úsudky shromážděnými pro různé pojmy souhrnné kvality, které pokrývají několik domén a jazyků.