ufal/bilingual-abstracts-corpus huggingface dataset:
Leveraging Low-resource Parallel Data for Text Style Transfer
Využití paralelních dat s malým množstvím zdrojů pro přenos stylu textu
Year: 2023
Authors: Sourabrata Mukherjee, Ondřej Dušek

Abstract (English):
Text style transfer (TST) involves transforming a text into a desired style while approximately preserving its content. The biggest challenge in TST in the general lack of parallel data. Many existing approaches rely on complex models using substantial non-parallel data, with mixed results. In this paper, we leverage a pretrained BART language model with minimal parallel data and incorporate low-resource methods such as hyperparameter tuning, data augmentation, and self-training, which have not been explored in TST. We further include novel style-based rewards in the training loss. Through extensive experiments in sentiment transfer, a sub-task of TST, we demonstrate that our simple yet effective approaches achieve well-balanced results, surpassing non-parallel approaches and highlighting the usefulness of parallel data even in small amounts.

Abstract (Czech):
Přenos stylu textu (TST) znamená transformaci textu do požadovaného stylu při přibližném zachování jeho obsahu. Největší problém při TST spočívá v obecném nedostatku paralelních dat. Mnoho stávajících přístupů se spoléhá na složité modely využívající velká množství neparalelních dat, a to se smíšenými výsledky. V tomto článku využíváme předtrénovaný jazykový model BART s minimem paralelních dat a začleňujeme metody s nízkými nároky na zdroje, jako je ladění hyperparametrů, rozšiřování dat a sebetrénování, které nebyly v TST dosud prozkoumány. Dále do trénovací ztrátové funkce zahrnujeme nové odměny založené na stylu. Prostřednictvím rozsáhlých experimentů v přenosu sentimentu, dílčí úloze TST, demonstrujeme, že naše jednoduché, ale účinné přístupy dosahují dobře vyvážených výsledků, překonávají neparalelní přístupy a zdůrazňují užitečnost paralelních dat i v malém množství.
UFAL-ULD at BLP-2023 Task 1: Violence Detection in Bangla Text
UFAL-ULD v BLP-2023, úloha 1: Detekce násilí v textu v bangálštině
Year: 2023
Authors: Sourabrata Mukherjee, Atul Kr. Ojha, Ondřej Dušek

Abstract (English):
In this paper, we present UFAL-ULD team's system, desinged as a part of the BLP Shared Task 1: Violence Inciting Text Detection (VITD). This task aims to classify text, with a particular challenge of identifying incitement to violence into Direct, Indirect or Non-violence levels. We experimented with several pre-trained sequence classification models, including XLM-RoBERTa, BanglaBERT, Bangla BERT Base, and Multilingual BERT. Our best-performing model was based on the XLM-RoBERTa-base architecture, which outperformed the baseline models.  
Our system was ranked 20th among the 27 teams that participated in the task.

Abstract (Czech):
V tomto článku představujeme systém týmu UFAL-ULD, který byl navržen v rámci společného úkolu 1 BLP: VITD (Violence Inciting Text Detection). Cílem této úlohy je klasifikace textů, přičemž konkrétním úkolem je identifikovat podněcování k násilí na úroveň přímého, nepřímého nebo nenásilného. Experimentovali jsme s několika předtrénovanými modely klasifikace sekvencí, včetně XLM-RoBERTa, BanglaBERT, Bangla BERT Base a Multilingual BERT. Náš nejvýkonnější model byl založen na architektuře XLM-RoBERTa-base, která překonala základní modely.  
Náš systém se umístil na 20. místě mezi 27 týmy, které se úlohy zúčastnily.
UFAL-ULD at BLP-2023 Task 2 Sentiment Classification in Bangla Text
UFAL-ULD v BLP-2023, úloha 2: Klasifikace sentimentu v textu v bengálštině
Year: 2023
Authors: Sourabrata Mukherjee, Atul Kr. Ojha, Ondřej Dušek

Abstract (English):
In this paper, we present the UFAL-ULD team's system for the BLP Shared Task 2: Sentiment Analysis of Bangla Social Media Posts. The Task 2 involves classifying text into Positive, Negative, or Neutral sentiments. As a part of this task, we conducted a series of experiments with several pre-trained sequence classification models -- XLM-RoBERTa, BanglaBERT, Bangla BERT Base and Multilingual BERT. Among these, our best-performing model was based on the XLM-RoBERTa-base architecture, which outperforms baseline models. Our system was ranked 19th among the 30 teams that participated in the task.

Abstract (Czech):
V tomto článku představujeme systém týmu UFAL-ULD pro sdílenou úlohu 2 BLP: Analýza sentimentu příspěvků na sociálních sítích v bengálštině. Úloha 2 zahrnuje klasifikaci textu na pozitivní, negativní nebo neutrální sentimenty. V rámci této úlohy jsme provedli sérii experimentů s několika předtrénovanými modely klasifikace sentencí -- XLM-RoBERTa, BanglaBERT, Bangla BERT Base a Multilingual BERT. Mezi nimi byl náš nejvýkonnější model založený na architektuře XLM-RoBERTa-base, který překonává základní modely. Náš systém se umístil na 19. místě mezi 30 týmy, které se úlohy zúčastnily.
Polite Chatbot: A Text Style Transfer Application
Zdvořilý chatbot: Aplikace přenosu textového stylu
Year: 2023
Authors: Sourabrata Mukherjee, Vojtěch Hudeček, Ondřej Dušek

Abstract (English):
Generating polite responses is essential to build intelligent and engaging dialogue systems. However, this task is far from well-explored due to the difficulties of rendering a particular style in coherent responses, especially when parallel datasets for regular-to-polite pairs are usually unavailable. This paper proposes a polite chatbot that can produce responses that are polite and coherent to the given context. In this study, a politeness transfer model is first used to generate polite synthetic dialogue pairs of contexts and polite utterances. Then, these synthetic pairs are employed to train a dialogue model. Automatic and human evaluations demonstrate that our method outperforms baselines in producing polite dialogue responses while staying competitive in terms of coherent to the given context.

Abstract (Czech):
Generování zdvořilých odpovědí je nezbytné pro vytvoření inteligentních a poutavých dialogových systémů. Tento úkol však není zdaleka tak dobře prozkoumán kvůli obtížnosti vykreslení určitého stylu v souvislých odpovědích, zvláště když paralelní datové soubory pro dvojice běžných a zdvořilých odpovědí obvykle nejsou k dispozici. Tento článek navrhuje zdvořilého chatbota, který dokáže vytvářet odpovědi, jež jsou zdvořilé a koherentní vzhledem k danému kontextu. V této studii je nejprve použit model přenosu zdvořilosti, který generuje zdvořilé syntetické dialogové dvojice kontextů a zdvořilých výroků. Poté jsou tyto syntetické dvojice použity k trénování dialogového modelu. Automatická a lidská hodnocení ukazují, že naše metoda překonává baseliny při vytváření zdvořilostních dialogových odpovědí a zároveň zůstává konkurenceschopná z hlediska koherence s daným kontextem.
Low-Resource Text Style Transfer for Bangla: Data & Models
Přenos stylu textu s malým množstvím zdrojů pro bengálštinu: Data a modely
Year: 2023
Authors: Sourabrata Mukherjee, Akansha Bansal, Pritha Majumdar, Atul Kr. Ojha, Ondřej Dušek

Abstract (English):
Text style transfer (TST) involves modifying the linguistic style of a given text while retaining its core content. This paper addresses the challenging task of text style transfer in the Bangla language, which is low-resourced in this area. We present a novel Bangla dataset that facilitates text sentiment transfer, a subtask of TST, enabling the transformation of positive sentiment sentences to negative and vice versa. To establish a high-quality base for further research, we refined and corrected an existing English dataset of 1,000 sentences for sentiment transfer based on Yelp reviews, and we introduce a new human-translated Bangla dataset that parallels its English counterpart. 
Furthermore, we offer multiple benchmark models that serve as a validation of the dataset and baseline for further research.

Abstract (Czech):
Přenos stylu textu (TST) zahrnuje úpravu jazykového stylu daného textu při zachování jeho hlavního obsahu. Tento článek se zabývá náročným úkolem přenosu textového stylu v bengálštině, která má v této oblasti málo zdrojů. Představujeme novou datovou sadu v bengálštině, která usnadňuje převod sentimentu textu, dílčí úkol TST, umožňující transformaci pozitivních sentimentálních vět na negativní a naopak. Abychom vytvořili kvalitní základnu pro další výzkum, zdokonalili jsme a opravili existující anglický dataset o 1 000 větách pro přenos sentimentu založený na recenzích na Yelpu a představujeme nový dataset v bengálštině přeložený člověkem, který je paralelní s jeho anglickým protějškem. 
Dále nabízíme několik srovnávacích modelů, které slouží jako validace datové sady a východisko pro další výzkum.
The Universal Anaphora Scorer 2.0
Universal Anaphora Scorer 2.0
Year: 2023
Authors: Juntao Yu, Michal Novák, Abdulrahman Aloraini, Nafise Sadat Moosavi, Silviu Paun, Sameer Pradhan, Massimo Poesio

Abstract (English):
The aim of the Universal Anaphora initiative is to push forward the state of the art both in anaphora (coreference) annotation and in the evaluation of models for anaphora resolution. The first release of the Universal Anaphora Scorer (Yu et al., 2022b) supported the scoring not only of identity anaphora as in the Reference Coreference Scorer (Pradhan et al., 2014) but also of split antecedent anaphoric reference, bridging references, and discourse deixis. That scorer was used in the CODI-CRAC 2021/2022 Shared Tasks on Anaphora Resolution in Dialogues (Khosla et al., 2021; Yu et al., 2022a). A modified version of the scorer supporting discontinuous markables and the COREFUD markup format was also used in the CRAC 2022 Shared Task on Multilingual Coreference Resolution (Žabokrtský et al., 2022). In this paper, we introduce the second release of the scorer, merging the two previous versions, which can score reference with discontinuous markables and zero anaphora resolution.

Abstract (Czech):
Článek představuje novou verzi evaluačního nástroje na hodnocení rozpoznávání koreference a dalších anaforických vztahů v rámci iniciativy Universal Anaphora.
Missing information, unresponsive authors, experimental flaws: The impossibility of assessing the reproducibility of previous human evaluations in NLP
Chybějící informace, neteční autoři, chyby v návrhu experimentů: nemožnost vyhodnocení reprodukovatelnosti předchozích lidských vyhodnocení v NLP
Year: 2023
Authors: Anya Belz, Craig Thomson, Ehud Reiter, Gavin Abercrombie, Jose M. Alonso-Moral, Mohammad Arvan, Jackie Cheung, Mark Cieliebak, Elizabeth Clark, Kees van Deemter, Tanvi Dinkar, Ondřej Dušek, Steffen Eger, Qixiang Fang, Albert Gatt, Dimitra Gkatzia, Javier González Corbelle, Dirk Hovy, Manuela Hürlimann, Takumi Ito, John D. Kelleher, Filip Klubička, Huiyuan Lai, Chris van der Lee, Emiel van Miltenburg, Yiru Li, Saad Mahamood, Margot Mieskes, Malvina Nissim, Natalie Parde, Ondřej Plátek, Verena Rieser, Pablo Mosteiro Romero, Joel Tetreault, Antonio Toral, Xiaojun Wan, Leo Wanner, Lewis Watson, Diyi Yang

Abstract (English):
We report our efforts in identifying a set of previous human evaluations in NLP that would be suitable for a coordinated study examining what makes human evaluations in NLP more/less reproducible. We present our results and findings, which include that just 13% of papers had (i) sufficiently low barriers to reproduction, and (ii) enough obtainable information, to be considered for reproduction, and that all but one of the experiments we selected for reproduction was discovered to have flaws that made the meaningfulness of conducting a reproduction questionable. As a result, we had to change our coordinated study design from a reproduce approach to a standardisethen-reproduce-twice approach. Our overall (negative) finding that the great majority of human evaluations in NLP is not repeatable and/or not reproducible and/or too flawed to justify reproduction, paints a dire picture, but presents an opportunity for a rethink about how to design and report human evaluations in NLP.

Abstract (Czech):
Referujeme o našem úsilí při identifikaci souboru předchozích lidských hodnocení v NLP, která by byla vhodná pro koordinovanou studii zkoumající, co činí lidská hodnocení v NLP více či méně reprodukovatelnými. Uvádíme naše výsledky a zjištění, mezi něž patří, že pouze 13 % prací mělo (i) dostatečně nízké překážky pro reprodukci a (ii) dostatek dostupných informací, aby mohly být uvažovány pro reprodukci, a že až na jeden u všech experimentů vybraných pro reprodukci byly zjištěny nedostatky, které samotné provádění reprodukce zpochybnily. V důsledku toho jsme museli změnit náš koordinovaný plán studie z přístupu reprodukce na přístup standardizace + dvojí reprodukce. Naše celkové (negativní) zjištění, že velká většina lidských hodnocení v NLP není opakovatelná a/nebo není reprodukovatelná a/nebo je příliš chybová na to, aby reprodukce dávala smysl, vykresluje neradostný obraz, ale představuje příležitost k přehodnocení toho, jak navrhovat a podávat zprávy o lidských hodnoceních v NLP.
Automatic generation of seminars/homework/ and eventually possibly bachelor and thesis
Automatické generování seminárek/domácích úkolů/ a časem možná i bakalářek a diplomek
Year: 2023
Authors: Tereza Hannemann, Rudolf Rosa

Abstract (English):
The aim of the seminar will be to reflect informally on how to handle the new technology in the classroom and to share experiences and visions.

Abstract (Czech):
Cílem semináře bude se společně neformálně zamyslet jak s novou technologií v rámci výuky zacházet a případně sdílet zkušenosti a vize.
Discussion of ChatGPT
Debata o ChatGPT
Year: 2023
Authors: Tereza Hannemann, Rudolf Rosa

Abstract (English):
How does ChatGPT etc. change informatics?
How does ChatGPT etc. change the study in the informatics section?
How does ChatGPT etc. affect the entering and evaluation of tasks?
Is the use of GPT etc. in the study a fraud or an effective solution?

Abstract (Czech):
Jak ChatGPT aj. mění informatiku?
Jak ChatGPT aj. mění studium na informatické sekci?
Jak ChatGPT aj. ovlivňuje zadávání a hodnocení úkolů?
Je využívání GPT aj. při studiu podvod nebo efektivní řešení?
On Difficulties of Attention Factorization through Shared Memory
K obtížnosti faktorizace attention pomocí sdílené paměti
Year: 2023
Authors: Uladzislau Yorsh, Ondřej Bojar, Martin Holeňa

Abstract (English):
Transformers are powerful deep learning models that have revolutionized various fields like natural language processing, computer vision, and audio processing. Their strength lies in the attention mechanism, which enables learning complex dependencies between inputs.
However, this attention mechanism also comes with quadratic time
and memory complexity, making it challenging to apply the model
to larger inputs. Among other approaches to accelerate computation,
researchers are exploring models that use external learnable memory
to reduce attention computation to linear complexity. We focus on
one such model, Linear Unified Nested Attention (Luna), to examine
how memory size and block connectivity affect model training convergence and predictive accuracy. Our research brings some counter-intuitive results regarding the Luna model, e.g. that the size of the
memory has much less impact on the performance than one might
expect, and that the block might significantly benefit from layer reordering.

Abstract (Czech):
Transformátory jsou výkonné modely hlubokého učení, které způsobily revoluci v různých oblastech, jako je zpracování přirozeného jazyka, počítačové vidění a zpracování zvuku. Jejich síla spočívá v mechanismu pozornosti, který umožňuje učení komplexních závislostí mezi vstupy.
Tento mechanismus pozornosti však přichází také s kvadratickým časem
a složitostí paměti, takže je náročné aplikovat model
na větší vstupy. Mezi dalšími přístupy k urychlení výpočtů
výzkumníci zkoumají modely, které využívají externí naučitelnou paměť
k redukci výpočtu pozornosti na lineární složitost. Zaměřujeme se na
jeden takový model, Lineární sjednocená vnořená pozornost (Luna), abychom zkoumali,
jak velikost paměti a připojení bloku ovlivňují trénink modelu konvergence a prediktivní přesnost. Náš výzkum přináší několik protichůdných výsledků týkajících se modelu Luny, např. že velikost
paměti má mnohem menší dopad na výkon, než by se dalo
očekávat, a že blok by mohl významně těžit z přeskupení vrstev.
Assessing Word Importance Using Models Trained for Semantic Tasks
Určení důležitosti slova pomocí modelů trénovaných pro sémantické úlohy
Year: 2023
Authors: Dávid Javorský, Ondřej Bojar, François Yvon

Abstract (English):
Many NLP tasks require to automatically identify the most significant words in a text. In this work, we derive word significance from models trained to solve semantic task: Natural Language Inference and Paraphrase Identification. Using an attribution method aimed to explain the predictions of these models, we derive importance scores for each input token. We evaluate their relevance using a so-called cross-task evaluation: Analyzing the performance of one model on an input masked according to the other model’s weight, we show that our method is robust with respect to the choice of the initial task. Additionally, we investigate the scores from the syntax point of view and observe interesting patterns, e.g. words closer to the root of a syntactic tree receive higher importance scores. Altogether, these observations suggest that our method can be used to identify important words in sentences without any explicit word importance labeling in training.

Abstract (Czech):
Mnoho úloh NLP vyžaduje automatickou identifikaci nejdůležitějších slov v textu. V této práci odvozujeme význam slov z modelů natrénovaných k řešení sémantických úloh: Inference přirozeného jazyka a identifikace parafrází. Pomocí atribuční metody, jejímž cílem je vysvětlit předpovědi těchto modelů, odvozujeme skóre důležitosti pro každý vstupní token. Jejich relevanci hodnotíme pomocí tzv. křížového hodnocení úloh: Analýzou výkonu jednoho modelu na vstupu maskovaném podle váhy druhého modelu prokážeme, že naše metoda je robustní s ohledem na volbu výchozí úlohy. Kromě toho zkoumáme skóre z hlediska syntaxe a pozorujeme zajímavé vzorce, např. slova blíže ke kořeni syntaktického stromu dostávají vyšší skóre důležitosti. Celkově tato pozorování naznačují, že naši metodu lze použít k identifikaci důležitých slov ve větách bez jakéhokoli explicitního označení důležitosti slov v tréninku.
Breeding Machine Translations: Evolutionary approach to survive and thrive in the world of automated evaluation
Šlechtění strojového překladu: Evoluční přístup k přežití a prosperitě ve světě automatizovaného hodnocení
Year: 2023
Authors: Josef Jon, Ondřej Bojar

Abstract (English):
We propose a genetic algorithm (GA) based method for modifying n-best lists produced by a machine translation (MT) system. Our method offers an innovative approach to improving MT quality and identifying weaknesses in evaluation metrics. Using common GA operations (mutation and crossover) on a list of hypotheses in combination with a fitness function (an arbitrary MT metric), we obtain novel and diverse outputs with high metric scores. With a combination of multiple MT metrics as the fitness function, the proposed method leads to an increase in translation quality as measured by other held-out automatic metrics.With a single metric (including popular ones such as COMET) as the fitness function, we find blind spots and flaws in the metric. This allows for an automated search for adversarial examples in an arbitrary metric, without prior assumptions on the form of such example. As a demonstration of the method, we create datasets of adversarial examples and use them to show that reference-free COMET is substantially less robust than the reference-based version.

Abstract (Czech):
Navrhujeme metodu založenou na genetickém algoritmu (GA) pro modifikaci n-nejlepších seznamů vytvořených systémem strojového překladu (MT). Naše metoda nabízí inovativní přístup ke zlepšení kvality MT a identifikaci slabin v metrikách hodnocení. Pomocí běžných GA operací (mutace a crossover) na seznamu hypotéz v kombinaci s fitness funkcí (libovolná MT metrika) získáváme nové a různorodé výstupy s vysokými metrickými skóre. Díky kombinaci více metrik MT jako fitness funkce vede navrhovaná metoda ke zvýšení kvality překladu měřené jinými automatickými metrikami. S jedinou metrikou (včetně populárních, jako je COMET) jako funkce fitness, najít slepá místa a nedostatky v metrice. To umožňuje automatizované vyhledávání příkladů protivníka v libovolné metrice, bez předchozích předpokladů o formě takového příkladu. Jako demonstraci metody vytváříme datové sady protichůdných příkladů a používáme je, abychom ukázali, že bezreferenční COMET je podstatně méně robustní než referenční verze.
Character-level NMT and language similarity
NMT na úrovni znaků a jazyková podobnost
Year: 2023
Authors: Josef Jon, Ondřej Bojar

Abstract (English):
We explore the effectiveness of character-level neural machine translation using Transformer
architecture for various levels of language similarity and size of the training dataset on translation between Czech and Croatian, German, Hungarian, Slovak, and Spanish. We evaluate the
models using automatic MT metrics and show that translation between similar languages benefits from character-level input segmentation, while for less related languages, character-level
vanilla Transformer-base often lags behind subword-level segmentation. We confirm previous findings that it is possible to close the gap by finetuning the already trained subword-level
models to character-level.

Abstract (Czech):
Zkoumáme efektivitu neuronového strojového překladu na úrovni znaků pomocí architektury Transformer pro různé úrovně jazykové podobnosti a velikosti trénovacího souboru dat na překladu mezi češtinou a chorvatštinou, němčinou, maďarštinou, slovenštinou a španělštinou. Modely vyhodnocujeme pomocí metrik automatického MT a ukazujeme, že překlad mezi podobnými jazyky těží ze segmentace vstupů na úrovni znaků, zatímco u méně příbuzných jazyků vanilková báze Transformer na úrovni znaků často zaostává za segmentací na úrovni subwordů. Potvrzujeme předchozí zjištění, že je možné tuto mezeru zmenšit finetuningem již natrénovaných modelů na úrovni subwordů na úroveň znaků.
CUNI at WMT23 General Translation Task: MT and a Genetic Algorithm
Příspěvky CUNI na WMT23 úkol obecného překladu
Year: 2023
Authors: Josef Jon, Martin Popel, Ondřej Bojar

Abstract (English):
This paper describes the submissions of different Charles University teams to WMT23 General translation task (English to Czech and Czech to Ukrainian translation directions). Our main submission, CUNI-GA, is a result of applying a novel n-best list reranking and modification method on translation candidates produced by the two other submitted systems, CUNI-Transformer and CUNI-DocTransformer (document-level translation only used for the $en \rightarrow cs$ direction). Our method uses a genetic algorithm and MBR decoding to search for optimal translation under a given metric (in our case, a weighted combination of ChrF, BLEU, COMET22-DA, and COMET22-QE-DA). Based on the automatic metrics, our submissions are first in the constrained track and competitive with the best unconstrained systems according to some of the metrics.

Abstract (Czech):
Tento příspěvek popisuje příspěvky různých týmů Univerzity Karlovy do překladatelské úlohy WMT23 General (překladatelské směry z češtiny do angličtiny a z češtiny do ukrajinštiny). Naše hlavní podání, CUNI-GA, je výsledkem aplikace nové metody přeřazování a modifikace n-nejlepších seznamů na kandidáty překladu vytvořené dalšími dvěma předloženými systémy, CUNI-Transformer a CUNI-DocTransformer (překlad na úrovni dokumentů se používá pouze pro směr $en \rightarrow cs$). Naše metoda používá genetický algoritmus a dekódování MBR k hledání optimálního překladu podle dané metriky (v našem případě vážené kombinace ChrF, BLEU, COMET22-DA a COMET22-QE-DA). Na základě automatických metrik jsou naše příspěvky první v omezené stopě a podle některých metrik konkurují nejlepším neomezeným systémům.