ufal/bilingual-abstracts-corpus huggingface dataset:
You Can Have Your Data and Balance It Too: Towards Balanced and Efficient Multilingual Models
Můžete mít svá data a také je vyvážit: Směrem k vyváženým a efektivním vícejazyčným modelům
Year: 2023
Authors: Tomasz Limisiewicz, Dan Malkin, Gabriel Stanovsky

Abstract (English):
Multilingual models have been widely used for the cross-lingual transfer to low-resource languages. However, the performance on these languages is hindered by their under-representation in the pretraining data. To alleviate this problem, we propose a novel multilingual training technique based on teacher-student knowledge distillation. In this setting, we utilize monolingual teacher models optimized for their language. We use those teachers along with balanced (sub-sampled) data to distill the teachers’ knowledge into a single multilingual student. Our method outperforms standard training methods in low-resource languages and retains performance on high-resource languages while using the same amount of data. If applied widely, our approach can increase the representation of low-resource languages in NLP systems.

Abstract (Czech):
Vícejazyčné modely byly široce používány pro mezijazyčný převod do jazyků s nízkými zdroji. Výkonu těchto jazyků však brání jejich nedostatečné zastoupení v datech předtrénování. Abychom tento problém zmírnili, navrhujeme novou vícejazyčnou školicí techniku založenou na destilaci znalostí učitele a studenta. V tomto prostředí využíváme jednojazyčné modely učitelů optimalizované pro jejich jazyk. Tyto učitele používáme spolu s vyváženými (subvzorkovanými) údaji k destilaci znalostí učitelů do jednoho vícejazyčného studenta. Naše metoda překonává standardní tréninkové metody v jazycích s nízkými zdroji a zachovává výkon v jazycích s vysokými zdroji při použití stejného množství dat. Pokud bude náš přístup aplikován široce, může zvýšit zastoupení jazyků s nízkými zdroji v systémech NLP.
Tokenization Impacts Multilingual Language Modeling: Assessing Vocabulary Allocation and Overlap Across Languages
Dopady tokenizace na vícejazyčné jazykové modelování: Posouzení alokace slovní zásoby a překrývání mezi jazyky
Year: 2023
Authors: Tomasz Limisiewicz, Jiří Balhar, David Mareček

Abstract (English):
Multilingual language models have recently gained attention as a promising solution for representing multiple languages in a single model. In this paper, we propose new criteria to evaluate the quality of lexical representation and vocabulary overlap observed in sub-word tokenizers.Our findings show that the overlap of vocabulary across languages can be actually detrimental to certain downstream tasks (POS, dependency tree labeling). In contrast, NER and sentence-level tasks (cross-lingual retrieval, NLI) benefit from sharing vocabulary. We also observe that the coverage of the language-specific tokens in the multilingual vocabulary significantly impacts the word-level tasks. Our study offers a deeper understanding of the role of tokenizers in multilingual language models and guidelines for future model developers to choose the most suitable tokenizer for their specific application before undertaking costly model pre-training.

Abstract (Czech):
Vícejazyčné jazykové modely nedávno získaly pozornost jako slibné řešení pro reprezentaci více jazyků v jediném modelu. V tomto článku navrhujeme nová kritéria pro hodnocení kvality lexikální reprezentace a překrývání slovní zásoby pozorované v tokenizérech podslov. Naše zjištění ukazují, že překrývání slovní zásoby mezi jazyky může být ve skutečnosti škodlivé pro určité následné úkoly (POS, označování stromem závislostí) . Naproti tomu úkoly NER a úkoly na úrovni vět (mezijazyčné vyhledávání, NLI) těží ze sdílení slovní zásoby. Pozorujeme také, že pokrytí jazykově specifických tokenů ve vícejazyčné slovní zásobě významně ovlivňuje úkoly na úrovni slov. Naše studie nabízí hlubší pochopení role tokenizérů ve vícejazyčných jazykových modelech a pokyny pro budoucí vývojáře modelů, aby si vybrali nejvhodnější tokenizér pro jejich konkrétní aplikaci, než se pustí do nákladného předtrénování modelu.
Connectives with both Arguments External: A Survey on Czech
Konektory s oběma externími argumenty: sonda v češtině
Year: 2023
Authors: Lucie Poláková, Jiří Mírovský

Abstract (English):
This paper investigates discourse connectives whose position in a text deviates from the usual setting - namely connectives that occur in neither of the two arguments - and as such present a challenge for discourse parsers.

Abstract (Czech):
Článek se věnuje textovým konektorům, jejichž pozice v textu se liší od obvyklých pozic spojek a textově-propojovacích částic a adverbií. Jsou to takové konektory, které se nevyskytují ani v jednom z textových segmentů, které propojují - a jako takové představují výzvu pro automatickou analýzu diskurzu.
Czech RST Discourse Treebank 1.0
Czech RST Discourse Treebank 1.0
Year: 2023
Authors: Lucie Poláková, Šárka Zikánová, Jiří Mírovský, Eva Hajičová

Abstract (English):
The Czech RST Discourse Treebank 1.0 (CzRST-DT 1.0) is a dataset of 54 Czech journalistic texts manually annotated using the Rhetorical Structure Theory (RST). Each text document in the treebank is represented as a single tree-like structure, the nodes (discourse units) are interconnected through hierarchical rhetorical relations.

Abstract (Czech):
Czech RST Discourse Treebank 1.0 (CzRST-DT 1.0) je soubor 54 českých publicistických textů ručně anotovaných v rámci Reorie rétorické struktury (RST). Každý dokument v treebanku je reprezentován jako jediná spojitá stromová struktura, uzly (jednotky diskurzu) jsou vzájemně propojeny hierarchickými rétorickými vztahy.
Boosting Unsupervised Machine Translation with Pseudo-Parallel Data
Vylepšení nesupervizovaného strojového překladu pomocí pseudoparalelních dat
Year: 2023
Authors: Ivana Kvapilíková, Ondřej Bojar

Abstract (English):
Even with the latest developments in deep learning and large-scale language modeling, the task of machine translation (MT) of low-resource languages remains a challenge.  Neural MT systems can be trained in an unsupervised way without any translation resources but the quality lags behind, especially in truly low-resource conditions. We propose a training strategy that relies on pseudo-parallel sentence pairs mined from monolingual corpora in addition to synthetic sentence pairs back-translated from monolingual corpora. We experiment with different training schedules and reach an improvement of up to 14.5 BLEU points (English to Ukrainian) over a baseline trained on back-translated data only.

Abstract (Czech):
I přes nejnovější pokroky v hlubokém učení a trénování velkých jazykových modelech, strojového překlad z nízkozdrojových jazyků zůstává výzvou. Systémy neuronového strojového překladu lze trénovat nesupervizovaně, aniž by byly k dispozici jakékoli překladové zdroje, ale kvalita překladu není dostačující, zejména v podmínkách skutečně nízkozdrojových jazyků. Navrhujeme trénovací strategii, která spočívá v použití pseudoparalelních větných dvojic nalezených v monolingválních korpusech. Provádíme experimenty s různými tréninkovými plány a dosahujeme zlepšení až o 14,5 bodů BLEU (z angličtiny do ukrajinštiny) oproti základnímu modelu trénovanému pouze na zpětně přeložených datech.
Low-Resource Machine Translation Systems for Indic Languages
Nízkozdrojové systémy strojového překladu pro indické jazyky
Year: 2023
Authors: Ivana Kvapilíková, Ondřej Bojar

Abstract (English):
We present the submission of the CUNI team to the WMT23 shared task in translation between English and Assamese, Khasi, Mizo, and Manipuri. All our systems were pretrained on the task of multilingual masked language modelling and denoising auto-encoding. Our primary systems for translation into English were further pretrained for multilingual MT in all four language directions and fine-tuned on the limited parallel data available for each language pair separately. We used online back-translation for data augmentation. The same systems were submitted as contrastive for translation out of English where the multilingual MT pretraining step seemed to harm the translation performance. Other contrastive systems used additional pseudo-parallel data mined from monolingual corpora.

Abstract (Czech):
Představujeme příspěvek týmu CUNI do soutěžní úlohy WMT23 v překladu mezi angličtinou a asámštinou, khásíjštinou, mizo a manipurštinou. Všechny naše systémy byly předtrénovány na úkolu multilingválního modelování jazyka a odstraňování šumu. Naše primární systémy pro překlad do angličtiny byly dále předtrénovány pro vícejazyčný strojový překlad ve všech čtyřech směrech a doladěny na omezeném množství paralelních dat dostupných pro každý jazykový pár zvlášť. Pro zvýšení množství trénovacích dat jsme použili zpětný překlad (back-translation). Stejné systémy byly odeslány jako kontrastní pro překlad z angličtiny, kde se zdálo, že krok předtrénování vícejazyčného strojového překladu škodí. Ostatní kontrastní systémy využívaly navíc pseudoparalelní data získaná z monolingválních korpusů.
Mind the Labels: Describing Relations in Knowledge Graphs With Pretrained Models
Na popiscích záleží: Popisování relací ve znalostních grafech pomocí předtrénovaných modelů
Year: 2023
Authors: Zdeněk Kasner, Ioannis Konstas, Ondřej Dušek

Abstract (English):
Pretrained language models (PLMs) for data-to-text (D2T) generation can use human-readable data labels such as column headings, keys, or relation names to generalize to out-of-domain examples. However, the models are well-known in producing semantically inaccurate outputs if these labels are ambiguous or incomplete, which is often the case in D2T datasets. In this paper, we expose this issue on the task of descibing a relation between two entities. For our experiments, we collect a novel dataset for verbalizing a diverse set of 1,522 unique relations from three large-scale knowledge graphs (Wikidata, DBPedia, YAGO). We find that although PLMs for D2T generation expectedly fail on unclear cases, models trained with a large variety of relation labels are surprisingly robust in verbalizing novel, unseen relations. We argue that using data with a diverse set of clear and meaningful labels is key to training D2T generation systems capable of generalizing to novel domains.

Abstract (Czech):
Předtrénované jazykové modely pro generování textu z dat mohou pro zobecnění na příklady z jiných domén používat lidsky čitelné popisky dat, jako jsou záhlaví sloupců, klíče nebo názvy relací. Je však známo, že tyto modely vytvářejí sémanticky nepřesné výstupy, pokud jsou tyto popisky nejednoznačné nebo neúplné, což je častý případ datových sad pro generování textu z dat. V tomto článku tento problém odhalujeme na úloze popisu vztahu mezi dvěma entitami. Pro naše experimenty shromažďujeme novou datovou sadu pro verbalizaci 1 522 unikátních vztahů ze tří rozsáhlých znalostních grafů (Wikidata, DBPedia, YAGO). Zjistili jsme, že ačkoli PLM pro generování D2T očekávaně selhávají v nejasných případech, modely natrénované s velkým množstvím značek vztahů jsou překvapivě robustní při verbalizaci nových, neznámých vztahů. Tvrdíme, že používání dat s různorodou sadou jasných a smysluplných štítků je klíčem k trénování systémů pro generování textu z dat, které jsou schopny generalizovat na nové domény.
TabGenie: A Toolkit for Table-to-Text Generation
TabGenie: Sada nástrojů pro generování textu z tabulek
Year: 2023
Authors: Zdeněk Kasner, Ekaterina Garanina, Ondřej Plátek, Ondřej Dušek

Abstract (English):
Heterogenity of data-to-text generation datasets limits the research on data-to-text generation systems. We present TabGenie - a toolkit which enables researchers to explore, preprocess, and analyze a variety of data-to-text generation datasets through the unified framework of table-to-text generation. In TabGenie, all inputs are represented as tables with associated metadata. The tables can be explored through a web interface, which also provides an interactive mode for debugging table-to-text generation, facilitates side-by-side comparison of generated system outputs, and allows easy exports for manual analysis. Furthermore, TabGenie is equipped with command line processing tools and Python bindings for unified dataset loading and processing. We release TabGenie as a PyPI package and provide its open-source code and a live demo at https://github.com/kasnerz/tabgenie.

Abstract (Czech):
Heterogenita souborů dat pro generování dat na text omezuje výzkum systémů pro generování dat na text. Představujeme TabGenie - sadu nástrojů, která umožňuje výzkumníkům zkoumat, předzpracovávat a analyzovat různé datové sady pro generování dat na text prostřednictvím jednotného rámce generování dat z tabulky na text. V TabGenie jsou všechny vstupy reprezentovány jako tabulky s přidruženými metadaty. Tabulky lze zkoumat prostřednictvím webového rozhraní, které rovněž poskytuje interaktivní režim pro ladění generování tabulky na text, usnadňuje vzájemné porovnávání výstupů generovaného systému a umožňuje snadný export pro manuální analýzu. TabGenie je navíc vybaven nástroji pro zpracování z příkazového řádku a vazbami na Python pro jednotné načítání a zpracování datových sad. TabGenie uvolňujeme jako balíček PyPI a poskytujeme jeho kód s otevřeným zdrojovým kódem a živou ukázku na adrese https://github.com/kasnerz/tabgenie.
Critic-Driven Decoding for Mitigating Hallucinations in Data-to-text Generation
Dekódování řízené kritiky pro zmírnění halucinací při generování dat do textu
Year: 2023
Authors: Mateusz Lango, Ondřej Dušek

Abstract (English):
Hallucination of text ungrounded in the input is a well-known problem in neural data-to-text generation. Many methods have been proposed to mitigate it, but they typically require altering model architecture or collecting additional data, and thus cannot be easily applied to an existing model. In this paper, we explore a new way to mitigate hallucinations by combining the probabilistic output of a generator language model (LM) with the output of a special “text critic” classifier, which guides the generation by assessing the match between the input data and the text generated so far. Our method does not need any changes to the underlying LM’s architecture or training procedure and can thus be combined with any model and decoding operating on word probabilities. The critic does not need any additional training data, using the base LM’s training data and synthetic negative examples. Our experimental results show that our method improves over the baseline on the WebNLG and OpenDialKG benchmarks

Abstract (Czech):
Halucinace textu, který není podložen vstupem, je dobře známým problémem při neuronovém generování textu z dat. Bylo navrženo mnoho metod k jeho zmírnění, ale obvykle vyžadují změnu architektury modelu nebo sběr dalších dat, a proto je nelze snadno aplikovat na stávající model. V tomto článku zkoumáme nový způsob zmírnění halucinací kombinací pravděpodobnostního výstupu generativního jazykového modelu (LM) s výstupem speciálního klasifikátoru "textového kritika", který řídí generování na základě posouzení shody mezi vstupními daty a dosud vygenerovaným textem. Naše metoda nepotřebuje žádné změny v architektuře základního LM ani v trénovacím postupu, a lze ji tedy kombinovat s jakýmkoli modelem a dekódováním pracujícím s pravděpodobnostmi slov. Kritik nepotřebuje žádná další trénovací data, používá trénovací data základního LM a syntetické negativní příklady. Naše experimentální výsledky ukazují, že naše metoda je lepší než baseline na benchmarcích WebNLG a OpenDialKG.
CUNI Submission to MRL 2023 Shared Task on Multi-lingual Multi-task Information Retrieval
Systém Univerzity Karlovy pro MRL 2023 Shared Task on Multi-lingual Multi-task Information Retrieval
Year: 2023
Authors: Jindřich Helcl, Jindřich Libovický

Abstract (English):
We present the Charles University system for the MRL 2023 Shared Task on Multi-lingual Multi-task Information Retrieval.

The goal of the shared task was to develop systems for named entity recognition and question answering in several under-represented languages. 

Our solutions to both subtasks rely on the translate-test approach. 

We first translate the unlabeled examples into English using a multilingual machine translation model.

Then, we run inference on the translated data using a strong task-specific model.

Finally, we project the labeled data back into the original language.

To keep the inferred tags on the correct positions in the original language, we propose a method based on scoring the candidate positions using a label-sensitive translation model.

In both settings, we experiment with finetuning the classification models on the translated data.

However, due to a domain mismatch between the development data and the shared task validation and test sets, the finetuned models could not outperform our baselines.

Abstract (Czech):
Představujeme systém Univerzity Karlovy pro MRL 2023 Shared Task on Multi-lingual Multi-task Information Retrieval.

Cílem sdíleného úkolu bylo vyvinout systémy pro rozpoznávání pojmenovaných entit a odpovídání na otázky v několika málo zastoupených jazycích.

Naše řešení obou dílčích úkolů spočívají v překladu testovacích dat.

Nejprve automaticky přeložíme nezpracovaná data do angličtiny vícejazyčným modelem.

Poté použijeme silný, pro danou úlohu specifický model trénovaný na Angličtině.

Nakonec promítneme klasifikovaná data zpět do původního jazyka.

Abychom uchovali odvozené značky na správných pozicích v původním jazyce, navrhujeme metodu založenou na hodnocení kandidátských pozic pomocí modelu překladu citlivého na označení.

V obou nastaveních experimentujeme s doladěním klasifikačních modelů na přeložených datech.

Kvůli nesouladu domény mezi vývojovými daty a sdílenými sadami ověřování úloh a testů však vyladěné modely nepřekonaly výsledky našich základních experimentů.
Is a Prestigious Job the same as a Prestigious Country? A Case Study on Multilingual Sentence Embeddings and European Countries
Je prestižní zaměstnání to samé jako prestižní země? Případová studie vícejazyčných větných embedingů a evropských zemí
Year: 2023
Authors: Jindřich Libovický

Abstract (English):
We study how multilingual sentence representations capture European countries and occupations and how this differs across European languages. We prompt the models with templated sentences that we machine-translate into 12 European languages and analyze the most prominent dimensions in the embeddings. Our analysis reveals that the most prominent feature in the embedding is the geopolitical distinction between Eastern and Western Europe and the country's economic strength in terms of GDP. When prompted specifically for job prestige, the embedding space clearly distinguishes high and low-prestige jobs. The occupational dimension is uncorrelated with the most dominant country dimensions in three out of four studied models. The exception is a small distilled model that exhibits a connection between occupational prestige and country of origin, which is a potential source of nationality-based discrimination. Our findings are consistent across languages.

Abstract (Czech):
Zkoumáme, jak vícejazyčné reprezentace vět zachycují evropské země a povolání a jak se to liší v jednotlivých evropských jazycích. Promptujeme modely pomocí šablonovitých vět, které strojově překládáme do 12 evropských jazyků, a analyzujeme nejvýraznější dimenze v reprezentacích. Naše analýza ukazuje, že nejvýraznějším rysem v embeddingu je geopolitické rozlišení mezi východní a západní Evropou a ekonomická síla země z hlediska HDP. Při dotazování konkrétně na prestiž zaměstnání, reprezentace jasně rozlišují zaměstnání s vysokou a nízkou prestiží. Dimenze povolání nekoreluje s nejdominantnějšími dimenzemi zemí ve třech ze čtyř zkoumaných modelů. Výjimkou je malý destilovaný model, který vykazuje souvislost mezi prestiží povolání a zemí původu, což je potenciální zdroj diskriminace na základě národnosti. Naše zjištění jsou konzistentní napříč jazyky.
Large Language Models: Second Paradigm Change in Multilingual NLP within five years?
Velké jazykové modely: Druhá změna paradigmatu v mezijazykovém NLP za posledních 5 let?
Year: 2023
Authors: Jindřich Libovický

Abstract (English):
Less than five years after the invention of masked language modeling changed the mainstream methodology natural language processing (NLP), we are experiencing another paradigm change. Large generative language models (LLMs) with prompt engineering and in-context learning drastically reduce the amount of labeled data needed for NLP and change how we formulate tasks. In monolingual setups, many of the tricks from the previous time work well with LLMs, however, in cross-lingual tasks, it does not seem to be the case. In this talk, we will discuss this unusual situation and speculate what it means for not only our future research.

Abstract (Czech):
Necelých pět let poté, co vynález maskovaného modelování jazyka změnil hlavní proud zpracování přirozeného jazyka (NLP), zažíváme další změnu paradigmatu. Velké generativní jazykové modely (LLM) s prompt engineeringem a učením v kontextu drasticky snižují množství anotovaných dat potřebných pro NLP a mění způsob, jakým formulujeme úlohy. Pro jednojazyčné ulohy funguje mnoho triků z dřívější doby dobře, nicméně v mezijazykových úlohách tomu tak není. V této přednášce budeme diskutovat o této neobvyklé situaci a spekulovat, co to znamená nejen pro náš budoucí výzkum.
Moral Values in Language Models across Langauges
Morální hodnoty v jazykových modelech napříč jazyky
Year: 2023
Authors: Jindřich Libovický

Abstract (English):
The talk introduced the basic typology of language models in the first part. The second part summarized our study "Speaking Multiple Languages Affects the Moral Bias of Language Models" published in Findings of ACL this year.

Abstract (Czech):
Přednáška v první části popsala základní typologii jazykových modelů. V druhé části popisovala naši studii "Speaking Multiple Languages Affects the Moral Bias of Language Models", která vyšla ve Findings of ACL v tomto roce.
Neural Language Models: Is this the Artificial Intelligence?
Neuronové jazykové modely: To už je ta umělá inteligence?
Year: 2023
Authors: Jindřich Libovický

Abstract (English):
A talk summarizing the basics of large language models and their recent development.

Abstract (Czech):
Přednáška shrnující fungování velkých jazykových modelů a jejich nedávný vývoj.
From machine learning to language models
Od strojového učení k jazykovým modelům
Year: 2023
Authors: Jindřich Libovický

Abstract (English):
The talk introduced basic machine learning concepts and how we got from basic machine learning to large language models.

Abstract (Czech):
Přednáška představila základní koncepty strojového učení a jak se od nich dospělo k velkým jazykovým modelů.
Why do the big language models know Czech, Slovak, German... even though nobody teaches them?
Proč umí velké jazykové modely česky, slovensky, německy..., i když je to pořádně nikdo neučí?
Year: 2023
Authors: Jindřich Libovický

Abstract (English):
The lecture introduced the basic concepts of large language models. The next part discussed where the models' multilingual capabilities come from and how well the models work across languages.

Abstract (Czech):
Přednáška představila základní koncepty velkých jazykových modelů. V další části se věnovala tomu, kde se berou vícejazyčné schopnosti modelů a jak dobře fungují modely napříč jazyky.
Large language models: What does large and language mean here?
Velké jazykové modely: Co znamená velké a co jazykové?
Year: 2023
Authors: Jindřich Libovický

Abstract (English):
The talk introduced large language models: their training and application, and related research conducted at ÚFAL MFF UK.

Abstract (Czech):
Přednáška představila velké jazykové modely: metody trénování, jejich využí a s nimi související výzkum na ÚFAL MFF UK.