ufal/bilingual-abstracts-corpus huggingface dataset:
Combining Static and Contextualised Multilingual Embeddings
Kombinace statický a kontextuálních embedingů
Year: 2022
Authors: Katharina Hämmerl, Jindřich Libovický, Alexander Fraser

Abstract (English):
Static and contextual multilingual embeddings have complementary strengths. Static embeddings, while less expressive than contextual language models, can be more straightforwardly aligned across multiple languages. We combine the strengths of static and contextual models to improve multilingual representations. We extract static embeddings for 40 languages from XLM-R, validate those embeddings with cross-lingual word retrieval, and then align them using VecMap. This results in high-quality, highly multilingual static embeddings. Then we apply a novel continued pre-training approach to XLM-R, leveraging the high quality alignment of our static embeddings to better align the representation space of XLM-R. We show positive results for multiple complex semantic tasks. We release the static embeddings and the continued pre-training code. Unlike most previous work, our continued pre-training approach does not require parallel text.

Abstract (Czech):
Statické a kontextové vícejazyčné embeddingy mají komplementární přednosti. Statické embeddingy, i když jsou méně expresivní než kontextové jazykové modely, se dají lépe párovat mezi jazyky. V tomto článku kombinujeme přednosti statických a kontextových, čímž docílíme vyšší kvality vícejazyčných kontextových embedingů. Z modelu XLM-R extrahujeme statické embeddingy pro 40 jazyků, validujeme jejich kvalitu pomocí indukce dvojjazyčných slovníků a pak je zarovnáváme pomocí nástroje VecMap. Výsledkem jsou vysoce kvalitní, vysoce vícejazyčné statické embeddingy. Poté aplikujeme nový přístup pokračujícího pre-training modelu XLM-R, kde využíváme tyto statické embeddingy pro lepší zarovnání reprezentačního prostoru XLM-R. Náš postup dosazuje pozitivních výsledků pro sémanticky náročných úloh. Statické embeddingy a kód pokračujícího pre-training jsou veřejně dostupné. Na rozdíl od většiny předchozí práce náš přístup pokračujícího pre-training nevyžaduje paralelní text.
CLS Infra Computational Literary Studies Infrastructure
Infrastruktura CLS pro počítačovou literární vědu
Year: 2022
Authors: Julie Birkholz, Ingo Börner, Sally Chambers, Vera Charvat, Silvie Cinková, Karina van Dalen-Oskam, Tess Dejaeghere, Julia Dudar, Matej Ďurčo, Jennifer Edmond, Evgeniia Fileva, Frank Fischer, Serge Heiden, Michal Křen, Bartłomiej Kunda, Michał Mrugalski, Ciara Lynn Murphy, Carolin Odebrecht, Marco Raciti, Salvador Ros, Christof Schöch, Artjoms Šeļa, Toma Tasovac, Justin Tonra, Erszsébet Tóth-Czifra, Peer Trilcke, Maciej Eder, Lisanne van Rossum

Abstract (English):
Computational Literary Studies Infrastructure, funded by the Horizon2020 grant scheme, is a four-year, pan-European project that aims to unify the diverse landscape of computational text analysis, in terms of available texts, tools, methods, practices and so forth, within its growing international user community. The project started out in February 2021, meaning that it has been underway for just over a year. In our poster we discuss the various deliverables and activities that have come out of the CLS INFRA project in its first quarter to give an idea of its impact in practice.

Abstract (Czech):
Computational Literary Studies Infrastructure, financovaný z grantového schématu Horizont 2020, je čtyřletý celoevropský projekt, jehož cílem je sjednotit rozmanité prostředí počítačové analýzy textů, pokud jde o dostupné texty, nástroje, metody, postupy atd. její rostoucí mezinárodní komunita uživatelů. Projekt byl zahájen v únoru 2021, což znamená, že probíhá něco málo přes rok. V našem plakátu diskutujeme o různých výstupech a aktivitách, které vzešly z projektu CLS INFRA v jeho prvním čtvrtletí, abychom si udělali představu o jeho dopadu v praxi.
FINDINGS OF THE IWSLT 2022 EVALUATION CAMPAIGN
Výsledky evaluační kampaně IWSLT 2022
Year: 2022
Authors: Antonios Anastasopoulos, Loïc Barrault, Luisa Bentivogli, Marcely Zanon Boito, Ondřej Bojar, Roldano Cattoni, Anna Currey, Georgiana Dinu, Kevin Duh, Maha Elbayad, Clara Emmanuel, Yannick Estève, Marcello Federico, Christian Federmann, Souhir Gahbiche, Hongyu Gong, Roman Grundkiewicz, Barry Haddow, Benjamin Hsu, Dávid Javorský, Věra Kloudová, Surafel Melaku Lakew, Xutai Ma, Prashant Mathur, Paul McNamee, Kenton Murray, Maria Nadejde, Satoshi Nakamura, Matteo Negri, Jan Niehues, Xing Niu, John Ortega, Juan Pino, Elizabeth Salesky, Yun Tang, Matthias Sperber, Sebastian Stuker, Katsuhito Sudoh, Marco Turchi, Yogesh Virkar, Alex Waibel, Changhan Wang, Shinji Watanabe

Abstract (English):
The evaluation campaign of the 19th International Conference on Spoken Language Translation featured eight shared tasks: (i) Simultaneous speech translation, (ii) Offline speech translation, (iii) Speech to speech translation, (iv) Low-resource speech translation, (v) Multilingual speech translation, (vi) Dialect speech translation, (vii) Formality control for speech translation, (viii) Isometric speech translation. A total of 27 teams participated in at least one of the shared tasks. This paper details, for each shared task, the purpose of the task, the data that were released, the evaluation metrics that were applied, the submissions that were received and the results that were achieved.

Abstract (Czech):
Hodnoticí kampaň 19. Mezinárodní konference o překladu z mluveného jazyka (IWSLT 2021) letos představila osm sdílených úkolů: (i) Simultánní překlad mluvené řeči, (ii) Offline překlad mluvené řeči, (iii) Překlad řeči na řeč, (iv) Překlad řeči s malým množstvím zdrojů, (v) Vícejazyčný překlad řeči, (vi) Překlad řeči v dialektu, (vii) Kontrola formality pro překlad řeči, (viii) Izometrický překlad řeči. Celkem se zúčastnilo 27 týmů alespoň na jedné z úloh. Tento dokument u každého sdíleného úkolu podrobně popisuje účel úkolu, zveřejněná data, použité metriky hodnocení, obdržené podání a dosažené výsledky.
Hausa Visual Genome: A Dataset for Multi-Modal English to Hausa Machine Translation
Hausa Visual Genome: Dataset pro multimodální překlad mezi angličtinou a hausa
Year: 2022
Authors: Idris Abdulmumin, Satya Ranjan Dash, Musa Abdullahi Dawud, Shantipriya Parida, Shamsddeen Muhammad, Ibrahim Sa'id Ahmad,  Subhadarshi Panda, Ondřej Bojar, Bashir Shehu Galadanci, Bello Shehu Bello

Abstract (English):
Multi-modal Machine Translation (MMT) enables the use of visual information to enhance the quality of translations. The visual
information can serve as a valuable piece of context information to decrease the ambiguity of input sentences. Despite the increasing
popularity of such a technique, good and sizeable datasets are scarce, limiting the full extent of their potential. Hausa, a Chadic language,
is a member of the Afro-Asiatic language family. It is estimated that about 100 to 150 million people speak the language, with more than
80 million indigenous speakers. This is more than any of the other Chadic languages. Despite a large number of speakers, the Hausa
language is considered low-resource in natural language processing (NLP). This is due to the absence of sufficient resources to implement
most NLP tasks. While some datasets exist, they are either scarce, machine-generated, or in the religious domain. Therefore, there is a
need to create training and evaluation data for implementing machine learning tasks and bridging the research gap in the language. This
work presents the Hausa Visual Genome (HaVG), a dataset that contains the description of an image or a section within the image in
Hausa and its equivalent in English. To prepare the dataset, we started by translating the English description of the images in the Hindi
Visual Genome (HVG) into Hausa automatically. Afterward, the synthetic Hausa data was carefully post-edited considering the respective
images. The dataset comprises 32,923 images and their descriptions that are divided into training, development, test, and challenge test set.
The Hausa Visual Genome is the first dataset of its kind and can be used for Hausa-English machine translation, multi-modal research, and
image description, among various other natural language processing and generation tasks.

Abstract (Czech):
Multimodální strojový překlad umožňuje zapojit do překladu vizuální informaci. Článek představuje dataset pro experimenty s multimodálním překladem mezi angličtinou a jazykem hausa.
A Balanced Data Approach for Evaluating Cross-Lingual Transfer: Mapping the Linguistic Blood Bank
Vyvážený datový přístup pro hodnocení translingvistického přenosu: Mapování lingvistické krevní banky
Year: 2022
Authors: Dan Malkin, Tomasz Limisiewicz, Gabriel Stanovsky

Abstract (English):
We show that the choice of pretraining languages affects downstream cross-lingual transfer for BERT-based models. We inspect zero-shot performance in balanced data conditions to mitigate data size confounds, classifying pretraining languages that improve downstream performance as donors, and languages that are improved in zero-shot performance as recipients. We develop a method of quadratic time complexity in the number of languages to estimate these relations, instead of an exponential exhaustive computation of all possible combinations. We find that our method is effective on a diverse set of languages spanning different linguistic features and two downstream tasks. Our findings can inform developers of large-scale multilingual language models in choosing better pretraining configurations.

Abstract (Czech):
Ukazujeme, že výběr jazyků pro předškolení ovlivňuje následný přenos mezi jazyky pro modely založené na BERT. Zkoumáme nulový výkon v vyvážených datových podmínkách, abychom zmírnili matoucí velikost dat, klasifikujeme jazyky pro předškolení, které zlepšují následný výkon, jako dárce a jazyky, které se zlepšují v nulovém výkonu, jako příjemce. Vyvíjíme metodu kvadratické časové složitosti v počtu jazyků, abychom tyto vztahy odhadli, místo exponenciálního vyčerpávajícího výpočtu všech možných kombinací. Zjišťujeme, že naše metoda je účinná na různorodou sadu jazyků zahrnující různé jazykové vlastnosti a dva navazující úkoly. Naše zjištění mohou informovat vývojáře rozsáhlých vícejazyčných jazykových modelů při výběru lepších konfigurací pro předškolení.
Permeation (Czech premiere of a theatre play)
Prostoupení (česká premiéra divadelní hry)
Year: 2022
Authors: Josef Doležal, 2.0 THEaiTRobot, Daniel Hrbek, Rudolf Rosa, Tomáš Studeník

Abstract (English):
Czech premiere of the second theatre play generated within the THEaiTRE project.

Abstract (Czech):
Česká premiéra druhé divadelní hry vygenerované v rámci projektu THEaiTRE.
Discussion after the double performance of AI: When a Robot Writes a Play and Permeation
Diskuze po dvojpředstavení AI: Když robot píše hru a Prostoupení
Year: 2022
Authors: Josef Doležal, Daniel Hrbek, Rudolf Rosa

Abstract (English):
What does the robot think about, how does it feel and can it write a play? Snippets from the life of artificial intelligence in its own words. Futuristic Little Prince of the postpandemic era.
Every reprise will be followed by a debate with experts in artificial intelligence and theater makers. The show is not only a testament to the current capabilities of computer technology, but also an engaging vision of the future world inspired by the sci-fi classics.

Abstract (Czech):
O čem robot přemýšlí, co cítí a dokáže napsat divadelní hru? Střípky ze života umělé inteligence jejími vlastními slovy. Futuristický Malý princ z doby postpandemické.
Inscenace, po jejíž každé repríze následuje debata s odborníky na umělou inteligenci i divadelními tvůrci, je nejen svědectvím o současných schopnostech počítačových technologií, ale i poutavou vizí budoucího světa inspirující se v klasikách žánru sci-fi.
Multimodality for NLP-Centered Applications: Resources, Advances and Frontiers
Multimodalita pro aplikace zpracovní přirozeného jazyka: Zdroje, pokroky, hranice
Year: 2022
Authors: Muskan Garg, Seema Wazarkar, Muskaan Singh, Ondřej Bojar

Abstract (English):
With the development of multimodal systems and natural language generation techniques, the resurgence of multimodal datasets has attracted significant research interests, which aims to provide new information to enrich the representation of textual data. However, there remains a lack of a comprehensive survey for this task. To this end, we take the first step and present a thorough review of this research field. This paper provides an overview of a publicly available dataset with different modalities according to the applications. Furthermore, we discuss the new frontier and give our thoughts. We hope this survey of multimodal datasets can provide the community with quick access and a general picture of the multimodal dataset for specific Natural Language Processing (NLP) applications and motivates future researches. In this context, we release the collection of all multimodal datasets easily accessible here: https://github.com/drmuskangarg/Multimodal-datasets

Abstract (Czech):
Přehledový článek představuje první krok k souhrnné prezentaci veřejně dostupných datasetů pro multimodální experimenty.
Combining Noisy Semantic Signals with Orthographic Cues: Cognate Induction for the Indic Dialect Continuum
Kombinace sémantických a pravopisných rysů pro detekci kognátů v indickém dialektovém kontinuu
Year: 2022
Authors: Niyati Bafna, Josef Genabith, Cristina España-Bonet, Zdeněk Žabokrtský

Abstract (English):
We present a novel method for unsupervised cognate/borrowing identification from monolingual corpora designed for low and extremely low resource scenarios, based on combining noisy semantic signals from joint bilingual spaces with orthographic cues modelling sound change.  We apply our method  to the North Indian dialect continuum, containing several dozens of dialects and languages spoken by more than 100 million people. Many of these languages are zero-resource and therefore natural language processing for them is non-existent. We first collect monolingual data for 26 Indic languages, 16 of which were previously zero-resource, and perform exploratory character, lexical and subword cross-lingual alignment experiments for the first time at this scale on this dialect continuum. We create bilingual evaluation lexicons against Hindi for 20 of the languages. We then apply our cognate identification method on the data, and show that our method outperforms both traditional orthography baselines as well as EM-style learnt edit distance matrices. To the best of our knowledge, this is the first work to combine traditional orthographic cues with noisy bilingual embeddings to tackle unsupervised cognate detection in a (truly) low-resource setup, showing that even noisy bilingual embeddings can act as good guides for this task. We release our multilingual dialect corpus, called HinDialect, as well as our scripts for evaluation data collection and cognate induction.

Abstract (Czech):
Představujeme novou neřízenou metodu pro hledání kognátů v monolinguálních datech při scénářích s malými a extrémně malými daty. Metoda kombinuje zašumělý sémantický signál ze sdruženého bilinguálního prostoru s pravopisnými rysy modelujícími zvukové změny. Metodu aplikujeme na severoindické dialektové kontinuum, které pokrývá několik desítek jazyků a dialektů. Pro mnoho z těchto jazyků neexistovaly žádné datové zdroje, nástroje pro zpracování přirozeného jazyka pro tyto jazyky tedy v podstatě také neexistovaly. Nejprve jsme shromáždili monolinguální korpusy pro 26 indických jazyků, z nichž pro 16 dosud neexistovaly datové zdroje, a provedli jsme na nich řadu pilotních experimentů. Pro 20 jazyků jsme vytvořili překladové slovníky do hindštiny. Následně jsme aplikovali naši metodu pro hledání kognátů a doložili jsme, že její úspěšnost překonává klasické systémy založené jenom na pravopisných rysech i metody založené na řetězcové podobnosti natrénované způsobem EM. Jsme přesvědčeni, že naše práce jako první kombinuje využití pravopisných rysů se zašumělými bilinguálními embeddingy a umožňuje hledání kognátů v situacích se skutečně kritickým nedostatkem dat. Naši vícejazyčnou datovou sadu jsme zveřejnili pod názvem HinDialect, zdrojové kódy jsme zveřejnili také.
Constrained Decoding for Technical Term Retention in English-­Hindi MT
Omezené dekódování pro zachování odborných termínů v anglicko-hindském MT
Year: 2022
Authors: Niyati Bafna, Martin Vastl, Ondřej Bojar

Abstract (English):
Technical terms may require special handling
when the target audience is bilingual,
depending on the cultural and educational
norms of the society in question. In particular,
certain translation scenarios may require
“term retention” i.e.
preserving of the
source language technical terms in the target
language output to produce a fluent and
comprehensible code­switched sentence.
We show that a standard transformer­based
machine translation model can be adapted
easily to perform this task with little or no
damage to the general quality of its output.
We present an English­to­Hindi model that is
trained to obey a “retain” signal, i.e. it can
perform the required code­switching on a list
of terms, possibly unseen, provided at runtime.
We perform automatic evaluation using BLEU
as well as F1 metrics on the list of retained
terms; we also collect manual judgments on
the quality of the output sentences.

Abstract (Czech):
Technické termíny mohou vyžadovat zvláštní zacházení, pokud je cílová skupina dvojjazyčná, v závislosti na kulturních a vzdělávacích
normách dané společnosti. Zejména některé překladové situace mohou vyžadovat „zachování termínů“, tj. ponechání technických termínů zdrojového jazyka v cílovém jazyce výstupu, aby vznikla plynulá a srozumitelná věta.
Ukazujeme, že standardní model strojového překladu založený na Transformeru lze snadno přizpůsobit k dosažení tohoto cíle, aniž by přitom trpěla kvalita jeho výstupu obecně.
Představujeme anglicko-hindský model, který je natrénovat k uposlechnutí signálu „zachování“, tj. za běhu zajistí, že vybrané termíny nebudou přeloženy. Navrženou metodu vyhodnocujeme automatickými metrikami (BLEU pro překlad obecně, F1 pro zachování termínů), i ručně (celková kvalita výstupních vět).
Subword-based Cross-lingual Transfer of Embeddings from Hindi to Marathi and Nepali
Přenos slovních embeddingů z hindštiny do maratštiny a nepálštiny na základě podslovných jednotek
Year: 2022
Authors: Niyati Bafna, Zdeněk Žabokrtský

Abstract (English):
Word embeddings are growing to be a crucial resource in the field of NLP for any language. This work introduces a novel technique for static subword embeddings transfer for Indic languages from a relatively higher resource language to a genealogically related low resource language. We primarily work with Hindi-Marathi, simulating a low-resource scenario for Marathi, and confirm observed trends on Nepali. We demonstrate the consistent benefits of unsupervised morphemic segmentation on both source and target sides over the treatment performed by fastText. Our best-performing approach uses an EM-style approach to learning bilingual subword embeddings; we also
show, for the first time, that a trivial “copy-
and-paste” embeddings transfer based on even perfect bilingual lexicons is inadequate in capturing language-specific relationships. We find that our approach substantially outperforms the fastText baselines for both Marathi and Nepali on the Word Similarity task as well as WordNet-Based Synonymy Tests; on the former task, its performance for Marathi is close to that of pretrained fastText embeddings that use three orders of magnitude more Marathi data.

Abstract (Czech):
Slovní embeddingy jsou ve zpracování přirozeného jazyka čím dál podstatnější komponentou. Tento článek představuje novou metodu pro přenos statických podslovných embeddings z jazyka s relativním dostatkem zdrojů do jazyka s nedostatkem zdrojů. Primárně pracujeme s jazykovým párem hindština-márátština, přičemž pro márátštinu je nedostatek zdrojů pouze simulovaný a výsledky dále potvrzujme na nepálštině. Náš přístup výrazně překonává baseline fastText pro oba jazyky na úlohách podobnost slov a testování synonymie. Na první úloze je úspěšnost na máráštině dokonce srovnatelná s úspěšností standardní metody při využití o tři řády většího množství dat.


 We primarily work with Hindi-Marathi, simulating a low-resource scenario for Marathi, and confirm observed trends on Nepali. We demonstrate the consistent benefits of unsupervised morphemic segmentation on both source and target sides over the treatment performed by fastText. Our best-performing approach uses an EM-style approach to learning bilingual subword embeddings; we also show, for the first time, that a trivial “copy-and-paste” embeddings transfer based on even
perfect bilingual lexicons is inadequate in cap-
turing language-specific relationships. We find that our approach substantially outperforms the fastText baselines for both Marathi and Nepali on the Word Similarity task as well as WordNet-Based Synonymy Tests; on the former task, its  performance for Marathi is close to that of pretrained fastText embeddings that use three orders of magnitude more Marathi data.
Overview of the ELE Project
Přehled projektu ELE
Year: 2022
Authors: Itziar Aldabe, Jane Dunne, Aritz Farwell, Owen Gallagher, Federico Gaspari, Maria Giagkou, Jan Hajič, Jens Peter Kückens, Teresa Lynn, Georg Rehm, German Rigau, Katrin Marheinecke, Stelios Piperidis, Natalia Resende, Tereza Vojtěchová, Andy Way

Abstract (English):
This paper presents the ongoing European Language Equality (ELE) project, an 18-month action funded by the European Commission. The primary goal of the ELE project is to prepare the ELE programme, in the form of a strategic research, innovation and implementation agenda and roadmap for achieving full digital language equality in Europe by 2030.

Abstract (Czech):
Tento dokument představuje probíhající projekt Evropské jazykové rovnosti (ELE), což je osmnáctiměsíční akce financovaná Evropskou komisí. Primárním cílem projektu ELE je připravit program ELE v podobě strategického programu výzkumu, inovací a realizace a plánu pro dosažení úplné digitální jazykové rovnosti v Evropě do roku 2030.
Migrant Stories
Příběhy migrantů
Year: 2022
Authors: Martin Hájek, Jiří Mírovský, Barbora Hladká

Abstract (English):
Migrant Stories is a corpus of 1017 short biographic narratives of migrants supplemented with meta information about countries of origin/destination, the migrant gender, GDP per capita of the respective countries etc. The corpus has been compiled as a teaching material for data analysis.

Abstract (Czech):
Příběhy migrantů je korpus 1017 krátkých biografických příběhů migrantů doplněných metainformacemi o zemích původu/cílových zemích, pohlaví migrantů, HDP na obyvatele příslušných zemí apod. Korpus byl vytvořen jako výukový materiál pro analýzu dat.