ufal/bilingual-abstracts-corpus huggingface dataset:
Multimodal Machines from a perspective of humans
Multimodální stroje od a perspektiva lidí
Year: 2022
Authors: Sunit Bhattacharya

Abstract (English):
Deep Neural Networks have rapidly become the most dominant approach to solve many complicated learning problems in recent times. Although initially inspired by biological neural networks, the current deep learning systems are much more motivated by practical engineering needs and performance requirements. And yet, some of these networks exhibit a lot of similarities with human brains. This thesis proposal focuses on highlighting the differences in the learning mechanisms of humans and deep learning systems and explores yet how recent work has established similarities between representations learnt by deep learning systems and cognitive data collected from the human brain. Furthermore, we look into the benefits of using brain-inspired techniques and experiments to help build better systems for natural language processing applications and the results of the experiments done so far. Lastly, we outline the proposal to direct our future work towards the completion of the thesis.

Abstract (Czech):
Hluboké neuronové sítě se v poslední době rychle staly nejdominantnějším přístupem k řešení mnoha komplikovaných problémů s učením. Přestože byly původně inspirovány biologickými neuronovými sítěmi, současné systémy hlubokého učení jsou mnohem více motivovány praktickými inženýrskými potřebami a požadavky na výkon. A přesto některé z těchto sítí vykazují mnoho podobností s lidskými mozky. Tento návrh diplomové práce se zaměřuje na zdůraznění rozdílů v mechanismech učení lidí a v systémech hlubokého učení a zkoumá, jak nedávná práce prokázala podobnosti mezi reprezentacemi získanými pomocí systémů hlubokého učení a kognitivními daty shromážděnými z lidského mozku. Dále se podíváme na výhody používání technik a experimentů inspirovaných mozkem, které pomáhají budovat lepší systémy pro aplikace zpracování přirozeného jazyka, a na výsledky dosud provedených experimentů. Nakonec nastíníme návrh směřovat naši budoucí práci k dokončení diplomové práce.
EMMT Release (version 1.0)
EMMT (verze 1.0)
Year: 2022
Authors: Sunit Bhattacharya, Věra Kloudová, Vilém Zouhar, Ondřej Bojar

Abstract (English):
We present Eyetracked Multi-Modal Translation (EMMT), a dataset containing monocular eye movement recordings, audio data and 4-electrode wearable electroencephalogram (EEG) data of 43 participants while engaged in sight translation task supported by an image.

Abstract (Czech):
Představujeme soubor dat Eyetracked Multi-Modal Translation (EMMT), který obsahuje záznamy monokulárních očních pohybů, zvuková data a data 4elektrodového nositelného elektroencefalogramu (EEG) 43 účastníků, kteří se věnovali překladu z angličtiny do češtiny, a to na základě psaného textu a doprovodných obrázků.
What do the eyes really see? An eye-tracking account of language processing
Co oči skutečně vidí? Výzkum zpracování jazyka pomocí metody eye tracking
Year: 2022
Authors: Sunit Bhattacharya, Věra Kloudová, Vilém Zouhar, Ondřej Bojar

Abstract (English):
This experimental study aims to investigate the translation process from English to Czech in a multimodal scenario by using an eye tracker.
We investigate specific aspects of translating ambiguous and unambiguous sentences, and simultaneously, we focus on the possible impact of visual information on the translation process. Thus, we show how mechanisms of visual search, as well as the presence and attention mechanisms involved in such translation processes, can be explored based on various eye-movement data, i.e., cognitive mechanisms involved in reading original sentences and producing the corresponding translation are studied using a plethora of eye-tracking-specific metrics.
Among other things, the paper demonstrates how the Stroop effect is visible in the experimental setup.

Abstract (Czech):
Cílem této experimentální studie je prozkoumat proces překladu z angličtiny do češtiny v multimodálním scénáři s využitím eye trackeru. Zkoumáme specifické aspekty překladu nejednoznačných a jednoznačných vět a současně se zaměřujeme na možný vliv vizuálních informací na proces překladu. Ukazujeme tak, jak lze na základě různých údajů o pohybu očí zkoumat mechanismy vizuálního vyhledávání, jakož i mechanismy přítomnosti a pozornosti zapojené do těchto překladatelských procesů, tj. kognitivní mechanismy zapojené do čtení originálních vět a vytváření odpovídajícího překladu studujeme pomocí několika metrik specifických pro sledování očí. Článek mimo jiné ukazuje, jak se v experimentálním uspořádání projevuje Stroopův efekt.
Team ÚFAL at CMCL 2022 Shared Task: Figuring out the correct recipe for predicting Eye-Tracking features using Pretrained Language Model
Tým ÚFAL na CMCL 2022 Sdílený úkol: Vymyslet správný recept pro předvídání funkcí sledování očí pomocí předem připraveného jazykového modelu
Year: 2022
Authors: Sunit Bhattacharya, Rishu Kumar, Ondřej Bojar

Abstract (English):
Eye-Tracking data is a very useful source of information to study cognition and especially language comprehension in humans. In this paper, we describe our systems for the CMCL 2022 shared task on predicting eye-tracking information. We describe our experiments with pretrained models like BERT and XLM and the different ways in which we used those representations to predict four eye-tracking features. Along with analysing the effect of using two different kinds of pretrained multilingual language models and different ways of pooling the tokenlevel representations, we also explore how contextual information affects the performance of the systems. Finally, we also explore if factors like augmenting linguistic information affect the predictions. Our submissions achieved an average MAE of 5.72 and ranked 5th in the shared task. The average MAE showed further reduction to 5.25 in post task evaluation.

Abstract (Czech):
Data sledování očí jsou velmi užitečným zdrojem informací pro studium kognice a zejména porozumění jazyku u lidí. V tomto článku popisujeme naše systémy pro sdílenou úlohu CMCL 2022 o předpovídání informací o sledování očí. Popisujeme naše experimenty s předem připravenými modely, jako jsou BERT a XLM, a různé způsoby, jak jsme tyto reprezentace použili k predikci čtyř funkcí sledování očí. Spolu s analýzou účinku použití dvou různých druhů předtrénovaných vícejazyčných jazykových modelů a různých způsobů sdružování reprezentací na úrovni tokenů také zkoumáme, jak kontextové informace ovlivňují výkon systémů. Nakonec také zkoumáme, zda faktory, jako je rozšíření jazykových informací, ovlivňují předpovědi. Naše příspěvky dosáhly průměrného MAE 5,72 a umístily se na 5. místě ve sdíleném úkolu. Průměrný MAE ukázal další snížení na 5,25 při hodnocení po úkolu.
Sentence Ambiguity, Grammaticality and Complexity Probes
Sondy nejednoznačnosti, gramatiky a složitosti vět
Year: 2022
Authors: Sunit Bhattacharya, Vilém Zouhar, Ondřej Bojar

Abstract (English):
It is unclear whether, how and where large pre-trained language models capture subtle linguistic traits like ambiguity, grammaticality and sentence complexity.
We present results of automatic classification of these traits and compare their viability and patterns across representation types.
We demonstrate that template-based datasets with surface-level artifacts should not be used for probing,
careful comparisons with baselines should be done
and that t-SNE plots should not be used to determine the presence of a feature among dense vectors representations. We also demonstrate how features might be highly localized in the layers for these models and get lost in the upper layers.

Abstract (Czech):
Není jasné, zda, jak a kde velké předem trénované jazykové modely zachycují jemné lingvistické rysy, jako je nejednoznačnost, gramatika a složitost vět.
Prezentujeme výsledky automatické klasifikace těchto znaků a porovnáváme jejich životaschopnost a vzorce napříč typy reprezentace.
Ukazujeme, že datové sady založené na šablonách s artefakty na úrovni povrchu by neměly být používány pro sondování,
měla by být provedena pečlivá srovnání se základními hodnotami
a že grafy t-SNE by se neměly používat k určení přítomnosti rysu mezi reprezentacemi hustých vektorů. Také ukazujeme, jak mohou být prvky vysoce lokalizovány ve vrstvách těchto modelů a ztratit se v horních vrstvách.
Why AI language models think bananas are green
Proč si AI jazykové modely myslí, že jsou banány zelené
Year: 2022
Authors: David Slíšek, Jindřich Libovický

Abstract (English):
In the beginning was the word, from which the universe, life, and people were created. At least that's how the Bible describes it. The words also gave rise to the LaMDA AI system, which can supposedly become self-aware and feel emotions such as love, sadness, or fear. At least that's how Google developer Blake Lemoine described it. But experts don't believe him. Why? Our guest is Jindřich Libovický, who works on automatic language processing at the Institute of Formal and Applied Linguistics at the Faculty of Mathematics and Physics of Charles University.

Abstract (Czech):
Na začátku bylo slovo, z toho pak vznikl vesmír, život i lidé. Tak to alespoň popisuje bible. Ze slov vznikl také AI systém LaMDA, který si údajně může uvědomovat sám sebe a cítí emoce jako je láska, smutek nebo strach. Tak to alespoň popsal vývojář Googlu Blake Lemoine. Experti mu ale nevěří. Proč? Naším hostem je Jindřich Libovický, který se automatickému zpracování jazyka věnuje v Ústavu formální a aplikované lingvistiky Matematicko-fyzikální fakulty Univerzity Karlovy.
Interpreting and Controlling Linguistic Features in Neural Networks’ Representations
Interpretace a řízení lingvistických funkcí v reprezentacích neuronových sítí
Year: 2022
Authors: Tomasz Limisiewicz

Abstract (English):
Neural networks have achieved state-of-the-art results in a variety of tasks in natural language processing. Nevertheless, neural models are black boxes; we do not understand the mechanisms behind their successes. I will present the tools and methodologies used to interpret black box models. The talk will primarily focus on the representations of Transformer-based language models and our novel method — orthogonal probe, which offers good insight into the network's hidden states. The results show that specific linguistic signals are encoded distinctly in the Transformer. Therefore, we can effectively separate their representations. Additionally, we demonstrate that our findings generalize to multiple diverse languages. Identifying specific information encoded in the network allows removing unwanted biases from the representation. Such an intervention increases system reliability for high-stakes applications.

Abstract (Czech):
Neuronové sítě dosáhly nejmodernějších výsledků v řadě úloh při zpracování přirozeného jazyka. Nicméně neurální modely jsou černé skříňky; nerozumíme mechanismům jejich úspěchů. Představím nástroje a metodiky používané k interpretaci modelů černé skříňky. Přednáška se zaměří především na reprezentace jazykových modelů založených na Transformeru a naši novou metodu – ortogonální sondu, která nabízí dobrý náhled na skryté stavy sítě. Výsledky ukazují, že specifické lingvistické signály jsou v transformátoru zakódovány zřetelně. Proto můžeme efektivně oddělit jejich reprezentace. Navíc prokazujeme, že naše zjištění zobecňují na více různých jazyků. Identifikace specifických informací zakódovaných v síti umožňuje odstranit nežádoucí zkreslení z reprezentace. Takový zásah zvyšuje spolehlivost systému pro aplikace s vysokými sázkami.
Don’t Forget About Pronouns: Removing Gender Bias in Language Models Without Losing Factual Gender Information
Nezapomínejte na zájmena: Odstranění genderové předpojatosti v jazykových modelech bez ztráty faktických informací o pohlaví
Year: 2022
Authors: Tomasz Limisiewicz, David Mareček

Abstract (English):
The representations in large language models contain multiple types of gender information. We focus on two types of such signals in English texts: factual gender information, which is a grammatical or semantic property, and gender bias, which is the correlation between a word and specific gender. We can disentangle the model’s embeddings and identify components encoding both types of information with probing. We aim to diminish the stereotypical bias in the representations while preserving the factual gender signal. Our filtering method shows that it is possible to decrease the bias of gender-neutral profession names without significant deterioration of language modeling capabilities. The findings can be applied to language generation to mitigate reliance on stereotypes while preserving gender agreement in coreferences.

Abstract (Czech):
Reprezentace ve velkých jazykových modelech obsahují více typů genderových informací. Zaměřujeme se na dva typy takových signálů v anglických textech: faktické genderové informace, což je gramatická nebo sémantická vlastnost, a genderové zkreslení, což je korelace mezi slovem a konkrétním pohlavím. Můžeme rozpojit vnoření modelu a identifikovat komponenty kódující oba typy informací sondováním. Naším cílem je snížit stereotypní zkreslení v reprezentacích při zachování faktického genderového signálu. Naše filtrační metoda ukazuje, že je možné snížit zkreslení genderově neutrálních profesních názvů bez výrazného zhoršení schopností jazykového modelování. Zjištění lze aplikovat na jazykovou generaci, aby se zmírnilo spoléhání na stereotypy při zachování genderové shody v koreferencích.
You Can Have Your Data and Balance It Too: Towards Balanced and Efficient Multilingual Models
Můžete mít svá data a také je vyvážit: Směrem k vyváženým a efektivním vícejazyčným modelům
Year: 2022
Authors: Tomasz Limisiewicz, Dan Malkin, Gabriel Stanovsky

Abstract (English):
Multilingual models have been widely used for cross-lingual transfer to low-resource languages. However, the performance on these languages is hindered by their underrepresentation in the pretraining data. To alleviate this problem, we propose a novel multilingual training technique based on teacher-student knowledge distillation. In this setting, we utilize monolingual teacher models optimized for their language. We use those teachers along with balanced (sub-sampled) data to distill the teachers' knowledge into a single multilingual student. Our method outperforms standard training methods in low-resource languages and retrains performance on high-resource languages while using the same amount of data. If applied widely, our approach can increase the representation of low-resource languages in NLP systems.

Abstract (Czech):
Vícejazyčné modely byly široce používány pro mezijazyčný přenos do jazyků s nízkými zdroji. Výkonu těchto jazyků však brání jejich nedostatečné zastoupení v datech předtrénování. Abychom tento problém zmírnili, navrhujeme novou vícejazyčnou školicí techniku založenou na destilaci znalostí učitele a studenta. V tomto prostředí využíváme jednojazyčné modely učitelů optimalizované pro jejich jazyk. Tyto učitele používáme spolu s vyváženými (subvzorkovanými) údaji k destilaci znalostí učitelů do jednoho vícejazyčného studenta. Naše metoda překonává standardní tréninkové metody v jazycích s nízkými zdroji a přeškoluje výkon v jazycích s vysokými zdroji při použití stejného množství dat. Pokud bude náš přístup aplikován široce, může zvýšit zastoupení jazyků s nízkými zdroji v systémech NLP.
CUNI Submission to the BUCC 2022 Shared Task on Bilingual Term Alignment
CUNI systém pro soutěžní úlohu BUCC 2022 ve vytváření bilingválních terminologických slovníků
Year: 2022
Authors: Borek Požár, Klára Tauchmanová, Kristýna Neumannová, Ivana Kvapilíková, Ondřej Bojar

Abstract (English):
We present our submission to the BUCC Shared Task on bilingual term alignment in comparable specialized corpora.
We devised three approaches using static embeddings with post-hoc alignment, the Monoses pipeline for unsupervised
phrase-based machine translation, and contextualized multilingual embeddings. We show that contextualized embeddings
from pretrained multilingual models lead to similar results as static embeddings but further improvement can be achieved
by task-specific fine-tuning. Retrieving term pairs from the running phrase tables of the Monoses systems can match this
enhanced performance and leads to an average precision of 0.88 on the train set.

Abstract (Czech):
Prezentujeme naše řešení soutěžní úlohy BUCC 2022 ve vytváření terminologických slovníků ze specializovaných korpusů. Použili jsme tři přístupy využívající statické vektorové reprezentace s post-hoc zarovnáním, nástroj Monoses pro neřízený strojový překlad a kontextové vektorové reprezentace termínů. Ukazujeme, že kontextové reprezentace z předtrénovaných vícejazyčných modelů vedou k podobným výsledkům jako statické reprezentace, ale lze dosáhnout dalšího zlepšení
pomocí dotrénování specifického pro daný úkol. Stejné kvalitě odpovídá slovník termínů získaný z frázových tabulek systému Monoses, který dosahuje průměrné přesnosti 0,88 na trénovacím slovníku.
Global Coherence of Czech Texts in the Corpus-Based Perspective. Report on the current project of the Institute of Formal and Applied Linguistics MFF UK
Globální koherence českých textů a možnosti jejího korpusového zpracování. Zpráva o aktuálním projektu Ústavu formální a aplikované lingvistiky  MFF UK
Year: 2022
Authors: Lucie Poláková

Abstract (English):
Report on the current project of the Institute of Formal and Applied Linguistics MFF UK. The project is focused on theoretical research and subsequent corpus representation of the so-called global coherence in Czech written texts.

Abstract (Czech):
Zpráva o aktuálním projektu Ústavu formální a aplikované ligvistiky MFF UK. Od ledna 2020 probíhá tříletý projekt Globální koherence českých textů a možnosti jejího korpusového zpracování, zaštítěný Grantovou agenturou České republiky pod vedením Lucie Polákové. Projekt je zaměřen na teoretický výzkum a následné korpusové zachycení tzv. globální koherence v českých psaných textech.
Annotation of global text structures in Prague
Globální textové struktury a jejich anotace v Praze
Year: 2022
Authors: Lucie Poláková

Abstract (English):
The lecture describes the annotation of global coherence at the ÚFAL MFF UK, focusing in particular on the application of the Rhetorical Structure Theory to Czech texts.

Abstract (Czech):
Přednáška se zabývá anotací globální koherence na ÚFAL MFF UK, zaměřuje se zejména na aplikaci přístupu Rhetorical Structure Theory na české texty.
Rhetorical Structure Theory as a Model of Global Coherence
Rhetorical Structure Theory jako model globální koherence
Year: 2022
Authors: Lucie Poláková

Abstract (English):
For more than a decade, ÚFAL discourse-oriented research concentrated on the description of various linguistic aspects of local, “chain-like” coherence. Global coherence, on the other hand, assumes a hierarchical representation of smaller (clauses, sentences) and larger text units (e.g. paragraphs) and the existence of coherence relations between these units on all levels of the hierarchy. A single interconnected representation for the entire document is postulated, too.

In the lecture, one of the most influential models of global coherence will be introduced, the Rhetorical Structure Theory, along with its impact on corpus design, empirical annotation of coherence relations and natural language generation tasks.

Abstract (Czech):
Výzkum diskurzu na ÚFAL MFF se již více než deset let soustřeďuje na popis různých jazykových aspektů tzv. lokální "řetězové" koherence. Globální koherence naproti tomu předpokládá hierarchickou reprezentaci menších (klauze, věty) a větších textových jednotek (např. odstavce) a existenci koherenčních vztahů mezi těmito jednotkami na všech úrovních hierarchie. Přepokládá se také jediná spojitá reprezentace celého dokumentu.

Přednáška představí jeden z nejvlivnějších modelů globální koherence, Rhetorical Structure Theory, spolu s jeho vlivem na tvorbu korpusů, empirickou anotaci koherenčních vztahů a úlohy generování přirozeného jazyka.
CUNI Submission to MT4All Shared Task
CUNI systém pro soutěžní workshop MT4All
Year: 2022
Authors: Ivana Kvapilíková, Ondřej Bojar

Abstract (English):
This paper describes our submission to the MT4All Shared Task in unsupervised machine translation from English to Ukrainian,
Kazakh and Georgian in the legal domain. In addition to the standard pipeline for unsupervised training (pretraining followed
by denoising and back-translation), we used supervised training on a pseudo-parallel corpus retrieved from the provided monolingual corpora. Our system scored significantly higher than the baseline hybrid unsupervised MT system

Abstract (Czech):
Tento článek popisuje naše řešení soutěžní úlohy MT4All v neřízeném strojovém překladu z angličtiny do ukrajinštiny,
kazaštiny a gruzínštiny v právnické doméně. Kromě standardního modelu trénovaného bez paralelních dat jsme použili supervizované trénování na pseudoparalelním korpusu získaném dolováním z poskytnutých jednojazyčných korpusů. Náš systém dosáhl výrazně vyššího skóre než baseline.
Neural Pipeline for Zero-Shot Data-to-Text Generation
Neuronová pipeline pro generování textu z dat bez trénovacích dat
Year: 2022
Authors: Zdeněk Kasner, Ondřej Dušek

Abstract (English):
In data-to-text (D2T) generation, training on in-domain data leads to overfitting to the data representation and repeating training data noise. We examine how to avoid finetuning pretrained language models (PLMs) on D2T generation datasets while still taking advantage of surface realization capabilities of PLMs. Inspired by pipeline approaches, we propose to generate text by transforming single-item descriptions with a sequence of modules trained on general-domain text-based operations: ordering, aggregation, and paragraph compression. We train PLMs for performing these operations on a synthetic corpus WikiFluent which we build from English Wikipedia. Our experiments on two major triple-to-text datasets — WebNLG and E2E — show that our approach enables D2T generation from RDF triples in zero-shot settings.

Abstract (Czech):
Při trénování systémů pro generování textu z dat na konkrétní doméně dochází k nadměrnému přizpůsobování modelů reprezentaci dat a opakování chyb v trénovacích datech na výstupu. Zkoumáme, jak se obejít bez dotrénovávání jazykových modelů na datasetech pro tuto úlohu a zároveň přitom využít schopností těchto modelů pro povrchovou realizaci. Inspirováni sekvenčními přístupy navrhujeme generovat text transformací krátkých textů pro jednotlivé položky pomocí posloupnosti modulů natrénovaných na obecných textových operacích: řazení, agregaci a kompresi odstavců. Modely pro provádění těchto operací trénujeme na syntetickém korpusu WikiFluent, který pro tento účel vytváříme z anglické Wikipedie. Naše experimenty na dvou významných datasetech pro převod RDF trojic na text — WebNLG a E2E — ukazují, že náš přístup umožňuje generování textu z RDF trojic i při absenci trénovacích dat.
The Czech translator learned Ukrainian quickly. It just sometimes mixes up the names of cities
Český překladač se naučil ukrajinsky rychle. Jen někdy plete jména měst
Year: 2022
Authors: Pavel Kasík, Jindřich Libovický, Jindřich Helcl, Michal Novák

Abstract (English):
A new tool will help Czechs communicate with Ukrainians. The machine translator was trained by experts from the Faculty of Mathematics and Physics at Charles University in three weeks. It uses artificial intelligence and is said to be better than Google Translate. It makes different mistakes than humans.

Abstract (Czech):
V komunikaci s Ukrajinci pomůže Čechům nový nástroj. Strojový překladač vytrénovali odborníci z Matematicko-fyzikální fakulty UK za tři týdny. Využívá umělé inteligence a je prý lepší než Google Translate. Chybuje jinak než lidé.