ufal/bilingual-abstracts-corpus huggingface dataset:
Speaking Multiple Languages Affects the Moral Bias of Language Models
Vícejazyčnost ovlivňuje morální tendence jazykových modelů
Year: 2023
Authors: Katharina Hämmerl, Björn Dieseroth, Patrick Schramowski, Jindřich Libovický, Constantin A. Rothkopf, Alexander Fraser, Kristian Kersting

Abstract (English):
Pre-trained multilingual language models (PMLMs) are commonly used when dealing with data from multiple languages and cross-lingual transfer. However, PMLMs are trained on varying amounts of data for each language. In practice this means their performance is often much better on English than many other languages. We explore to what extent this also applies to moral norms. Do the models capture moral norms from English and impose them on other languages? Do the models exhibit random and thus potentially harmful beliefs in certain languages? Both these issues could negatively impact cross-lingual transfer and potentially lead to harmful outcomes. In this paper, we (1) apply the MORALDIRECTION framework to multilingual models, comparing results in German, Czech, Arabic, Chinese, and English, (2) analyse model behaviour on filtered parallel subtitles corpora, and (3) apply the models to a Moral Foundations Questionnaire, comparing with human responses from different countries. Our experiments demonstrate that, indeed, PMLMs encode differing moral biases, but these do not necessarily correspond to cultural differences or commonalities in human opinions. We release our code and models.

Abstract (Czech):
Předtrénované vícejazyčné jazykové modely (PMLM) se běžně používají při práci s daty z více jazyků a při mezijazykovém přenosu. PMLM se však pro každý jazyk trénují na různém množství dat. V praxi to znamená, že často fungují mnohem lépe v angličtině než v mnoha jiných jazycích. V tomto článku zkoumáme, do jaké míry to platí i pro schopnost zachytit morální normy a intuice. Zachycují modely morální normy z angličtiny a vnucují je ostatním jazykům? Vykazují modely v některých jazycích náhodná, a tedy potenciálně škodlivá morální přesvědčení? Oba tyto problémy by mohly negativně ovlivnit mezijazykový přenos a potenciálně vést ke škodlivým výsledkům. V tomto článku (1) aplikujeme metodu MORALDIRECTION na vícejazyčné modely a porovnáváme výsledky v němčině, češtině, arabštině, čínštině a angličtině, (2) analyzujeme chování modelů na paralelních korpusech z filmových titulků a (3) aplikujeme modely na dotazník Moral Foundation Questionaire a porovnáváme je s odpověďmi lidí z různých zemí. Naše experimenty ukazují, že PMLM skutečně zachycují různé morální intuice, které však nutně neodpovídají kulturním rozdílům nebo obvyklým lidským názorům. Spolu s článkem zveřejňujeme zdrojový kód a modely.
Exploring Anisotropy and Outliers in Multilingual Language Models for Cross-Lingual Semantic Sentence Similarity
Zkoumání anizotropie a odlehlých hodnot ve vícejazyčných jazykových modelech pro mezijazykovou sémantickou podobnost vět
Year: 2023
Authors: Katharina Hämmerl, Alina Fastowski, Jindřich Libovický, Alexander Fraser

Abstract (English):
Previous work has shown that the representations output by contextual language models are more anisotropic than static type embeddings, and typically display outlier dimensions. This seems to be true for both monolingual and multilingual models, although much less work has been done on the multilingual context. Why these outliers occur and how they affect the representations is still an active area of research.We investigate outlier dimensions and their relationship to anisotropy in multiple pre-trained multilingual language models. We focus on cross-lingual semantic similarity tasks, as these are natural tasks for evaluating multilingual representations. Specifically, we examine sentence representations. Sentence transformers which are fine-tuned on parallel resources (that are not always available) perform better on this task, and we show that their representations are more isotropic. However, we aim to improve multilingual representations in general. We investigate how much of the performance difference can be made up by only transforming the embedding space without fine-tuning, and visualise the resulting spaces. We test different operations: Removing individual outlier dimensions, cluster-based isotropy enhancement, and ZCA whitening. We publish our code for reproducibility.

Abstract (Czech):
Předchozí práce ukázaly, že reprezentace, které jsou výstupem kontextových jazykových modelů, jsou více anizotropní než statické slovní embedingy a obvykle mají dimenze s odlehlými hodnotami. Zdá se, že to platí jak pro jednojazyčné, tak pro vícejazyčné modely, ačkoli jim bylo věnováno mnohem méně práce. Proč se tyto odlehlé hodnoty objevují a jak ovlivňují reprezentaci, je stále aktivní oblastí výzkumu. V tomto článku zkoumáme odlehlé dimenze a jejich vztah k anizotropii v několika předtrénovaných vícejazyčných modelech. Zaměřujeme se na úlohy mezijazykové sémantické podobnosti, protože se jedná o přirozené úlohy pro hodnocení vícejazyčných reprezentací. Konkrétně zkoumáme reprezentace vět, tzv. Sentence Transformers, které jsou dotrénované na paralelních datech (které nejsou vždy k dispozici). Dosahují v této úloze lepších výsledků jejich reprezentace jsou izotropnější. Naším cílem je však zlepšit vícejazyčné reprezentace obecně. Zkoumáme, jak velký rozdíl ve výkonnosti lze dohnat pouhou transformací embedingů bez dotrénování, a vizualizujeme výsledné prostory. Testujeme různé operace: Odstranění jednotlivých odlehlých dimenzí, vylepšení izotropie na základě shluků a whitening pomocí ZCA.
Valency structure of complex predicates with Light Verbs, The case of Czech
Valenční struktura komplexních predikátů s kategoriálními slovesy, Případ češtiny
Year: 2023
Authors: Václava Kettnerová

Abstract (English):
This chapter deals with light verb constructions. It is shown that what differentiates individual complex predicates from each other is the interaction between valency complementations
of the Light Verb and those of the predicative noun through sharing semantic roles,
which is manifested as their coreference. It is shown that the coreference, affecting
the deep syntactic structure of the complex predicate, has consequences for both
the semantic and the surface syntactic layer.

Abstract (Czech):
Tato kapitola se zabývá konstrukcemi s kategoriálním slovesem. Ukazuje, že to, co odlišuje jednotlivé komplexní predikáty, je interakce mezi valenčními doplněními kategoriálního slovesa a predikátového jména. Tato interakce, která se v hloubkové rovině projevuje jako koreference valenčních doplnění, má pak sémantické i syntaktické důsledky.
A contribution to mark the occasion of Jarmila Panevová's birthday
K narozeninám Jarmily Panevové
Year: 2023
Authors: Václava Kettnerová, Veronika Kolářová, Marie Mikulová, Magda Ševčíková

Abstract (English):
In order to mark the occasion of professor Jarmila Panevová’s birthday we present research activities she was involved in over the last fifteen years.

Abstract (Czech):
Při příležitosti významného životního jubilea profesorky Jarmily Panevové představujeme jubilantčinu výzkumnou činnost za posledních patnáct let.
Course “Artificial Intelligence”
Kurz “Umělá inteligence”
Year: 2023
Authors: Ondřej Hrách, Rudolf Rosa

Abstract (English):
The aim of the course is to show artificial intelligence from the perspective of various disciplines of science. To reflect on how artificial intelligence affects our daily lives in various fields. The course will focus mainly on contexts/perspectives: AI in psychology, pedagogy, transport, health, linguistics, journalism and theatre. Within all parts of the course, emphasis will be placed on strengthening the multiperspective view of artificial intelligence, providing a broad pension of information on the use of artificial intelligence, its role, impacts and vision for the future.

Abstract (Czech):
Cílem kurzu je ukázat umělou inteligenci z perspektivy různých vědních disciplín. Zamyslet nad tím, jak umělá inteligence ovlivňuje náš každodenní život v různých oblastech. Kurz bude zaměřen především na kontexty/perspektivy: AI v psychologie, pedagogice, dopravě, zdravotnictví, lingvistice, žurnalistice a divadle. V rámci všech částí kurzu bude kladen důraz na posilování multiperspektivního pohledu na umělou inteligenci, poskytnutí širokého penza informací o využití umělé inteligence, její roli, dopadech a vizi do budoucnosti.
UFAL Parallel Corpus of North Levantine 1.0
UFAL Paralelní Korpus Severní Levanštiny 1.0
Year: 2023
Authors: Hashem Sellat, Shadi Saleh, Mateusz Krubiński, Adam Pospíšil, Petr Zemánek, Pavel Pecina

Abstract (English):
This is the first release of the UFAL Parallel Corpus of North Levantine, compiled by the Institute of Formal and Applied Linguistics (ÚFAL) at Charles University within the Welcome project (https://welcome-h2020.eu/). The corpus consists of 120,600 multiparallel sentences in English, French, German, Greek, Spanish, and Standard Arabic selected from the OpenSubtitles2018 corpus [1] and manually translated into the North Levantine Arabic language. The corpus was created for the purpose of training machine translation for North Levantine and the other languages.

Abstract (Czech):
Toto je první vydání UFAL Parallel Corpus of North Levantine, sestaveného Ústavem formální a aplikované lingvistiky (ÚFAL) Univerzity Karlovy v rámci projektu Welcome (https://welcome-h2020.eu/). Korpus se skládá ze 120 600 multiparalelních vět v angličtině, francouzštině, němčině, řečtině, španělštině a standardní arabštině vybraných z korpusu OpenSubtitles2018 [1] a ručně přeložených do severolevantské arabštiny. Korpus byl vytvořen za účelem trénování strojového překladu pro severní levantinu a další jazyky.
Bad MT Systems are Good for Quality Estimation
Špatné MT systémy jsou dobré pro odhad kvality
Year: 2023
Authors: Iryna Tryhubyshyn, Aleš Tamchyna, Ondřej Bojar

Abstract (English):
Quality estimation (QE) is the task of predicting quality of outputs produced by machine translation (MT) systems. Currently, the highest-performing QE systems are supervised and require
training on data with golden quality scores. In this paper, we investigate the impact of the quality of the underlying MT outputs on the performance of QE systems. We find that QE models trained on datasets with lower-quality translations often outperform those trained on higher-quality data. We also demonstrate that good performance can be achieved by using a mix of data from different MT systems.

Abstract (Czech):
Odhad kvality (Quality Estimation, QE) je úkol předpovídat kvalitu výstupů vytvořených systémy strojového překladu (MT). V současné době jsou nejvýkonnější systémy QE pod dohledem a vyžadují
trénování na datech se zlatým skóre kvality. V tomto článku zkoumáme vliv kvality podkladových výstupů MT na výkonnost systémů QE. Zjistili jsme, že modely QE natrénované na datových sadách s méně kvalitními překlady často překonávají modely natrénované na datech s vyšší kvalitou. Ukazujeme také, že dobrého výkonu lze dosáhnout použitím kombinace dat z různých systémů MT.
Extending an Event-type Ontology: Adding Verbs and Classes using Fine-tuned LLMs Suggestions
Rozšiřování ontologie: přidávání sloves a tříd s použitím LLM
Year: 2023
Authors: Jana Straková, Eva Fučíková, Jan Hajič, Zdeňka Urešová

Abstract (English):
In this project, we have investigated the use of advanced machine learning methods, specifically fine-tuned large language models, for pre-annotating data for a lexical extension task, namely adding descriptive words (verbs) to an existing (but incomplete, as of yet) ontology of event types. Several research questions have been focused on, from the investigation of a possible heuristics to provide at least hints to annotators which verbs to include and which are outside the current version of the ontology, to the possible use of the automatic scores to help the annotators to be more efficient in finding a threshold for identifying verbs that cannot be assigned to any existing class and therefore they are to be used as seeds for a new class. We have also carefully examined the correlation of the automatic scores with the human annotation. While the correlation turned out to be strong, its influence on the annotation proper is modest due to its near linearity, even though the mere fact of such pre-annotation leads to relatively short annotation times.

Abstract (Czech):
V tomto projektu jsme zkoumali využití pokročilých metod strojového učení, konkrétně vyladěných velkých jazykových modelů, pro předanotační data pro úlohu lexikálního rozšíření, konkrétně přidání popisných slov (sloves) do existující (ale zatím neúplné) ontologie typů událostí. Zaměřili jsme se na několik výzkumných otázek, od zkoumání možných heuristik pro poskytnutí alespoň náznaků anotátorům, která slovesa zahrnout a která jsou mimo současnou verzi ontologie, až po možné využití automatických skóre pro pomoc anotátorům, aby byli efektivnější při hledání prahu pro identifikaci sloves, která nemohou být přiřazena do žádné existující třídy, a proto mají být použita jako semena pro novou třídu. Pečlivě jsme také zkoumali korelaci automatických skóre s lidskou anotací. I když se korelace ukázala jako silná, její vliv na vlastní anotaci je vzhledem k její téměř linearitě skromný, i když pouhý fakt takové pre-anotace vede k relativně krátkým časům anotace.
Human, soul, artificial intelligence
Člověk, duše, umělá inteligence
Year: 2023
Authors: František Štěch, Rudolf Rosa, Jiří Dosoudil, Tereza Hannemann, Pavel Pola

Abstract (English):
In cooperation with the Research Group on Theology and Contemporary Culture of the Evangelical Theological Faculty of Charles University, the Faculty of Mathematics and Physics of Charles University and the Multidisciplinary Working Group on AI in Context, we have prepared an unconventional full-length programme “Man, Soul and Artificial Intelligence” for visitors at the Church of the Infant Jesus for this year. On prepared posters in the space of the church, people could reflect on the possibility of linking the abilities of artificial intelligence and the spirituality of man. Through the application, people could then try to answer a series of questions on their smartphones and let artificial intelligence create an individual image of the soul of man using the artistic techniques of several world-famous artists.

Abstract (Czech):
Ve spolupráci s výzkumnou skupinou pro teologii a současnou kulturu Evangelické teologické fakulty Univerzity Karlovy, Matematicko-fyzikální fakultou Univerzity Karlovy a multidisciplinární pracovní skupinou AI v kontextu jsme na letošní rok v kostele Pražského Jezulátka připravili pro návštěvníky netradiční celovečerní program “ Člověk, duše a umělá inteligence“. Na připravených posterech v prostoru kostela se lidé mohli zamyslet nad možností propojení schopností umělé inteligence a spirituality člověka. Prostřednictvím aplikace si pak lidé mohli na svých chytrých telefonech zkusit odpovědět na sérii otázek a nechat umělou inteligenci, aby vytvořila individuální obraz duše člověka s použitím výtvarných technik několika světoznámých umělců.
Exploratory Analysis of the Applicability of Formalised Knowledge to Personal Experience Narration
Průzkumná analýza aplikovatelnosti formalizovaných znalostí na výpovědi o osobních prožitcích
Year: 2023
Authors: Victor Mireles, Stephanie Billib, Artem Revenko, Stephan Jänicke, Frank Uiterwaal, Pavel Pecina

Abstract (English):
Some of the victims of Nazi prosecution have consigned their personal experiences in the form of diaries of their internment in concentration camps. Such human-centric texts may contrast with the organisation of knowledge about such events that, for example, historians and archivists make. In this work, we analyse six such narrations with the use of Entity Extraction and Named Entity Recognition techniques, present the results of the corresponding exploration, and discuss the suitability of such tools on this corpus. We show that knowledge tools, that have been successfully used to organise documents, can be lacking when describing personal accounts, and we suggest ways to alleviate this.

Abstract (Czech):
Některé z obětí nacistického stíhání předávají své osobní zkušenosti v podobě deníků z internování v koncentračních táborech. Takové texty zaměřené na člověka mohou kontrastovat s uspořádáním znalostí o takových událostech, které dělají například historici a archiváři. V této práci analyzujeme šest takových vyprávění pomocí technik extrakce entit a rozpoznávání pojmenovaných entit, prezentujeme výsledky odpovídajícího zkoumání a diskutujeme o vhodnosti takových nástrojů na tomto korpusu. Ukazujeme, že znalostní nástroje, které se úspěšně používají k organizaci dokumentů, mohou při popisu osobních účtů chybět, a navrhujeme způsoby, jak to zmírnit.
Tackling Hallucinations in Neural Chart Summarization
Řešení halucinací při neuronové sumarizaci grafů
Year: 2023
Authors: Saad Obaid ul Islam, Iza Škrjanec, Ondřej Dušek, Vera Demberg

Abstract (English):
Hallucinations in text generation occur when the system produces text that is not grounded in the input. In this work, we tackle the problem of hallucinations in neural chart summarization. Our analysis shows that the target side of chart summarization training datasets often contains additional information, leading to hallucinations. We propose a natural language inference (NLI) based method to preprocess the training data and show through human evaluation that our method significantly reduces hallucinations. We also found that shortening long-distance dependencies in the input sequence and adding chart-related information like title and legends improves the overall performance.

Abstract (Czech):
K halucinacím při generování textu dochází tehdy, když systém produkuje text, který nemá opodstatnění na vstupu. V této práci se zabýváme problémem halucinací v neuronové sumarizaci grafů. Naše analýza ukazuje, že cílová strana trénovacích datových sad pro sumarizaci grafů často obsahuje dodatečné informace, což vede k halucinacím. Navrhujeme metodu založenou na inferenci v přirozeném jazyce (NLI) pro předzpracování trénovacích dat a pomocí lidského hodnocení ukazujeme, že naše metoda významně snižuje výskyt halucinací. Zjistili jsme také, že zkrácení závislostí na dlouhé vzdálenosti ve vstupní sekvenci a přidání informací souvisejících s grafem, jako je název a legenda, zlepšuje celkový výkon.
Open Calls and Pilot Projects
Otevřené výzvy a pilotní projekty
Year: 2023
Authors: Lukáš Kačena, Jana Hamrlová, Jan Hajič

Abstract (English):
We describe the two ELG open calls for pilot projects, the objective of
which was to demonstrate the use and the advantages of ELG in providing basic LT
for applications and as a basis for more advanced LT-based modules or components
useful to industry. Our main goal was to attract SMEs and research organisations
to either contribute additional tools or resources to the ELG platform (type A pilot
projects) or develop applications using Language Technologies available in the ELG
platform (type B pilot projects). We start with the detailed description of the submission
and evaluation processes, followed by a presentation of the open call results.
Afterwards we describe the supervision and evaluation of the execution phase of the
projects, as well as lessons learned. Overall, we were very satisfied with the setup
and with the results of the pilot projects, which demonstrate an enormous interest in
ELG and the Language Technology topic in general.

Abstract (Czech):
Popisujeme dvě otevřené výzvy ELG pro pilotní projekty, jejichž cílem bylo demonstrovat využití a výhody ELG při poskytování základního LT pro aplikace a jako základ pro pokročilejší LT moduly nebo komponenty užitečné pro průmysl. Naším hlavním cílem bylo přilákat malé a střední podniky  výzkumné organizace k tomu, aby buď přispěly dalšími nástroji nebo zdroji do platformy ELG pilotní projekty typu A), nebo vyvíjely aplikace s využitím jazykových technologií dostupných v platformě ELG (pilotní projekty typu B). Začneme podrobným popisem procesu podání a vyhodnocení, po kterém následuje prezentace výsledků otevřené výzvy. Poté popíšeme dozor a vyhodnocení realizační fáze projektů, jakož i získané poznatky. Celkově jsme byli velmi spokojeni s nastavením a s výsledky pilotních projektů, které prokazují enormní zájem o ELG a téma jazykových technologií obecně.
Meaning Representations for Natural Languages: Design, Models and Applications
Reprezentace významu pro přirozené jazyky: design, modely a aplikace
Year: 2023
Authors: Nianwen Xue, Julia Bonn, Jan Hajič

Abstract (English):
Meaning representations vary along many dimensions
• How meaning is connected to text
• Anchoring, alignment, multi‐layer vs. text‐span only
• Relationship to logical and/or executable form
• Mapping to Lexicons/Ontologies
• General, task‐oriented
• Relationship to discourse and discourse‐like phenomena
We’ll overview these in this tutorial.

Abstract (Czech):
Významové reprezentace se liší v mnoha dimenzích
• Jak je význam spojen s textem
• Ukotvení, zarovnání, pouze vícevrstvé vs. text‐span
• Vztah k logické a/nebo spustitelné formě
• Mapování na lexikony/Ontologie
• Obecné, zaměřené na úlohy
• Vztah k diskurzu a diskurzu-podobným jevům
V tomto tutoriálu si ukážeme jejich přehled.
Findings of the 2023 Conference on Machine Translation (WMT23): LLMs Are Here but Not Quite There Yet
Výsledky WMT23, Konference o strojovém překladu 2023: LLM jsou tu, ale ještě nedosáhly cíle zcela
Year: 2023
Authors: Tom Kocmi, Eleftherios Avramidis, Rachel Bawden, Ondřej Bojar, Anton Dvorkovich, Christian Federmann, Mark Fishel, Markus Freitag, Thamme Gowda, Roman Grundkiewicz, Barry Haddow, Philipp Koehn, Benjamin Marie, Christof Monz, Makoto Morishita, Kenton Murray, Makoto Nagata, Toshiaki Nakazawa, Martin Popel, Maja Popović, Mariya Shmatova

Abstract (English):
This paper presents the results of the General
Machine Translation Task organised as part of
the 2023 Conference on Machine Translation
(WMT). In the general MT task, participants
were asked to build machine translation sys-
tems for any of 8 language pairs (correspond-
ing to 14 translation directions), to be evaluated
on test sets consisting of up to four different do-
mains. We evaluate system outputs with profes-
sional human annotators using a combination
of source-based Direct Assessment and scalar
quality metric (DA+SQM).

Abstract (Czech):
(lindat translation) Tato práce prezentuje výsledky Obecné úlohy strojového překladu organizované v rámci Konference o strojovém překladu (WMT) v roce 2023. V obecné úloze MT byli účastníci požádáni o sestavení systémů strojového překladu pro kteroukoli z 8 jazykových dvojic (odpovídajících 14 směrům překladu), které budou vyhodnoceny na testovacích souborech skládajících se až ze čtyř různých oblastí. Vyhodnocujeme systémové výstupy s profesionálními lidskými anotátory pomocí kombinace přímého hodnocení založeného na zdroji a metriky skalární kvality (DA+SQM).