ufal/bilingual-abstracts-corpus huggingface dataset:
Panel diskussion: Large language models in Czech and Slovak
Panelová diskuse: Velké jazykomodely české a slovenské
Year: 2023
Authors: Jindřich Libovický, Jakub Náplava, Petr Šimeček, Filip Uhlárik

Abstract (English):
The panel discussion focused on the functioning of the current major language models for Czech and Slovak. The panelists were, besides Jindřich Libovický from ÚFAL MFF UK, also representatives of Czech and Slovak companies (Seznam.cz, Gerulata Technologies, Mediaboard), who shared with the audience their experiences with Czech and Slovak language models.

Abstract (Czech):
Panelová diskuse se věnovala fungování současných velkých jazykových modelů pro češtinu a slovenštinu. Panelisté byli kromě Jindřich Libovického z ÚFAL MFF UK také zástupci českých a slovenských firem (Seznam.cz, Gerulata Technologies, Mediaboard), kteří sdíleli s posluchači svoje zkušenosti s češtinou a slovenštinou v jazykovéch modelech.
Morphological complexity of verbs across the frequency spectrum in Czech, English, German and Spanish
Morfologická komplexita sloves napříč frekvenčním spektrem v češtine, angličtině, němčině a španělštině
Year: 2023
Authors: Hana Hledíková

Abstract (English):
In this paper, we use corpus data and data from lexical resources to examine the relationship between the complexity of verbs’ morphological structure and their frequency in four different languages. The analysis shows that morphological complexity is not evenly distributed across the frequency spectrum and its distribution is dependent on the language and its morphological characteristics.
Morphological complexity has been a focus of research in typology (Stump 2017, Berdicevskis et al. 2018, Çöltekin & Rama 2022) using measures based mainly on inflectional morphology (e.g., mean size of paradigm, morphological feature entropy). In contrast, we focus on the complexity of basic forms in the lexicon – whether they contain only the root (and possibly inflectonal affixes), or also derivatonal affixes and/or multiple roots. With decreasing token frequency, the complexity of the verbs’ morphematic structure and the number of verbs sharing the same root is expected to grow.
We analyze the verbal lexicon in Czech, English, German and Spanish. As data for the analysis, we use verb lists extracted from corpora (Čermák et al. 2000, BNC Consortium 2007, Geyken 2007, Real Academia Española 2014) which, despite some language-specific decisions in lemmatization and tagging, are comparable in size (1000 million) and genre composition.

Abstract (Czech):
V tomto příspěvku využíváme korpusová data a data z lexikálních zdrojů ke zkoumání vztahu mezi složitostí morfematické struktury sloves a jejich frekvencí ve čtyřech různých jazycích. Analýza ukazuje, že morfologická složitost není rovnoměrně rozložena v celém frekvenčním spektru a její rozložení závisí na jazyce a jeho morfologických charakteristikách.
Morfologická komplexita byla předmětem výzkumu v typologii (Stump 2017, Berdicevskis et al. 2018, Çöltekin & Rama 2022), přičemž byly používány míry založené především na flektivní morfologii (např. průměrná velikost paradigmatu, entropie morfologických rysů). My se naopak zaměřujeme na komplexnost základních forem sloves ve slovní zásobě - zda obsahují pouze kořen (a případně flektivní afixy), nebo také derivační afixy a/nebo více kořenů. S klesající frekvencí tokenů se očekává, že složitost morfematické struktury sloves a počet sloves sdílejících stejný kořen poroste.
Analyzujeme slovesné lexikum v češtině, angličtině, němčině a španělštině. Jako data pro analýzu používáme seznamy sloves získané z korpusů (Čermák et al. 2000, BNC Consortium 2007, Geyken 2007, Real Academia Española 2014), které jsou i přes některá jazykově specifická rozhodnutí při lemmatizaci a tagování srovnatelné co do velikosti (1000 milionů) i žánrového složení.
Barriers and enabling factors for error analysis in NLG research
Překážky a podpůrné faktory pro analýzu chyb ve výzkumu NLG
Year: 2023
Authors: Emiel van Miltenburg, Miruna Clinciu, Ondřej Dušek, Dimitra Gkatzia, Stephanie Inglis, Leo Leppänen, Saad Mahamood, Stephanie Schoch, Craig Thomson, Luou Wen

Abstract (English):
Earlier research has shown that few studies in Natural Language Generation (NLG) evaluate their system outputs using an error analysis, despite known limitations of automatic evaluation metrics and human ratings. This position paper takes the stance that error analyses should be encouraged, and discusses several ways to do so. This paper is not just based on our shared experience as authors, but we also distributed a survey as a means of public consultation. We provide an overview of existing barriers to carry out error analyses, and proposes changes to improve error reporting in the NLG literature.

Abstract (Czech):
Dřívější výzkum ukázal, že jen málo studií v oblasti generování přirozeného jazyka (Natural Language Generation - NLG) hodnotí výstupy svých systémů pomocí analýzy chyb, a to navzdory známým omezením automatických hodnotících metrik a lidských hodnocení. Tento poziční článek zastává stanovisko, že analýzu chyb je třeba podporovat, a diskutuje několik způsobů, jak toho dosáhnout. Tento článek není založen pouze na našich společných zkušenostech jako autorů, ale také jsme rozeslali průzkum jako prostředek veřejné konzultace. Poskytujeme přehled stávajících překážek pro provádění chybových analýz a navrhujeme změny ke zlepšení reportování chyb v literatuře NLG.
The Role of Compounds in Human vs. Machine Translation Quality
Role složenin v kvalitě lidského a strojového překladu
Year: 2023
Authors: Kristýna Neumannová, Ondřej Bojar

Abstract (English):
We focus on the production of German compounds in English-to-German manual and automatic translation. On the example of WMT21 news translation test set, we observe that even the best MT systems produce much fewer compounds compared to three independent manual translations. Despite this striking difference, we observe that this insufficiency is not apparent in manual evaluation methods that target the overall translation quality (DA and MQM). Simple automatic methods like BLEU somewhat surprisingly provide a better indication of this quality aspect. Our manual analysis of system outputs, including our freshly trained Transformer models, confirms that current deep neural systems operating at the level of subword units are capable of constructing novel words, including novel compounds. This effect however cannot be measured using static dictionaries of compounds such as GermaNet. German compounds thus pose an interesting challenge for future development of MT systems.

Abstract (Czech):
Zaměřujeme se na tvorbu německých složenin v ručním a automatickém překladu z angličtiny do němčiny. Na příkladu testovací sady pro překlad zpráv WMT21 pozorujeme, že i nejlepší MT systémy produkují mnohem méně složenin ve srovnání se třemi nezávislými ručními překlady. Navzdory tomuto markantnímu rozdílu pozorujeme, že tato nedostatečnost není patrná u metod manuálního hodnocení, které se zaměřují na celkovou kvalitu překladu (DA a MQM). Jednoduché automatické metody, jako je BLEU, poněkud překvapivě poskytují lepší ukazatel tohoto aspektu kvality. Naše manuální analýza výstupů systému, včetně čerstvě natrénovaného modelu, potvrzuje, že současné hluboké neuronové systémy pracující na úrovni dílčích slovních jednotek jsou schopny konstruovat nová slova, včetně nových složenin. Tento efekt však nelze měřit pomocí statických slovníků složenin, jako je GermaNet. Německé složeniny tak představují zajímavou výzvu pro budoucí vývoj MT systémů.
Workflow and Metadata Challenges in the ParlaMint Project: Insights from Building the ParlaMint-UA Corpus
Workflow a metadata výzvy v projektu parlamint: nahlédnutí na tvorbu korpusu ParlaMint-UA
Year: 2023
Authors: Anna Kryvenko, Matyáš Kopp

Abstract (English):
The speeches in ParlaMint corpora of parliamentary proceedings are marked by their speaker,
and the speakers are then paired with various metadata, also with their time-delimited affiliations with political parties or parliamentary groups. These are stored separately, and are also
associated with further information. This paper discusses the addition of metadata on political
parties and parliamentary groups, encoding their political position on various issues, in particular their categorisation on the left-to-right political spectrum. The paper explains our sources for
this information, the process of data collection, and its encoding in the corpora. This additional
metadata should be of interest to parliamentary data research, while the methodology developed
could be used to add further metadata to the ParlaMint corpora.

Abstract (Czech):
Projevy v korpusu ParlaMint parlamentních jednání jsou označeny jejich mluvčím a mluvčí jsou pak spárováni s různými metadaty, také s jejich časově ohraničenou příslušností k politickým stranám nebo parlamentním skupinám. Ta jsou uložena odděleně a jsou také
spojena s dalšími informacemi. Tato práce pojednává o doplnění metadat o politických stranách a parlamentních skupinách, kódování jejich politického postoje k různým otázkám, zejména jejich kategorizaci na levo-pravém politickém spektru. Práce vysvětluje naše zdroje pro tyto informace, proces sběru dat a jejich kódování v korpusu. Tato dodatečná metadata by měla být zajímavá pro parlamentní výzkum dat, zatímco vyvinutá metodika
by mohla být použita pro doplnění dalších metadat do korpusu ParlaMint.
Charles Translator for Ukraine
Překladač Charles Translator for Ukraine
Year: 2023
Authors: Martin Popel

Abstract (English):
The lecture will present the Czech-Ukrainian translation service Charles Translator for Ukraine developed within two weeks in March 2022.

Abstract (Czech):
Přednáška představí česko-ukrajinský překladač Charles Translator for Ukraine vyvinutý během dvou týdnů v březnu 2022.
The Functional Relevance of Probed Information: A Case Study
Funkční význam probovaných informací
Year: 2023
Authors: Michael Hanna, Roberto Zamparelli, David Mareček

Abstract (English):
Recent studies have shown that transformer models like BERT rely on number information encoded in their representations of sentences’ subjects and head verbs when performing subject-verb agreement. However, probing experiments suggest that subject number is also encoded in the representations of all words in such sentences. In this paper, we use causal interventions to show that BERT only uses the subject plurality information encoded in its representations of the subject and words that agree with it in number. We also demonstrate that current probing metrics are unable to determine which words’ representations contain functionally relevant information. This both provides a revised view of subject-verb agreement in language models, and suggests potential pitfalls for current probe usage and evaluation.

Abstract (Czech):
Nedávné studie ukázaly, že modely transformátorů, jako je BERT, spoléhají na číselné informace zakódované v jejich reprezentacích předmětů vět a hlavových sloves při provádění shody předmět-sloveso. Nicméně, sondovací experimenty naznačují, že číslo předmětu je také zakódováno v reprezentacích všech slov v takových větách. V tomto článku používáme kauzální intervence, abychom ukázali, že BERT používá pouze informace o pluralitě předmětu zakódované ve svých reprezentacích předmětu a slov, která s ním v počtu souhlasí. Ukazujeme také, že současné měřicí metriky nejsou schopny určit, která reprezentace slov obsahuje funkčně relevantní informace. To poskytuje revidovaný pohled na shodu předmětu a slovesa v jazykových modelech a naznačuje potenciální úskalí pro současné použití a hodnocení sond.
Learning capabilities in Transformer Neural Networks
Schopnosti učení v transformerových neuronových sítích
Year: 2023
Authors: Dušan Variš

Abstract (English):
Although the contemporary neural networks, inspired by biological neurons, were able to reach human-like performance on many tasks in recent years, their optimization (learning) process is still very far from the one observed in humans.
This thesis investigates various aspects of learning in the current state-of-the-art Transformer neural networks, the dominant architecture in the current neural language processing.
Firstly, we measure the level of generalization in Transformers using several probing experiments based on the idea of adversarial evaluation. Secondly, we explore their potential for incremental learning when combined with regularization using the elastic weight consolidation approach.
Lastly, we propose a modular extension of the existing Transformer architecture enabling subnetwork selection conditioned on the intermediate hidden layer outputs and analyze the attributes of this network modularization.
We investigate our hypotheses mainly within the scope of neural machine translation and multilingual translation showing the limitations of the original Transformer and the elastic weights consolidation regularization while presenting promising results of the novel modular Transformer architecture.

Abstract (Czech):
Přestože současné neuronové sítě, inspirované biologickými neurony, byly v posledních letech schopny dosáhnout lidské úrovně na mnoha úlohách, proces jejich optimalizace (učení) je stále velmi odlišný od procesů pozorovaných u lidí.
Tato práce zkoumá různé aspekty učení současných neuronových sítí Transformer, převládající architektury pro zpracování přirozeného jazyka. V první části zkoumáme úroveň generalizace v Transformerech pomocí analytických experimentů založených na myšlence adversariální evaluace.
V části druhé pak zkoumáme jejich potenciál pro kontinuální učení s použitím regularizace založené na elastické konsolidaci vah.
V závěru práce navrhujeme modulární rozšíření stávající sítě Transformer umožňující výběr podsítí podmíněný zpracovaným vstupem spolu s demonstrací vlastností této síťové modularizace.
Naše hypotézy testujeme především v kontextu neuronového strojového překladu a vícejazyčného překladu, přičemž naměřené výsledky odhalují limity původního Transformeru i metody regularizace pomocí elastické konsolidace vah.
Navíc prezentujeme slibné výsledky navržené modulární architektury Transformeru.
Semantic Accuracy in Natural Language Generation
Sémantická přesnost při generování přirozeného jazyka
Year: 2023
Authors: Patrícia Schmidtová

Abstract (English):
A presentation for incoming Master's students in the LCT program. In the first part, I introduced selected interesting research projects at the Institute of Formal and Applied Linguistics. In the second part I presented my research in the area of semantic accuracy in natural language generation.

Abstract (Czech):
Prezentace pro nastupující studenty magisterského programu LCT. V první části prezentace jsem uvedla vybrané zajímavé výzkumní projekty na ÚFAL MFF. V druhé části jsem představila svůj výzkum v oblasti sémantické přesnosti při generování přirozeného jazyka.
Semantic Accuracy in Natural Language Generation: A Thesis Proposal
Sémantická přesnost při generování přirozeného jazyka: teze disertace
Year: 2023
Authors: Patrícia Schmidtová

Abstract (English):
With the fast-growing popularity of current
large pre-trained language models (LLMs), it
is necessary to dedicate efforts to making them
more reliable. In this thesis proposal, we aim
to improve the reliability of natural language
generation systems (NLG) by researching the
semantic accuracy of their outputs. We look at
this problem from the outside (evaluation) and
from the inside (interpretability). We propose
a novel method for evaluating semantic accuracy and discuss the importance of working
towards a unified and objective benchmark for
NLG metrics. We also review interpretability
approaches which could help us pinpoint the
sources of inaccuracies within the models and
explore potential mitigation strategies.

Abstract (Czech):
S rychle rostoucí popularitou současných velkých předtrénovaných jazykových modelů (LLM) je
nutné věnovat úsilí tomu, aby byly
spolehlivější. V tomto návrhu disertační práce si klademe za cíl zlepšit spolehlivost systémů generování přirozeného jazyka (NLG) zkoumáním
sémantické přesnosti jejich výstupů. Na
tento problém se díváme zvenčí (evaluace) a
zevnitř (interpretabilita). Navrhujeme
novou metodu pro hodnocení sémantické přesnosti a diskutujeme o důležitosti výzkumu směřujícímu k jednotnému a objektivnímu srovnávání automatických NLG metrik. Také přezkoumáváme přístupy z interpretability, které by nám mohly pomoci určit
zdroje nepřesností v rámci modelů a
prozkoumat možné strategie pro zmírnění těchto nepřesností.
Semantic Textual Similarity: An NLP-focused comprehensive Survey
Year: 2023
Authors: Muskaan Singh, Tirthankar Ghosal, Ondřej Bojar

Abstract (English):
Semantics is a central concept to natural language understanding.
A qualitative measure to perceive language semantics is to measure the similarity between texts. Semantic Textual Similarity finds applications in almost
all major areas of Natural Language Processing (NLP) including textual entailment, summarization, machine translation, etc. Despite major progress in
the recent years, especially with the intrusion of deep learning in NLP, mea-
suring semantic textual similarity, especially for longer texts, is still a chal-
lenging and open research problem. The ambiguous nature of language makes
semantic similarity more challenging and difficult to model. It is trivial to
produce examples of sentence pairs which are superficially similar but bear a
very different meaning and vice-versa. To address this problem, several type
of methods have been proposed over the years which span from traditional
knowledge-based methods to recent ones relying on deep neural networks and
large volumes of that data. Here in this work, we present a comprehensive sys-
tematic review of the various semantic similarity techniques. We emphasize the
various paradigms of semantic similarity measurement and resources available
to aid further research on this crucial topic. Our systematic literature review
would aid the reader to know about the evolution of semantic similarity techniques, the latest state-of-the-art methods, datasets to work-upon, challenges
and hence identify the research gaps.

Abstract (Czech):
jen anglický abstrakt k dispozici
The Unbearable Lightness of Morph Classification
Nesnesitelná lehkost klasifikace morfů
Year: 2023
Authors: Vojtěch John, Zdeněk Žabokrtský

Abstract (English):
In light of the recent push for the creation and unification of large morphologically annotated resources, there is a call for (preferably language-independent, low-resource) methods of morph classification. This paper reports on a pilot experiment on morph classification of the Czech language. We have performed two experiments - root morph recognition and complete morph classification. By exploiting simple quantitative methods and - in some cases - available Czech morphological resources, we have achieved morph-level precision of respectively 96.7 % and 88.3 %.

Abstract (Czech):
V souvislosti s nově vznikajícími morfologicky anotovanými datovými zdroji vzniká poptávka po metodách (ideálně jazykově nezávislých a nenáročných na trénovací data) schopných klasifikovat morfy. V tomto článku shrnujeme experiment s klasifikací českých morfů. Experiment byl realizován ve dvou verzích, rozpoznávání pouze kořenových morfů a kompletní klasifikace. Dosažená úspěšnost na úrovni morfů byla 96,7 %, respektive 88,3 %.
Identification of root morphs in morphologically segmented data
Rozpoznávání kořenových morfů v morfologicky segmentovaných datech
Year: 2023
Authors: Vojtěch John, Magda Ševčíková, Zdeněk Žabokrtský

Abstract (English):
As a result of the ongoing push for unification, extension and integration of morphological resources, need arises for reliable low-resource morph classification, especially root identification. The paper reports on our experiments with multiple root identification methods with various degrees of supervision, tested on several Indo-European languages, showing, among others, that given morphological segmentation, surprisingly good root identification can be achieved using simple unsupervised statistical methods, the main bottlenecks being compounding and homomorphy resolution.

Abstract (Czech):
V rámci standardizace a rozšiřování datových zdrojů pro morfologii vzniká potřeba spolehlivých metod pro klasifikaci morfů, zejména pro rozpoznávání kořenů. Článek shrnuji naše experimenty s různými metodami, s různým stupněm supervize. Vyhodnocení jsme provedli na několika indoevropských jazycích. Mimo jiné se ukázalo, že k překvapivě dobrým výsledkům vedou neřízené statistické metody. Problematickými tématy při rozpoznávání kořenových morfů zůstává skládání slov a homomorfie.
Proceedings of the 23rd Annual Meeting of the Special Interest Group on Discourse and Dialogue
Sborník příspěvků z 23. výročního zasedání Zvláštní zájmové skupiny pro diskurz a dialog
Year: 2022
Authors: Oliver Lemon, Dilek Hakkani-Tur, Junyi Jessy Li, Arash Ashrafzadeh, Daniel Hernández Garcia, Malihe Alikhani, David Vandyke, Ondřej Dušek

Abstract (English):
The SIGDIAL conference is a premier publication venue for research in discourse and dialogue. This year the conference is organized as a hybrid event with both in-person and remote participation on September 7-9, 2022, at Heriot-Watt University, Edinburgh, Scotland, and is hosted by the Interaction Lab and the National Robotarium.

Abstract (Czech):
Konference SIGDIAL je předním publikačním fórem pro výzkum diskurzu a dialogu. Letos je konference pořádána jako hybridní akce s osobní i vzdálenou účastí ve dnech 7.-9. září 2022 na Heriot-Watt University ve skotském Edinburghu a hostí ji Interaction Lab a National Robotarium.
Novelty Detection: A Perspective from Natural Language Processing
Detekce novosti: Pohled ze strany zpracování přiřozeného jazyka
Year: 2022
Authors: Tirthankar Ghosal, Tanik Saikh, Tameesh Biswas, Asif Ekbal, Pushpak Bhattacharyya

Abstract (English):
The quest for new information is an inborn human trait and has always been quintessential for human survival and progress. Novelty drives curiosity, which in turn drives innovation. In Natural Language Processing (NLP), Novelty Detection refers to finding text that has some new information to offer with respect to whatever is earlier seen or known. With the exponential growth of information all across the Web, there is an accompanying menace of redundancy. A considerable portion of the Web contents are duplicates, and we need efficient mechanisms to retain new information and filter out redundant information. However, detecting redundancy at the semantic level and identifying novel text is not straightforward because the text may have less lexical overlap yet convey the same information. On top of that, non-novel/redundant information in a document may have assimilated from multiple source documents, not just one. The problem surmounts when the subject of the discourse is documents, and numerous prior documents need to be processed to ascertain the novelty/non-novelty of the current one in concern. In this work, we build upon our earlier investigations for document-level novelty detection and present a comprehensive account of our efforts toward the problem. We explore the role of pre-trained Textual Entailment (TE) models to deal with multiple source contexts and present the outcome of our current investigations. We argue that a multipremise entailment task is one close approximation toward identifying semantic-level non-novelty. Our recent approach either performs comparably or achieves significant improvement over the latest reported results on several datasets and across several related tasks (paraphrasing, plagiarism, rewrite). We critically analyze our performance with respect to the existing state of the art and show the superiority and promise of our approach for future investigations. We also present our enhanced dataset TAP-DLND 2.0 and several baselines to the community for further research on document-level novelty detection.

Abstract (Czech):
Článek kriticky analyzuje současné metody detekce novosti a propaguje metodu textového vyplývání zahrnující více premis.