ufal/bilingual-abstracts-corpus huggingface dataset:
Universal Anaphora: The First Three Years
Universal Anaphora: První tři roky
Year: 2024
Authors: Massimo Poesio, Maciej Ogrodniczuk, Vincent Ng, Sameer Pradhan, Juntao Yu, Nafise Sadat Moosavi, Silviu Paun, Amir Zeldes, Anna Nedoluzhko, Michal Novák, Martin Popel, Zdeněk Žabokrtský, Daniel Zeman

Abstract (English):
The aim of the Universal Anaphora initiative is to push forward the state of the art in anaphora and anaphora resolution by expanding the aspects of anaphoric interpretation which are or can be reliably annotated in anaphoric corpora, producing unified standards to annotate and encode these annotations, delivering datasets encoded according to these standards, and developing methods for evaluating models that carry out this type of interpretation. Although several papers on aspects of the initiative have appeared, no overall description of the initiative's goals, proposals and achievements has been published yet except as an online draft. This paper aims to fill this gap, as well as to discuss its progress so far.

Abstract (Czech):
Cílem iniciativy Universal Anaphora je posunout stav poznání v oblasti anafory a analýzy anafory tím, že rozšíříme aspekty interpretace anafory, které jsou nebo mohou být spolehlivě anotované v anaforických korpusech, vytvoříme jednotné standardy pro takové anotace, poskytneme sady dat s anotacemi podle těchto standardů a vyvineme metody hodnocení modelů, které vykonávají tento typ interpretace. I když už vyšlo několik článků popisujících jednotlivé aspekty této iniciativy, dosud nebyl publikován žádný souhrnný popis jejích cílů, návrhů a dosažených výsledků. Předkládaný článek má za cíl tuto mezeru zaplnit a probrat dosavadní pokrok iniciativy.
Exploring Interpretability of Independent Components of Word Embeddings with Automated Word Intruder Test
Zkoumání interpretovatelnosti nezávislých složek slovních embeddigů pomocí automatizovaného testu nevhodných slov
Year: 2024
Authors: Tomáš Musil, David Mareček

Abstract (English):
Analýza nezávislých komponent (ICA) je algoritmus původně vyvinutý pro vyhledávání oddělených zdrojů ve smíšeném signálu, například v nahrávce více osob mluvících ve stejnou dobu ve stejné místnosti. Na rozdíl od analýzy hlavních komponent (PCA) umožňuje ICA reprezentovat slovo jako nestrukturovanou sadu rysů, aniž by byl některý konkrétní rys považován za významnější než ostatní. V tomto článku jsme použili ICA k analýze slovních vložek. Zjistili jsme, že ICA lze použít k nalezení sémantických rysů slov a tyto rysy lze snadno kombinovat a hledat slova, která kombinaci vyhovují. Ukázali jsme, že většina nezávislých komponent představuje takové rysy. Ke kvantifikaci interpretovatelnosti komponent používáme test narušitelů slov, který provádějí jak lidé, tak velké jazykové modely. Navrhujeme použít automatizovanou verzi testu narušitele slov jako rychlý a levný způsob kvantifikace interpretovatelnosti vektorů bez nutnosti lidské práce.

Abstract (Czech):
Independent Component Analysis (ICA) is an algorithm originally developed for finding separate sources in a mixed signal, such as a recording of multiple people in the same room speaking at the same time. Unlike Principal Component Analysis (PCA), ICA permits the representation of a word as an unstructured set of features, without any particular feature being deemed more significant than the others. In this paper, we used ICA to analyze word embeddings. We have found that ICA can be used to find semantic features of the words and these features can easily be combined to search for words that satisfy the combination. We show that most of the independent components represent such features. To quantify the interpretability of the components, we use the word intruder test, performed both by humans and by large language models. We propose to use  the automated version of the word intruder test as a fast and inexpensive way of quantifying vector interpretability without the need for human effort.
Performing AI-Generated Theater Plays
Uvádění divadelních her generovaných umělou inteligencí
Year: 2024
Authors: Tomáš Musil, Klára Vosecká, Rudolf Rosa

Abstract (English):
In this chapter, we look at the theater play AI: When a Robot Writes a Play, which was created in a human-machine collaboration, and discuss the implications of the creation and production process on our understanding of authorship and performance.

Abstract (Czech):
V této kapitole se podíváme na divadelní hru AI: When a Robot Writes a Play, která vznikla ve spolupráci člověka a stroje, a rozebereme důsledky procesu tvorby a produkce na naše chápání autorství a performance.
Cost-Effective Discourse Annotation in the Prague Czech–English Dependency Treebank
Nákladově efektivní anotace diskurzu v Pražském česko-anglickém závislostním treebanku.
Year: 2024
Authors: Jiří Mírovský, Pavlína Synková, Lucie Poláková, Marie Paclíková

Abstract (English):
We present a cost-effective method for obtaining a high quality annotation of explicit discourse relations in the Czech part of the Prague Czech-English Dependency Treebank, utilizing three resources: (i) annotation projection from the Penn Discourse Treebank 3.0, (ii) manual tectogrammatical (deep syntax) representation of sentences of the corpus, and (iii) the Lexicon of Czech Discourse Connectives CzeDLex.

Abstract (Czech):
Představujeme nákladově efektivní metodu pro získání vysoce kvalitní anotace explicitních diskurzních vztahů v české části Pražského česko-anglického závislostního treebanku s využitím tří zdrojů: (i) projekce anotace z Penn Discourse Treebanku 3.0, (ii) ruční tektogramatické (hloubkové syntaktické) reprezentace vět korpusu a (iii) Slovníku českých diskurzních konektorů CzeDLex.
Fine-grained Classification of Circumstantial Meanings within the Prague Dependency Treebank Annotation Scheme
Jemná klasifikace okolnostních významů v rámci anotačního schématu Pražského závislostního korpusu
Year: 2024
Authors: Marie Mikulová

Abstract (English):
In the contribution, we propose a formally and semantically based fine-grained classification of circumstantial meanings based on the analysis of a large number of valuable examples from the Prague Dependency Treebanks. The methodology and principles of the presented approach are elaborated in detail and demonstrated on two case studies. The classification of circumstantial meanings is carried out for the Czech language, but the methodology and principles used are language independent. The contribution also addresses the question of language universality and specificity through a comparison with English. The aim of this work is to enrich the annotation in the Prague Dependency Treebanks with detailed information on circumstantial meanings but it may also be useful for other semantically oriented projects. To the best of our knowledge, a similar corpus-based and corpus-verified elaborate classification of circumstantial meanings has not yet been proposed in any annotation project. The contribution presents the results of an ongoing work.

Abstract (Czech):
V příspěvku navrhujeme formálně a sémanticky podloženou jemnozrnnou klasifikaci okolnostních významů na základě analýzy velkého množství příkladů z Pražských závislostních korpusů. Metodika a principy prezentovaného přístupu jsou podrobně rozpracovány a demonstrovány na dvou případových studiích. Klasifikace okolnostních významů se provádí pro český jazyk, ale použitá metodika a principy jsou jazykově nezávislé. Příspěvek se také zabývá otázkou jazykové univerzality a specifičnosti prostřednictvím srovnání s angličtinou. Cílem této práce je obohatit anotaci Pražských závislostních korpusů, ale navržená klasifikace může být užitečná i pro jiné sémanticky zaměřené projekty. Pokud je nám známo, podobná korpusově založená a korpusově ověřená propracovaná klasifikace okolnostních významů nebyla dosud navržena v žádném anotačním projektu. Příspěvek prezentuje výsledky probíhající práce.
The function-to-form principle in the determination of secondary forms (On the case of delimitation of circumstantial meanings)
Uplatňování funkčního přístupu při určování sekundárních předložek (na úloze klasifikace okolnostních významů)vání
Year: 2024
Authors: Marie Mikulová

Abstract (English):
Within the task of classifying circumstantial meanings, we revise existing approaches to the determination of secondary prepositions and conjunctions. Introducing a function-to-form approach, we propose three principles for determining secondary forms and their meanings. The functional approach sheds light on the nuanced nature of these formal means, highlighting their capacity to convey semantico-syntactic dependency and emphasising the dynamic and diverse nature of this class of formal means.

Abstract (Czech):
Na úkolu klasifikace okolnostních významů revidujeme dosavadní přístupy k určování sekundárních předložek a spojek. Zavedením přístupu od funkce k formě navrhujeme tři principy pro určování sekundárních forem a jejich významů. Funkční přístup poukazuje na nuanční povahu těchto formálních prostředků a zdůrazňuje jejich schopnost zprostředkovat sémantiko-syntaktickou závislost.
ReadabilityCzech
ReadabilityCzech - softwarová knihovna pro jazyk R
Year: 2024
Authors: Silvie Cinková

Abstract (English):
ReadabilityCzech computes readability of texts written in Czech with language-specific adaptations of the classic readability formulas Flesch Reading Ease and Flesch-Kincaid Grade Level.

Both readability formulas use counts of syllables, word counts per sentence, and sentence counts. The syllable counts per word are computed by a dedicated script in this package. The word and sentence counts are obtained from an automatic text analysis implemented by the udpipe package by J. Wijffels.

Abstract (Czech):
ReadabilityCzech počítá pochopitelnost česky psaného textu pomocí klasických vzorců Flesch Reading Ease a Flesch-Kincaid Grade Level adaptovaných na češtinu. Oba vzorce počítají s počtem slabik ve slově a počtem slov ve větě. Slabiky se počítají speciálním skriptem vyvinutým pro tento balíček. Počty vět a počty slov ve větách se získávají pomocí výstupu z největšího českého jazykového modelu parseru UDPipe.
Training data for the shared task Ideology and Power Identification in Parliamentary Debates
Trénovací data pro sdílený úkol Ideologie a identifikace moci v parlamentních debatách
Year: 2024
Authors: Çağrı Çöltekin, Matyáš Kopp, Vaidas Morkevičius, Nikola Ljubešić, Katja Meden, Tomaž Erjavec

Abstract (English):
This dataset contains a selection of speeches from ParlaMint corpora (version 4.0) as the training set for  the shared task on "Ideology and Power Identification in Parliamentary Debates" in CLEF 2024.

Abstract (Czech):
Tento datový soubor obsahuje výběr projevů z ParlaMint corpora (verze 4.0) jako tréninkový soubor pro sdílený úkol „Ideologie a identifikace moci v parlamentních debatách“ v CLEF 2024.
More than ChatGPT
Více než jen ChatGPT
Year: 2024
Authors: Rudolf Rosa

Abstract (English):
More than just ChatGPT: Principles and capabilities of current artificial intelligence tools

Abstract (Czech):
Více než jen ChatGPT: Principy a možnosti současných nástrojů umělé inteligence
AudioPSP 24.01: Audio recordings of proceedings of the Chamber of Deputies of the Parliament of the Czech Republic
AudioPSP 24.01: Audio recordings of proceedings of the Chamber of Deputies of the Parliament of the Czech Republic
Year: 2024
Authors: Matyáš Kopp

Abstract (English):
Audio recordings of proceedings of the Chamber of Deputies of the Parliament of the Czech Republic. Recordings cover all available audio files from 2013-11-25 to 2023-07-26.

Abstract (Czech):
Zvukové záznamy z jednání Poslanecké sněmovny Parlamentu České republiky. Záznamy pokrývají všechny dostupné zvukové soubory od 2013-11-25 do 2023-07-26.
ParCzech 4.0
ParCzech 4.0
Year: 2024
Authors: Matyáš Kopp

Abstract (English):
The ParCzech 4.0 corpus consists of stenographic protocols that record the Chamber of Deputies' meetings in the 7th term (2013-2017), the 8th term (2017-2021) and the current 9th term (2021-Jul 2023). The protocols are provided in their original HTML format, Parla-CLARIN TEI format. The corpus is automatically enriched with the morphological, syntactic, and named-entity annotations using the procedures UDPipe 2 and NameTag 2. The audio files are aligned with the texts in the annotated TEI files.

Abstract (Czech):
Korpus ParCzech 4.0 se skládá ze stenografických protokolů, které zaznamenávají schůze Poslanecké sněmovny v 7. volebním období (2013-2017), 8. volebním období (2017-2021) a aktuálním 9. volebním období (2021-7. 2023). Protokoly jsou poskytovány v původním HTML formátu, Parla-CLARIN TEI formátu. Korpus je automaticky obohacen o morfologické, syntaktické a pojmenované anotace pomocí postupů UDPipe 2 a NameTag 2. Zvukové soubory jsou sladěny s texty v komentovaných TEI souborech.
Function Words in Universal Dependencies
Funkční slova v Universal Dependencies
Year: 2024
Authors: Marie-Catherine de Marneffe, Joakim Nivre, Daniel Zeman

Abstract (English):
Languages differ in the way they encode grammatical structure, drawing on a wide range of strategies including the linear arrangement of words and phrases, morphological processes such as inflection, derivation, compounding and incorporation, as well as the use of specialized particles which may be realized as clitics or independent words. The latter are commonly known as function words.

Abstract (Czech):
Jazyky se liší v tom, jakým způsobem kódují gramatickou strukturu, přičemž využívají širokou škálu strategií včetně lineárního uspořádání slov a frází, morfologických procesů jako je ohýbání, odvozování, skládání slov a inkorporace, ale také použitím zvláštních částic, které mohou být realizovány jako příklonky nebo samostatná slova. Pokud jde o samostatná slova, používá se pro ně pojem funkční (též synsémantická) slova.
Building an Infrastructure for Uniform Meaning Representations
Budování infrastruktury pro UMR
Year: 2024
Authors: Julia Bonn, Matthew Buchholz, Jayeol Chun, Andrew Cowell, William Croft, Lukas Denk, Jens E L Van Gysel, Jan Hajič, Kenneth Lai, James Martin, Skatje Myers , Alexis Palmer, Martha Palmer, James Pustejovsky, Zdeňka Urešová, Nianwen Xue, Jin Zhao, Bennet Post, Kristine Stenzel, Haibo Sun, Rosa Vallejos, Sijia Ge

Abstract (English):
This paper reports the first release of the UMR (Uniform Meaning Representation) data set. UMR is a graph-based
meaning representation formalism consisting of a sentence-level graph and a document-level graph. The sentencelevel graph represents predicate-argument structures, named entities, word senses, aspectuality of events, as
well as person and number information for entities. The document-level graph represents coreferential, temporal,
and modal relations that go beyond sentence boundaries. UMR is designed to capture the commonalities and
variations across languages and this is done through the use of a common set of abstract concepts, relations, and
attributes as well as concrete concepts derived from words from individual languages. This UMR release includes
annotations for six languages (Arapaho, Chinese, English, Kukama, Navajo, Sanapana) that vary greatly in terms
of their linguistic properties and resource availability. We also describe on-going efforts to enlarge this data set
and extend it to other genres and modalities. We also briefly describe the available infrastructure (UMR annotation
guidelines and tools) that others can use to create similar data sets.

Abstract (Czech):
Tento článek informuje o prvním vydání datové sady UMR (Uniform Meaning Representation). UMR je na grafu založený
reprezentační formalismus, který se skládá z grafu na úrovni věty a grafu na úrovni dokumentu. Graf na úrovni věty reprezentuje struktury predikátových argumentů, pojmenované entity, slovní smysly, aspektualitu událostí, jako
i informace o osobách a číslech pro entity. Graf na úrovni dokumentu reprezentuje koreferenční, časové,
a modální vztahy, které přesahují hranice věty. UMR je navrženo tak, aby zachycovalo společné rysy a
variace napříč jazyky, a to pomocí společné sady abstraktních pojmů, relací a
atributů i konkrétních konceptů odvozených ze slov z jednotlivých jazyků. Tato verze UMR obsahuje
anotace pro šest jazyků (Arapaho, čínština, angličtina, Kukama, Navajo, Sanapana), které se značně liší z hlediska
jejich jazykových vlastností a dostupnosti zdrojů. Popisujeme také probíhající snahy o rozšíření této datové sady
a rozšířit ji na další žánry a modality. Dále stručně popisujeme dostupnou infrastrukturu (UMR anotace
pokyny a nástroje), které mohou ostatní použít k vytvoření podobných datových souborů.
Towards Unified Uni- and Multi-modal News Headline Generation
Směrem ke sjednocenému uni- a multimodálnímu vytváření titulků zpráv
Year: 2024
Authors: Mateusz Krubiński, Pavel Pecina

Abstract (English):
Thanks to the recent progress in vision-language modeling and the evolving nature of news consumption, the tasks of automatic summarization and headline generation based on multimodal news articles have been gaining popularity. One of the limitations of the current approaches is caused by the commonly used sophisticated modular architectures built upon hierarchical cross-modal encoders and modality-specific decoders, which restrict the model's applicability to specific data modalities – once trained on, e.g., text+video pairs there is no straightforward way to apply the model to text+image or text-only data. In this work, we propose a unified task formulation that utilizes a simple encoder-decoder model to generate headlines from uni- and multi-modal news articles. This model is trained jointly on data of several modalities and extends the textual decoder to handle the multimodal output.

Abstract (Czech):
Díky nedávnému pokroku v modelování vizuálního jazyka a vyvíjející se povaze spotřeby zpráv získávají na oblibě úkoly automatické sumarizace a generování titulků na základě multimodálních zpravodajských článků. Jedno z omezení současných přístupů je způsobeno běžně používanými sofistikovanými modulárními architekturami postavenými na hierarchických crossmodálních kodérech a dekodérech specifických pro modalitu, které omezují použitelnost modelu na konkrétní datové modality – jakmile jsou natrénovány např. na párech text+video. neexistuje žádný přímý způsob, jak aplikovat model na text+obrázek nebo pouze textová data. V této práci navrhujeme jednotnou formulaci úkolu, která využívá jednoduchý model kodér-dekodér pro generování titulků z uni- a multimodálních zpravodajských článků. Tento model je trénován společně na datech několika modalit a rozšiřuje textový dekodér o zpracování multimodálního výstupu.
Evaluating Optimal Reference Translations
Hodnocení optimálních referenčních překladů
Year: 2024
Authors: Vilém Zouhar, Věra Kloudová, Martin Popel, Ondřej Bojar

Abstract (English):
The overall translation quality reached by current machine translation (MT) systems for high-resourced language pairs is remarkably good. Standard methods of evaluation are not suitable nor intended to uncover the many translation errors and quality deficiencies that still persist. Furthermore, the quality of standard reference translations is commonly questioned and comparable quality levels have been reached by MT alone in several language pairs. Navigating further research in these high-resource settings is thus difficult. In this paper, we propose a methodology for creating more reliable document-level human reference translations, called “optimal reference translations,” with the simple aim to raise the bar of what should be deemed “human translation quality.” We evaluate the obtained document-level optimal reference translations in comparison with “standard” ones, confirming a significant quality increase and also documenting the relationship between evaluation and translation editing.

Abstract (Czech):
Celková kvalita překladu, které dosahují současné systémy strojového překladu (MT) pro jazykové páry s velkým množstvím zdrojů, je pozoruhodně vysoká. Standardní metody hodnocení nejsou vhodné ani nejsou určeny k odhalování chyb a nedostatků v kvalitě překladu, které stále přetrvávají. Kromě toho je kvalita standardních referenčních překladů běžně zpochybňována a srovnatelné úrovně kvality dosáhlysystémy MT pouze v několika jazykových párech. Orientace v dalším výzkumu v těchto podmínkách s velkým množstvím zdrojů je tedy obtížná. V tomto článku navrhujeme metodiku pro vytváření spolehlivějších referenčních dokumentů na úrovni lidských překladů, nazývaných "optimální referenční překlady", s jednoduchým cílem zvýšit laťku toho, co by mělo být považováno za "kvalitu lidského překladu". Získané optimální referenční překlady na úrovni dokumentů vyhodnocujeme v porovnání se "standardními" překlady, přičemž potvrzujeme výrazné zvýšení kvality a také dokumentujeme vztah mezi hodnocením a úpravou překladu.
Leak, Cheat, Repeat: Data Contamination and Evaluation Malpractices in Closed-Source LLMs
Kontaminace dat a nekalé praktiky při vyhodnocování komerčních jazykových modelů
Year: 2024
Authors: Simone Balloccu, Patrícia Schmidtová, Mateusz Lango, Ondřej Dušek

Abstract (English):
Natural Language Processing (NLP) research is becoming increasingly focused on the use of Large Language Models (LLMs), with some of the most popular ones being either fully or partially closed-source. The lack of access to model details, especially regarding training data, has repeatedly raised concerns about data contamination among researchers. Several attempts have been made to address this issue, but they are limited to anecdotal evidence and trial and error. Additionally, they overlook the problem of indirect data leaking, where models are iteratively improved by using data coming from users. In this work, we conduct the first systematic review of work using OpenAI's ChatGPT and GPT-4, the most prominently used LLMs today, in the context of data contamination. By analysing 255 papers and considering OpenAI's data usage policy, we extensively document how much data has been leaked to ChatGPT in the first year after the model's release. At the same time, we document a number of evaluation malpractices emerging in the reviewed papers, including unfair or missing baseline comparisons, reproducibility issues, and authors' lack of awareness of the data usage policy. Our work provides the first quantification of the ChatGPT data leakage problem.

Abstract (Czech):
Výzkum zpracování přirozeného jazyka (NLP) se stále více zaměřuje na používání velkých jazykových modelů (LLM), přičemž některé z nejpopulárnějších modelů jsou buď plně, nebo částečně closed-source. Nedostatečný přístup k údajům o modelu, zejména pokud jde o trénovací data, opakovaně vyvolává mezi výzkumníky obavy z kontaminace dat. Bylo učiněno několik pokusů o řešení tohoto problému, které se však omezují na anekdotické důkazy a pokusy a omyly. Navíc přehlížejí problém nepřímého úniku dat, kdy jsou modely iterativně vylepšovány pomocí dat pocházejících od uživatelů. V této práci provádíme první systematický přehled prací využívajících ChatGPT a GPT-4 společnosti OpenAI, dnes nejpoužívanější LLM, v kontextu kontaminace dat. Na základě analýzy 255 prací a s přihlédnutím k politice používání dat společnosti OpenAI rozsáhle dokumentujeme, kolik dat uniklo do modelu ChatGPT v prvním roce po jeho vydání. Současně dokumentujeme řadu chybných praktik při evaluaci, které se objevují v recenzovaných článcích, včetně nekorektních srovnání nebo chybějících baselines, problémů s reprodukovatelností a nedostatečného povědomí autorů o politice používání dat. Naše práce poskytuje první kvantifikaci problému úniku dat v ChatGPT.