ufal/bilingual-abstracts-corpus huggingface dataset:
Capturing Numerals and Pronouns at the Morphological Layer in the Prague Dependency Treebanks of Czech
Zachycení číslovek a zájmen na morfologické rovině Pražských závislostních korpusů s českými texty
Year: 2021
Authors: Barbora Štěpánková, Marie Mikulová

Abstract (English):
The paper presents a novel and unified morphological description of numerals and pronouns, as compiled for the newest edition of the Prague Dependency Treebank (Prague Dependency Treebank – Consolidated 1.0) and its integral part the morphological dictionary MorfFlex. On the basis of considerable experience with real data annotation and the use of the morphological dictionary, particular changes were proposed. For both of the parts of speech a new set of subtypes was proposed, based mainly on the morphological criterion and its combination with semantic properties and other relevant features, such as definiteness in numerals and possessivity, reflexivity and clitichood in pronouns. Each subtype has a specific value at the 2nd position of the morphological tag which serves also as an indicator of the applicability of other tag categories.

Abstract (Czech):
Dokument prezentuje nový, sjednocený morfologický popis číslovek a zájmen, který byl zkompilován pro nejnovější vydání Pražských závislostních korpusů (Prague Dependency Treebank – Consolidated 1.0) a jeho nedílnou součást je morfologický slovník MorfFlex. Na základě zkušeností s anotací skutečných dat a s užíváním morfologického slovníku byly navrženy konkrétní změny. Pro oba slovní druhy byl navržen nový soubor podtypů, založený zejména na morfologickém kritériu a jeho kombinaci se sémantickými vlastnostmi a dalšími relevantními rysy, jako je ne/určitost u číslovek a posesivita, reflexivita a klitičnost u zájmen. Každý podtyp má specifickou hodnotu na 2. pozici morfologické značky, která slouží také jako ukazatel použitelnosti dalších kategorií ve značce.
Character Transformations for Non-Autoregressive GEC Tagging
Charakterové transformace pro neautoregresivní opravu gramatiky značkováním
Year: 2021
Authors: Milan Straka, Jakub Náplava, Jana Straková

Abstract (English):
We propose a character-based non-autoregressive GEC approach, with automatically generated character transformations. Recently, per-word classification of correction edits has proven an efficient, parallelizable alternative to current encoder-decoder GEC systems. We show that word replacement edits may be suboptimal and lead to explosion of rules for spelling, diacritization and errors in morphologically rich languages, and propose a method for generating character transformations from GEC corpus. Finally, we train character transformation models for Czech, German and Russian, reaching solid results and dramatic speedup compared to autoregressive systems. The source code is released at https://github.com/ufal/wnut2021_character_transformations_gec.

Abstract (Czech):
Představujeme neautoregresivní přístup k opravě gramatiky založený na znacích s automaticky generovanými transformacemi znaků. Nedávno byla jako alternativa k současným systémům pro opravu gramatiky typu enkodér-dekodér navržena klasifikace korekčních oprav jednotlivých slov. Ukazujeme, že náhrada celých slov může být neoptimální a může vést k explozi počtu pravidel pro opravy typu překlepů, diakritizační opravy a opravy v morfologicky bohatých jazycích, a proto navrhujeme metodu pro generování transformací znaků z korpusu pro opravu gramatiky. Dále jsme natrénovali znakové transformační modely pro češtinu, němčinu a ruštinu a dosáhli jsme solidních výsledků a dramatického zrychlení ve srovnání s autoregresivními systémy. Zdrojový kód je zveřejněn zde: https://github.com/ufal/wnut2021_character_transformations_gec.
RobeCzech: Czech RoBERTa, a Monolingual Contextualized Language Representation Model
RobeCzech: Česká RoBERTa, monolingvální kontextualizovaný jazykový model
Year: 2021
Authors: Milan Straka, Jakub Náplava, Jana Straková, David Samuel

Abstract (English):
We present RobeCzech, a monolingual RoBERTa language representation model trained on Czech data. RoBERTa is a robustly optimized Transformer-based pretraining approach. We show that RobeCzech considerably outperforms equally-sized multilingual and Czech-trained contextualized language representation models, surpasses current state of the art in all five evaluated NLP tasks and reaches state-of-the-art results in four of them. The RobeCzech model is released publicly at https://hdl.handle.net/11234/1-3691 and https://huggingface.co/ufal/robeczech-base.

Abstract (Czech):
Představujeme RobeCzech, jednojazyčnou RoBERTu, (jazykový model) trénovaný pouze na českých datech. RoBERTa je robustně optimalizovaný přístup pro předtrénování založený na Transformeru. V příspěvku ukazujeme, že RobeCzech výrazně překonává podobně velké vícejazyčné i české kontextualizované modely a zlepšuje současné výsledky v pěti vyhodnocovaných úlohách automatického jazykového zpracování, přičemž dosahuje nejlepších známých výsledků ve čtyřech z nich. Model RobeCzech je veřejně dostupný zde: https://hdl.handle.net/11234/1-3691 a zde: https://huggingface.co/ufal/robeczech-base.
HISTORICAL SOURCES OF GIANT MOUNTAINS – SOLUTION FOR DIGITAL ARCHIVES
PRAMENY KRKONOŠ – ŘEŠENÍ PRO DIGITÁLNÍ ARCHIVY
Year: 2021
Authors: Petra Hoffmannová, Jiří Kocián

Abstract (English):
The Giant Mountains is a region affected by a loss of historical and cultural memory due to the post-war radical political and social transformation of the local society. Efforts to recognize and analyze the historical and cultural identities of the region are greatly complicated primarily by the local, linguistic, and institutional fragmentation of the information sources. With the growing importance of computer technology in all fields, including social sciences, history and cultural studies, there is a need to digitise sources but also metasources and to create unified archives where all this information can be collected in an appropriate structure and then further worked with. The objective of the article is to present the design and development of a dedicated database for the project “Historical sources of Giant Mountains: Development of a system of record keeping, processing and presentation of (historical) sources for the history and for the culture of Giant Mountains and its use in research and in education”. The specialized database will, through its innovative software solution for recording, processing and presenting, gather and analyze the representative sources - corcontica (including annotations highlighting regional peculiarities), and refer to their physical location and to their digital versions where relevant. Accordingly, the article focuses primarily on describing individual database modules and their interlinks.

Abstract (Czech):
Krkonoše jsou region postižený ztrátou historické a kulturní paměti v důsledku poválečné radikální politické a sociální transformace místní společnosti. Snahy rozpoznat a analyzovat historické a kulturní identity regionu značně komplikuje především místní, jazyková a institucionální roztříštěnost informačních zdrojů. Vzhledem k rostoucímu významu počítačových technologií ve všech oblastech, včetně kultury, je třeba digitalizovat zdroje, ale také metazdroje a vytvořit sjednocené archivy, kde lze všechny tyto informace shromáždit ve vhodné struktuře a dále s nimi pracovat. Cílem článku je představit návrh a vývoj specializované databáze pro projekt „Prameny Krkonoš: Vývoj systému evidence, zpracování a prezentace pramenů k historii a kultuře Krkonoš a jeho využití ve výzkumu a edukaci“. - Specializovaná databáze bude prostřednictvím svého inovativního softwarového řešení zaznamenávat, zpracovávat a prezentovat, shromažďovat a analyzovat reprezentativní corcontica (včetně anotace upozorňující na regionální zvláštnosti) a odkazující na jejich fyzické umístění a případně na jejich digitální verze. Zaměřujeme se především na popis jednotlivých databázových modulů a jejich propojení.
Universal Derivations v1.1
Universal Derivations v1.1
Year: 2021
Authors: Lukáš Kyjánek, Zdeněk Žabokrtský, Jonáš Vidra, Magda Ševčíková

Abstract (English):
Universal Derivations (UDer) is a collection of harmonized lexical networks capturing word-formation, especially derivational relations, in a cross-linguistically consistent annotation scheme for many languages. The annotation scheme is based on a rooted tree data structure, in which nodes correspond to lexemes, while edges represent derivational relations or compounding. The current version of the UDer collection contains thirty-one harmonized resources covering twenty-one different languages.

Abstract (Czech):
Universal Derivations (UDer) je kolekce harmonizovaných lexikalních sítí zachycujících slovotvorné, zvl. derivační vztahy jednotlivých jazyků v témže anotačním schématu. Základní datovou strukturou tohoto anotačního schématu jsou zakořeněné stromy, ve kterých uzly odpovídají lexémům a hrany reprezentují derivační, příp. kompozitní vztahy. Stávající verze UDer v1.1 obsahuje 31 harmonizovaných zdrojů pokrývajících 21 různých jazyků.
DeriNet.RU v0.5
DeriNet.RU v0.5
Year: 2021
Authors: Lukáš Kyjánek, Olga Lyashevskaya, Anna Nedoluzhko, Daniil Vodolazsky, Zdeněk Žabokrtský

Abstract (English):
DeriNet.RU is DeriNet-like lexical network of that captures core word-formation relations for Russian. It is based on a top of large corpus Araneum Russicum Maius corpus and a novel combination of a grammar-based component, supervised machine-learning model of Random Forest, and Maximum Spanning Tree algorithm.

Abstract (Czech):
DeriNet.RU je lexikální síť inspirovaná formétem českého DeriNetu. Jako taková zachycuje základní vztahy pro tvorbu slov v ruštině. DeriNet.RU je vytvořen na podkladě slovníku z velkého korpusu Araneum Russicum Maius a na kombinaci gramatické komponenty, modelu strojového učení využívajícího metodu Random Forest a algoritmu Maximum Spanning Tree.
Alghoritmic Theatrum Mundi: Future of performance between pixels, algorithms and atoms?
Algoritmické Theatrum Mundi: Budoucnost performance mezi pixely, algoritmy a atomy?
Year: 2021
Authors: Dita Malečková, David Košťák, Rudolf Rosa, Ondřej Holba, Jan Mocek, Jan Tyl

Abstract (English):
We will meet to reflect upon the future of theater, performance arts and rituals in an age of algorithms, data and various attempts to virtualize every atom and moment of our lived experiences. Will our genuine expressions and experience of human agency in wondering, experimenting and even disobedience survive in the metaverse, ML and AIs driven systems or become predictable effects of new infrastructures? Is there an emerging posthuman aesthetics and creativity that we are liberating?

Abstract (Czech):
Během našeho setkání se zaměříme na budoucnost divadla, scénických umění a rituálů ve věku algoritmů, dat a různých pokusů virtualizovat každý atom a okamžik našich žitých zkušeností. Přežijí naše autentické způsoby vyjadřování a lidská zkušenost spojená s údivem, experimentováním a vzdorem v metaverzu, v systémech řízených strojovým učením a umělou inteligencí? Anebo se stanou předvídatelnými efekty nových infrastruktur? Vzniká posthumanistická estetika, osvobozujeme novou tvořivost?
Artificial intelligence is coming
Umělá inteligence nastupuje
Year: 2021
Authors: Naomi Adachi, Michal Isteník, David Košťák, Rudolf Rosa

Abstract (English):
We briefly introduce the THEaiTRE project and present a sample from the generated script.

Abstract (Czech):
V krátkém vstupu představíme projekt THEaiTRE a uvedeme ukázku z vygenerovaného scénáře.
Bengali Visual Genome: A Multimodal Dataset for Machine Translation and Image Captioning
Bengali Visual Genome: Multimodální dataset pro strojový překlad a popisy obrázků v bengálštině a angličtině
Year: 2021
Authors: Arghyadeep Sen, Shantipriya Parida, Ketan Kotwal,  Subhadarshi Panda, Ondřej Bojar, Satya Ranjan Dash

Abstract (English):
Multimodal machine translation (MMT) refers to the extraction of information from more than one modality aiming at performance improvement by utilizing information collected from the modalities other than pure text. The availability of multimodal datasets, particularly for Indian regional languages, is still limited, and thus, there is a need to build such datasets for regional languages to promote the state of MMT research. In this work, we describe the process of creation of the Bengali Visual Genome (BVG) dataset. The BVG is the first multimodal dataset consisting of text and images suitable for English-to-Bengali multimodal machine translation tasks and multimodal research. We also demonstrate the sample use-cases of machine translation and region-specific image captioning using the new BVG dataset. These results can be considered as the baseline for subsequent research.

Abstract (Czech):
Článek představuje nový dataset Bengali Visual Genome pro multimodální překlad mezi angličtinou a bengálštinou.
Examining Cross-lingual Contextual Embeddings with Orthogonal Structural Probes
Zkoumání vícejazyčných kontextových vložek s ortogonálními strukturálními sondami
Year: 2021
Authors: Tomasz Limisiewicz, David Mareček

Abstract (English):
State-of-the-art contextual embeddings are obtained from large language models available only for a few languages. For others, we need to learn representations using a multilingual model. There is an ongoing debate on whether multilingual embeddings can be aligned in a space shared across many languages. The novel Orthogonal Structural Probe (Limisiewicz and Mareček, 2021) allows us to answer this question for specific linguistic features and learn a projection based only on mono-lingual annotated datasets. We evaluate syntactic (UD) and lexical (WordNet) structural information encoded inmBERT's contextual representations for nine diverse languages. We observe that for languages closely related to English, no transformation is needed. The evaluated information is encoded in a shared cross-lingual embedding space. For other languages, it is beneficial to apply orthogonal transformation learned separately for each language. We successfully apply our findings to zero-shot and few-shot cross-lingual parsing.

Abstract (Czech):
Nejmodernější kontextové vložení získáváme z velkých jazykových modelů dostupných pouze pro několik jazyků. U ostatních se musíme naučit reprezentace pomocí mnohojazyčného modelu. Probíhá diskuse o tom, zda lze vícejazyčné vložení sladit do prostoru sdíleného v mnoha jazycích. Ortogonální strukturální sonda (Limisiewicz a Mareček, 2021) nám umožňuje odpovědět na tuto otázku pro specifické jazykové rysy a naučit se projekci založenou pouze na jednojazyčných komentovaných datových souborech. Hodnotíme syntaktické (UD) a lexikální (WordNet) strukturální informace zakódované v mBERT kontextové reprezentaci pro devět různých jazyků. Pozorujeme, že u jazyků úzce spjatých s angličtinou není nutná žádná transformace. Vyhodnocená informace je zakódována ve sdíleném mezijazyčném vkládacím prostoru. Pro ostatní jazyky je výhodné použít ortogonální transformaci naučenou samostatně pro každý jazyk. Úspěšně aplikujeme naše zjištění na nulovou a málo natočenou analýzu přes jazyk.
Examining Cross-lingual Contextual Embeddings with Orthogonal Structural Probes
Zkoumání vícejazyčných kontextových vložek s ortogonálními strukturálními sondami
Year: 2021
Authors: Tomasz Limisiewicz, David Mareček

Abstract (English):
State-of-the-art contextual embeddings are obtained from large language models available only for a few languages. For others, we need to learn representations using a multilingual model. There is an ongoing debate on whether multilingual embeddings can be aligned in a space shared across many languages.
The novel Orthogonal Structural Probe (Limisiewicz and Mareček, 2021) allows us to answer this question for specific linguistic features and learn a projection based only on mono-lingual annotated datasets. We evaluate syntactic (UD) and lexical (WordNet) structural information encoded inmBERT's contextual representations for nine diverse languages.
We observe that for languages closely related to English, no transformation is needed. The evaluated information is encoded in a shared cross-lingual embedding space. For other languages, it is beneficial to apply orthogonal transformation learned separately for each language. We successfully apply our findings to zero-shot and few-shot cross-lingual parsing.

Abstract (Czech):
Nejmodernější kontextové vložení získáváme z velkých jazykových modelů dostupných pouze pro několik jazyků. U ostatních se musíme naučit reprezentace pomocí mnohojazyčného modelu. Probíhá diskuse o tom, zda lze vícejazyčné vložení sladit do prostoru sdíleného v mnoha jazycích.
Ortogonální strukturální sonda (Limisiewicz a Mareček, 2021) nám umožňuje odpovědět na tuto otázku pro specifické jazykové rysy a naučit se projekci založenou pouze na jednojazyčných komentovaných datových souborech. Hodnotíme syntaktické (UD) a lexikální (WordNet) strukturální informace zakódované v mBERT kontextové reprezentaci pro devět různých jazyků.
Pozorujeme, že u jazyků úzce spjatých s angličtinou není nutná žádná transformace. Vyhodnocená informace je zakódována ve sdíleném mezijazyčném vkládacím prostoru. Pro ostatní jazyky je výhodné použít ortogonální transformaci naučenou samostatně pro každý jazyk. Úspěšně aplikujeme naše zjištění na nulovou a málo natočenou analýzu přes jazyk.
Introducing Orthogonal Constraint in Structural Probes
Zavedení ortogonálního omezení ve strukturálních sondách
Year: 2021
Authors: Tomasz Limisiewicz, David Mareček

Abstract (English):
With the recent success of pre-trained models in NLP, a significant focus was put on interpreting their representations. One of the most prominent approaches is structural probing (Hewitt and Manning, 2019), where a linear projection of word embeddings is performed in order to approximate the topology of dependency structures. In this work, we introduce a new type of structural probing, where the linear projection is decomposed into 1. iso-morphic space rotation; 2. linear scaling that identifies and scales the most relevant dimensions. In addition to syntactic dependency, we evaluate our method on two novel tasks (lexical hypernymy and position in a sentence). We jointly train the probes for multiple tasks and experimentally show that lexical and syntactic information is separated in the representations. Moreover, the orthogonal constraint makes the Structural Probes less vulnerable to memorization.

Abstract (Czech):
Vzhledem k nedávnému úspěchu předcvičených modelů v NLP byla velká pozornost věnována interpretaci jejich vyjádření. Jedním z nejvýraznějších přístupů je strukturální sondování (Hewitt a Manning, 2019), kde se provádí lineární projekce slovních vložek s cílem přiblížit topologii závislostních struktur. Při této práci zavedeme nový typ strukturálního sondování, kdy se lineární projekce rozloží na 1. izomorfní prostorovou rotaci, 2. lineární škálování, které určí a změří nejdůležitější rozměry. Kromě syntaktické závislosti hodnotíme naši metodu na dvou neotřelých úkolech (lexikální hypernymie a pozice ve větě). Společně cvičíme sondy pro více úkolů a experimentálně ukazujeme, že lexikální a syntaktické informace jsou v reprezentacích odděleny. Díky ortogonálnímu omezení jsou navíc Strukturální sondy méně náchylné k memorování.
Introducing Orthogonal Constraint inStructural Probes
Zavedení ortogonálního omezení ve strukturálních sondách
Year: 2021
Authors: Tomasz Limisiewicz, David Mareček

Abstract (English):
With the recent success of pre-trained models in NLP, a significant focus was put on interpreting their representations. One of the most prominent approaches is structural probing (Hewitt and Manning, 2019), where a linear projection of word embeddings is performed in order to approximate the topology of dependency structures. In this work, we introduce a new type of structural probing, where the linear projection is decomposed into 1. iso-morphic space rotation; 2. linear scaling that identifies and scales the most relevant dimensions. In addition to syntactic dependency, we evaluate our method on two novel tasks (lexical hypernymy and position in a sentence). We jointly train the probes for multiple tasks and experimentally show that lexical and syntactic information is separated in the representations. Moreover, the orthogonal constraint makes the Structural Probes less vulnerable to memorization.

Abstract (Czech):
Vzhledem k nedávnému úspěchu předcvičených modelů v NLP byla velká pozornost věnována interpretaci jejich vyjádření. Jedním z nejvýraznějších přístupů je strukturální sondování (Hewitt a Manning, 2019), kde se provádí lineární projekce slovních vložek s cílem přiblížit topologii závislostních struktur. Při této práci zavedeme nový typ strukturálního sondování, kdy se lineární projekce rozloží na 1. izomorfní prostorovou rotaci, 2. lineární škálování, které určí a změří nejdůležitější rozměry. Kromě syntaktické závislosti hodnotíme naši metodu na dvou neotřelých úkolech (lexikální hypernymie a pozice ve větě). Společně cvičíme sondy pro více úkolů a experimentálně ukazujeme, že lexikální a syntaktické informace jsou v reprezentacích odděleny. Díky ortogonálnímu omezení jsou navíc Strukturální sondy méně náchylné k memorování
Hand-ling 'road rage': Embodiment in conflict on the move
Tělesné jednání během konfliktu v pohybu
Year: 2021
Authors: Mike Lloyd, Jakub Mlynář

Abstract (English):
Although mobility and movement has recently gained importance within interactionist studies of social action, not much is known about the consequentiality of being on the move for the particular unfolding of interactional episodes. Utilising two publicly accessible video clips of ‘road rage’ situations, we describe and analyse the centrality of hand-work in the escalation and decline of an emotionally charged interaction between members of traffic. Avoiding an a priori cognitivist stance, we show in detail how the work of hands can be constitutive of anger itself, and that it can lead to open conflict on the boundary of physical violence.

Abstract (Czech):
Ačkoli mobilita a pohyb získaly v poslední době na významu v interakcionistickém výzkumu společenského jednání, není příliš známo, jaké důsledky má pohyb pro konkrétní vývoj interakčních epizod. Prostřednictvím dvou veřejně přístupných videoklipů zachycujících situace „silniční zuřivosti“ popisujeme a analyzujeme stěžejní rysy práce rukou při eskalaci a úpadku emocionálně nabité interakce mezi účastníky silničního provozu. Vyhýbáme se apriorně kognitivistickému postoji a v detailech ukazujeme, jak může být práce rukou sama o sobě konstituentem vzteku a že může vést k otevřenému konfliktu na hranici fyzického násilí.
Pragmatic aspects in the description of discourse coherence
Pragmatické aspekty v popisu textové koherence
Year: 2021
Authors: Lucie Poláková, Pavlína Synková

Abstract (English):
The study presents a qualitative analysis of pragmatic discourse relations as annotated on Czech
texts of the Prague Dependency Treebank. A detailed study of these relations (as opposed to semantic
relations) with their widest contexts reveals a considerable diversity and shows some space
for improvement in the annotation scheme.

Abstract (Czech):
Předkládaná studie se zabývá kvalitativní analýzou specifické skupiny vztahů textové koherence, a to takovými vztahy, které byly v anotaci Pražského diskurzního korpusu označeny jako pragmatické či „nepravé“, na rozdíl od většinově se vyskytujících vztahů sémantických.
Discourse Relations and Connectives in Higher Text Structure
Diskurzní vztahy a konektory ve vyšší výstavbě textu
Year: 2021
Authors: Lucie Poláková, Jiří Mírovský, Šárka Zikánová, Eva Hajičová

Abstract (English):
The present article investigates possibilities and limits of local (shallow) analysis of discourse coherence with respect to the phenomena of global coherence and higher composition of texts.

Abstract (Czech):
Tento článek zkoumá možnosti a limity lokální analýzy textové koherence s ohledem na jevy globální koherence a vyšší výstavby textu.