ufal/bilingual-abstracts-corpus huggingface dataset:
Stylometry in a Bilingual Setup
Stylometrie na textech ve dvou jazycích
Year: 2020
Authors: Silvie Cinková, Jan Rybicki

Abstract (English):
The method of stylometry by most frequent words does not allow direct comparison of original texts and their translations, i.e. across languages. For instance, in a bilingual Czech-German text collection containing parallel texts (originals and translations in both directions, along with Czech and German translations from other languages), authors would not cluster across languages, since frequency word lists for any Czech texts are obviously going to be more similar to each other than to a German text, and the other way round. We have tried to come up with an interlingua that would remove the language-specific features and possibly keep the linguistically independent features of individual author signal, if they exist. We have tagged, lemmatized, and parsed each language counterpart with the corresponding language model in UDPipe, which provides a linguistic markup that is cross-lingual to a significant extent. We stripped the output of language-dependent items, but that alone did not help much. As a next step, we transformed the lemmas of both language counterparts into shared pseudolemmas based on a very crude Czech-German glossary, with a 95.6% success. We show that, for stylometric methods based on the most frequent words, we can do without translations.

Abstract (Czech):
Metoda stylometrie nejčastějšími slovy neumožňuje přímé srovnání původních textů a jejich překladů, tj. Napříč jazyky. Například v dvojjazyčné česko-německé textové sbírce obsahující paralelní texty (originály a překlady v obou směrech spolu s českými a německými překlady z jiných jazyků) by autoři neshlukovali mezi jazyky, protože seznamy četných slov pro jakékoli české texty jsou zjevně bude se více podobat německému textu a naopak. Pokusili jsme se přijít s interlinguou, která by odstranila rysy specifické pro jazyk a případně zachovala jazykově nezávislé rysy signálu jednotlivého autora, pokud existují. Každý jazykový protějšek jsme označili, lemmatizovali a analyzovali odpovídajícím jazykovým modelem v UDPipe, který poskytuje jazykové označení, které je do značné míry vícejazyčné. Odstranili jsme výstup jazykově závislých položek, ale to samo o sobě moc nepomohlo. V dalším kroku jsme transformovali lemma obou jazykových protějšků na sdílená pseudolemata na základě velmi hrubého česko-německého glosáře s 95,6% úspěšností. Ukazujeme, že u stylometrických metod založených na nejčastějších slovech se můžeme obejít bez překladů.
The suffixes -ismus and -ita in nouns in Czech
Přípony -ismus a -ita v substantivech v češtině
Year: 2020
Authors: Magda Ševčíková

Abstract (English):
The interplay between borrowing and word formation (in particular, derivation) is documented on the example of the suffixes -ismus and -ita,  which are listed among the most common suffixes in loan nouns in Czech. They are both used to form abstract nouns but differ in many aspects. The suffix -ismus combines with bases that form larger derivational families than those of -ita but still most nouns in -ita share their root with several other derivatives, too. By analysing selected derivatives and their mutual relations across a large amount of derivational families, I demonstrate that the size and inner structure of derivational families can provide significant knowledge about the meaning of the formations analysed. The meanings of the suffixes are described using patterns which involve the most relevant derivatives with explicitly marked derivational relations. Using the patterns, it is possible to explain semantic nuances that have not been described with loan words in Czech so far.

Abstract (Czech):
Vzájemná provázanost přejímání slov a slovotvorby (specificky derivace) je demonstrována na příkladu přípon -ismus a -ita,  které jsou uváděny mezi nejběžnějšími příponami v přejatých substantivech v češtině. Obě přípony odvozují abstraktní substantiva, nicméně v mnoha dalších ohledech se liší. Přípona -ismus se kombinuje se základy, které vytvářejí větší derivační rodiny než základy kombinované s -ita, ale i substantiva na -ita většinou sdílejí svůj kořen s několika dalšími deriváty. Analýzou vybraných derivátů a jejich vzájemných vztahů napříč velkého množství derivačních rodin ukazuji, že velikost a vnitřní struktura derivačních rodin může poskytnout informace o významu analyzovaných derivátů. Význam přípon je popsán pomocí vzorců, do kterých jsou zahrnuty relevantní deriváty s explicitně vyznačenými derivačními vztahy. S použitím těchto vzorců je možné vysvětlit sémantické nuance, které u přejaých slov v češtině zatím nebyly popsány.
Patterns in derivation of Czech: Applying the paradigmatic approach to Czech word-formation
Vzorce v odvozování slov v češtině: Aplikace paradigmatického přístupu na českou slovotvorbu
Year: 2020
Authors: Magda Ševčíková

Abstract (English):
Concurring with the recent discussion on derivational paradigms (Bonami & Strnadová 2018, Fernandéz-Alcaina & Čermák 2018, Štekauer 2014, and others), I will present two case studies which aim at identification of repeating patterns (paradigms) in derivational morphology of Czech.

First, suffixless action nouns derived from verbs (skok 'jump') are analysed and contrasted with unmotivated suffixless nouns (noc 'night') from which denominal verbs are derived. The corpus data reveal that suffixless action nouns correspond mostly to a pair of verbs with aspect-changing suffixes (cf. skákat : skočit 'to jump.PFV|IPFV' > skok 'jump'). In contrast, verbs that are based on nouns use a prefix to change the aspect (noc 'night' > nocovat 'to stay.IPFV overnight' > přenocovat 'to stay.PFV overnight').

The difference between verbs with verbal roots vs. nominal roots is elaborated into two patterns which are exploited in the second case study on verbal morphology. Assuming that, according to my analysis, Czech native verbs with verbal roots prefer to change the aspect by substituting the suffix (navrhnout : navrhovat 'to propose.PFV|IPFV') while verbs with nominal roots attach a prefix (nocovat : přenocovat 'to stay.PFV|IPFV overnight'), a clear dominance of the prefixation pattern with loan verbs (e.g. kontrolovat : zkontrolovat 'to control.PFV|IPFV') over the suffixation pattern (riskovat : risknout 'to risk.PFV|IPFV') suggests that loan verbs in Czech resemble native denominal verbs.

Abstract (Czech):
V návaznosti na aktuální diskuzi o derivačních paradigmatech ve slovotvorbě přednáška představí dvě případové studie, jejichž cílem je identifikace opakujících se vzorců (paradigmat) v derivační morfologii češtiny. První studie se zabývá odvozováním bezpříponových dějových substantiv, druhá studie slovotvorných chováním přejatých sloves v češtině.
Zero-derived nominals in a language with obligatory verbal suffixes: The case of Czech
Deverbální substantiva odvozená nulovou derivací v jazyce s obligatorními verbálními sufixy: Situace v češtině
Year: 2020
Authors: Magda Ševčíková

Abstract (English):
In  Czech, derivational  zero  suffixes  are  assumed  to  occur  in  nouns  that  denote  an  action  or  a  result. These nouns are viewed as derived from verbs because the action meaning is primarily expressed by verbs. As verbs in Czech are obligatorily marked by a thematic suffix conveying grammatical aspect, deverbal  zero-suffix  nouns  belong  to  the  minority  of  derivations  that  have  a  simpler  morphemic structure  than  their  base  words  and  violate  thus  the  general  account  of  derivation  as  an  affix-adding process. In the paper, zero-derived nouns are analysed with respect to the motivating verbs and to competing nominalizations with overt suffixes.

Abstract (Czech):
V češtině se nulový odvozovací sufix předpokládá u substantiv s významem děje nebo výsledku. Tato substantiva jsou považována za deverbální deriváty, protože tyto významy jsou primárně vyjadřovány slovesy. V příspěvku jsou substantiva s nulovou příponu analyzována ve vztahu k základovým slovesům i ve vztahu ke konkurenčním substantivům s nenulovými příponami.
Universal Dependencies v2: An Evergrowing Multilingual Treebank Collection
Universal Dependencies v2: stále rostoucí mnohojazyčná sbírka treebanků
Year: 2020
Authors: Joakim Nivre, Marie-Catherine de Marneffe, Filip Ginter, Jan Hajič, Christopher Manning, Sampo Pyysalo, Sebastian Schuster, Francis Tyers, Daniel Zeman

Abstract (English):
Universal Dependencies is an open community effort to create cross-linguistically consistent treebank annotation for many languages within a dependency-based lexicalist framework. The annotation consists in a linguistically motivated word segmentation; a morphological layer comprising lemmas, universal part-of-speech tags, and standardized morphological features; and a syntactic layer focusing on syntactic relations between predicates, arguments and modifiers. In this paper, we describe version 2 of the guidelines (UD v2), discuss the major changes from UD v1 to UD v2, and give an overview of the currently available treebanks for 90 languages.

Abstract (Czech):
Universal Dependencies je komunitní projekt, jehož cílem je vytvořit mnohojazyčnou sbírku korpusů anotovaných způsobem, který je konzistentní napříč jazyky, v rámci závislostního lexikalistického přístupu. Anotace sestává z lingvisticky motivované segmentace na slova, z morfologické roviny obsahující lemmata, univerzální slovní kategorie a standardizované morfologické rysy, jakož i ze syntaktické roviny, která se zaměřuje na syntaktické vztahy mezi predikáty, argumenty a volnými rozvitími.
Cross-Lingual Information Retrieval
Mezijazyčné vyhledávání informací
Year: 2020
Authors: Rudolf Rosa

Abstract (English):
Cross-Lingual Information Retrieval (for Elitr LangTools workshop at Eurosai 2020)

Abstract (Czech):
Mezijazyčné vyhledávání informací (pro Elitr LangTools workshop při Eurosai 2020)
Cross-Lingual Information Retrieval DEMO
DEMO mezijazyčného vyhledávání informací
Year: 2020
Authors: Rudolf Rosa

Abstract (English):
The Cross-Lingual Information Retrieval (CLIR) tool allows you to search in documents in various languages, using your own language both to enter the search query as well as to display the search results, thanks to automated machine translation.
In the demo, you can search in audits and other documents published by the Czech and Belgian Supreme Audit Institutions. The demo works in English, German, French and Czech.

Abstract (Czech):
Nástroj Cross-Lingual Information Retrieval (CLIR) vám umožňuje vyhledávat v dokumentech v různých jazycích a pomocí vlastního jazyka zadávat vyhledávací dotaz i zobrazovat výsledky vyhledávání díky automatizovanému strojovému překladu.
V ukázce můžete vyhledávat v auditech a dalších dokumentech publikovaných českými a belgickými nejvyššími kontrolními institucemi. Demo funguje v angličtině, němčině, francouzštině a češtině.
Deliverable D7.2 Report on NLP Technologies Workshop at EUROSAI Congress
Deliverable D7.2 Report o workshopu o jazykových technologiích na kongresu EUROSAI
Year: 2020
Authors: Rudolf Rosa

Abstract (English):
This deliverable reports on the preparation of the LangTools workshop at EUROSAI Congress 2020, aimed at presenting NLP Technologies to supreme audit institution (SAI) representatives.

Abstract (Czech):
Tento deliverable reportuje přípravu workshopu LangTools na kongres EUROSAI 2020, zaměřeného na prezentaci jazykových technologií zástupcům nejvyšších kontrolních úřadů.
THEaiTRE: Artificial Intelligence to Write a Theatre Play
THEaiTRE: Umělá inteligence píše divadelní hru
Year: 2020
Authors: Rudolf Rosa

Abstract (English):
We present the THEaiTRE project, in which we are trying to computationally generate a theatre play script.

Abstract (Czech):
Představujeme projekt THEaiTRE, ve kterém se snažíme počítačově vygenerovat scénář divadelní hry.
THEaiTRE: Artificial intelligence to write a theatre play
THEaiTRE: Umělá inteligence píše divadelní hru
Year: 2020
Authors: Rudolf Rosa

Abstract (English):
In the paper, we introduce the THEaiTRE project, which aims to automatically generate a theatre play script. We look at how this is done, how successful we have been so far and what problems we are facing.

Abstract (Czech):
V článku představíme projekt THEaiTRE, který si dává za cíl automaticky vygenerovat scénář divadelní hry. Podíváme se, jak to děláme, jak se nám to zatím daří a na jaké problémy narážíme.
THEaiTRE: Artificial intelligence to write a theatre play
THEaiTRE: Umělá inteligence píše divadelní hru
Year: 2020
Authors: Rudolf Rosa

Abstract (English):
Artificial intelligence is increasingly intruding into our lives, complementing or replacing people in various activities such as driving a car, translating text or making short news stories. We decided to give it a really challenging assignment: to write a new play. How's he going to deal with it? Can artificial intelligence create works of art? Should we even let it? What should be the role of artificial intelligence in society?

Abstract (Czech):
Umělá inteligence stále více zasahuje do našich životů a doplňuje či nahrazuje lidi v různých činnostech, jako je řízení auta, překlad textu či vytváření krátkých novinových zpráv. My jsme se rozhodli jí zadat opravdu náročný úkol: napsat novou divadelní hru. Jak se s tím popere? Zvládne umělá inteligence tvořit umělecká díla? A měli bychom jí to vůbec dovolit? Jaká by měla být role umělé inteligence ve společnosti?
Artificial Intelligence and Creativity
Umělá inteligence a kreativita
Year: 2020
Authors: Rudolf Rosa

Abstract (English):
Karel Čapek wrote about robots in 1920, are robots capable of writing a play about Karel Čapek these days? Do we want artificial intelligence to interfere with art? What is society's awareness of the use of robotics? And what will happen in the future? It is THEAITRE and Rudolf that will provide answers to these questions in their presentation at the InnoCamp.

Abstract (Czech):
Karel Čapek psal v roce 1920 o robotech, jsou v dnešní době roboti schopni napsat divadelní hru o Karlu Čapkovi? Chceme, aby umělá inteligence zasahovala do umění? Jaké je povědomí společnosti o využívání robotiky? A jak vývoj nastane v budoucnu? Odpovědi na tyto otázky přinese právě projekt THEAITRE a Rudolf ve své prezentaci na InnoCampu.
THEaiTRE: Artificial Intelligence to Write a Theatre Play
THEaiTRE: Umělá inteligence píše divadelní hru
Year: 2020
Authors: Rudolf Rosa, Ondřej Dušek, Tom Kocmi, David Mareček, Tomáš Musil, Patrícia Schmidtová, Dominik Jurko, Ondřej Bojar, Daniel Hrbek, David Košťák, Martina Kinská, Josef Doležal, Klára Vosecká

Abstract (English):
We present THEaiTRE, a starting research project aimed at automatic generation of theatre play scripts.
This paper reviews related work and drafts an approach we intend to follow.
We plan to adopt generative neural language models and hierarchical generation approaches, supported by summarization and machine translation methods, and complemented with a human-in-the-loop approach.

Abstract (Czech):
Prezentujeme THEaiTRE, začínající výzkumný projekt zaměřený na automatické generování scénářů divadelních her. Tento článek podává přehled související literatury a návrh přístupu, který plánujeme použít.
Konkrétně jde o generativní neuronové jazykové modely a metody hierarchického generování, s podporou automatické sumarizace a strojového překladu, doplněné o přístupy používající manuální lidské vstupy.
Science Café interview: With Rudolf Rosa on artificial intelligence and the THEaiTRE project
Science Café rozhovor: S Rudolfem Rosou o umělé inteligenci a projektu THEaiTRE
Year: 2020
Authors: Rudolf Rosa, Roman Hájek

Abstract (English):
The THEaiTRE project provocatively asks if a robot can write a play. Over the past few months, scientists at MFF UK, in collaboration with DAMU experts, dramatists and actors, have programmed artificial intelligence to be able to generate a play script. The experiment is scheduled to premiere at 25. 11 in the Švanda Theatre – exactly 100 years since the premiere of Karel Čapek's R.U.R. play, whose anniversary it also marks.

Abstract (Czech):
Projekt THEaiTRE se provokativně ptá, zda robot zvládne napsat divadelní hru. V uplynulých měsících vědci z MFF UK ve spolupráci s odborníky z DAMU, dramaturgy a herci programovali umělou inteligenci tak, aby zvládla generovat scénář hry. Experiment má plánovanou premiéru na 25. 1. ve Švandově divadle – přesně 100 let od premiéry hry Karla Čapka R.U.R., jejíž výročí tím zároveň připomíná.
Measuring Memorization Effect in Word-Level Neural Networks Probing
Měření memorizačního efektu v probingu neuronových sítí na úrovni slov
Year: 2020
Authors: Rudolf Rosa, Tomáš Musil, David Mareček

Abstract (English):
Multiple studies have probed representations emerging in neural networks trained for end-to-end NLP tasks and examined what word-level linguistic information may be encoded in the representations.
In classical probing, a classifier is trained on the representations to extract the target linguistic information.
However, there is a threat of the classifier simply memorizing the linguistic labels for individual words, instead of extracting the linguistic abstractions from the representations, thus reporting false positive results.
While considerable efforts have been made to minimize the memorization problem, the task of actually measuring the amount of memorization happening in the classifier has been understudied so far.
In our work, we propose a simple general method for measuring the memorization effect, based on a symmetric selection of comparable sets of test words seen versus unseen in training.
Our method can be used to explicitly quantify the amount of memorization happening in a probing setup, so that an adequate setup can be chosen and the results of the probing can be interpreted with a reliability estimate.
We exemplify this by showcasing our method on a case study of probing for part of speech in a trained neural machine translation encoder.

Abstract (Czech):
Mnohé studie zkoumaly reprezentace vznikající v neuronových sítích trénovaných pro úkoly NLP a zkoumaly, jaké jazykové informace na úrovni slov mohou být v reprezentacích zakódovány.
V klasickém sondování je klasifikátor trénován na reprezentacích k získání cílové jazykové informace.
Hrozí však, že si klasifikátor pouze zapamatuje jazykové popisky pro jednotlivá slova, místo toho, aby z vyjádření vytěžil jazykové abstrakce, čímž by vykázal falešně pozitivní výsledky.
I když bylo vynaloženo značné úsilí na minimalizaci problému s memorizací, úkol skutečně změřit množství memorizace odehrávající se v klasifikaci byl zatím podceněn.
V naší práci navrhujeme jednoduchou obecnou metodu měření memorizačního efektu, založenou na symetrickém výběru srovnatelných sad viděných a neviděných slov pro trénování a testování.
Naši metodu lze použít k explicitní kvantifikaci množství memorování, které se děje, aby bylo možné zvolit adekvátní nastavení a výsledky sondování bylo možné spolehlivěji interpretovat.
To dokládáme ukázkou naší metody na případové studii sondování slovních druhů v natrénovaném enkodéru neuronového strojového překladu.
Results of the WMT20 Metrics Shared Task
Výsledky sdílené úlohy metrik WMT20
Year: 2020
Authors: Nitika Mathur, Johnny Tian-Zheng Wei, Markus Freitag, Qingsong Ma, Ondřej Bojar

Abstract (English):
This paper presents the results of the WMT20
Metrics Shared Task. Participants were asked
to score the outputs of the translation systems
competing in the WMT20 News Translation
Task with automatic metrics. Ten research
groups submitted 27 metrics, four of which
are reference-less “metrics”. In addition,
we computed five baseline metrics, including SENT BLEU, BLEU, TER and CHR F using the SacreBLEU scorer. All metrics were evaluated on how well they correlate at the
system-, document- and segment-level with
the WMT20 official human scores.
We present an extensive analysis on influence
of reference translations on metric reliability,
how well automatic metrics score human trans-
lations, and we also flag major discrepancies
between metric and human scores when eval-
uating MT systems. Finally, we investigate
whether we can use automatic metrics to flag
incorrect human ratings.

Abstract (Czech):
Tento dokument představuje výsledky WMT20
Metriky sdíleného úkolu. Účastníci byli dotázáni
k hodnocení výstupů překladatelských systémů
soutěžících v WMT20 News Translation s automatickými metrikami. Deset výzkumů
skupiny předložily 27 metrik, z nichž čtyři
jsou „metriky“ bez odkazů. Kromě toho jsme
vypočítali  pět základních metrik, včetně SENT BLEU, BLEU, TER a CHR F us-
SacreBLEU. Všechny metriky dobře korelují
na úrovni systému, dokumentu a segmentu s
oficiálním prekladem.
Předkládáme rozsáhlou analýzu vlivu
referenčních překladů o metrické spolehlivosti,
jak dobře automatické metriky hodnotí lidské preklady a také upozorňujeme na velké nesrovnalosti
mezi metrickým a lidským skóre při hodnocení 
systémem MT. Nakonec zkoumame,
zda můžeme použít automatické metriky k označení
nesprávného hodnocení lidí.
Reading Comprehension in Czech via Machine Translation and Cross-lingual Transfer
Čtení s porozuměním v češtině pomocí strojového překladu a mezijazyčného přenosu
Year: 2020
Authors: Kateřina Macková, Milan Straka

Abstract (English):
Reading comprehension is a well studied task, with huge training datasets in English. This work focuses on building reading comprehension systems for Czech, without requiring any manually annotated Czech training data. First of all, we automatically translated SQuAD 1.1 and SQuAD 2.0 datasets to Czech to create training and development data, which we release at http://hdl.handle.net/11234/1-3249. We then trained and evaluated several BERT and XLM-RoBERTa baseline models. However, our main focus lies in cross-lingual transfer models. We report that a XLM-RoBERTa model trained on English data and evaluated on Czech achieves very competitive performance, only approximately 2 percent points worse than a model trained on the translated Czech data. This result is extremely good, considering the fact that the model has not seen any Czech data during training. The cross-lingual transfer approach is very flexible and provides a reading comprehension in any language, for which we have enough monolingual raw texts.

Abstract (Czech):
Čtení s porozuměním je značně studovaný úkol s obrovskými trénovacími datasety v angličtině. Tato práce se zaměřuje na tvorbu systému čtení s porozuměním pro češtinu, aniž by byla potřeba ručně anotovaná česká trénovací data. Nejprve jsme automaticky přeložili datasety SQuAD 1.1 a SQuAD 2.0 do češtiny, abychom vytvořili trénovací a validační data, která zveřejňujeme na http://hdl.handle.net/11234/1-3249. Poté jsme natrénovali a vyhodnotili několik referenčních modelů založených na architekturách BERT a XLM-RoBERTa. Náš hlavní příspěvek však spočívá v modelech mezijazykového přenosu. Model XLM-RoBERTa, trénovaný na anglických datech a vyhodnocený na češtině, dosahuje velmi konkurenceschopných výsledků, jen přibližně o 2 procenta horší než model trénovaný na přeložených českých datech. Tento výsledek je mimořádně dobrý, vezmeme-li v úvahu skutečnost, že model během trénování neviděl žádná česká data. Mezijazykový přenos je velmi flexibilní a je pomocí něj možné vytvořit model v jakémkoli jazyce, pro který máme dostatek čistých dat.