ufal/bilingual-abstracts-corpus huggingface dataset:
Hidden in the Layers: Interpretation of Neural Networks for Natural Language Processing
Skryto ve vrstvách: Interpretace neuronových sítí pro zpracování přirozeného jazyka
Year: 2020
Authors: David Mareček, Jindřich Libovický, Tomáš Musil, Rudolf Rosa, Tomasz Limisiewicz

Abstract (English):
In recent years, deep neural networks dominated the area of Natural Language Processing (NLP). End-to-end-trained models can do tasks as skillfully as never before and develop their own language representations. However, they act as black boxes that are very hard to interpret. This calls for an inspection to what extent the linguistic conceptualizations are consistent with what the models learn. Do neural networks use morphology and syntax the way people do when they talk about language? Or do they develop their own way?
In our talk, we will half-open the neural black-box and analyze the internal representations of input sentences with respect to their morphological, syntactic, and semantic properties. We will focus on word embeddings as well as contextual embeddings and self-attentions of the Transformer models (BERT, NMT). We will show both supervised and unsupervised analysis approaches.

Abstract (Czech):
V posledních letech dominovaly hluboké neuronové sítě v oblasti zpracování přirozeného jazyka (NLP). Modely trénované od konce do konce mohou dělat úkoly stejně zručně jako nikdy předtím a rozvíjet vlastní vyjádření jazyka. Působí však jako černé skříňky, které je velmi těžké interpretovat. To vyžaduje kontrolu, do jaké míry jsou jazykové koncepce v souladu s tím, co se modely učí. Používají neuronové sítě morfologii a syntaxi stejně jako lidé, když mluví o jazyce? Nebo si vyvinou vlastní způsob?
V naší přednášce pootevřeme neurální černou skříňku a zanalyzujeme vnitřní reprezentace vstupních vět s ohledem na jejich morfologické, syntaktické a sémantické vlastnosti. Zaměříme se na embedinky slov i kontextové embedinky a sebepozornost modelů Transformer (BERT, NMT). Ukážeme jak řízené, tak i neřízené postupy analýzy.
Pictures from the robot's life
Ze života robotů
Year: 2020
Authors: Martin Uhlíř, Rudolf Rosa, Tomáš Musil, David Košťák

Abstract (English):
"The robots will not live, they can only die," says the builder Alquist, a character in the R.U.R. play. The author of these words, however, this time is not Karel Čapek, but a machine, an artificial intelligence, writing a drama about the relationship of man and robot in honor of the famous work. It is to be shown at the Švanda Theatre on January 25th, when it will be 100 years since the premiere of R.U.R.

Abstract (Czech):
„Roboti žít nebudou, mohou jen zemřít,“ říká stavitel Alquist, postava z divadelní hry R.U.R. Autorem těchto slov ovšem tentokrát není Karel Čapek, ale stroj, umělá inteligence, která na počest slavného díla píše drama o vztahu člověka a robota. Má být uvedena ve Švandově divadle 25. ledna, kdy od premiéry R.U.R. uplyne právě 100 let.
An Advanced Profile Hidden Markov Model for Malware Detection
Pokročilý HMM model pro detekci malwaru
Year: 2020
Authors: Alireza Abbas Alipour, Ebrahim Ansari

Abstract (English):
The rapid growth of malicious software (malware) production in recent decades and the increasing number of threats posed by malware to network environments, such as the Internet and intelligent environments, emphasize the need for more research on the security of computer networks in information security and digital forensics. The method presented in this study identifies “species” of malware families, which are more sophisticated, obfuscated, and structurally diverse. We propose a hybrid technique combining aspects of signature detection with machine learning-based methods to classify malware families. The method is carried out by utilizing Profile Hidden Markov Models (PHMMs) on the behavioral characteristics of malware species. This paper explains the process of modeling and training an advanced PHMM using sequences obtained from the extraction of each malware family’s paramount features, and the canonical sequences created in the process of Multiple Sequence Alignment (MSA) production. Due to the fact that not all parts of a file are malicious, the goal is to distinguish the malicious portions from the benign ones and place more emphasis on them in order to increase the likelihood of malware detection by having the least impact from the benign portions. Based on “consensus sequences”, the experimental results show that our proposed approach outperforms other HMM-based techniques even when limited training data is available. All supplementary materials including the code, datasets, and a complete list of results are available for public access on the Web.

Abstract (Czech):
Rychlý růst tvory škodlivého softwaru (malware) v posledním tesetiletí a počet útoků způsobených malwarem na síťová prostředí, jako je Internet, dokládá potřebu výzkumu bezpečnosti počítačových sítí a digitálně zaměřené forenzní vědy. V naší studii překládáme metodu, které identifikuje "druhy" rodin malware, které jsou pokročilé, záměrně matoucí a strukturně pestré. Navrhujeme hybridní techniku, která při klasifikaci malwarových rodin kombinuje detekci signatur s metodami založenými na strojovém učení. Metoda využívá profilové skryté markovské modely (PHMM) k behaviorálnímu popisu malwarových druhů. Tento článek vysvětluje proces modelování a trénování vícečetného zarovnání sekvencí. Vzhledem k tomu, že ne všechny části souboru jsou škodlivé, je cílem rozlišit škodlivé a neškodné části. Zaměřením na škodlivé části roste šance na detekci malwaru. Experimentální výsledky ukazují, že svou úspěšností naše metoda překonává ostatní přístupy založené na skrytých markovských řetězcích. Všechny doprovodné materiály k textu, zejména zdrojové kódy, datové sady a kompletní výsledky, jsou veřejně dostupné na Internetu.
Evaluating Semantic Accuracy of Data-to-Text Generation with Natural Language Inference
Evaluace sémantické přesnosti generování textu z dat pomocí systémů pro automatickou inferenci
Year: 2020
Authors: Ondřej Dušek, Zdeněk Kasner

Abstract (English):
A major challenge in evaluating data-to-text (D2T) generation is measuring the semantic accuracy of the generated text, i.e. its faithfulness to the input data. We propose a new metric for evaluating the semantic accuracy of D2T generation based on a neural model pretrained for natural language inference (NLI). We use the NLI model to check textual entailment between the input data and the output text in both directions, allowing us to reveal omissions or hallucinations. Input data are converted to text for NLI using trivial templates. Our experiments on two recent D2T datasets show that our metric can achieve high accuracy in identifying erroneous system outputs.

Abstract (Czech):
Velkým problémem v evaluaci systémů pro generování textu z dat (D2T) je jak změřit sémantickou přesnost vygenerovaného textu, tj. jeho věrnost vstupním datům. Navrhujeme novou metriku pro evaluaci sémantické přesnosti D2T generování založené na neuronovém modelu předtrénovaném na úlohu automatické jazykové inference (NLI). Pomocí modelu NLI kontrolujeme, zda generovaný text vyplývá (entailment) z dat a opačně, což nám dovoluje odhalit vynechané části dat nebo halucinované (daty nepodložené) části vygenerovaného textu. Vstupní data pro model NLI převádíme do textu pomocí triviálních šablon. Naše experimenty na dvou běžně užívaných datových sadách pro D2T ukazují, že naše metrika dokáže dosáhnout vysoké přesnosti při identifikaci chybných výstupů generátorů.
Findings of the 2020 Conference on Machine Translation (WMT20)
Závěry konference o strojovém překladu 2020 (WMT20)
Year: 2020
Authors: Loïc Barrault, Magdalena Biesialska, Ondřej Bojar, Marta R. Costa-Jussà, Christian Federmann, Yvette Graham, Roman Grundkiewicz, Barry Haddow, Matthias Huck, Eric Joanis, Tom Kocmi, Philipp Koehn, Chi-kiu Lo, Nikola Ljubešić, Christof Monz, Makoto Morishita, Masaaki Nagata, Toshiaki Nakazawa, Santanu Pal, Matt Post, Marcos Zampieri

Abstract (English):
This paper presents the results of the news translation task and the similar language translation task, both organised
alongside the  Conference on Machine Translation (WMT) 2020. In the news task, participants
were asked to build machine translation systems for any of 11 language pairs, to be evaluated on test sets consisting mainly of news stories.  The task was also opened up
to additional test suites to probe specific aspects of translation. In the similar language translation task, participants built 
machine translation systems for translating between closely related pairs of languages.

Abstract (Czech):
Tato práce představuje výsledky překladatelských úloh týkajících se zpravodajských textů a podobného úkolu překladů jazyků, obojí organizováno v rámci Conference on Machine Translation (WMT) 2020. V úkolu týkajícím se zpravodajských textů byli účastníci požádáni o sestavení systémů strojového překladu pro kterýkoli z 11 jazykových párů, které budou hodnoceny na testovacích souborech sestávajících hlavně z reportáží. Úloha byla také otevřena pro další testovací sady, aby se daly  zkoumat specifické aspekty překladu. V další úloze účastníci sestavili systémy strojového překladu pro překládání mezi úzce příbuznými páry jazyků.
Can we expect a digital Shakespeare? AI as a playwrite
Dočkáme se digitálního Shakespeara? AI jako autor divadelní hry
Year: 2020
Authors: Veronika Dostálová, Rudolf Rosa, Daniel Hrbek, Tomáš Studeník

Abstract (English):
Artificial intelligence can do things. She writes stock reports, handles entertaining conversation, orders a table for us at a restaurant ... But this time AI has gone further and gotten a little bit closer to humans -- the THEaiTRE research project is teaching its robot to write a play. We talked with Rudolf Rosa, Daniel Hrbek and Tomáš Studeník, who are involved in the unique feat, about how the process is going, what led the authors to it, and what the challenges of the AI writer are.

Abstract (Czech):
Umělá inteligence zvládá leccos.
Píše burzovní zprávy, zvládá
zábavnou konverzaci, objedná za
nás stůl v restauraci… Tentokrát ale
AI zašla ještě dál a dostala se zase o kousek blíž člověku – výzkumný
projekt THEaiTRE učí svého robota
napsat divadelní hru. O tom, jak
proces probíhá, co k tomu autory
vedlo a jaká jsou úskalí AI scenáristy
jsme si povídali s Rudolfem Rosou,
Danielem Hrbkem a Tomášem
Studeníkem, kteří se na unikátním
počinu podílí.
SpeedySpeech: Efficient Neural Speech Synthesis
SpeedySpeech: efektivní neuronová syntéza řeči
Year: 2020
Authors: Jan Vainer, Ondřej Dušek

Abstract (English):
While recent neural sequence-to-sequence models have greatly improved the quality of speech synthesis, there has not been a system capable of fast training, fast inference and high-quality audio synthesis at the same time. We propose a student-teacher network capable of high-quality faster-than-real-time spectrogram synthesis, with low requirements on computational resources and fast training time. We show that self-attention layers are not necessary for generation of high quality audio. We utilize simple convolutional blocks with residual connections in both student and teacher networks and use only a single attention layer in the teacher model. Coupled with a MelGAN vocoder, our model's voice quality was rated significantly higher than Tacotron 2. Our model can be efficiently trained on a single GPU and can run in real time even on a CPU. We provide both our source code and audio samples in our GitHub repository.

Abstract (Czech):
Přestože nové neuronové modely typu sequence-to-sequence neurální značně zlepšily kvalitu syntézy řeči, dosud neexistuje systém schopný rychlého trénování, rychlé inference a zároveň vysoce kvalitní syntézy. Navrhujeme dvojici sítí typu učitel-student, která je schopna vysoce kvalitní syntézy spektrogramu rychleji než v reálném čase, s nízkými požadavky na výpočetní zdroje a rychlým trénováním. Ukazujeme, že vrstvy typu self-attention nejsou pro generování vysoce kvalitní řeči nutné. Jak v učitelské, tak ve studentské síti využíváme jednoduché konvoluční bloky s reziduálním propojením; používáme pouze jednu vrstvu attention v učitelském modelu. Ve spojení s hlasovým kodérem MelGAN byla hlasová kvalita našeho modelu hodnocena signifikantně lépe než Tacotron 2. Náš model může být efektivně trénován na jednom GPU a může běžet v reálném čase i na CPU. Zdrojový kód i zvukové ukázky poskytujeme na našem úložišti na GitHubu.
Derived Lexical Reciprocal Verbs in Czech
Derivovaná lexikální reciroční slovesa v češtině
Year: 2020
Authors: Václava Kettnerová

Abstract (English):
In Czech (similarly as in other Slavic languages), the clitic reflexives serve – among others – as a derivational means deriving lexical reciprocal verbs, i.e., those verbs that encode mutuality directly in their lexical meaning. Here I draw a line between those lexical reciprocal verbs with which the reflexives introduce mutuality (nenávidět se ‘to hate each other’ ← nenávidět ‘to hate sb’ and slíbit si ‘to promise sth to each other’ ← slíbit ‘to promise sth to sb’) and those with which the reflexives have another function (oddělit se ‘to separate from each other’ ← oddělit ‘to separate sb/sth from sb/sth’). I show that lexical reciprocal verbs of the former type uniformly form the so-called discontinuous constructions with the nominative subject and comitative indirect object (e.g., Petr si slíbil s Marií věrnost. ‘Peter and Mary promised fidelity to each other.’) and that they fall into several semantic classes, which, however, semantically overlap to a great extent with lexical reciprocal verbs of other types.

Abstract (Czech):
V češtině – podobně jako v jiných slovanských jazycích – může mít klitické reflexivum funkci slovotvorného formantu, derivujícího lexikální reciproční slovesa, tedy  slovesa obsahující rys vzájemnosti již ve svém lexikálním významu. V článku rozlišuji mezi lexikálními recipročními slovesy, u nichž rys vzájemnosti vyjadřuje klitické reflexivum (např. nenávidět se ← nenávidět, slíbit si ← slíbit), a lexikálními recipročními slovesy, u nichž má klitické reflexivum jinou funkci (např. oddělit se ← oddělit). Lexikální reciproka prvního typu vytvářejí konstrukce, u nichž se participanty ve vztahu vzájemnosti vyjadřují typicky v subjektové pozici a v pozici nepřímého objektu, vyjádřeného instrumentálem. Ukazuji však, že tato slovesa tvoří sémantické skupiny, které se do značné míry sémanticky překrývají s dalšími typy lexikálních recipročních sloves.
Valency of Czech verbal nouns in nominal constructions and in verbonominal constructions with light verbs
Valence českých verbálních jmen v nominálních konstrukcích a ve verbonominálních predikátech s kategoriálním slovesem
Year: 2020
Authors: Václava Kettnerová, Veronika Kolářová

Abstract (English):
Comparing valency behavior of two selected types of Czech verbal nouns (ending in -ní/-tí), i.e., those denoting actions, e.g., poučení ‘instructing’, and those denoting abstract results of actions, e.g., poučení ‘advice’, we can observe that they differ especially in the surface syntactic expression of their valency complementations. In nominal constructions, the surface expression of valency complementations of verbal nouns denoting actions can be typically derived from valency structure of their base verbs. In contrast, verbal nouns denoting abstract results of actions often express their valency complementations on the surface in a non-systemic way. In verbonominal constructions, the syntactic center of which is a light verb, verbal nouns denoting actions systematically employ their participant Agent (in a broad sense) on the surface as subject provided by the light verb. In contrast, verbal nouns denoting abstract results of actions can often express more semantic participants on the surface as verbal modifications and the choice of light verbs can change the perspective from which situations denoted by these verbal nouns are viewed.

Abstract (Czech):
Česká verbální jména (zakončená sufixy -ní/-tí) označující událost (např. poučení jako proces) nebo abstraktní výsledek děje (např. poučení jako předaná informace) se z hlediska valence liší především tím, jak v povrchové struktuře vyjadřují svá valenční doplnění. V nominálních konstrukcích je povrchové vyjádření valenčních doplnění verbálních jmen označujících událost odvoditelné z valenční struktury jejich základových sloves. Oproti tomu verbální substantiva označující abstraktní výsledek děje užívají k povrchovému vyjádření svých valenčních doplnění vedle systémových morfematických forem i formy nesystémové. Ve verbonominálních konstrukcích, v nichž je syntaktickým centrem kategoriální sloveso, verbální jména označující událost systematicky uplatňují na povrchu jako subjekt slovesa participant Agens (v širokém slova smyslu). Oproti tomu verbální jména označující abstraktní výsledek děje mohou často na povrchu jako rozvití slovesa vyjádřit i své další sémantické participanty a výběr různých kategoriálních sloves jim často umožňuje perspektivizovat označovanou situaci pokaždé z hlediska jiného participantu.
On the expression of mutuality in Czech
Ke způsobům vyjádření vzájemnosti v češtině
Year: 2020
Authors: Václava Kettnerová, Markéta Lopatková

Abstract (English):
In this paper, we introduce an inventory of language means that express the semantic feature of mutuality in Czech verbal constructions. Based on the results of recent typological surveys, we distinguish between lexical and grammatical means. The lexical means include a limited group of inherently reciprocal verbs with the feature of mutuality in their lexical meaning. The grammatical means involved in the syntactic operation of reciprocalization are primarily used by a large group of verbs to which we refer as syntactic reciprocal verbs; these means involve (i) the reflexive personal pronoun se/sebe, si/sobě, sebou, (ii) the expression jeden – druhý ‘each other’, and (iii) adverbials. While the use of the grammatical means is obligatory for expressing mutuality with syntactic reciprocal verbs, it is often only optional for inherently reciprocal verbs. We thoroughly describe various functions that these language means have in encoding mutuality in Czech.

Abstract (Czech):
V tomto článku představujeme soupis jazykových prostředků, které vyjadřují sémantický rys vzájemnosti v českých verbálních konstrukcích. Na základě výsledků nedávných typologických průzkumů rozlišujeme prostředky lexikální a prostředky gramatické. Lexikální prostředky pro vyjádření vzájemnosti zahrnují omezenou skupinu inherentně recipročních sloves s rysem vzájemnosti v lexikálním významu. Gramatické prostředky realizující syntaktickou operaci reciprocalizace se primárně uplatňují u velké skupiny sloves, která označujeme jako syntaktická reciproční slovesa; tyto prostředky zahrnují (i) zvratné osobní reflexivum se/sebe, si/sobě, sebou, (ii) výraz jeden - druhý a (iii) příslovce. Zatímco použití gramatických prostředků je pro vyjádření vzájemnosti u syntakticky recipročních sloves nutné, pro inherentně reciproční slovesa je typicky volitelné. V textu podrobně popisujeme různé funkce těchto jazykových prostředků ve vyjadřování vzájemnosti v češtině.
Reciprocity in Czech Light Verb Constructions: The Dependency Perspective
Reciprocita v konstrukcích s kategoriálními slovesy: Závislostní perspektiva
Year: 2020
Authors: Václava Kettnerová, Markéta Lopatková

Abstract (English):
In this paper, we draw attention to reciprocity in Czech light verb constructions – a language phenomenon, which has not been discussed yet. Reciprocity is contributed to light verb constructions by predictive nouns, as they are the nouns that represent the semantic core of these constructions. Here we focus on reciprocal light verb constructions derived by the syntactic operation of reciprocalization. We show that the complex mapping of semantic participants onto valency complementations, characteristic of reciprocalization, is reflected in reciprocal light verb constructions in the same way as in reciprocal nominal constructions. The main difference between reciprocal nominal constructions and reciprocal light verb constructions lies in the morphosyntactic expression of reciprocalized participants. We demonstrate that surface syntactic changes in reciprocal light verb constructions are regular enough to be described on the rule basis: the rule based generation of reciprocal light verb constructions requires a cooperation of two sets of rules – rules for deep and surface syntactic structure formation of light verb constructions and rules for capturing reciprocity.

Abstract (Czech):
V tomto příspěvku se věnujeme způsobům vyjadřování vzájemnost v českých konstrukcích s kategoriálními slovesy. Reciprocitu do těchto konstrukcí vnáší prediktivní substantiva, neboť ta představují jejich sémantické jádro. Zaměřujeme se na reciproční konstrukce s kategoriálními slovesy, které vznikají odvozením syntaktickou operací reciprokalizace. Ukazujeme, že komplexní mapování sémantických participantů na valenční doplnění  charakteristické pro reciprocitu se zachovává i v recipročních konstrukcích s kategoriálními slovesy. Hlavní rozdíl mezi recipročními nominálními konstrukcemi a recipročními konstrukcemi s kategoriálním slovesem spočívá v morfosyntaktickém vyjádření reciprokalizovaných participantů. Ukazujeme, že povrchové syntaktické změny v recipročních konstrukcích s kategoriálními slovesy jsou natolik pravidelné, že je lze popsat pomocí pravidel, a to  pravidel pro hlubokou a povrchovou tvorbu syntaktických struktury s kategoriálním slovesem a pravidel pro tvoření recipročních konatrukcí.
Towards a Semi-Automatic Detection of Reflexive and Reciprocal Constructions and Their Representation in a Valency Lexicon
K poloautomatické detekci reflexivních a recipročních konstrukcí a jejich reprezentaci ve valenčním slovníku
Year: 2020
Authors: Václava Kettnerová, Markéta Lopatková, Anna Vernerová, Petra Barančíková

Abstract (English):
Valency lexicons usually describe valency behavior of verbs in non-reflexive and non-reciprocal constructions. However, reflexive and reciprocal constructions are common morphosyntactic forms of verbs. Both of these constructions are characterized by regular changes in morphosyntactic properties of verbs, thus they can be described by grammatical rules. On the other hand, the possibility to create reflexive and/or reciprocal constructions cannot be trivially derived from the morphosyntactic structure of verbs as it is conditioned by their semantic properties as well. A large-coverage valency lexicon allowing for rule based generation of all well formed verb constructions should thus integrate the information on reflexivity and reciprocity. In this paper, we propose a semi-automatic procedure, based on grammatical constraints on reflexivity and reciprocity, detecting those verbs that form reflexive and reciprocal constructions in corpus data. However, exploitation of corpus data for this purpose is complicated due to the diverse functions of reflexive markers crossing the domain of reflexivity and reciprocity. The list of verbs identified by the previous procedure is thus further used in an automatic experiment, applying word embeddings for detecting semantically similar verbs. These candidate verbs have been manually verified and annotation of their reflexive and reciprocal constructions has been integrated into the valency lexicon of Czech verbs VALLEX.

Abstract (Czech):
Valenční slovníky obvykle popisují valenční chován sloves v jejich nereflexivním a nerecipročním užití, přestože reflexivní a reciproční konstrukce lze považovat za běžné morfosyntaktické formy sloves. Pro oba tyto typy jsou charakteristické pravidelné změny v morfosyntaktické struktuře sloves, které lze popsat gramatickými pravidly; ovšem možnost tyto konstrukce tvořit musí být vyznačena ve slovníku.