ufal/bilingual-abstracts-corpus huggingface dataset:
Universal Dependencies according to BERT: both more specific and more general
Universal Dependencies podle BERTa: jak specifičtější, tak obecnější
Year: 2020
Authors: Tomasz Limisiewicz, Rudolf Rosa, David Mareček

Abstract (English):
This work focuses on analyzing the form and extent of syntactic abstraction captured by BERT by extracting labeled dependency trees from self-attentions.
Previous work showed that individual BERT heads tend to encode particular dependency relation types. We extend these findings by explicitly comparing BERT relations to Universal Dependencies (UD) annotations, showing that they often do not match one-to-one.
We suggest a method for relation identification and syntactic tree construction. Our approach produces significantly more consistent dependency trees than previous work, showing that it better explains the syntactic abstractions in BERT. At the same time, it can be successfully applied with only a minimal amount of supervision and generalizes well across languages.

Abstract (Czech):
Tato práce se zaměřuje na analýzu formy a rozsahu syntaktické abstrakce zachycené BERT extrahováním označených stromů závislosti ze sebepozornosti.
Předchozí práce ukázaly, že jednotlivé hlavy BERT mají tendenci kódovat konkrétní typy vztahů závislosti. Rozšiřujeme tato zjištění explicitním porovnáním vztahů BERT s anotacemi Universal Dependencies (UD), což ukazuje, že se často neshodují jedna ku jedné.
Navrhujeme metodu pro identifikaci vztahu a syntaktickou stavbu stromu. Náš přístup vytváří podstatně více konzistentních stromů závislosti než předchozí práce, což ukazuje, že lépe vysvětluje syntaktické abstrakce v BERT. Zároveň ji lze úspěšně aplikovat jen s minimální mírou dohledu a dobře zobecňuje napříč jazyky.
Implicit relation questions surfacing in Prague discourse projects
K implicitním vztahům v pražském diskurzním bádání
Year: 2020
Authors: Lucie Poláková

Abstract (English):
The presentation wis devoted to the current discourse-oriented projects/research directions at ÚFAL institute in connection with the implicitness of discourse relations, such as underspecified connectives or semantic signalling.

Abstract (Czech):
Prezentace je věnována implicitnosti diskurzních vztahů, jako je například podspecifikované užití konektivních prostředků nebo sémantická signalizace.
GeCzLex: Lexicon of Czech and German Anaphoric Connectives
GeCzLex: Lexikon českých a německých anaforických konektorů
Year: 2020
Authors: Lucie Poláková, Kateřina Rysová, Magdaléna Rysová, Jiří Mírovský

Abstract (English):
We introduce the first version of GeCzLex, an online electronic resource for translation equivalents of Czech and German discourseconnectives.  The lexicon is one of the outcomes of the research on anaphoricity and long-distance relations in discourse, it containsat  present  anaphoric  connectives  (ACs)  for  Czech  and  German  connectives,  and  further  their  possible  translations  documented  inbilingual parallel corpora (not necessarily anaphoric). As a basis, we use two existing monolingual lexicons of connectives: the Lexiconof  Czech  Discourse  Connectives  (CzeDLex)  and  the  Lexicon  of  Discourse  Markers  (DiMLex)  for  German,  interlink  their  relevantentries via semantic annotation of the connectives (according to the PDTB 3 sense taxonomy) and statistical information of translationpossibilities from the Czech and German parallel data of the InterCorp project.  The lexicon is, as far as we know, the first bilingualinventory of connectives with linkage on the level of individual entries, and a first attempt to systematically describe devices engaged inlong-distance, non-local discourse coherence. The lexicon is freely available under the Creative Commons License.

Abstract (Czech):
Článek představuje první verzi lexikonu GeCzLex, online jazykového zdroje překladových ekvivalentů českých a německých anaforických konektorů.
Mining Local Discourse Annotation for Features of Global Discourse Structure
Využití lokální anotace diskurzu pro modelování vyšší struktury textu
Year: 2020
Authors: Lucie Poláková, Jiří Mírovský

Abstract (English):
Descriptive approaches to discourse (text) structure and coherence typically proceed either in a bottom-up or a top-down analytic way. The former ones analyze how the smallest discourse units (clauses, sentences) are connected in their closest neighbourhood, locally, in a linear way. The latter ones postulate a hierarchical organization of smaller and larger units, sometimes also represent the whole text as a tree-like graph. In the present study, we mine a Czech corpus of 50k sentences
annotated in the local coherence fashion (Penn Discourse Treebank style) for indices signalling higher discourse structure. We analyze patterns of overlapping discourse relations and look into hierarchies they form. The
types and distributions of the detected patterns correspond to the results for English local annotation, with patterns not complying with the tree-like interpretation at very low numbers. We also detect hierarchical organization of local discourse relations of up to 5 levels in the Czech data.

Abstract (Czech):
Studie se věnuje analýze vzájemného uspořádání tzv. lokálních vztahů textové koherence a zkoumá využitelnost zjištěných výsledků při modelování globální koherence textu.
CzeDLex 0.7
CzeDLex 0.7
Year: 2020
Authors: Lucie Poláková, Jiří Mírovský, Pavlína Synková, Věra Kloudová, Magdaléna Rysová

Abstract (English):
CzeDLex 0.7 is the third development version of a lexicon of Czech discourse connectives. The lexicon contains connectives partially automatically extracted from the Prague Discourse Treebank 2.0 (PDiT 2.0) and other resources. The most frequent entries in the lexicon (covering more than 95% of the discourse relations annotated in the PDiT 2.0) have been manually checked, translated to English and supplemented with additional linguistic information.

Abstract (Czech):
CzeDLex 0.7 je třetí vývojová verze slovníku českých diskurzních konektorů. Slovník obsahuje konektory částečně automaticky extrahované z Pražského diskurzního korpusu 2.0 (PDiT 2.0) a z dalších zdrojů. Nejfrekventovanější slovníková hesla (pokrývající více než 95% diskurzních vztahů anotovaných v PDiT 2.0) byla ručně zkontrolována, přeložena do angličtiny a doplněna dalšími lingvistickými informacemi.
Universal Dependency Treebanks for Low-Resource Indian Languages: The Case of Bhojpuri
Treebanky Universal Dependencies pro indické jazyky s nedostatkem zdrojů: Případ bhódžpurštiny
Year: 2020
Authors: Atul Kumar Ojha, Daniel Zeman

Abstract (English):
This paper presents the first dependency treebank for Bhojpuri, an Indo-Aryan language. Bhojpuri is one of the resource-poor Indian languages. The objective of the Bhojpuri Treebank (BHTB) project is to provide a substantial, syntactically annotated treebank for Bhojpuri which helps in building language technological tools. This project will also help in cross-lingual learning and typological research. Currently, the treebank consists of 4,881 tokens using the annotation scheme of Universal Dependencies (UD). We develop a Bhojpuri tagger and parser using the machine learning approach. The accuracy of the model is 57.49% UAS, 45.50% LAS, 79.69% UPOS accuracy and 77.64% XPOS accuracy. Finally, we discuss linguistic analysis and annotation process of the Bhojpuri UD treebank.

Abstract (Czech):
Tento článek představuje první závislostní korpus indo-árijského jazyka bhódžpurštiny. Bhódžpurština je jedním z indických jazyků, pro které není k dispozici dostatek zdrojů v oblasti strojového zpracování jazyka. Účelem projektu Bhódžpurského závislostního korpusu (BHTB) je poskytnout velký, syntakticky anotovaný korpus bhódžpurštiny, který pomůže při tvorbě nástrojů pro automatické zpracování jazyka. Tento projekt také pomůže s mezijazykovým strojovým učením a s typologickým výzkumem.
Unsupervised Multilingual Sentence Embeddings for Parallel Corpus Mining
Neřízené mnohojazyčné reprezentace vět pro dolování paralelních dat
Year: 2020
Authors: Ivana Kvapilíková, Mikel Artetxe, Gorka Labaka, Eneko Agirre, Ondřej Bojar

Abstract (English):
Existing models of multilingual sentence embeddings require large parallel data resources which are not available for low-resource languages. We propose a novel unsupervised method to derive multilingual sentence embeddings relying only on monolingual data. We first produce a synthetic parallel corpus using unsupervised machine translation, and use it to fine-tune a pretrained cross-lingual masked language model (XLM) to derive the multilingual sentence representations. The quality of the representations is evaluated on two parallel corpus mining tasks with improvements of up to 22 F1 points over vanilla XLM. In addition, we observe that a single synthetic bilingual corpus is able to improve results for other language pairs.

Abstract (Czech):
Existující modely vícejazyčných větných vektorových reprezentací (embeddingů) vyžadují rozsáhlé paralelní datové zdroje, které nejsou k dispozici pro všechny jazyky. Navrhujeme novou metodu neřízeného učení pro získání vícejazyčných větných embeddingů pouze z jednojazyčných dat. Nejprve pomocí neřízeného strojového překladu vytvoříme syntetický paralelní korpus a použijeme jej k doladění předtrénovaného cross-lingválního maskovaného jazykového modelu (XLM) a k odvození vícejazyčných větných reprezentací. Kvalita reprezentací je hodnocena na dvou úlohách dolování paralelních dat se zlepšením F1 skóre až o 22 bodů oproti standardnímu XLM. Dále pozorujeme, že jeden syntetický dvojjazyčný korpus je schopen vylepšit výsledky i pro jiné jazykové páry.
CUNI Systems for the Unsupervised and Very Low Resource Translation Task in WMT20
Systémy Univerzity Karlovy pro soutěž ve strojovém překladu při nedostatku paralelních dat WMT20
Year: 2020
Authors: Ivana Kvapilíková, Tom Kocmi, Ondřej Bojar

Abstract (English):
This paper presents a description of CUNI systems submitted to the WMT20 task on unsupervised and very low-resource supervised machine translation between German and Upper Sorbian. We experimented with training on synthetic data and pre-training on a related language pair. In the fully unsupervised scenario, we achieved 25.5 and 23.7 BLEU translating from and into Upper Sorbian, respectively. Our low-resource systems relied on transfer learning from German-Czech parallel data and achieved 57.4 BLEU and 56.1 BLEU, which is an improvement of 10 BLEU points over the baseline trained only on the available small German-Upper Sorbian parallel corpus.

Abstract (Czech):
Tento článek představuje popis soutěžních systémů Univerzity Karlovy pro úlohu WMT20 ve strojovém překladu mezi němčinou a lužickou srbštinou při nedostatku dat. Provedli jsme experimenty s trénováním na syntetických datech a předtrénováním na příbuzných jazykových párech. V plně neřízeném režimu jsme dosáhli 25,5 a 23,7 BLEU při překladu z a do lužické srbštiny. Ve volnějším režimu jsme použili transfer learning z německo-českých paralelních dat a dosáhli 57,4 BLEU a 56,1 BLEU, což je zlepšení o 10 BLEU bodů oproti baseline natrénované pouze na malém množství dostupných německo-lužickosrbských paralelních vět.
Data-to-Text Generation with Iterative Text Editing
Generování textu z dat pomocí postupných úprav textu
Year: 2020
Authors: Zdeněk Kasner, Ondřej Dušek

Abstract (English):
We present a novel approach to data-to-text generation based on iterative text editing. Our approach maximizes the completeness and semantic accuracy of the output text while leveraging the abilities of recent pretrained models for text editing (LaserTagger) and language modelling (GPT-2) to improve the text fluency. To this end, we first transform data to text using trivial per-item lexicalizations, iteratively improving the resulting text by a neural model trained for the sentence fusion task. The model output is filtered by a simple heuristic and reranked with an off-the-shelf pretrained language model. We evaluate our approach on two major data-to-text datasets (WebNLG, Cleaned E2E) and analyze its caveats and benefits. Furthermore, we show that our formulation of data-to-text generation opens up the possibility for zero-shot domain adaptation using a general-domain dataset for sentence fusion.

Abstract (Czech):
Představujeme nový přístup pro generování textu z dat založený na postupných úpravách textu. Náš přístup maximalizuje úplnost a sémantickou přesnost výstupního textu a zároveň využívá současných předtrénovaných modelů pro editaci textu (LaserTagger) a modelování jazyka (GPT-2) pro zlepšení plynulosti textu. Za tímto účelem nejprve převádíme data na text pomocí triviální lexikalizace zvlášť pro každou položku a následně výsledný text postupně vylepšujeme neuronovým modelem natrénovaným na spojování vět. Náš přístup vyhodnocujeme na dvou používaných datových sadách (WebNLG, Cleaned E2E) a analyzujeme jeho přínosy a úskalí. Dále ukazujeme, že náš přístup umožňuje generování textu z dat bez dat z konkrétní domény za pomocí obecné datové sady pro spojování vět.
Train Hard, Finetune Easy: Multilingual Denoising for RDF-to-Text Generation
Těžké trénování, lehké doladění: Multilinguální denoising pro generování textu z RDF
Year: 2020
Authors: Zdeněk Kasner, Ondřej Dušek

Abstract (English):
We describe our system for the RDF-to-text generation task of the WebNLG Challenge 2020. We base our approach on the mBART model, which is pre-trained for multilingual denoising. This allows us to use a simple, identical, end-to-end setup for both English and Russian. Requiring minimal task or language-specific effort, our model placed in the first third of the leaderboard for English and first or second for Russian on automatic metrics, and it made it into the best or second-best system cluster on human evaluation.

Abstract (Czech):
Popisujeme náš systém pro generování textu z RDF pro soutěž WebNLG Challenge 2020. Svůj přístup zakládáme na modelu mBART, který je předtrénován pro vícejazyčný denoising. To nám umožňuje použít jednoduchý, identický end-to-end přístup pro angličtinu i ruštinu. S minimálními nároky specifickými pro konkrétní jazyk nebo úlohu se náš model umístil v první třetině žebříčku pro angličtinu a na prvním nebo druhém místě pro ruštinu v automatických metrikách. Podle lidského hodnocení se dostal do nejlepší nebo druhé nejlepším skupiny systémů.
Towards Reasonably-Sized Character-Level Transformer NMT by Finetuning Subword Systems
K rozumně velkým modelům Tranformer pro neuronový strojový překlad pracující na úrovni znaků pomocí dotrénování podslovních modelů
Year: 2020
Authors: Jindřich Libovický, Alexander Fraser

Abstract (English):
Applying the Transformer architecture on the character level usually requires very deep architectures that are difficult and slow to train. These problems can be partially overcome by incorporating a segmentation into tokens in the model. We show that by initially training a subword model and then finetuning it on characters, we can obtain a neural machine translation model that works at the character level without requiring token segmentation. We use only the vanilla 6-layer Transformer Base architecture. Our character-level models better capture morphological phenomena and show more robustness to noise at the expense of somewhat worse overall translation quality. Our study is a significant step towards high-performance and easy to train character-based models that are not extremely large.

Abstract (Czech):
Aplikace architektury Transformeru na úrovni znaků obvykle vyžaduje velmi hluboké architektury, které se obtížně a pomalu trénují. V článku ukazujeme, že předtrénováním podslovního modelu a jeho finetuningem na znaky můžeme získat kvalitní model pro neuronový strojový překlad, který funguje na úrovni znaků bez nutnosti tokenizace vstupu. Používáme pouze základní šestivrstvou architekturu Transformer Base. Naše modely na úrovni znaků lépe zachycují morfologické jevy a vykazují větší odolnost vůči šumu za cenu poněkud horší celkové kvality překladu. Naše studie je tak významným krokem ke kvalitním a snadno trénovatelným modelům, které modelují překlad na útrovni znaků a zároveň nejsou extrémně velké.
On the Language Neutrality of Pre-trained Multilingual Representations
O jazykové neutralitě předtrénovaných vícejazyčných reprezentací
Year: 2020
Authors: Jindřich Libovický, Rudolf Rosa, Alexander Fraser

Abstract (English):
Multilingual contextual embeddings, such as multilingual BERT (mBERT) and XLM-RoBERTa, have proved useful for many multi-lingual tasks. Previous work probed the cross-linguality of the representations indirectly using zero-shot transfer learning on morphological and syntactic tasks. We instead focus on the language-neutrality of mBERT with respect to lexical semantics. Our results show that contextual embeddings are more language-neutral and in general more informative than aligned static word-type embeddings which are explicitly trained for language neutrality. Contextual embeddings are still by default only moderately language-neutral, however, we show two simple methods for achieving stronger language neutrality: first, by unsupervised centering of the representation for languages, and second by fitting an explicit projection on small parallel data. In addition, we show how to reach state-of-the-art accuracy on language identification and word alignment in parallel sentences.

Abstract (Czech):
Mnohojazyčné kontextové embedinky, jako vícejazyčný BERT (mBERT) a XLM-RoBERTa, se osvědčily pro mnoho vícejazyčných úloh. Předchozí práce zkoumala mnohojazyčnost reprezentací nepřímo s využitím nulového transferového učení na morfologických a syntaktických úkolech. Místo toho se zaměřujeme na jazykovou neutralitu mBERTu s ohledem na lexikální sémantiku. Naše výsledky ukazují, že kontextové embedinky jsou jazykově neutrálnější a obecně informativnější než zarovnané statické slovní embedinky, které jsou explicitně trénovány na jazykovou neutralitu. Kontextové embedinky jsou stále standardně pouze mírně jazykově neutrální, nicméně ukazujeme dvě jednoduché metody, jak dosáhnout silnější jazykové neutrality: zaprvé neřízeným vystředěním reprezentace pro jazyky a zadruhé explicitní projekcí na malých paralelních datech. Kromě toho ukazujeme, jak překonat nejlepší dosažené přesnosti při identifikaci jazyka a zarovnávání slov v paralelních větách.
Expand and Filter: CUNI and LMU Systems for the WNGT 2020 Duolingo Shared Task
Expanduj a filtruj: Soutěžní příspěvek UK a LMU do soutěže STAPLE na WNGT 2020
Year: 2020
Authors: Jindřich Libovický, Zdeněk Kasner, Jindřich Helcl, Ondřej Dušek

Abstract (English):
We present our submission to the Simultaneous Translation And Paraphrase for Language Education (STAPLE) challenge. We used a standard Transformer model for translation, with a crosslingual classifier predicting correct translations on the output n-best list. To increase the diversity of the outputs, we used additional data to train the translation model, and we trained a paraphrasing model based on the Levenshtein Transformer architecture to generate further synonymous translations. The paraphrasing results were again filtered using our classifier. While the use of additional data and our classifier filter were able to improve results, the paraphrasing model produced too many invalid outputs to further improve the output quality. Our model without the paraphrasing component finished in the middle of the field for the shared task, improving over the best baseline by a margin of 10-22 % weighted F1 absolute.

Abstract (Czech):
Představujeme příspěvek do soutěže a kombinace automatického překladu a parafrázování ve výuce jazyků (STAPLE). Pro překlad jsme použili standardní model Transformer, doplněný kroslinguálním klasifikátorem pro filtrování překladových hypotéz. Abychom zvýšili rozmanitost výstupů, použili jsme další trénovací data a vyvinuli jsme parafrázovací model založený na architektuře Levenshtein Transformer, který generuje další synonymní překlady. Výsledky parafrázování byly opět filtrovány kroslinguálním klasifikátorem. Zatímco použití dalších dat a náš filtr zlepšily výsledky, parafrázování generovalo příliš mnoho neplatných výstupů, aby dále zlepšilo kvalitu výstupů. Náš model bez parafrázování skončil přibližně uprostřed soutěžního pořadí a přinesl zlepšení o 10-22% vážený F1 bodů oproti základnímu řešení.
The LMU Munich System for the WMT20 Very Low Resource Supervised MT Task
Sytsém LMU Mnichov soutěž WMT20 v překladu s velmi málo paralelními daty
Year: 2020
Authors: Jindřich Libovický, Viktor Hangya, Helmut Schmid, Alexander Fraser

Abstract (English):
We present our systems for the WMT20 Very Low Resource MT Task for translation between German and Upper Sorbian. For training our systems, we generate synthetic data by both back- and forward-translation. Additionally, we enrich the training data with German-Czech translated from Czech to Upper Sorbian by an unsupervised statistical MT system incorporating orthographically similar word pairs and transliterations of OOV words. Our best translation system between German and Sorbian is based on transfer learning from a Czech-German system and scores 12 to 13 BLEU higher than a baseline system built using the available parallel data only.

Abstract (Czech):
Představujeme naše systémy pro WMT20 Very Low Resource MT Task k překladu mezi němčinou a hornolužickou srbštinou. Pro trénink našich systémů generujeme syntetická data zpětným i dopředným překladem. Trénvací data navíc obohacujeme o německo-české překlady z češtiny do hornolužické srbštiny pomocí neřízeného statistického MT systému, který obsahuje ortograficky podobné slovní dvojice a transliterace slov mimo slovník. Náš nejlepší překladový systém mezi němčinou a srbštinou je založen na transferu modelu z česko-německého systému a má o 12 až 13 BLEU vyšší skóre než základní systém vytvořený pouze s využitím dostupných paralelních dat.
CUNI English-Czech and English-Polish Systems in WMT20: Robust Document-Level Training
Anglicko-české a anglicko-polské překladače z Univerzity Karlovy ve WMT20: robustní překlad celých dokumentů
Year: 2020
Authors: Martin Popel

Abstract (English):
We describe our two NMT systems submitted to the WMT 2020 shared task in English-Czech and English-Polish news translation. One system is sentence level, translating each sentence independently. The second system is document level, translating multiple sentences, trained on multi-sentence sequences up to 3000 characters long.

Abstract (Czech):
Popisujeme naše dva neuronové překladové systémy pro anglicko-český a anglicko-polský překlad, které se zúčastnily soutěže v překladu novinových článků WMT 2020. První systém překládá každou větu nezázvisle. Druhý systém je tzv. document-level, tedy překládá více vět naráz a je trénovaný na vícevětných sekvencích dlouhých až 3000 znaků.