ufal/bilingual-abstracts-corpus huggingface dataset:
UDPipe 2.0 Prototype at CoNLL 2018 UD Shared Task
Prototype UDPipe 2.0 v CoNLL 2018 UD Shared Task
Year: 2018
Authors: Milan Straka

Abstract (English):
UDPipe is a trainable pipeline which performs sentence segmentation, tokenization, POS tagging, lemmatization and dependency parsing. We present a prototype for UDPipe 2.0 and evaluate it in the CoNLL 2018 UD Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies, which employs three metrics for submission ranking. Out of 26 participants, the prototype placed first in the MLAS ranking, third in the LAS ranking and third in the BLEX ranking. In extrinsic parser evaluation EPE 2018, the system ranked first in the overall score.

The prototype utilizes an artificial neural network with a single joint model for POS tagging, lemmatization and dependency parsing, and is trained only using the CoNLL-U training data and pretrained word embeddings, contrary to both systems surpassing the prototype in the LAS and BLEX ranking in the shared task.

The open-source code of the prototype is available at http://github.com/CoNLL-UD-2018/UDPipe-Future.

After the shared task, we slightly refined the model architecture, resulting in better performance both in the intrinsic evaluation (corresponding to first, second and second rank in MLAS, LAS and BLEX shared task metrics) and the extrinsic evaluation. The improved models will be available shortly in UDPipe at http://ufal.mff.cuni.cz/udpipe.

Abstract (Czech):
UDPipe je trénovatelný nástroj, který provádí segmentaci vět, tokenizaci, morfologické značkování, lemmatizaci a syntaktickou analýzu. Představujeme prototyp UDPipe 2.0 a jeho vyhodnocení v Soutěži CoNLL 2018 UD: Multilingual Parsing from Raw Text to Universal Dependencies, která využívá tři míry pro hodnocení. Z 26 účastníků obsadil prototyp první místo dle míry MLAS, třetí dle míry LAS a třetí dle míry BLEX. V extrinsic hodnocení EPE 2018 se systém umístil na prvním místě v celkovém hodnocení.

Prototyp je založen na neuronovou síťi s jediným společným modelem pro současné morfologické značkování, lemmatizaci a syntaktickou analýzu a je trénován pouze pomocí trénovacích dat CoNLL-U a předtrénovaných slovních embeddingů, na rozdíl od obou systémů, které překonaly tento prototyp v LAS a BLEX mírách.

Open-source zdrojový kód prototypu je k dispozici na adrese http://github.com/CoNLL-UD-2018/UDPipe-Future.

Po soutěží CoNLL 2018 jsme mírně vylepšili modelovou architekturu, což vedlo k lepšímu výkonu jak v intrinsic hodnocení (odpovídající prvnímu, druhému a druhému místu dle metrik MLAS, LAS a BLEX), tak i v extrinsic hodnocení. Vylepšené modely budou brzy k dispozici v UDPipe na adrese http://ufal.mff.cuni.cz/udpipe.
SumeCzech: Large Czech News-Based Summarization Dataset
SumeCzech: Velký český summarizace dataset na základě zpráv
Year: 2018
Authors: Milan Straka, Nikita Mediankin, Tom Kocmi, Zdeněk Žabokrtský, Vojtěch Hudeček, Jan Hajič

Abstract (English):
Document summarization is a well-studied NLP task. With the emergence of artificial neural network models, the summarization performance is increasing, as are the requirements on training data. However, only a few datasets are available for Czech, none of them particularly large. Additionally, summarization has been evaluated predominantly on English, with the commonly used ROUGE metric being English-specific. In this paper, we try to address both issues. We present SumeCzech, a Czech news-based summarization dataset. It contains more than a million documents, each consisting of a headline, a several sentences long abstract and a full text. The dataset can be downloaded using the provided scripts available at http://hdl.handle.net/11234/1-2615. We evaluate several summarization baselines on the dataset, including a strong abstractive approach based on Transformer neural network architecture. The evaluation is performed using a language-agnostic variant of ROUGE.

Abstract (Czech):
Shrnutí dokumentu je dobře studovaným NLP úkolem. Se vznikem modelů umělé neuronové sítě se zvyšuje souhrnná výkonnost, stejně jako požadavky na výcvikové údaje. Pro Čechy je však k dispozici pouze několik datových souborů, z nichž žádný není zvlášť velký. Kromě toho bylo shrnutí vyhodnoceno převážně na angličtině, přičemž běžně používaná metrika ROUGE je specifická pro angličtinu. V tomto příspěvku se snažíme řešit obě otázky. Představujeme SumeCzech, český datový soubor pro sumarizaci zpráv. Obsahuje více než milion dokumentů, z nichž každá obsahuje nadpis, několik věty dlouhý abstrakt a úplný text. Sadu dat lze stáhnout pomocí dodaných skriptů, které jsou k dispozici na adrese http://hdl.handle.net/11234/1-2615. Vyhodnocujeme několik souhrnných základních dat na množině dat, včetně silného abstrakčního přístupu založeného na architektuře neuronových sítí Transformeru. Hodnocení se provádí jazykově-agnostickou variantou ROUGE.
Bridging the LAPPS Grid and CLARIN
Propojení LAPPS Gridu a CLARINu
Year: 2018
Authors: Erhard Hinrichs, Nancy Ide, James Pustejovsky, Jan Hajič, Marie Hinrichs, Mohammad Fazleh Elahi, Keith Suderman, Marc Verhagen, Kyeongmin Rim, Pavel Straňák, Jozef Mišutka

Abstract (English):
The Andrew K. Mellon Foundation has funded a project to create a “trust network” between the Language Applications (LAPPS) Grid, a major framework for composing pipelines of natural language processing (NLP) tools, and the WebLicht workflow engine hosted by the CLARIN-D Center in Tuebingen. The project also includes integration of NLP services available from the LINDAT/CLARIN Center in Prague. The goal is to allow users on one side of the bridge to gain appropriately authenticated access to the other and enable seamless communication among tools and resources in both frameworks. The resulting “meta-framework” provides users across the globe with access to an unprecedented array of language processing facilities that cover multiple languages, tasks, and applications, all of which are fully interoperable.

Abstract (Czech):
Článek popisuje projekt, který sjednocuje jazykové infrastruktury v USA (LAPPSGrid) a Evropě (Clarin) po stránce workflow a z hlediska přístupu uživatelů z jiné oblasti.
Morphological Resources of Derivational Word-Formation Relations
Morfologické zdroje derivačních slovotvorných vztahů
Year: 2018
Authors: Lukáš Kyjánek

Abstract (English):
The report focuses on existing morphological resources containing derivational wordformation relations. For each resource, the report describes history, licence, format, data structure and some other basic statistics to compare. Therefore, it means the first step to review and harmonize these resources in a similar way as it has already been done with resources of syntactic trees.

Abstract (Czech):
Zpráva se zaměřuje na existující morfologické zdroje obsahující derivační slovotvorné vztahy. Pro každý zdroj je ve zprávě popsána jeho historie, licence, formát, struktura dat a některé základní statistiky pro porovnání zdrojů. Zpráva představuje první krok v přezkoumání a harmonizaci těchto zdrojů podobným způsobem, jako tomu bylo již učiněno se zdroji syntaktických stromů.
A Morphological Analyzer for Shipibo-Konibo
Morfologický analyzátor jazyka shipibo-konibo
Year: 2018
Authors: Ronald Cardenas, Daniel Zeman

Abstract (English):
We present a morphological analyzer for Shipibo-Konibo, a low-resourced native language spoken in the Amazonian region of Peru. We resort to the robustness of finite-state systems in order to model the complex morpho-syntax of the language. Evaluation over raw corpora shows promising coverage of grammatical phenomena, limited only by the scarce lexicon. We make this tool freely available so as to aid the production of annotated corpora and impulse further research in native languages of Peru.

Abstract (Czech):
Představujeme morfologický analyzátor shipiba-koniba, domorodého jazyka z oblasti peruánské Amazonie. Díky robustnosti konečněstavových systémů můžeme vytvořit model komplexní morfosyntaxe tohoto jazyka. Vyhodnocení na textových korpusech ukazuje slibné pokrytí gramatických jevů, omezením je pouze zatím malý slovník. Nástroj je volně k dispozici pro kohokoliv, čímž chceme podpořit další výzkum peruánských domorodých jazyků.
Morphological Analyzer for Shipibo-Konibo
Morfologický analyzátor šipiba-koniba
Year: 2018
Authors: Ronald Cardenas, Daniel Zeman

Abstract (English):
This tool is the first morphological analyzer ever for this language.
The analyzer is a FST that produces all possible segmentations and tagging sequences in a word-by-word fashion.

Abstract (Czech):
Tento nástroj je prvním morfologickým analyzátorem jazyka šipibo-konibo. Je to
Deep Multi-Lingual Cross Sentence Alignment
Hluboké vícejazyčné zarovnání křížových vět
Year: 2018
Authors: Ahmad Aghaebrahimian

Abstract (English):
Sentence-aligned parallel bilingual corpora are the main and sometimes the only required resource for training Statistical and Neural Machine Translation systems (SMT, NMT). We propose an end-to-end deep neural architecture for language independent sentence alignment. In addition to one-to-one alignment, our aligner can perform cross- and many-to-many alignment as well. We also present a case study which shows how simple linguistic analysis can improve the performance of a pure neural network significantly. We used three language pairs from Europarl corpus (Koehn, 2005) and an English-Persian corpus (Pilevar et al., 2011) to generate an alignment dataset. Using this dataset, we tested our system individually and in an SMT system. In both settings, we obtained significantly better results compared to an open source baseline.

Abstract (Czech):
Paralelní dvojjazyčné korpusy v souladu s větou jsou hlavním a někdy jediným požadovaným zdrojem pro výuku systémů pro překlad statistických a neurálních strojů (SMT, NMT). Navrhujeme koncovou hlubokou neuronovou architekturu pro jazykové nezávislé zarovnání vět. Kromě zarovnání typu "one-to-one" může náš zarovnávač také provádět cross-a many-to-many alignment. Předkládáme také případovou studii, která ukazuje, jak může výrazná jazyková analýza výrazně zlepšit výkon čisté neuronové sítě. V souboru Europarl korpus (Koehn, 2005) a anglicko-perského korpusu (Pilevar et al., 2011) jsme použili tři páry jazyků pro vytvoření souhrnu dat. Pomocí této datové sady jsme testovali náš systém jednotlivě a v systému SMT. V obou nastaveních jsme dosáhli výrazně lepších výsledků ve srovnání s výchozími zdroji open source.
Deep Neural Networks at the Service of Multilingual Parallel Sentence Extraction
Hluboké neuronové sítě při servisu mnohojazyčného extrahování paralelních vět
Year: 2018
Authors: Ahmad Aghaebrahimian

Abstract (English):
Wikipedia provides an invaluable source of parallel multilingual data, which are in high demand
for various sorts of linguistic inquiry, including both theoretical and practical studies. We intro-
duce a novel end-to-end neural model for large-scale parallel data harvesting from Wikipedia.
Our model is language-independent, robust, and highly scalable. We use our system for collect-
ing parallel German-English, French-English and Persian-English sentences. Human evaluations
at the end show the strong performance of this model in collecting high-quality parallel data. We
also propose a statistical framework which extends the results of our human evaluation to other
language pairs. Our model also obtained a state-of-the-art result on the German-English dataset
of BUCC 2017 shared task on parallel sentence extraction from comparable corpora.

Abstract (Czech):
Wikipedia poskytuje neocenitelný zdroj paralelních vícejazyčných dat, které jsou ve vysoké poptávce pro různé druhy jazykových šetření, včetně teoretických i praktických studií. Zavedeme vede nový end-to-end neuronový model pro rozsáhlé paralelní sběr dat z Wikipedie. Náš model je nezávislý na jazyku, robustní a vysoce škálovatelný. Používáme náš systém pro shromažďování, francouzsko-anglické a perzština-anglické věty. Hodnocení člověka na konci ukazují silný výkon tohoto modelu při shromažďování vysoce kvalitních paralelních dat. My navrhnout také statistický rámec, který rozšiřuje výsledky našeho lidského hodnocení na jiné jazykové páry. Náš model také získal nejmodernější výsledek německo-anglické datové sady ze společného úkolu BUCC 2017 na paralelní extrakci vět z srovnatelných korpusů.
Linguistically-based Deep Unstructured Question Answering
Jazykově založené hluboké nestrukturované dotazování
Year: 2018
Authors: Ahmad Aghaebrahimian

Abstract (English):
In this paper, we propose a new linguistically-based approach to answering non-factoid open-domain questions from unstructured data. First, we elaborate on an architecture for textual encoding based on which we introduce a deep end-to-end neural model. This architecture benefits from a bilateral attention mechanism which helps the model to focus on a question and the answer sentence at the same time for phrasal answer extraction. Second, we feed the output of a constituency parser into the model directly and integrate linguistic constituents into the network to help it concentrate on chunks of an answer rather than on its single words for generating more natural output. By optimizing this architecture, we managed to obtain near-to-human-performance results and competitive to a state-of-the-art system on SQuAD and MS-MARCO datasets respectively.

Abstract (Czech):
V tomto příspěvku navrhujeme nový jazykově založený přístup k odpovědi na otázky non-factoid otevřené domény z nestrukturovaných dat. Nejprve vypracujeme architekturu pro textové kódování, na jejímž základě zavedeme hluboký neuronový model. Tato architektura využívá mechanismus dvoustranné pozornosti, který pomáhá modelu soustředit se na otázku a větu odpovědi současně na extrakci frázové odpovědi. Za druhé, do modelu předáváme výstup analyzátoru volebních obvodů a integrujeme do sítě síť jazykových složek, abychom se mohli soustředit na kusy odpovědi spíše než na jeho jednotlivé slova pro vytvoření přírodnějšího výstupu. Díky optimalizaci této architektury se nám podařilo získat výsledky z hlediska výkonnosti, které jsou téměř shodné s lidskými parametry, a konkurenceschopné na nejmodernějších systémech datových souborů SQuAD a MS-MARCO.
Building Lexicons of Discourse Connectives
Ke vzniku slovníků textových konektorů
Year: 2018
Authors: Lucie Poláková

Abstract (English):
The talk is devoted to the development of dictionaries and lexicons of discourse-relational devices across languages, from the very first ones from 1990ies to the recent ones, including the CzeDLex, the Lexicon of Czech Discourse Connectives.

Abstract (Czech):
Přednáška přináší přehled vývoje slovníků textově-spojovacích prostředků napříč jazyky, od prvních z 90. let až po ty nejnovější, včetně projektu CzeDLex, slovníku českých textových konektorů.
Semi-Automatic Construction of Word-Formation Networks (for Polish and Spanish)
Poloautomatická výstavba slovotvorných sítí (pro polštinu a španělštinu)
Year: 2018
Authors: Mateusz Lango, Magda Ševčíková, Zdeněk Žabokrtský

Abstract (English):
The paper presents a semi-automatic method for the construction of derivational networks. The proposed approach applies a sequential pattern mining technique in order to construct useful morphological features in an unsupervised manner.  The features take the form of regular expressions and later are used to feed a machine-learned ranking model.  The network is constructed by applying resulting model to sort the lists of possible base words and selecting the most probable ones.  This approach, besides relatively small training set and a lexicon, does not require any additional language resources such as a list of alternations groups, POS tags etc.  The proposed approach is applied to the lexeme sets of two languages, namely Polish and Spanish, which results in the establishment of two novel word-formation networks.  Finally, the network constructed for Polish is merged with the derivational connections extracted from the Polish WordNet and those resulting from the derivational rules developed by a linguist, resulting in the biggest word-formation network for that language. The presented approach is general enough to be adopted for other languages.

Abstract (Czech):
Příspěvek představuje poloautomatickou metodu budování derivačních sítí. Metoda byla aplikována na polská a španělská jazyková data.
Neural Monkey: The Current State and Beyond
Neural Monkey: současný stav a dále
Year: 2018
Authors: Jindřich Helcl, Jindřich Libovický, Tom Kocmi, Tomáš Musil, Ondřej Cífka, Dušan Variš, Ondřej Bojar

Abstract (English):
Neural Monkey is an open-source toolkit for sequence-to-sequence learning. The focus of this paper is to present the current state of the toolkit to the intended audience, which includes students and researchers, both active in the deep learning community and newcomers. For each of these target groups, we describe the most relevant features of the toolkit, including the simple configuration scheme, methods of model inspection that promote useful intuitions, or a modular design for easy prototyping. We summarize relevant contributions to the research community which were made using this toolkit and discuss the characteristics of our toolkit with respect to other existing systems. We conclude with a set of proposals for future development.

Abstract (Czech):
Neural Monkey je open-source toolkit pro sequence-to-sequence učení. Článek je zaměřen na prezentaci současného stavu toolkitu cílovým skupinám, mezi které patří studenti a výzkumníci, ať už aktivní v komunitě hlubokého učení či nováčci. Pro každou skupinu popisujeme nejvíce relevantní vlastnosti toolkitu spolu s jednoduchým schématem konfigurace, metodami analýzy modelů, které podporují užitečnou intuici, nebo modulární design umožňující snadné prototypování. Shrnujeme relevantní příspěvky vědecké komunity, které vznikly s využitím tohoto toolkitu a rozebíráme charakteristiky našeho toolkitu s ohledem na ostatní existující systémy. Článek uzavírá nástin budoucího vývoje toolkitu.
Czech Version of the Multi30k dataset
Česká verze datasetu Multi30k
Year: 2018
Authors: Jindřich Helcl, Jindřich Libovický, Pavel Pecina

Abstract (English):
This is the Czech version of the Multi30k dataset that is used for WMT competitions in Multimodal Machine Translation. The dataset is based on the Flickr30k dataset with more 30,000 images accompanied by English captions. For the WTM16 and WMT17 German and French translation were added to these captions. For the WTM18 competition, we added also the translation into the Czech language.

Abstract (Czech):
Toto je česká verze datasetu Multi30k, který se používá při soutěžích v Multimodálním strojovém překladu. Dataset je založený ja datové sadě Flickr30k, která obsahuje přes 30 tisíc fotografií opatřených anglickými popisky. Pro soutěž na WMT16 a WMT17 byly tyto věty přeloženy do Němčiny a Francozštiny. Pro soutež v roce 2018 jsme obahatili tento dataset také o překlady do českého jazyka.
CUNI System for the WMT18 Multimodal Translation Task
Systém Univerzity Karlovy pro úlohu multimodálního strojového překladu na WMT18
Year: 2018
Authors: Jindřich Helcl, Jindřich Libovický, Dušan Variš

Abstract (English):
We present our submission to the WMT18 Multimodal Translation Task. The main feature of our submission is applying a self-attentive network instead of a recurrent neural network. We evaluate two methods of incorporating the visual features in the model: first, we include the image representation as another input to the network; second, we train the model to predict the visual features and use it as an auxiliary objective. For our submission, we acquired both textual and multimodal additional data. Both of the proposed methods yield significant improvements over recurrent networks and self-attentive textual baselines.

Abstract (Czech):
V článku představuje příspěvek do soutěže v multimodálním strjovém překladu na WMT18. V našem systému požíváme self-attentive neuronové sítě místo rekurentních. Evaluujeme dvě metody, jak lze zahrnout vizuální rysy do modelu: v prvním používáme vizuální informaci jako další vstup do dekodéruů v druhé metodě trénujeme enkodér tak, aby predikoval vizuální reprezentaci. Pro náš příspěvek jsem vytěžili dodatečná data. Obě navrhované metody přináší výrazné zlepšení oproti obdobným modelům využívajícím neuronové sítě.
Artificial intelligence and machine translation
Umělá inteligence a automatický překlad
Year: 2018
Authors: Jindřich Libovický

Abstract (English):
Nowadays, newspapers often write what the artificial intelligence achieved, what other tasks it will master, and when it will conquer the wold. On the example of automatic translation from one language to another, which has recently made great progress due to neural networks, we will explain how neural networks work. We will show how to collect examples of translations on the Internet and how to use them with a neural network can learn how to solve a complex task like translation.

Abstract (Czech):
V novinách poslední dobou můžeme číst, co zase kde udělala umělá inteligence, co dokázala, co umí, co bude umět, kolik lidí připraví o práci, kdy ovládne lidstvo a tak podobně. Za většinou těchto zpráv jsou úspěchy, kterých informatika dosáhla v posledních letech pomocí umělých neuronových sítí. Nejedná se však, jak by mohl název napovídat, o simulaci lidského mozku, ale o celkem jednoduché matematické modely, které se kdysi biologickými neurony vzdáleně inspirovaly. Na příkladu automatického překladu z jednoho jazyka do druhého, který právě díky neuronovým sítím dosáhl v poslední době velkého pokroku, si vysvětlíme, jak neuronové sítě fungují. Ukážeme si, jak lze na internetu sbírat příklady překladů a jak se s jejich pomocí neuronová síť dokáže naučit řešit tak komplexní úlohu jako je právě překlad.
Machine Translation Evaluation beyond the Sentence Level
Evaluace strojové překladu přes hranice vět
Year: 2018
Authors: Jindřich Libovický, Thomas Brovelli (Meyer), Bruno Cartoni

Abstract (English):
Automatic machine translation evaluation was crucial for the rapid development of machine translation systems over the last two decades. So far, most attention has been paid to the evaluation metrics that work with text on the sentence level and so did the translation systems. Across-sentence translation quality depends on discourse phenomena that may not manifest at all when staying within sentence boundaries  (e.g. coreference, discourse connectives, verb tense sequence etc.). To tackle this, we propose several document-level MT evaluation metrics: generalizations of sentence-level metrics, language-(pair)-independent versions of lexical cohesion scores and coreference and morphology preservation in the target texts. We measure their agreement with human judgment on a newly created dataset of pairwise paragraph comparisons for four language pairs.

Abstract (Czech):
Automatické hodnocení kvality strojního překladu bylo zásadní pro rychlý vývoj systémů strojního překladu v posledních dvou desetiletích. Zatím se věnuje největší pozornost metrikám, které pracují s textem na úrovni vět, protože stejně tak fungují i překladové systémy. Kvalita překladu ale závisí i na diskurzních jevech, které se nemusí vůbec projevit, pokud se nacházejí uvnitř věty (např. koreference, diskurzní konektory, časová souslednost apod.). Navrhneme tedy několik metrik hodnocení strojového překladu na úrovni dokumentů: zobecnění exsitujících metrik a jazykově nezávislé metody měření lexikální soudržnosti a zachování koreference a morfologie zachování v cílovém jazyce. U těchto také měříme shodu s lidským úsudkem na nově vytvořené datové sadě, které obsahuje lidské hodnocení překladu pro čtyři jazykové páry.