ufal/bilingual-abstracts-corpus huggingface dataset:
Czech image captioning, machine translation, and sentiment analysis (Neural Monkey models)
České popisování obrázků, strojový překlad a rozbor sentimentu (modely pro Neural Monkey)
Year: 2018
Authors: Jindřich Libovický, Rudolf Rosa, Jindřich Helcl, Martin Popel

Abstract (English):
This submission contains trained end-to-end models for the Neural Monkey toolkit for Czech and English, solving three NLP tasks: machine translation, image captioning, and sentiment analysis.
The models are trained on standard datasets and achieve state-of-the-art or near state-of-the-art performance in the tasks.

Abstract (Czech):
Vydali jsme natrénované modely pro nástroj Neural Monkey, které řeší 3 úlohy: strojový překlad, popisování obrázků, a analýzu sentimentu.
Solving Three Czech NLP Tasks End-to-End with Neural Models
Celkové řešení tří úloh NLP pro češtinu s pomocí neuronových modelů
Year: 2018
Authors: Jindřich Libovický, Rudolf Rosa, Jindřich Helcl, Martin Popel

Abstract (English):
In this work, we focus on three different NLP tasks: image captioning, machine translation, and sentiment analysis. We reimplement successful approaches of other authors and adapt them to the Czech language. We provide end-to-end architectures that achieve state-of-the-art or nearly state-of-the-art results on all of the tasks within a single sequence learning toolkit. The trained models are available both for download as well as in an online demo.

Abstract (Czech):
V této práci se zaměřujeme na tři různé úlohy NLP: popis obrázků, strojový překlad, a rozbor sentimentu. Reimplementujeme úspěšné postupy jiných autorů a přizpůsobujeme je českému jazyku. Nabízíme end-to-end architektury, které dosahují nejlepších či téměř nejlepších výsledků známých pro tyto úlohy, přičemž všechny jsou implementovány ve stejném nástroji pro sekvenční učení. Natrénované modely jsou k dispozici jak ke stažení, tak v podobě online dema.
Multimodal Abstractive Summarization for Open-Domain Videos
Multimodální abstraktivní sumarizace videí bez doménového omezení
Year: 2018
Authors: Jindřich Libovický, Shruti Palaskar, Spandana Gella, Florian Metze

Abstract (English):
Multimodal and abstractive summarization of open-domain videos requires summarizing the contents of an entire video in a few short sentences, while fusing information from multiple modalities, in our case video and audio (or text). Different from traditional news summarization, the goal is less to “compress” text information only, but to provide a fluent textual summary of information that has been collected and fused from different source modalities. In this paper, we introduce the task of abstractive summarization for open-domain videos, we show how a sequence-to-sequence model with hierarchical attention can integrate information from different modalities into a coherent output, and present pilot experiments on the How2 corpus of instructional videos. We also present a new evaluation metric for this task called Content F1 that measures semantic adequacy rather than fluency of the summaries, which is covered by ROUGE and BLEU like metrics.

Abstract (Czech):
Multimodální a abstraktní sumarizace videí bez doménového omezení vyžaduje shrnutí obsahu celého videa v několika krátkých větách a zároveň sloučení informací z více modalit, v našem případě videa a zvuku (nebo textu). Na rozdíl od obvyklé sumarizace žurnalistických textů není cílem pouze „komprimovat“ textové informace, ale poskytnout plynulé textové shrnutí informací, které byly shromážděny z různých vstupních modalit. V tomto příspěvku představujeme úlohu abstraktní sumarizace pro videa bez doménového omezení, ukazujeme, jak může model sekvenčního učení s hierarchickým mechanismem pozorností integrovat informace z různých modalit do uceleného výstupu. Dále prezentujeme pilotní experimenty na How2 korpusu instruktážních videí. Představujeme také novou evaluační metriku pro sumarizaci nazvanou Content F1, která měří spíše sémantickou přiměřenost než plynulost abstraktů, narozdíl od metrik jako jsou ROUGE a BLEU.
End-to-End Non-Autoregressive Neural Machine Translation with Connectionist Temporal Classification
Neautoregresivní neuronový strojový překlad pomocí konekcionistitické temporální klasifikace trénovaný bez mezikroků
Year: 2018
Authors: Jindřich Libovický, Jindřich Helcl

Abstract (English):
Autoregressive decoding is the only part of sequence-to-sequence models that prevents them from massive parallelization at inference time. Non-autoregressive models enable the decoder to generate all output symbols independently in parallel. We present a novel non-autoregressive architecture based on connectionist temporal classification and evaluate it on the task of neural machine translation. Unlike other non-autoregressive methods which operate in several steps, our model can be trained end-to-end. We conduct experiments on the WMT English-Romanian and English-German datasets. Our models achieve a significant speedup over the autoregressive models, keeping the  translation quality comparable to other non-autoregressive models.

Abstract (Czech):
Autoregresivní dekódování je jedinou součástí převádějících sekvence na sekvence, která bráňí masivní paralelizaci při inferenci. Neautoregresivní modely umožňují dekodéru generovat všechny výstupní symboly nezávisle a tedy paralelně. V článku představujeme novou neautoregresivní architekturu založenou na konekcionistické temporální klasifikaci (CTC). Na rozdíl od jiných neautoregresivních metod, které je nutné trénovat v několika krocích, představovaný systém se trénuje monoliticky. Experimentuje se strojovým překladem mezi angličinou a rumunštionou a angličtinou němčinou na standardních testovacích datech z WMT. Naše modely dosahují výrazného zrychlení oproti autoregresivním modelům, přičemž kvalita překladu je srovnatelná s jinými neautoregresivními modely.
Input Combination Strategies for Multi-Source Transformer Decoder
Strategie kombinování více vstupů v dekodéru modelu Transformer
Year: 2018
Authors: Jindřich Libovický, Jindřich Helcl, David Mareček

Abstract (English):
In multi-source sequence-to-sequence tasks, the attention mechanism can be modeled in several ways. This topic has been thoroughly studied on recurrent architectures. In this paper, we extend the previous work to the encoder-decoder attention in the Transformer architecture. We propose four different input combination strategies for the encoder-decoder
attention: serial, parallel, flat, and hierarchical. We evaluate our methods on tasks of multimodal translation and translation with
multiple source languages. The experiments show that the models are able to use multiple sources and improve over single source baselines.

Abstract (Czech):
Při sekvenčním učením s více zrdoje informace, může být mechanismus pozornosti (attention) modelován různými způsoby. Toto téma bylo důkladně studováno na rekurentních neurnovoých sítích. V tomto článku se zabýváme tímto problém v architektuře Transormer. Navrhujeme čtyři různé strategie kombinace vstupů: sériové, paralelní, ploché a hierarchické. Navrhované metody vyhodnocujeme na úloze multimodálního překladu a překladu z více zdrojových jazyků současně. Z  výsledků experimentů vyplývá, že modely jsou schopny využívat více zdrojů a fungovat lépe než modely s pouze jedním zdrojem informace.
CUNI Transformer Neural MT System for WMT18
CUNI Transformer - neuronový strojový překladač pro WMT18
Year: 2018
Authors: Martin Popel

Abstract (English):
We describe our NMT system submitted to
the WMT2018 shared task in news translation.
Our system is based on the Transformer model
(Vaswani et al., 2017). We use an improved
technique of backtranslation, where we iterate
the process of translating monolingual data in
one direction and training an NMT model for
the opposite direction using synthetic parallel
data. We apply a simple but effective filtering
of the synthetic data. We pre-process the input
sentences using coreference resolution in order
to disambiguate the gender of pro-dropped
personal pronouns. Finally, we apply two simple
post-processing substitutions on the translated output.
Our system is significantly (p < 0.05) better than all other English-Czech and Czech-English systems in WMT2018.

Abstract (Czech):
Popisujeme náš neuronový překladač zaslaný do soutěže v překladu zpráv WMT2018. Náš systém je založen na modelu Transformer (Vaswani et al., 2017). Používáme vylepšenou techniku zpětného překladu, kdy opakujeme proces překládání jednojazyčných dat jedním směrem a trénujeme model pro opačný směr pomocí syntetických paralelních dat. Aplikujeme jednoduché, ale účinné filtrování syntetických dat.
Na vstupní věty aplikujeme rozpoznávač koreference za účelem doplnění vypuštěných osobních zájmen. Na přeložený výstup aplikujeme dvě jednoduché substituce.
Náš systém je výrazně (p < 0,05) lepší než všechny ostatní anglicko-české a česko-anglické systémy ve WMT2018.
Machine Translation Using Syntactic Analysis
Strojový překlad s využitím syntaktické analýzy
Year: 2018
Authors: Martin Popel

Abstract (English):
This thesis describes our improvement of machine translation (MT),
with a special focus on the English-Czech language pair, but using techniques
applicable also to other languages. First, we present multiple improvements
of the deep-syntactic system TectoMT. For instance, we implemented a novel
context-sensitive translation model, comparing several machine learning approaches.
We also adapted TectoMT to other domains and languages. Second,
we present Transformer – a state-of-the-art end-to-end neural MT system. We
analyzed in detail the effect of several training hyper-parameters. With our
optimized training, the system outperformed the best result on the WMT2017
test set by +1.0 BLEU. We further extended this system by utilization of monolingual
training data and by a new type of backtranslation (+2.8 BLEU compared
to the baseline system). In addition, we leveraged domain adaptation and the
effect of “translationese” (i.e which language in parallel data is the original
and which is the translation) to optimize MT systems for original-language and
translated-language data (gaining further +0.2 BLEU). Our improved neural MT
system significantly (p<0.05) outperformed all other systems in English-Czech
and Czech-English WMT2018 shared tasks, in terms of both automatic and
manual evaluation. It was even significantly better than the human reference
translation according to the manual evaluation.

Abstract (Czech):
Tato práce popisuje zlepšení anglicko-českého a česko-anglického strojového překladu
pomocí metod, které lze použít i na další jazyky.
V první části je popsáno několik zlepšení hloubkově-syntaktického překladače TectoMT,
například rozšíření pro další jazyky a domény
nebo implementace nového typu překladových modelů využívajících kontext a různé metody strojového učení.
V druhé části je popsán neuronový překladač Transformer a jeho vylepšení.
Po detailní analýze vlivu různých hyperparametrů,
bylo optimalizováno trénování systému tak, že dosáhl o 1.0 BLEU lepšího překladu
než nejlepší systém v soutěži WMT2017.
Využitím jednojazyčných dat cílového jazyka pomocí nového typu zpětného překladu
bylo dosaženo dalšího zlepšení kvality překladu o 2.8 BLEU.
Využitím doménové adaptace zohledňující překladštinu (translationese)
-- tedy zohledněním toho, zda paralelní data jsou původně psána česky, nebo anglicky --
byl výsledný systém vylepšen o dalších 0.2 BLEU.
Tento výsledný neuronový překladač byl signifikantně lepší (p<0.05)
než všechny ostatní anglicko-české a česko-anglické překladače v soutěži WMT2018.
Podle výsledků ručního hodnocení byla kvalita tohoto strojového překladu dokonce vyšší
než kvalita lidského referenčního překladu.
Machine translation and artificial inteligence
Strojový překlad a umělá inteligence
Year: 2018
Authors: Martin Popel

Abstract (English):
A popular lecture for high-school students about the research done at ÚFAL: natural language processing, machine translation, artificial intelligence.

Abstract (Czech):
Popularizační přednáška pro studenty gymnázia o tom, čím se zabývá ÚFAL: zpracování přirozeného jazyka, strojový překlad, umělá inteligence.
Training Tips for the Transformer Model
Tipy na trénování modelu Transformer
Year: 2018
Authors: Martin Popel, Ondřej Bojar

Abstract (English):
This article describes our experiments in neural machine translation using the recent Tensor2Tensor
framework and the Transformer sequence-to-sequence model (Vaswani et al., 2017).
We examine some of the critical parameters that affect the final translation quality, memory
usage, training stability and training time, concluding each experiment with a set of recommendations
for fellow researchers. In addition to confirming the general mantra “more data
and larger models”, we address scaling to multiple GPUs and provide practical tips for improved
training regarding batch size, learning rate, warmup steps, maximum sentence length
and checkpoint averaging. We hope that our observations will allow others to get better results
given their particular hardware and data constraints.

Abstract (Czech):
Tento článek popisuje naše experimenty s neuronovým strojovým překladem pomocí frameworku Tensor2Tensoru a modelu Transformer (Vaswani a kol., 2017).
Zkoumáme některé kritické parametry, které ovlivňují kvalitu překladu, paměťovou náročnost, stabilitu trénování a délku trénování. Každý experiment uzavíráme souborem doporučení. Krom jiného zkoumáme škálování na více GPU a poskytujeme praktické tipy pro vylepšené trénování týkající se velikosti dávky, rychlosti učení, počtu zahřívacích kroků, maximální délky věty a průměrování modelů. Doufáme, že naše pozorování umožní ostatním výzkumníkům dosáhnout lepších výsledků vzhledem k jejich specifickým hardwarovým a datovým omezením.
Improving a Neural-based Tagger for Multiword Expression Identification
Vylepšení neuronového taggeru pro identifikaci víceslovných výrazů
Year: 2018
Authors: Dušan Variš, Natalia Klyueva

Abstract (English):
In this paper, we present a set of improvements introduced to MUMULS, a tagger for the automatic detection of verbal multiword expressions. Our tagger participated in the PARSEME shared task and it was the only one based on neural networks. We show that character-level embeddings can improve the performance, mainly by reducing the out-of-vocabulary rate. Furthermore, replacing the softmax layer in the decoder by a conditional random field classifier brings additional improvements. Finally, we compare different context-aware feature representations of input tokens using various encoder architectures. The experiments on Czech show that the combination of character-level embeddings using a convolutional network, self-attentive encoding layer over the word representations and an output conditional random field classifier yields the best empirical results.

Abstract (Czech):
V článku prezentujeme sadu vylepšení taggeru pro automatickou detekci slovesných víceslovných výrazů, MUMULS. Náš tagger se zúčastnil PARSEME shared tasku a jako jediný byl založen na neuronových sítích. Ukazujeme, že embeddingy slov na základě jejich znaků vedou k zlepšením, především díky redukci množství out-of-vocabulary slov. Dále nahrazením softmaxové vrstvy v dekodéru klasifikátorem založeným na conditional random fields dosahujeme dalšího zlepšení. Na závěr porovnáváme různé druhy reprezentací příznaků zohledňující okolní kontext slova za pomocí různých architektur enkodérů. Experimenty s češtinou ukazují, že kombinace embeddingů založených na konvoluci jednotlivých znaků, self-attentive architektura enkodéru a conditional random filed klasifikátor dosahují nejlepších empirických výsledků.
Assessment of Essays in Terms of Text Coherence
Hodnocení písemných prací z hlediska koherence textu
Year: 2017
Authors: Kateřina Rysová

Abstract (English):
The presentation described cohesive means appearing in texts written by learners of Czech.

Abstract (Czech):
Příspěvěk se zabýval popisem kohezních prostředků vyskytujících se v textech psaných nerodilými mluvčími češtiny.
Possibilities of Text Coherence Analysis in the Prague Dependency Treebank
Možnosti analýzy koherence textu v Pražském závislostním korpusu
Year: 2017
Authors: Kateřina Rysová

Abstract (English):
The aim of the paper is to examine the interplay of text coreference and sentence
information structure and its role in text coherence.

Abstract (Czech):
Cílem příspěvku je výzkum provázanosti textové koreference a aktuálního členění větného a jejich podíl na koherenci textu.
43rd Year of the Olympiad in Czech Language Has Finished
Proběhl 43. ročník Olympiády v českém jazyce
Year: 2017
Authors: Kateřina Rysová, Karel Oliva

Abstract (English):
This article summarizes the course of the 43rd year of the Olympiad in the Czech language, presenting in brief its general settings as well as the tasks, their solutions, the approaches of the participants (jointly with their evaluation) and the names of winners.

Abstract (Czech):
Článek shrnuje průběh 43. ročníku Olympiády v českém jazyce a stručně představuje zadané jazykové úkoly, jejich řešení, přístupy účastníků k úkolům (společně s hodnocením) a jména vítězů.
Introducing EVALD  – Software Applications for Automatic Evaluation of Discourse in Czech
Představujeme EVALD – softwarové aplikace pro automatické hodnocení textu v češtině
Year: 2017
Authors: Kateřina Rysová, Magdaléna Rysová, Jiří Mírovský, Michal Novák

Abstract (English):
In  the  paper, we  introduce  two  software applications  for  automatic  evaluation  of coherence in Czech texts called EVALD – Evaluator  of  Discourse.  The  first  one – EVALD 1.0 – evaluates texts  written by native  speakers  of  Czech on a  five - step scale  commonly  used  at  Czech  schools (grade 1 is the best, grade 5 is the worst). The second application is EVALD 
1.0 for Foreigners  assessing  texts  by  non-native speakers  of  Czech  using  six - step  scale (A1–C2) according to CEFR. Both applications are available online at https://lindat.mff.cuni.cz/services/evald-foreign/.

Abstract (Czech):
V příspěvku představujeme dvě softwarové aplikace na automatické hodnocení koherence textu v češtině s názvem EVALD – Evaluátor diskurzu. První aplikace "EVALD 1.0" hodnotí texty psané rodilými mluvčími češtiny (hodnotící škálou užívanou v českých školách: 1–5). Druhá aplikace "EVALD 1.0 pro cizince" hodnotí texty nerodilých mluvčích češtiny (na škále A1–C2 podle "Společného evropského referenčního rámce"). Obě aplikace jsou dostupné online na https://lindat.mff.cuni.cz/services/evald-foreign/.
Dictionary of affixes used in Czech
Slovník afixů užívaných v češtině
Year: 2017
Authors: Josef Šimandl, Jana Klímová, Klára Osolsobě, François Esvan, František Štícha, Renata Novotná

Abstract (English):
The dictionary of affixes presents not only prefixes and sufixes but also many word-parts of compound words.

Abstract (Czech):
Slovník afixů zpracovává předpony (prefixy) a přípony (sufixy), představuje však i četné části složených slov, jimž se někdy přiznává blízkost afixům. Je to tedy kompendium popisující všechny důležité odvozovací prvky slov užívaných v současných českých textech – včetně slov přejatých. Netradiční pohled na tvoření slov od afixů dává trochu odlišný obraz než běžný směr od derivátů: do ohniska pozornosti se leckdy dostanou doklady z různých příčin opomíjené. Výhodou je i korpus jako zdroj dat: materiál je dostatečně reprezentativní a poskytuje vesměs spolehlivý základ pro odborné závěry. Pomocí slovníku je možné studovat systém afixů v závislosti na jejich frekvenci či produktivitě. Lze z něho vyjít při řešení otázek synonymie afixů, návaznosti na povahu základu a mnoha dalších jevů.
Sentiment Analysis in Czech
Postojová analýza v češtině
Year: 2017
Authors: Kateřina Veselovská

Abstract (English):
The study introduces latest research findings from the area of machine processing of Czech emotional language data. First, it provides an analysis of language means which together form an emotional meaning of written utterances in Czech. Second, it employs the findings concerning emotional language in computational applications.

The author provides a systematic overview of lexical, morphosyntactic, semantic and pragmatic aspects of emotional meaning in Czech utterances. Also, she proposes two formal representations of emotional structures within the framework of the Prague Dependency Treebank and Construction Grammar.

Regarding the computational applications, the study focuses on sentiment analysis, i.e. automatic extraction of emotions from text. It describes a creation of manually annotated emotional data resources in Czech and performs main sentiment analysis tasks, such as e.g. polarity classification and opinion target identification on Czech data, employing the up-to-date methods of natural language processing.

Abstract (Czech):
Kniha přináší nejnovější poznatky z oblasti strojového zpracování českých emocionálně laděných textů. Za prvé přináší analýzu jazykových prostředků, které společně formují emocionální význam psaných výpovědí v češtině. Za druhé využívá zjištění týkající se emocionálního jazyka v komputačních aplikacích.

Autorka podává systematický přehled lexikálních, morfosyntaktických, sémantických a pragmatických aspektů emocionálního významu v českých výpovědích a navrhuje formální reprezentaci emocionálních struktur v rámci Pražského závislostního korpusu a konstrukční gramatiky.

V oblasti komputačních aplikací se zaměřuje na témata sentiment analysis, tedy automatické extrakce emocí z textu. Popisuje tvorbu ručně anotovaných emocionálních zdrojů dat a řeší základní úlohy postojové analýzy, jako je např. klasifikace polarity a identifikace cíle hodnocení, a to za využití nejnovějších metod z oblasti automatického zpracování přirozeného jazyka.
CUNI Experiments for WMT17 Metrics Task
Experimenty UK pro metrikovou úlohu WMT17
Year: 2017
Authors: David Mareček, Ondřej Bojar, Ondřej Hübsch, Rudolf Rosa, Dušan Variš

Abstract (English):
In this report paper we propose three different methods for automatic evaluation of the machine translation (MT) quality. Two of the metrics are trainable on direct-assessment scores and two of them use dependency structures. The trainable metric AutoDA, which uses deep-syntactic features, achieved better correlation with humans compared e.g. to the chrF3 metric.

Abstract (Czech):
V tomto článku navrhujeme tři různé metody auotmatického vyhodnocování kvality strojového překladu. Dvě z těchto metrik jsou trénovatelné na skóre přímého vyhodnocení a dvě z nich používají závislostní struktury. Trénovatelná metrika AutoDA, která používá hloubkově syntaktické rysy, dosáhla lepší korelace s lidmi ve srovnání např. s metrikou chrF3.
Khresmoi Query Translation Test Data 2.0
Testovací data projektu Khresmoi pro překlad vyhledávacích dotazů 2.0
Year: 2017
Authors: Ondřej Dušek, Jan Hajič, Jaroslava Hlaváčová, Jindřich Libovický, Pavel Pecina, Aleš Tamchyna, Zdeňka Urešová

Abstract (English):
This package contains data sets for development and testing of machine translation of medical search short queries between Czech, English, French, German, Hungarian, Polish, Spanish and Swedish. The queries come from general public and medical experts.

Abstract (Czech):
Tento balíček obsahuje datové sady pro vývoj a testování modelů strojového překladu pro krátké vyhledávací dotazy v oblasti medicíny, a to pro čestinu, angličtinu, francouzštinu, němčinu, španělštinu, maďarštinu, polištinu a švédštinu. Dotazy obsažené v datech pochází jak od zdravotnických profesionálů, tak od laické veřejnosti.