ufal/bilingual-abstracts-corpus huggingface dataset:
Machine translation and artificial intelligence
Strojový překlad a umělá inteligence
Year: 2020
Authors: Martin Popel

Abstract (English):
The lecture will briefly introduce some of the tasks dealt with in computer linguistics, such as automatic correction of misspellings/grammar or automatic sentence analysis.

The main focus will be on the role of machine translation, in particular the development of different types of English-to-Czech translators over the last decade. Today's best translators are based on artificial intelligence technologies, namely deep neural networks, and the quality of the resulting translation is close to that of a professional translation agency. Questions are being asked about how this progress in machine translation quality made over recent years will affect language learning, but also whether we can rely on machine translations.

Abstract (Czech):
Přednáška úvodem krátce představí některé úlohy, kterými se zabývá počítačová lingvistika, například automatickou opravu překlepů/gramatiky či automatický větný rozbor.

Hlavní pozornost bude věnována úloze strojového překladu, zejména vývoji různých typů překladačů z angličtiny do češtiny během posledního desetiletí. Dnešní nejlepší překladače jsou založeny na technologiích umělé inteligence, konkrétně hlubokých neuronových sítí, a kvalita výsledného překladu se blíží úrovni profesionální překladatelské agentury. Vyvstávají otázky, jak tento pokrok ve kvalitě strojového překladu dosažený během posledních let ovlivní výuku jazyků, ale též zda se na strojové překlady můžeme spolehnout.
Transforming machine translation: a deep learning system reaches news translation quality comparable to human professionals
Transformace strojového překladu: systém hlubokého učení dosahuje kvality překladu zpráv srovnatelné s lidskými profesionály
Year: 2020
Authors: Martin Popel, Marketa Tomkova, Jakub Tomek, Łukasz Kaiser, Jakob Uszkoreit, Ondřej Bojar, Zdeněk Žabokrtský

Abstract (English):
The quality of human translation was long thought to be unattainable for computer translation systems. In this study, we present a deep-learning system, CUBBITT, which challenges this view. In a context-aware blind evaluation by human judges, CUBBITT significantly outperformed professional-agency English-to-Czech news translation in preserving text meaning (translation adequacy). While human translation is still rated as more fluent, CUBBITT is shown to be substantially more fluent than previous state-of-the-art systems. Moreover, most participants of a Translation Turing test struggle to distinguish CUBBITT translations from human translations. This work approaches the quality of human translation and even surpasses it in adequacy in certain circumstances. This suggests that deep learning may have the potential to replace humans in applications where conservation of meaning is the primary aim.

Abstract (Czech):
Kvalita lidského překladu byla dlouho považována za nedosažitelnou pro počítačové překladové systémy. V této studii představujeme systém hlubokého učení CUBBITT, který tento názor zpochybňuje. V zaslepeném lidském hodnocení překladu novinových článků z angličtiny do češtiny CUBBITT výrazně předčil lidský překlad od profesionální agentury v zachování významu textu (adequacy, přesnosti překladu). Zatímco lidský překlad je stále hodnocen jako plynulejší, ukázalo se, že CUBBITT je podstatně plynulejší než dosavadní překladače. Většina účastníků překladového Turingova testu navíc nedokázala rozlišit překlady CUBBITT od překladů lidských. Tato práce se blíží kvalitě lidského překladu a za určitých okolností jej dokonce v přiměřenosti překonává. To naznačuje, že hluboké učení může mít potenciál nahradit člověka v aplikacích, kde je hlavním cílem zachování významu.
Removing European Language Barriers with Innovative Machine Translation Technology
Odstranění evropských jazykových bariér pomocí inovativní technologie strojového překladu
Year: 2020
Authors: Dario Franceschini, Chiara Canton, Ivan Simonini, Armin Schweinfurth, Adelheid Glott, Sebastian Stüker, Thai-Son Nguyen, Felix Schneider, Thanh-Le Ha, Alex Waibel, Barry Haddow, Phil Williams, Rico Sennrich, Ondřej Bojar, Sangeet Sagar, Dominik Macháček, Otakar Smrž

Abstract (English):
This paper presents our progress towards deploying a versatile communication platform in the task of highly multilingual live speech
translation for conferences and remote meetings live subtitling. The platform has been designed with a focus on very low latency and
high flexibility while allowing research prototypes of speech and text processing tools to be easily connected, regardless of where they
physically run. We outline our architecture solution and also briefly compare it with the ELG platform. Technical details are provided
on the most important components and we summarize the test deployment events we ran so far.

Abstract (Czech):
Tento dokument představuje náš pokrok směrem k zavedení univerzální komunikační platformy v úkolu vysoce mnohojazyčného živého projevu
překlady pro konference a vzdálené schůzky živé titulkování. Platforma byla navržena se zaměřením na velmi nízkou latenci a
vysoká flexibilita při umožnění snadného propojení výzkumných prototypů nástrojů pro zpracování řeči a textu, bez ohledu na to, kde
fyzicky běhat. Nastíníme naše řešení architektury a také ho krátce porovnáme s platformou ELG. Technické podrobnosti jsou uvedeny
o nejdůležitějších součástech a shrnujeme události zkušebního nasazení, které jsme zatím provedli.
Image Captioning with Visual Object Representations Groundedin the Textual Modality
Automatická tvorba popisků obrázků pomocí visuálních reprezentací objektů zakotvených v textu
Year: 2020
Authors: Dušan Variš, Satoshi Nakamura, Katsuhito Sudoh

Abstract (English):
We present our work in progress exploring the possibilities of a shared embedding space between textual and visual modality.
Leveraging the textual nature of object detection labels and the hypothetical expressiveness of extracted visual object representations, we propose an approach opposite to the current trend, grounding of the representations in the word embedding space of the captioning system instead of grounding words or sentences in their associated images.
Based on the previous work, we apply additional grounding losses to the image captioning training objective aiming to force visual object representations to create more heterogeneous clusters based on their class label and copy a semantic structure of the word embedding space.
In addition, we provide an analysis of the learned object vector space projection and its impact on the IC system performance.
With only slight change in performance, grounded models reach the stopping criterion during training faster than the unconstrained model, needing about two to three times less training updates.
Additionally, an improvement in structural correlation between the word embeddings and both original and projected object vectors suggests that the grounding is actually mutual.

Abstract (Czech):
Představujeme naši práci zkoumající možnosti společného prostoru embedingů mezi textovou a vizuální modalitou.
Narozdíl od současného trendu zakotvení slov či vět v přidružených obrázcích, navrhujeme zakotvení visuálních reprezentací objektů v prostoru slovních embedingů systému generujícího popisků.
K tomu využíváme textové povahy popisků detekovaných objektů a předpokládanou expresivitu reprezentací těchto objektů.
Na základě předchozích poznatků aplikujeme dodatečné objektivní funkce k základní popiskovací objektivní funkci, jejichž cílem je tvorba heterogenních klastrů závislých na jejich třídě a napodobení sémantické struktury prostoru slovních embedingů.
Kromě toho také analyzujeme natrénované projekce prostoru vizualních objektů a jejich vliv na výkon popiskovacího systému.
I přes mírné zhoršení kvality generovaných popisků, modely se zakotvením konvergují výrazně rychleji během trénovaní vyžadujíce dvakrát až třikrát méně trénovacích iterací.
Zlepšení strukturální korelace mezi slovními embedingy a nejen původními objektovými reprezentacemi, ale i jejich projekcí naznačuje, že zakotvení je vzájemné.
The Jubilee 45th Year of Olympiad in Czech Language
Jubilejní 45. ročník Olympiády v českém jazyce
Year: 2019
Authors: Kateřina Rysová

Abstract (English):
The article describes the course of the jubilee 45th year of the Olympiad in the Czech Language, presenting its general settings as well as some of the tasks, their solutions, the approaches of the participants and the names of the winners.

Abstract (Czech):
Článek popisuje průběh jubilejního 45. ročníku Olympiády v českém jazyce. Představuje soutěž jako takovou, přibližuje konkrétní soutěžní úlohy včetně jejich řešení, komentuje řešení účastníků a přináší jména vítězů.
Anaphoric Connective Database
Databáze anaforických konektorů
Year: 2019
Authors: Kateřina Rysová, Magdaléna Rysová

Abstract (English):
The aim of the paper is to introduce a Czech-German dictionary database containing frequently used language expressions involved in the text structure – anaphoric discourse connectives.

Abstract (Czech):
Cílem příspěvku je představit česko-německou slovníkovou databázi obsahující frekventované jazykové výrazy podílející se na strukturaci textu – anaforické diskurzní konektory.
A Test Suite and Manual Evaluation of Document-Level NMT at WMT19
Testovací sada a ruční vyhodnocení NMT v kontextu celého dokumentu na WMT19
Year: 2019
Authors: Kateřina Rysová, Magdaléna Rysová, Tomáš Musil, Lucie Poláková, Ondřej Bojar

Abstract (English):
As the quality of machine translation rises and
neural machine translation (NMT) is moving
from sentence to document level translations,
it is becoming increasingly difficult to evaluate
the output of translation systems.
We provide a test suite for WMT19 aimed at
assessing discourse phenomena of MT systems participating in the News Translation
Task. We have manually checked the outputs
and identified types of translation errors that
are relevant to document-level translation.

Abstract (Czech):
Vyhodnotili jsme strojový překlad na vztazích v rámci dokumentů. Ukázalo se, že systémy se na mezivětných vztazích příliš neliší.
EVALD – a Pioneer Application for Automated Essay Scoring in Czech
EVALD – inovativní aplikace pro automatické hodnocení kvality textů v češtině
Year: 2019
Authors: Kateřina Rysová, Magdaléna Rysová, Michal Novák, Jiří Mírovský, Eva Hajičová

Abstract (English):
We present EVALD applications (Evaluator of Discourse) for automated essay scoring. We analyze in detail newly acquired language data – texts written by non-native speakers reaching the threshold level of the Czech language acquisition. We also present new spelling features added in the system.

Abstract (Czech):
Představujeme aplikace EVALD (Evaluator of Discourse) pro automatické vyhodnocování českých textů. Podrobně analyzujeme nově získaná jazyková data - texty psané cizími mluvčími dosahující první úrovně osvojování českého jazyka. Představujeme také nové pravopisné "featury" přidané do systému.
Lexicon of Czech and German Anaphoric Connectives
Databáze českých a německých anaforických konektorů
Year: 2019
Authors: Kateřina Rysová, Lucie Poláková, Magdaléna Rysová, Jiří Mírovský

Abstract (English):
GeCzLex - Lexicon of Czech and German Anaphoric Connectives  - is a translation equivalent database of Czech and German discourse connectives, based on the data of annotated corpora and lexicons: Prague Discourse Treebank 2.0 and CzeDLex 0.6 (for Czech), DiMLex 2.0 (for German) and Intercorp 11 (a large resource of parallel Czech - German texts). Its current, first release is a pilot version representing one of the outcomes of a research project on anaphoricity in Czech and German connectives. Thus, it contains translation equivalents for a) connectives originally formed from a preposition and an anaphoric element (e.g. "darum" in German, "proto" in Czech) and b) Czech connectives with the ability to relate "remotely" to non-adjacent text segments.

Abstract (Czech):
GeCzLex je databáze překladových ekvivalentů českých a německých textových konektorů. Je založena na značkovaných datech několika elekronických jazykových zdrojů: pro češtinu je jeho základem Pražský diskurzní korpus 2.0 a slovník českých konektorů CzeDLex 0.6, pro němčinu podobný slovník DiMLex, pro oba jazyky pak česko-německá část paralelního korpusu Intercorp 11. Současné, první vydání je pilotní verzí a zároveň výstupem výzkumného projektu o anaforičnosti českých a německých konektorů. Databáze tedy nyní obsahuje překladové ekvivalenty pro a) konektory utvořené zpravidla spojením předložky a anaforického prvku (jako např. "darum" v němčině a "proto" v češtině) a b) české konektory, u nichž byla demonstrována schopnost vázat se na nesousední, vzdálené textové segmenty.
Idiap NMT System for WAT 2019 Multi-Modal Translation Task
Systém Idiap NMT pro multimodální překladovou úlohu WAT 2019
Year: 2019
Authors: Shantipriya Parida, Petr Motlíček, Ondřej Bojar

Abstract (English):
This paper describes the Idiap submission
to WAT 2019 for the English-Hindi MultiModal Translation Task. We have used
the state-of-the-art Transformer model and
utilized the IITB English-Hindi parallel corpus as an additional data source.
Among the different tracks of the multimodal task, we have participated in the
“Text-Only” track for the evaluation and
challenge test sets. Our submission tops in
its track among the competitors in terms
of both automatic and manual evaluation.
Based on automatic scores, our text-only
submission also outperforms systems that
consider visual information in the “multimodal translation” task.

Abstract (Czech):
Tento článek popisuje podání Idiap pro WAT 2019 pro anglicko-hindský vícemodální překladatelský úkol. Použili jsme nejmodernější model Transformeru a jako dodatečný zdroj dat jsme použili anglicko-hindský paralelní korpus IITB. Z různých skladeb multimodálního úkolu jsme se zúčastnili skladby „Text-Only“ pro hodnocení a
testovací sady. Naše podání je mezi konkurenty špičkové jak z hlediska automatického, tak manuálního hodnocení. Na základě automatických skóre předčí naše pouze textové podání i systémy, které v úkolu „multimodální překlad“ zohledňují vizuální informace.
Hindi Visual Genome: A Dataset for Multimodal English-to-Hindi Machine Translation
Hindský vizuální genom: Datový soubor pro multimodální strojový překlad z angličtiny do hindštiny
Year: 2019
Authors: Shantipriya Parida, Ondřej Bojar, Satya Ranjan Dash

Abstract (English):
Visual Genome is a dataset connecting
structured image information with English language. We present “Hindi Visual Genome”, a multi-modal dataset consisting of text and images suitable for English-Hindi multi-modal machine translation task and multi-modal research.
We have selected short English segments
(captions) from Visual Genome along with the associated images and automatically translated them to Hindi. A careful manual post-editing followed which took the associated images into account.

Abstract (Czech):
Visual Genome je dataset spojující strukturované obrazové informace s anglickým jazykem. Představujeme „Hindi Visual Genome“, multimodální datový soubor skládající se z textu a obrazů vhodný pro anglicko-hindský multimodální strojový překlad a multimodální výzkum.
Vybrali jsme krátké anglické segmenty (popisky) z Visual Genome spolu s přidruženými obrázky a automaticky je přeložili do hindštiny. Následovala pečlivá ruční kontrola, která vzala v úvahu související obrázky.
OdiEnCorp: Odia-English and Odia-Only Corpus for Machine Translation
OdiEnCorp: Urijsko-anglický a jednojazyčný urijský korpus pro strojový překlad
Year: 2019
Authors: Shantipriya Parida, Ondřej Bojar, Satya Ranjan Dash

Abstract (English):
A multi-lingual country like India needs language corpora for
low resource languages not  only  to provide its citizens with technologies of natural language
processing (NLP) readily available in other countries, but also to support its people
in their education and cultural needs.

In this work, we focus on 
one of the low resource languages, Odia, and
build an Odia-English parallel (OdiEnCorp) and an Odia monolingual (OdiMonoCorp) corpus.
The parallel corpus is based on
Odia-English parallel texts extracted from online resources and formally
corrected by
volunteers. We also preprocess the parallel corpus for machine translation
research or training. The
monolingual corpus comes from a diverse set of 
online resources and we organize it into a collection of
segments and paragraphs, easy to handle by NLP tools.

OdiEnCorp parallel corpus contains 29346 sentence pairs and 756K English and 648K Odia
tokens. OdiMonoCorp contains 2.6 million tokens in  221K sentences in 71K
paragraphs.

Despite their small size, OdiEnCorp and OdiMonoCorp are still the largest Odia language resources, freely available for
non-commercial educational or research purposes.

Abstract (Czech):
Příspěvek popisuje sestavení dvou korpusů pro urijštinu (Oria): OdiEnCorp, paralelní korpus urijštiny a angličtiny, a OdiMonoCorp, jednojazyčný urijský korpus.
A Speech Test Set of Practice Business Presentations with Additional Relevant Texts
Řečový testset fiktivních firemních prezentací s dalšími relevantními materiály
Year: 2019
Authors: Dominik Macháček, Jonáš Kratochvíl, Tereza Vojtěchová, Ondřej Bojar

Abstract (English):
We present a test corpus of audio recordings and transcriptions of presentations of students' enterprises together with their slides and web-pages. The corpus is intended for evaluation of automatic speech recognition (ASR) systems, especially in conditions where the prior availability of in-domain vocabulary and named entities is benefitable. 
The corpus consists of 39 presentations in English, each up to  90 seconds long. 
The speakers are high school students from European countries with English as their second language.
We benchmark three baseline ASR systems on the corpus and show their imperfection.

Abstract (Czech):
Předkládáme testovací korpus audionahrávek a přepisů prezentací studentských firem spolu s jejich slidy a webovými stránkami. Korpus je určen k evaluaci automatického rozpoznávání řeči, primárně za podmínek, ve kterých je využitelná předchozí dostupnost terminologie a pojmenovaných entit z dané oblasti.
Korpus se zkládá z 39 prezentací v angličtině, každá trvá až 90 sekund.
Řečníci jsou studenti středních škol z evropských zemí. Angličtina je jejich druhý jazyk.
Na korpusu testujeme tři základní modely pro automatické rozpoznávání řeči a ukazujeme jejich nedostatky.
From Balustrades to Pierre Vinken: Looking for Syntax in Transformer Self-Attentions
Od balustrů k Pierrovi Vinkenovi: Pátrání po syntaxi v sebepozornostech Transformeru
Year: 2019
Authors: David Mareček, Rudolf Rosa

Abstract (English):
We inspect the multi-head self-attention in Transformer NMT encoders for three source languages, looking for patterns that could have a syntactic interpretation. In many of the attention heads, we frequently find sequences of consecutive states attending to the same position, which resemble syntactic phrases. We propose a transparent deterministic method of quantifying the amount of syntactic information present in the self-attentions, based on automatically building and evaluating phrase-structure trees from the phrase-like sequences. We compare the resulting trees to existing constituency treebanks, both manually and by computing precision and recall.

Abstract (Czech):
Zkoumáme vícehlavou sebepozornost v enkodérech Transformer NMT pro tři zdrojové jazyky a hledáme vzory, které by mohly mít syntaktickou interpretaci. V mnoha hlavách pozornosti často nalézáme sekvence po sobě jdoucích stavů, které sledují stejnou pozici, které se podobají syntaktickým frázím. Navrhujeme transparentní deterministickou metodu kvantifikace množství syntaktické informace přítomné v sebepozornosti, založenou na automatickém vytváření a vyhodnocování frázových stromů z frázovitých sekvencí. Výsledné stromy porovnáváme se stávajícími syntaktickými korpusy, a to jak ručně, tak pomocí výpočtu přesnosti a úplnosti.
LSD: Linguistic Structure Representation in Neural Networks
LSD: Reprezentace lingvistických struktur v neuronových sítích
Year: 2019
Authors: David Mareček, Jindřich Libovický, Rudolf Rosa, Tomáš Musil

Abstract (English):
Word embeddings and Deep neural networks perform great. They do not have any explicit knowledge of linguistic abstractions. How do they work? What emergent abstractions can we observe in them? How can we interpret them? Are the emergent structures and abstractions similar to classical linguistic structures and abstractions?

Abstract (Czech):
Slovní embedinky a hluboké neuronové sítě fungují skvěle. Nemají žádné explicitní znalosti jazykových abstrakcí. Jak fungují? Jaké emergentní abstrakce v nich můžeme pozorovat? Jak je můžeme interpretovat? Jsou emergentní struktury a abstrakce podobné klasickým lingvistickým strukturám a abstrakcím?
English-Indonesian Neural Machine Translation for Spoken Language Domains
Anglicko-indonéský neuronový překlad pro doménu mluveného jazyka
Year: 2019
Authors: Meisyarah Dwiastuti

Abstract (English):
In this  work, we conduct a study on Neural Machine Translation (NMT) for English-Indonesian (EN-ID) and Indonesian-English (ID-EN). We focus on spoken language domains, namely colloquial and speech languages. We build NMT systems using the Transformer model for both translation directions and implement domain adaptation, in which we train our pre-trained NMT systems on speech language (in-domain) data.  Moreover, we conduct an evaluation on how the domain-adaptation method in our EN-ID system can result in more formal translation out-puts.

Abstract (Czech):
V této práci provádíme studii soustřeďující se na neuronový překlad (NMT) pro angličtinu-indonéštinu (EN-ID) a indonéštinu-angličtinu (ID-EN). Zaměřujeme se na doménu mluveného jazyka, jmenovitě na hovorový jazyk. Budujeme systémy NMT pomocí modelu Transformer pro oba směry překladu a implementujeme adaptaci domény, kde předtrénované systémy NMT trénujeme na datech mluveného jazyka (v doméně). Dále provádíme hodnocení toho, jak může metoda doménové adaptace v našem systému EN-ID vést k formálnějším výsledkům překladů.
Semantic Noise Matters for Neural Natural Language Generation
Při neuronovém generování přirozeného jazyka záleží ná sémantickém šumu
Year: 2019
Authors: Ondřej Dušek, David M. Howcroft, Verena Rieser

Abstract (English):
Neural natural language generation (NNLG) systems are known for their pathological outputs, i.e. generating text which is unrelated to the input specification. In this paper, we show the impact of semantic noise on state-of-the-art NNLG models which implement different semantic control mechanisms. We find that cleaned data can improve semantic correctness by up to 97%, while maintaining fluency. We also find that the most common error is omitting information, rather than hallucination.

Abstract (Czech):
Neuronové systémy generování přirozeného jazyka jsou známy svými patologickými výstupy, tj. generováním textu, který nesouvisí se specifikovaným vstupem. V tomto článku ukazujeme vliv sémantického šumu na současné nejlepší neuronové generátory, které implementují různé mechanismy sémantické kontroly. Zjistili jsme, že vyčištění trénovacích dat může zlepšit sémantickou přesnost až o 97% při zachování plynnosti výstupů. Dále jsme zjistili, že nejčastějším typem chyby je vynechání informace, ne přidaná halucinovaná informace.