ufal/bilingual-abstracts-corpus huggingface dataset:
Automatic Quality Estimation for Natural Language Generation: Ranting (Jointly Rating and Ranking)
Automatický odhad kvality pro generování přirozeného jazyka: spojené absolutní a relativní hodnocení
Year: 2019
Authors: Ondřej Dušek, Karin Sevegnani, Ioannis Konstas, Verena Rieser

Abstract (English):
We present a recurrent neural network based system for automatic quality estimation of natural language generation (NLG) outputs, which jointly learns to assign numerical ratings to individual outputs and to provide pairwise rankings of two different outputs. The latter is trained using pairwise hinge loss over scores from two copies of the rating network.
We use learning to rank and synthetic data to improve the quality of ratings assigned by our system: we synthesise training pairs of distorted system outputs and train the system to rank the less distorted one higher. This leads to a 12% increase in correlation with human ratings over the previous benchmark. We also establish the state of the art on the dataset of relative rankings from the E2E NLG Challenge (Dušek et al., 2019), where synthetic data lead to a 4% accuracy increase over the base model.

Abstract (Czech):
Představujeme systém pro automatický odhad kvality výstupů generování přirozeného jazyka založený na rekurentních neuronových sítích, který se učí zároveň přiřazovat numerická absolutní hodnocení jednotlivým výstupům a dodávat relativní hodnocení pro páry různých výstupů. Druhá úloha se trénuje pomocí párové hinge chyby nad skóre ze dvou kopií sítě pro absolutní hodnocení.
Pro zlepšení kvality absolutního hodnocení používáme i učení relativního hodnocení a syntetická trénovací data: syntetizujeme trénovací páry zašuměných výstupů generátorů a učíme systém preferovat ten méně zašuměný. Toto vedlo ke 12% zvýšení korelace s lidským hodnocením proti předchozí nejlepší dosažené hodnotě. Navíc ukazujeme první výsledky na datové sadě relativních hodnocení z E2E NLG Challenge (Dušek et al., 2019), kde syntetická data přinesla 4% zlepšení přesnosti oproti základnímu modelu.
Neural Generation for Czech: Data and Baselines
Neuronové generování češtiny: data a základní modely
Year: 2019
Authors: Ondřej Dušek, Filip Jurčíček

Abstract (English):
We present the first dataset targeted at end-to-end NLG in Czech in the restaurant domain, along with several strong baseline models using the sequence-to-sequence approach. While non-English NLG is under-explored in general, Czech, as a morphologically rich language, makes the task even harder: Since Czech requires inflecting named entities, delexicalization or copy mechanisms do not work out-of-the-box and lexicalizing the generated outputs is non-trivial.

In our experiments, we present two different approaches to this problem: (1) using a neural language model to select the correct inflected form while lexicalizing, (2) a two-step generation setup: our sequence-to-sequence model generates an interleaved sequence of lemmas and morphological tags, which are then inflected by a morphological generator.

Abstract (Czech):
Prezentujeme první datovou sadu zaměřenou na end-to-end generování jazyka v češtině v doméně restaurací, společně s několika silnými základními modely postavenými na architektuře sequence-to-sequence. Neanglické generování jazyka je obecně málo probádaný problém a čeština jakožto morfologicky bohatý jazyk představuje ještě těžší úkol: protože v češtině je třeba skloňovat jmenné entity, delexikalizace nebo jednoduché kopírovací mechanismy nefungují samy o sobě a lexikalizace výstupů generátoru je netriviální.

V našich experimentech představujeme dva různé přístupy k tomuto problému: (1) použití jazykového modelu pro výběr správné vyskloňované formy během lexikalizace, (2) dvoufázové generování: náš model sequence-to-sequence vygeneruje prokládanou sekvenci lemmat a morfologických značek, která je posléze zpracována morfologickým generátorem.
Findings of the 2019 Conference on Machine Translation (WMT19)
Výsledky konference o strojovém překladu 2019 (WMT19)
Year: 2019
Authors: Loïc Barrault, Ondřej Bojar, Marta R. Costa-Jussà, Christian Federmann, Mark Fishel, Yvette Graham, Barry Haddow, Matthias Huck, Philipp Koehn, Shervin Malmasi, Christof Monz, Mathias Müller, Santanu Pal, Matt Post, Marcos Zampieri

Abstract (English):
This paper presents the results of the premier
shared task organized alongside the Conference on Machine Translation (WMT) 2019.
Participants were asked to build machine
translation systems for any of 18 language
pairs, to be evaluated on a test set of news
stories. The main metric for this task is human judgment of translation quality. The task
was also opened up to additional test suites to
probe specific aspects of translation.

Abstract (Czech):
Tento dokument představuje výsledky premiérově sdíleného úkolu organizovaného společně s Konferencí o strojovém překladu (WMT) 2019.
Účastníci byli požádáni, aby sestavili systémy strojového překladu pro kterýkoli z 18 jazykových párů, které budou vyhodnoceny na základě testovací sady novinek. Hlavním metrem pro tento úkol je lidský úsudek o kvalitě překladu. Úkol byl také otevřen pro další testovací sady, které zkoumají specifické aspekty překladu.
On the Temporality of Adaptive Built Environments
K časovosti přizpůsobivých vybudovaných prostředí
Year: 2019
Authors: Hamed Alavi, Himanshu Verma, Jakub Mlynář, Denis Lalanne

Abstract (English):
Recognizing the relation between inhabitants and their built environments as a feedback loop, our aim is to capture the temporality of this loop in various scenarios of adaptation. We specifically focus on the emerging types of adaptation that are motivated by digitally acquired personal data, leading to either automation or action taken by the building stakeholders. Between the microscopic daily mutations (e.g. automated adaptation to occupants’ presence or activity) and the macroscopic evolution of built environments, we identify a “mesoscopic” scale and argue for broadening its consideration in the research domain of adaptive built environments. In mesoscopic adaptations, inhabitants’ data undergo a process of thorough analysis and scrutiny, the results of which inform the re-envisioning of building design for its next cycles over the course of months-years. This contribution distinguishes and elaborates on four temporal scales of adaptation (minutes-hours, days-weeks, months-years, decades-centuries) and then exemplifies the meso-scale with a study conducted over three years within a living lab context. Through this example, we also aim to demonstrate the opportunity for living lab methodologies to contribute to the research on adaptive built environments at the mesoscopic scale.

Abstract (Czech):
V této kapitole chápeme vztah mezi budovaným prostředím a jeho obyvateli jako zpětnou vazbu a naším cílem je zachytit temporalitu této vazby v různých formách adaptace. Zaměřujeme se zejména na nově vznikající formy přizpůsobení, které jsou založeny na digitálně pořízených osobních datech, což vede k automatizaci či k různým opatřením ze strany stavebních subjektů.
Results of the WMT19 Metrics Shared Task: Segment-Level and Strong MT Systems Pose Big Challenges
Výsledky sdíleného úkolu WMT19 Metrics: Segmentové a silné systémy MT představují velké výzvy
Year: 2019
Authors: Qingsong Ma, Johnny Tian-Zheng Wei, Ondřej Bojar, Yvette Graham

Abstract (English):
This paper presents the results of the
WMT19 Metrics Shared Task. Participants were asked to score the outputs of the translations systems competing in the WMT19 News Translation
Task with automatic metrics. 13 research
groups submitted 24 metrics, 10 of which
are reference-less “metrics” and constitute
submissions to the joint task with WMT19
Quality Estimation Task, “QE as a Metric”. In addition, we computed 11 baseline
metrics, with 8 commonly applied baselines (BLEU, SentBLEU, NIST, WER,
PER, TER, CDER, and chrF) and 3 reimplementations (chrF+, sacreBLEU-BLEU,
and sacreBLEU-chrF). Metrics were evaluated on the system level, how well a given
metric correlates with the WMT19 official manual ranking, and segment level,
how well the metric correlates with human
judgements of segment quality. This year,
we use direct assessment (DA) as our only
form of manual evaluation.

Abstract (Czech):
Tento dokument představuje výsledky sdíleného úkolu WMT19 Metrics. Účastníci byli požádáni, aby pomocí automatických metrik ohodnotili výstupy překladatelských systémů soutěžících v WMT19 News Translation Task. 13 výzkumných skupin předložilo 24 metrik, z nichž 10 jsou „metriky“ bez odkazů a představují podání ke společnému úkolu s WMT19 Quality Estimation Task, „QE as a Metric“. Navíc jsme vypočítali 11 základních
metriky, s 8 běžně používanými výchozími hodnotami (BLEU, SentBLEU, NIST, WER, PER, TER, CDER a chrF) a 3 reimplementy (chrF+, sacreBLEU-BLEU a sacreBLEU-chrF). Metriky byly hodnoceny na systémové úrovni, jak dobře daná metrika koreluje s oficiálním manuálním řazením WMT19 a na úrovni segmentu, jak dobře metrika koreluje s lidskými úsudky o kvalitě segmentu. Letos používáme přímé hodnocení (DA) jako jedinou formu manuálního hodnocení.
A Comprehensive Account of Reflexives in Czech: The Valency Perspective
Reflexiva v češtině z valenčního hlediska
Year: 2019
Authors: Václava Kettnerová, Markéta Lopatková

Abstract (English):
In this contribution, a comprehensive theoretical account of the reflexives in Czech elaborated within the Functional Generative Description, with the main emphasis put on the role of the reflexives in valency behavior of Czech verbs, has been provided.

Abstract (Czech):
V příspěvku byla diskutována role reflexiv v popisu češtiny a představena zejména ta reflexiva, která jsou součástí lemmatu slovesa.
Reflexives in Czech from a Dependency Perspective
Reflexiva v češtině ze závislostního hlediska
Year: 2019
Authors: Václava Kettnerová, Markéta Lopatková

Abstract (English):
In the paper, Czech reflexives and their description in the dependency-oriented theory,
Functional Generative Description, are addressed. The primary focus lies in the reflexives
that form analogous syntactic structures as personal pronouns.

Abstract (Czech):
V příspěvku se diskutují reflexiva v češtině, která tvoří konstrukce obdobné jako osobní zájmena, a jejich popis v rámci Funkčního generativního popisu.
The role of the reflexives in valency: Evidence from Czech
Role reflexiv ve valenci v češtině
Year: 2019
Authors: Václava Kettnerová, Markéta Lopatková

Abstract (English):
Reflexives in Czech are highly ambiguous. In this contribution, changes in valency of derived reflexive verbs have been discussed.

Abstract (Czech):
Reflexiva v češtině plní nerůznější funkce. V tomto příspěvku jsme se zaměřily na změny ve valenci derivovaných reflexivních sloves.
Towards Reciprocal Deverbal Nouns in Czech: From Reciprocal Verbs to Reciprocal Nouns
K recipročním deverbálním jménův v češtině: Od reciprocčních sloves k recipročním jménům
Year: 2019
Authors: Václava Kettnerová, Markéta Lopatková

Abstract (English):
Reciprocal verbs are widely debated in the current linguistics. However, other parts of speech can be characterized by reciprocity as well – in
contrast to verbs, their analysis is underdeveloped so far. In this paper, we make
an attempt to fill this gap, applying results of the description of Czech
reciprocal verbs to nouns derived from these verbs. We show that many aspects
characteristic of reciprocal verbs hold for reciprocal nouns as well.

Abstract (Czech):
Zatímco reciproční slovesa jsou v současné jazykovědě často diskutována, popis reciprocity dalších slovních druhů je teprve na počátku. V tomto příspěvku využíváme poznatky o reciprocitě sloves k popisu jejich deverbálních protějšků. Ukazujeme, že mnoho rysů recipročních konstrukcí sloves reciproční struktury deverbálních jmen sdílejí.
MRP 2019: Cross-Framework Meaning Representation Parsing
MRP 2019: Sdílený rámec pro Meaning Representation Parsing
Year: 2019
Authors: Stephan Oepen, Omri Abend, Jan Hajič, Daniel Hershcovich, Marco Kuhlmann, Nianwen Xue, Jayeol Chun, Milan Straka, Zdeňka Urešová, Tim O'Gorman

Abstract (English):
The 2019 Shared Task at the Conference for Computational Language Learning (CoNLL) was devoted to Meaning Representation Parsing (MRP) across frameworks. Five distinct approaches to the representation of sentence meaning in the form of directed graph were represented in the training and evaluation data for the task, packaged in a uniform abstract graph representation and serialization. The task received submissions from eighteen teams, of which five do not participate in the official ranking because they arrived after the closing deadline, made use of additional training data, or involved one of the task co-organizers. All technical information regarding the task, including system submissions, official results, and links to supporting resources and software are available from the task web site at: http://mrp.nlpl.eu.

Abstract (Czech):
Soutěžní úkol pro rok 2019 na konferenci Computational Language Learning (CoNLL) byl věnován sémantickému parsingu (Meaning Representation Parsing, MRP) napříč různými přístupy. Soutěž zahrnuje pět formálně a lingvisticky rozdílných přístupů k reprezentaci významu (DM, PSD, EDS, UCCA a AMR). Do soutěže se přihlásilo osmnáct týmů, z nichž pět se neúčastnilo oficiálního hodnocení, protože jejich výsledky dorazily až po uzávěrce, nebo tým využil dodatečných trénovacích dat, popřípadě byl jeden ze spoluorganizátorů soutěže mezi zástupci týmu. Veškeré technické informace týkající se soutěže jsou k dispozici na webových stránkách úkolu: http://mrp.nlpl.eu.
Neural Architectures for Nested NER through Linearization
Neuronové architektury pro rozpoznávání vnořených pojmenovaných entit pomocí linearizace
Year: 2019
Authors: Jana Straková, Milan Straka, Jan Hajič

Abstract (English):
We propose two neural network architectures for nested named entity recognition (NER), a setting in which named entities may overlap and also be labeled with more than one label. We encode the nested labels using a linearized scheme. In our first proposed approach, the nested labels are modeled as multilabels corresponding to the Cartesian product of the nested labels in a standard LSTM-CRF architecture. In the second one, the nested NER is viewed as a sequence-to-sequence problem, in which the input sequence consists of the tokens and output sequence of the labels, using hard attention on the word whose label is being predicted. The proposed methods outperform
the nested NER state of the art on four corpora: ACE-2004, ACE-2005, GENIA and Czech CNEC. We also enrich our architectures with the recently published contextual embeddings: ELMo, BERT and Flair, reaching further improvements for the four nested entity corpora. In addition, we report flat NER state-of-the-art results for CoNLL-2002 Dutch and Spanish and for CoNLL-2003 English.

Abstract (Czech):
V příspěvku navrhujeme dvě neuronové architektury pro rozpoznávání vnořených pojmenovaných entit, což je úloha, ve které se pojmenované entity mohou překrývat a také být označeny více než jednou značkou. Vnořené značky zakódováváme pomocí linearizovaného schématu. V prvním navrženém přístupu jsou vnořené značky modelovány jako multiznačky náležející kartézkému součinu vnořených značek ve standardní LSTM-CRF architektuře. V druhém navrženém přístupu přistupujeme k úloze rozpoznávání vnořených pojmenovaných entit jako k sequence-to-sequence problému, ve kterém vstupní sekvence sestává z tokenů a výstupní sekvence ze značek, přičemž používáme vynucený mechanismus attention na slově, které právě značkujeme. Navržené metody překonávají současný stav poznání v úloze rozpoznávání vnořených pojmenovaných entit na čtyřech korpusech: ACE-2004, ACE-2005, GENIA a českém CNEC. Naše architektury jsme dále obohatili nedávno publikovanými kontextovými embeddingy: ELMo, BERT a Flair, čímž jsme dosáhli dalšího zlepšení na všech čtyřech korpusech. Navíc publikujeme nejlepší známé výsledky v ropoznávání pojmenovaných entit na korpusech CoNLL-2002 v nizozemštině a španělštině a korpusu CoNLL-2003 v angličtině.
Deep learning in automatic analysis of the czech text
Hluboké učení v automatické analýze českého textu
Year: 2019
Authors: Jana Straková, Milan Straka, Jan Hajič, Martin Popel

Abstract (English):
The deep learning methods of artificial neural networks have seen a significant uptake in recent years, and have succeeded in overcoming and advancing the success of auto-solving tasks in many fields. The field of computational linguistics and its application offshoot, natural language processing with classic tasks such as morphological tagging, dependency analysis, named entity recognition and machine translation are not exceptions. This post provides an overview of recent advances in these tasks related to the Czech language and presents completely new results in the areas of morphological marking and recognition of named entities in Czech, along with detailed error analysis.

Abstract (Czech):
Metody hlubokého učení (deep learning) umělých neuronových sítí zaznamenaly v posledních letech výrazný nástup a jejich pomocí se podařilo překonat a posunout úspěšnost automaticky řešených úloh v mnoha oborech. Výjimkou není ani oblast počítačové (či komputační) lingvistiky (Computational Linguistics) a její aplikační odnož, zpracování přirozeného jazyka (Natural Language Processing) s klasickými úlohami, jako jsou morfologické značkování (POS tagging), závislostní analýza (dependency parsing), rozpoznávání pojmenovaných entit (named entity recognition) a strojový překlad (machine translation). Tento příspěvek přináší přehled nedávných pokroků v uvedených úlohách se vztahem k českému jazyku a představuje zcela nové výsledky v oblastech morfologického značkování a rozpoznávání pojmenovaných entit v češtině, spolu s detailní chybovou analýzou.
Exploring Benefits of Transfer Learning in Neural Machine Translation
Zkoumání výhod přenosu znalostí v neuronovém strojovém překladu
Year: 2019
Authors: Tom Kocmi

Abstract (English):
Neural machine translation is known to require large numbers of parallel training sentences, which generally prevent it from excelling on low-resource language pairs. This thesis explores the use of cross-lingual transfer learning on
neural networks as a way of solving the problem with the lack of resources. We
propose several transfer learning approaches to reuse a model pretrained on a
high-resource language pair. We pay particular attention to the simplicity of
the techniques. We study two scenarios: (a) when we reuse the high-resource
model without any prior modifications to its training process and (b) when we
can prepare the first-stage high-resource model for transfer learning in advance.
For the former scenario, we present a proof-of-concept method by reusing a
model trained by other researchers. In the latter scenario, we present a method
which reaches even larger improvements in translation performance. Apart
from proposed techniques, we focus on an in-depth analysis of transfer learning
techniques and try to shed some light on transfer learning improvements. We
show how our techniques address specific problems of low-resource languages
and are suitable even in high-resource transfer learning. We evaluate the potential drawbacks and behavior by studying transfer learning in various situations,
for example, under artificially damaged training corpora, or with fixed various
model parts.

Abstract (Czech):
Je známo, že neuronový strojový překlad vyžaduje velké množství paralelních
trénovacích vět, které obecně brání tomu, aby vynikal na párech jazyků s nedostatečným množstvím zdrojů. Tato práe se zabývá využitím translingválního
učení na neuronových sítích jako způsobu řešení problému nedostatku zdrojů.
Navrhujeme několik přístupů k transferu znalostí za účelem opětovného využití
modelu předtrénovaného na jiné jazykové dvojici s velkým množstvím zdrojů.
Zvláštní pozornost věnujeme jednoduchosti technik. Studujeme dva scénáře:
a) když používáme předtrénovaný model bez jakýchkoli předchozích úprav
jeho trénovacího procesu a b) když můžeme předem připravit prvostupňový
model pro transfer znalostí pro potřeby dítěte. Pro první scénář představujeme
metodu opětovného využití modelu předtrénovaného jinými výzkumníky. V
druhém případě předkládáme metodu, která dosáhne ještě většího zlepšení.
Kromě navrhovaných technik se zaměřujeme na hloubkovou analýzu technik
transferu znalostí a snažíme se vnést trochu světla do pochopení transferového
učení. Ukazujeme, jak naše techniky řeší specifické problémy jazyků s málo
daty a že jsou vhodné i pro jazykové páry s velkým množstvím dat. Potenciální nevýhody a chování hodnotíme studiem transferového učení v různých
situacích, například pod uměle poškozeným trénovacím korpusem, nebo se
zafixovanými částmi modelu.
MTM19 Tutorial: Transfer Learning for Low-Resource Languages
MTM19 Tutorial: Přenos znalostí pro jazyky s málo daty
Year: 2019
Authors: Tom Kocmi

Abstract (English):
This tutorial will show you how to use the Tensor2Tensor and how to apply Transfer Learning to low-resource languages. It should be easy to follow for everyone, even people that never trained Machine Translation models.

Abstract (Czech):
V tomto tutoriálu se naučíte používat tensor2tensor a jak aplikovat přenos znalostí na nízko-zdrojové jazykové páry. Tutorial je vhodný i pro účastníky, kteří nemají zkušenosti s trénováním neuronových MT modelů.
CUNI Submission for Low-Resource Languages in WMT News 2019
CUNI systém pro jazyky s málo daty na WMT News 2019
Year: 2019
Authors: Tom Kocmi, Ondřej Bojar

Abstract (English):
This paper describes the CUNI submission
to the WMT 2019 News Translation Shared
Task for the low-resource languages: GujaratiEnglish and Kazakh-English. We participated
in both language pairs in both translation directions. Our system combines transfer learning from a different high-resource language
pair followed by training on backtranslated
monolingual data. Thanks to the simultaneous training in both directions, we can iterate
the backtranslation process. We are using the
Transformer model in a constrained submission.

Abstract (Czech):
Tento článek popisuje systém CUNI do News WMT 2019 pro jazyky s nedostatečnými zdroji: Gujarati-Angličtina  a Kazakština-Angličtina. Zúčastnili jsme se na obou jazykových párech v obou směrech překladu. Náš systém kombinuje přenos znalostí z jiného dvojice jazyků s vysokým množstvím paralelních dat, po kterém následuje trénování na zpětně přeložených jednojazyčných dat. Díky simultánnímu tréninku v obou směrech můžeme iterovat proces zpětného překladu. Používáme Transformer model v constrained podmínkách.