ufal/bilingual-abstracts-corpus huggingface dataset:
Discovering Dialogue Slots with Weak Supervision
Hledání dialogových slotů se slabou supervizí
Year: 2021
Authors: Vojtěch Hudeček, Ondřej Dušek, Zhou Yu

Abstract (English):
Task-oriented dialogue systems typically require manual annotation of dialogue slots in training data, which is costly to obtain.
We propose a method that eliminates this requirement:
We use weak supervision from existing linguistic annotation models to identify potential slot candidates, then automatically identify domain-relevant slots by using clustering algorithms.
Furthermore, we use the resulting slot annotation to train a neural-network-based tagger that is able to perform slot tagging with no human intervention. 
This tagger is trained solely on the outputs of our method and thus does not rely on any labeled data.

Our model demonstrates state-of-the-art performance in slot tagging without labeled training data on four different dialogue domains. Moreover, we find that slot annotations discovered by our model significantly improve the performance of an end-to-end dialogue response generation model, compared to using no slot annotation at all.

Abstract (Czech):
Dialogové systémy orientované na úkoly obvykle vyžadují manuální anotaci dialogových slotů v trénovacích datech, jejichž získání je nákladné.
Navrhujeme metodu, která tento požadavek eliminuje:
K identifikaci potenciálních kandidátů na sloty využíváme slabou supervizi z existujících modelů pro lingvistickou anotaci a poté automaticky identifikujeme doménově relevantní sloty pomocí clusterovacích algoritmů.
Dále používáme výslednou anotaci slotů k natrénování taggeru založeného na neuronové síti, který je schopen provádět tagování slotů bez lidského zásahu. 
Tento tagger je trénován výhradně na výstupech naší metody, a není tedy závislý na žádných označených datech.

Náš model vykazuje špičkový výkon v označování slotů bez anotovaných trénovacích dat na čtyřech různých dialogových doménách. Kromě toho jsme zjistili, že anotace slotů zjištěné naším modelem výrazně zlepšují výkonnost end-to-end modelu pro generování odpovědi v dialogu v porovnání s modelem, který anotace slotů vůbec nepoužívá.
Readability of professional and administrative texts in Czech - why to study it and how to measure it?
Srozumitelnost českého odborného a úředního textu - proč se jí zabývat a jak ji měřit
Year: 2021
Authors: Jan Chromý, Silvie Cinková, Jana Šamánková

Abstract (English):
Text comprehension is one of the key skills that are learned during the school years. On the one
hand, reading literacy is fundamental for successful comprehension, on the other hand, comprehension
success is determined by textual features, i.e. its readability. Text readability thus presents an
important issue — from both the reception (people may not be able to comprehend a text fully due
to its low readability) and production perspective (people may not be able to produce a well readable
text). The current study presents an experimental method for measuring readability of Czech texts
of various genres based on the triangulation of (1) the rate of correct answers on comprehension
questions, (2) intra-textual features, and (3) subjective assessment of text readability. The method
is discussed in depth and individual steps are illustrated on an example of a research in progress
under the project Linguistic Factors of Readability in Czech Administrative and Educational Texts.

Abstract (Czech):
Porozumění textu je jednou z klíčových dovedností, které se učíme během školních let. Jednak je  základem úspěšného porozumění čtenářská gramotnost, jednak textové vlastnosti, tj. jeho srozumitelnost. Srozumitelnosttak představuje
důležitý problém - jak recepce (lidé nemusí být schopni plně porozumět textu kvůli)
k jeho nízké čitelnosti), tak produkce (lidé nemusí být schopni vytvořit dobře srozumitelný
text). Současná studie představuje experimentální metodu měření srozumitelnosti českých textů
různých žánrů na základě triangulace (1) míry správných odpovědí na porozumění
otázky, (2) intratextových rysů a (3) subjektivního hodnocení čitelnosti textu. Metoda
je podrobně diskutována a jednotlivé kroky jsou ilustrovány na příkladu probíhajícího výzkumu
v rámci projektu Lingvistické faktory pochopitelnosti v českých administrativních a vzdělávacích textech.
An Introductory Overview of Evaluating Facts and Attitudes in Diplomatic Discourse
Úvodní přehled hodnotících faktů a postojů v diplomatickém diskurzu
Year: 2021
Authors: Mariia Anisimova

Abstract (English):
This is a work-in-progress paper on evaluative
analysis of different approaches to managing representations of facts and attitudes in linguistics. The aim of
this comparative analysis is to find the most suitable approach for developing an annotation scheme in order to
build a dictionary of attitudinal expressions during the further stages of the project. Among the approaches analyzed
are the Appraisal Theory, the scheme developed by
Bednarek, as well as sentiment analysis and opinion
mining techniques, and argument mining. The
results of the current paper should be considered as the first
step in the research of distinguishing facts and attitudes in
diplomatic speeches of the United Nations Security Council.

Abstract (Czech):
Toto je rozpracovaný dokument o hodnotící
analýze různých přístupů k nakládání s reprezentacemi faktů a postojů v lingvistice. Cílem
této srovnávací analýzy je najít nejvhodnější přístup pro vývoj schématu anotací za účelem vybudování slovníku postojových výrazů v dalších fázích projektu. Mezi analyzovanými přístupy
jsou Appraisal Theory, schéma vyvinuté
Bednárkovou a také analýza sentimentu a techniky opinion miningu a argument miningu. Výsledky tohoto článku by měly být považovány za první
krok ve výzkumu rozlišování faktů a postojů v
diplomatických projevech Rady bezpečnosti OSN.
Improving Neural Machine Translation
Zlepšování neuronového strojového překladu
Year: 2021
Authors: Mateusz Krubiński

Abstract (English):
Machine Translation is a task of automatically translating text from one language
into another. In recent years, solutions based on neural networks have dominated
the field.
In this talk I will give a short introduction to the topic and mention a few tricks
that can be used to improve the final quality of translation. I will also share my
experience from participating in one of the longest-running international Machine
Translation competitions.

Abstract (Czech):
Strojový překlad je úkol automatického překládání textu z jednoho jazyka do druhého. V posledních letech tomuto oboru dominovala řešení založená na neuronových sítích.
V této prezentaci uvedu krátký úvod k tématu a zmíním několik postupů, které lze použít ke zlepšení konečné kvality překladu. Podělím se také o své zkušenosti z účasti na jedné z nejdéle probíhajících mezinárodních strojově překladatelských soutěží.
Just Ask! Evaluating Machine Translation by Asking and Answering Questions
Jen se ptej! Vyhodnocování strojového překladu pomocí otázek a odpovědí
Year: 2021
Authors: Mateusz Krubiński, Erfan Ghadery, Pavel Pecina, Marie-Francine Moens

Abstract (English):
In this paper, we show that automatically-generated questions and answers can be used to evaluate the quality of Machine Translation systems. Building on recent work on the evaluation of abstractive text summarization, we propose a new metric for system-level Machine Translation evaluation, compare it with other state-of-the-art solutions, and show its robustness by conducting experiments for various translation directions.

Abstract (Czech):
V této práci ukazujeme, že automaticky generované otázky a odpovědi mohou být použity k hodnocení kvality strojových překladatelských systémů. V návaznosti na nedávnou práci na hodnocení abstraktní sumarizace textu navrhujeme novou metriku pro systémové hodnocení strojového překladu, porovnáme ji s ostatními nejmodernějšími řešeními a prokážeme její robustnost provedením experimentů pro různé překladatelské směry.
MTEQA at WMT21 Metrics Shared Task
MTEQA na WMT21 Metrics Shared Task
Year: 2021
Authors: Mateusz Krubiński, Erfan Ghadery, Pavel Pecina, Marie-Francine Moens

Abstract (English):
In this paper, we describe our submission to the WMT 2021 Metrics Shared Task. We use the automatically-generated questions and answers to evaluate the quality of Machine Translation (MT) systems. Our submission builds upon the recently proposed MTEQA framework. Experiments on WMT20 evaluation datasets show that at the system-level the MTEQA metric achieves performance comparable with other state-of-the-art solutions, while considering only a certain amount of information from the whole translation.

Abstract (Czech):
V tomto dokumentu popisujeme naši účast ve WMT 2021 Metrics Shared Task. Automaticky generované otázky a odpovědi používáme k hodnocení kvality systémů strojového překladu. Naše experimenty jsou založeny na nedávno navržené metodě MTEQA. Pokusy s vyhodnocovacími datovými soubory WMT20 ukazují, že na systémové úrovni dosahuje MTEQA výkonu srovnatelného s jinými nejmodernějšími řešeními, přičemž zohledňuje je velmi omezené informace z celého překladu.
Solving SCAN Tasks with Data Augmentation and Input Embeddings
Řešení SCAN úloh pomocí zdrojových embedingů a augmentace dat
Year: 2021
Authors: Michal Auersperger, Pavel Pecina

Abstract (English):
We address the compositionality challenge presented by the SCAN benchmark. Using data augmentation and a modification of the standard seq2seq architecture with attention, we achieve SOTA results on all the relevant tasks from the benchmark, showing the models can generalize to words used in unseen contexts. We propose an extension of the benchmark by a harder task, which cannot be solved by the
proposed method.

Abstract (Czech):
Řešení úloh z benchmarku SCAN, který testuje schopnost neuronových sítí využít kompozicionalitu. Návrh nové úlohy, kde prezentované řešení selhává.
Sampling and Filtering of Neural Machine Translation Distillation Data
Výběr a filtrace dat pro destilaci v neuronovém strojovém překladu
Year: 2021
Authors: Vilém Zouhar

Abstract (English):
Ve většině scénářů destilace nebo krádeže neuronových strojových překladů se k výcviku nového modelu (studenta) používá hypotéza s nejvyšším bodovým ohodnocením cílového modelu (učitele). Jsou-li k dispozici i referenční překlady, pak lze lepší hypotézy (s ohledem na odkazy) přetížit a špatné hypotézy buď odstranit, nebo podtrhnout. Tento dokument zkoumá prostředí metody odběru vzorků (prořezávání, hypotetické nadměrné vzorkování a nedostatečné vzorkování, deduplikace a jejich kombinace) s anglickými až českými a anglickými až německými modely MT pomocí standardních metrik hodnocení MT. Ukazujeme, že pečlivé nadměrné vzorkování a kombinace s původními údaji vede k lepším výsledkům ve srovnání se školením pouze o původních nebo syntetizovaných údajích nebo jejich přímé kombinaci.

Abstract (Czech):
In most of neural machine translation distillation or stealing scenarios, the highest-scoring hypothesis of the target model (teacher) is used to train a new model (student). If reference translations are also available, then better hypotheses (with respect to the references) can be oversampled and poor hypotheses either removed or undersampled. This paper explores the sampling method landscape (pruning, hypothesis oversampling and undersampling, deduplication and their combination) with English to Czech and English to German MT models using standard MT evaluation metrics. We show that careful oversampling and combination with the original data leads to better performance when compared to training only on the original or synthesized data or their direct combination.
Backtranslation Feedback Improves User Confidence in MT, Not Quality
Zpětná vazba zpětného překladu zlepšuje důvěru uživatelů vůči strojovému překladu, ne jeho kvalitu
Year: 2021
Authors: Vilém Zouhar, Michal Novák, Matúš Žilinec, Ondřej Bojar, Mateo Obregón, Robin L. Hill, Frédéric Blain, Marina Fomicheva, Lucia Specia, Lisa Yankovskaya

Abstract (English):
Translating text into a language unknown to the text’s author, dubbed outbound translation, is a modern need for which the user experience has significant room for improvement, beyond the basic machine translation facility. We demonstrate this by showing three ways in which user confidence in the outbound translation, as well as its overall final quality, can be affected: backward translation, quality estimation (with alignment) and source paraphrasing. In this paper, we describe an experiment on outbound translation from English to Czech and Estonian. We examine the effects of each proposed feedback module and further focus on how the quality of machine translation systems influence these findings and the user perception of success. We show that backward translation feedback has a mixed effect on the whole process: it increases user confidence in the produced translation, but not the objective quality.

Abstract (Czech):
Článek zkoumá vlyv odhadování kvality překladu na slovní úrovni, zpětného překladu a automatického parafrázování na kvalitu odchozího překladu do jazyka, kterému jeho uživatelé nerozumí, a subjektivní důvěru uživatelů v kvalitu tohoto překladu.
Neural Machine Translation Quality and Post-Editing Performance
Kvalita neuronového strojového překladu a posteditace
Year: 2021
Authors: Vilém Zouhar, Aleš Tamchyna, Martin Popel, Ondřej Bojar

Abstract (English):
We test the natural expectation that using MT in professional translation saves human processing time. The last such study was carried out by Sanchez-Torron and Koehn (2016) with phrase-based MT, artificially reducing the translation quality. In contrast, we focus on neural MT (NMT) of high quality, which has become the state-of-the-art approach since then and also got adopted by most translation companies.
Through an experimental study involving over 30 professional translators for English -> Czech translation, we examine the relationship between NMT performance and post-editing time and quality. Across all models, we found that better MT systems indeed lead to fewer changes in the sentences in this industry setting. The relation between system quality and post-editing time is however not straightforward and, contrary to the results on phrase-based MT, BLEU is definitely not a stable predictor of the time or final output quality.

Abstract (Czech):
Testujeme přirozené očekávání, že použití strojového překladu (MT) v profesionálním překladu ušetří lidem čas. Poslední takovou studii provedli Sanchez-Torron a Koehn (2016) s frázovým MT, čímž uměle snížili kvalitu překladu. My se oproti tomu zaměřujeme na vysoce kvalitní neuronový strojový překlad (NMT), který převyšuje kvalitu frázového MT a také ho přijala většina překladatelských společností.
Prostřednictvím experimentální studie, do níž se zapojilo přes 30 profesionálních překladatelů pro anglicko-český překlad, zkoumáme vztah mezi výkonem NMT a časem a kvalitou post-editace. Ve všech modelech jsme zjistili, že lepší systémy MT skutečně vedou k menšímu počtu změn vět v tomto průmyslovém prostředí. Vztah mezi systémovou kvalitou a dobou post-editace však není jednoznačný a na rozdíl od výsledků frázového MT není BLEU stabilním prediktorem času post-editace či konečné výstupní kvality.
Coarse-To-Fine And Cross-Lingual ASR Transfer
Coarse-to-fine a cross-linguálny ASR prenos
Year: 2021
Authors: Peter Polák, Ondřej Bojar

Abstract (English):
End-to-end neural automatic speech recognition systems achieved recently  state-of-the-art results but they require large datasets and extensive computing resources.
Transfer learning has been proposed to overcome these difficulties even across languages, e.g., German ASR trained from an English model.
We experiment with much less related languages, reusing an English model for Czech ASR. To simplify the transfer, we propose to use an intermediate alphabet, Czech without accents, and we document that it is a highly effective strategy. The technique is also useful on Czech data alone, in the style of "coarse-to-fine" training.
We achieve substantial reductions in training time as well as word error rate (WER).

Abstract (Czech):
End-to-end neurální systémy automatického rozpoznávání řeči dosáhly v poslední době nejmodernějších výsledků, ale vyžadují velké datové sady a rozsáhlé výpočetní zdroje.
Přenosové učení bylo navrženo k překonání těchto obtíží i napříč jazyky, např. německý ASR trénovaný podle anglického modelu.
Experimentujeme s mnohem méně příbuznými jazyky, přičemž pro české ASR znovu používáme anglický model. Pro zjednodušení převodu navrhujeme používat přechodnou abecedu, češtinu bez přízvuků, a dokládáme, že jde o vysoce efektivní strategii. Technika je užitečná i na samotných českých datech, ve stylu tréninku „coarse-to-fine“.
Dosahujeme podstatného zkrácení doby tréninku a také word error rate (WER).
Explainable Quality Estimation: CUNI Eval4NLP Submission
Vysvětlitelný odhad kvality: Příspěvek UK do kampaně Eval4NLP
Year: 2021
Authors: Peter Polák, Muskaan Singh, Ondřej Bojar

Abstract (English):
This paper describes our participating system in the shared task Explainable quality estimation of 2nd Workshop on Evaluation & Comparison of NLP Systems. The task of quality estimation (QE, a.k.a. reference-free evaluation) is to predict the quality of MT output at inference time without access to reference translations. In this proposed work, we first build a word-level quality estimation model, then we finetune this model for sentence-level QE. Our proposed models achieve near state-of-the-art results. In the word-level QE, we place 2nd and 3rd on the supervised Ro-En and Et-En test sets. In the sentence-level QE, we achieve a relative improvement of 8.86% (Ro-En) and 10.6% (Et-En) in terms of the Pearson correlation coefficient over the baseline model.

Abstract (Czech):
Tento článek popisuje náš účastnický systém ve úloze Explainable quality estimation of 2nd Workshop on Evaluation & Comparison of NLP Systems. Úkolem odhadu kvality (QE, neboli bezreferenční hodnocení) je předpovídat kvalitu výstupu MT v čase odvození bez přístupu k referenčním překladům. V této navrhované práci nejprve vytvoříme model odhadu kvality na úrovni slov a poté tento model doladíme pro QE na úrovni vět. Námi navržené modely dosahují téměř nejmodernějších výsledků. V QE na úrovni slov se umístíme na 2. a 3. místě v testovaných sadách Ro-En a Et-En pod dohledem. V QE na úrovni vět dosahujeme relativního zlepšení 8,86% (Ro-En) a 10,6% (Et-En) ve smyslu Pearsonova korelačního koeficientu oproti základnímu modelu.
Between Adverbs and Particles: A Corpus Study of Selected Intensifiers
Mezi příslovci a částicemi: Korpusová studie vybraných intenzifikátorů
Year: 2021
Authors: Jana Šindlerová, Barbora Štěpánková

Abstract (English):
In this paper, we present a preliminary study of three intensifiers (absolutně, naprosto, úplně) based on data from three different corpora, a written corpus SYN2020, a web corpus ONLINE-ARCHIVE, and a spoken corpus ORTOFON 1. Providing a parallel annotation of a random sample of each intensifier, we focus on their functions and meanings in context. We analyse their properties in order to define those features which are relevant to their word class assignment, and to prepare grounds for the future disambiguation tasks.

Abstract (Czech):
V článku zachycujeme výsledky pilotní studie zaměřené na intenzifikátory: absolutně, naprosto a úplně. Vycházíme ze tří korpusů současné češtiny - psaného korpusu SYN2020, webového korpusu ONLINE-ARCHIVE a mluveného korpusu ORTOFON 1. Na základě paralelní anotace náhodného vzorku všech vybraných intenzifikátorů sledujeme funkce a významy těchto výrazů v kontextu.Cílem studie je vymezit vlastnosti, které jsou relevantní pro slovnědruhové určení zkoumaných výrazů a připravit podklady pro jejich disambiguaci.
Implicit Discourse Relations in Czech
Implicitní diskurzní vztahy v češtině
Year: 2021
Authors: Šárka Zikánová

Abstract (English):
Research of implicit and explicit discourse relations in Czech, based on a comparison of corpus analysis data (corpus PDiT-EDA 1.0, created for this research) and the results of psycholinguistic experiments. The study focuses on different semantic types of discourse relations and on their inter-sentential and intra-sentential realization.

Abstract (Czech):
Výzkum implicitních a explicitních diskurzních vztahů v češtině, založený na srovnání dat korpusové analýzy (korpus PDiT-EDA 1.0, vytvořený pro tento výzkum) a výsledků psycholingvistických experimentů. Studie se zaměřuje na jednolitvé sémantické typy diskurzních vztahů a na jejich mezivětnou a vnitrovětnou realizaci.
Primary and Secondary Discourse Connectives
Primární a sekundární diskurzní konektory
Year: 2021
Authors: Magdaléna Rysová, Kateřina Rysová

Abstract (English):
In the paper, we study discourse connectives and other discourse phenomena in Czech based on corpus data.

Abstract (Czech):
Článek je zaměřen na analýzu diskurzních konektorů a dalších diskurzních jevů v češtině na základě korpusových dat.
Results of the WMT21 Metrics Shared Task: Evaluating Metrics with Expert-based Human Evaluations on TED and News Domain
Výsledky z WMT21 Metrics Shared Task: Vyhodnocování metrik s expertními lidskými hodnoceními  na doméně TED a zpravodajství
Year: 2021
Authors: Markus Freitag, Ricardo Rei, Nitika Mathur, Chi-kiu Lo, Craig Stewart, George Foster, Alon Lavie, Ondřej Bojar

Abstract (English):
This paper presents the results of the WMT21
Metrics Shared Task. Participants were asked
to score the outputs of the translation systems competing in the WMT21 News Translation Task with automatic metrics on two different domains: news and TED talks. All metrics were evaluated on how well they correlate at the system- and segment-level with
human ratings. Contrary to previous years’
editions, this year we acquired our own human ratings based on expert-based human evaluation via Multidimensional Quality Metrics
(MQM). This setup had several advantages:
(i) expert-based evaluation has been shown
to be more reliable, (ii) we were able to
evaluate all metrics on two different domains
using translations of the same MT systems,
(iii) we added 5 additional translations coming from the same system during system development. In addition, we designed three
challenge sets that evaluate the robustness of
all automatic metrics. We present an extensive analysis on how well metrics perform
on three language pairs: English→German,
English→Russian and Chinese→English. We
further show the impact of different reference
translations on reference-based metrics and
compare our expert-based MQM annotation
with the DA scores acquired by WMT.

Abstract (Czech):
Tento článek představuje výsledky WMT21 Metrics Shared Task. Účastníci byli požádáni o hodnocení výstupů překladatelských systémů soutěžících v překladatelské úloze WMT21 News pomocí automatických metrik pro dvě různé oblasti: zpravodajství a TED talks. Všechny metriky byly hodnoceny podle toho, jak dobře korelují na úrovni systému a segmentu s lidským hodnocením. Na rozdíl od předchozích ročníků jsme letos získali vlastní lidská hodnocení na základě expertního lidského hodnocení prostřednictvím vícerozměrných metrik kvality (MQM). Toto nastavení mělo několik výhod:
(i) ukázalo se, že expertní hodnocení je spolehlivější, (ii) byli jsme schopni vyhodnotit všechny metriky na dvou různých doménách s použitím překladů stejných systémů MT, (iii) během vývoje systému jsme přidali 5 dalších překladů pocházejících ze stejného systému. Kromě toho jsme navrhli tři
sady výzev, které hodnotí robustnost všech automatických metrik. Předkládáme rozsáhlou analýzu toho, jak dobře metriky fungují na třech jazykových dvojicích: angličtina→němčina, angličtina→ruština a čínština→angličtina. Dále ukazujeme vliv různých referenčních překladů metriky a porovnáváme naši expertní anotaci MQM s DA skóre získanými pomocí WMT.