ufal/bilingual-abstracts-corpus huggingface dataset:
Overview of the 7th Workshop on Asian Translation
Přehled 7. workshopu o překladech do asijských jazyků
Year: 2020
Authors: Toshiaki Nakazawa, Hideki Nakayma, Chenchen Ding, Raj Dabre, Shohei Higashiyama, Hideya Mino, Isao Goto, Win Pa Pa, Anoop Kunchukuttan, Shantipriya Parida, Ondřej Bojar, Sadao Kurohashi

Abstract (English):
This paper presents the results of the shared
tasks from the 7th workshop on Asian transla­tion (WAT2020). For the WAT2020, 20 teams
participated in the shared tasks and 14 teams
submitted their translation results for the hu­man evaluation. We also received 12 research paper submissions out of which 7 were ac­cepted. About 500 translation results were
submitted to the automatic evaluation server,
and selected submissions were manually eval­uated.

Abstract (Czech):
Tento dokument představuje výsledky sdílených
úkolů ze 7. workshopu o překladech do asijských jazyků (WAT2020). WAT2020 se účastnilo 20 týmů a 14 týmů předložilo výsledky překladů pro lidské hodnocení. Obdrželi jsme také 12 písemných podání k výzkumu, z nichž 7 bylo přijato
s výjimkou. Zhruba 500 výsledků překladů bylo
odevzdáno na automatickém hodnotícím serveru
a vybraná podání byla vyhodnocena ručně.
Automating Text Naturalness Evaluation of NLG Systems
Automatizace hodnocení přirozenosti textu systémů NLG
Year: 2020
Authors: Erion Çano, Ondřej Bojar

Abstract (English):
Automatic methods and metrics that assess various quality criteria of automatically generated texts are important for developing NLG systems because they produce repeatable results and allow for a fast development cycle. We present here an attempt to automate the evaluation of text naturalness which is a very important characteristic of natural language generation methods. Instead of relying on human participants for scoring or labeling the text samples, we propose to automate the process by using a human likeliness metric we define and a discrimination procedure based on large pretrained language models with their probability distributions. We analyze the text probability fractions and observe how they are influenced by the size of the generative and discriminative models involved in the process. Based on our results, bigger generators and larger pretrained discriminators are more appropriate for a better evaluation of text naturalness. A comprehensive validation procedure with human participants is required as follow up to check how well this automatic evaluation scheme correlates with human judgments.

Abstract (Czech):
Automatické metody a metriky, které hodnotí různá kritéria kvality automaticky generovaných textů, jsou důležité pro vývoj systémů NLG, protože vytvářejí opakovatelné výsledky a umožňují rychlý vývojový cyklus. Představujeme zde pokus automatizovat hodnocení přirozenosti textu, což je velmi důležitá charakteristika metod generování přirozeného jazyka. Namísto spoléhání se na lidské účastníky při hodnocení nebo označování textových vzorků navrhujeme automatizovat proces pomocí metriky lidské pravděpodobnosti, kterou definujeme, a diskriminačního postupu založeného na velkých předtrénovaných jazykových modelech s jejich rozděleními pravděpodobnosti.
How Many Pages? Paper Length Prediction from the Metadata
Kolik stránek? Predikce délky papíru z metadat
Year: 2020
Authors: Erion Çano, Ondřej Bojar

Abstract (English):
Being able to predict the length of a scientific paper may be helpful in numerous situations. This work defines the paper length prediction task as a regression problem and reports several experimental results using popular machine learning models. We also create a huge dataset of publication metadata and the respective lengths in
number of pages. The dataset will be freely available and is intended to foster research in this domain. As future work, we would like to
explore more advanced regressors based on neural networks and big pretrained language models.

Abstract (Czech):
Schopnost předpovědět délku vědecké práce může být užitečná v mnoha situacích. Tato práce definuje úlohu predikce délky papíru jako regresní problém a uvádí několik experimentálních výsledků pomocí populárních modelů strojového učení.
Human or Machine: Automating Human Likeliness Evaluation of NLG Texts
Člověk nebo stroj: Automatizace hodnocení pravděpodobnosti textů NLG člověkem
Year: 2020
Authors: Erion Çano, Ondřej Bojar

Abstract (English):
Automatické vyhodnocení různých kritérií kvality textu vytvořených inteligentními metodami založenými na datech je velmi běžné a užitečné, protože je levné, rychlé a obvykle přináší opakovatelné výsledky. V tomto příspěvku prezentujeme pokus automatizovat hodnocení lidské pravděpodobnosti výstupních textových vzorků pocházejících z metod generování přirozeného jazyka používaných k řešení několika úkolů.

Abstract (Czech):
Automatic evaluation of various text quality criteria produced by data-driven intelligent methods is very common and useful because it is cheap, fast, and usually yields repeatable results. In this paper, we present an attempt to automate the human likeliness evaluation of the output text samples coming from natural language generation methods used to solve several tasks. We propose to use a human likeliness score that shows the percentage of the output samples from a method that look as if they were written by a human. Instead of having human participants label or rate those samples, we completely automate the process by using a discrimination procedure based on large pretrained language models and their probability distributions. As follow up, we plan to perform an empirical analysis of human-written and machine-generated texts to find the optimal setup of this evaluation approach. A validation procedure involving human participants will also check how the automatic evaluation correlates with human judgments.
Two Huge Title and Keyword Generation Corpora of Research Articles
Dva obrovské korpusy titulů a klíčových slov z výzkumných článků
Year: 2020
Authors: Erion Çano, Ondřej Bojar

Abstract (English):
Recent developments in sequence-to-sequence learning with neural networks have considerably improved the quality of automatically generated text summaries and document keywords, stipulating the need for even bigger training corpora. Metadata of research articles are usually easy to find online and can be used to perform research on various tasks. In this paper, we introduce two huge datasets for text summarization (OAGSX) and keyword generation (OAGKX) research, containing 34 million and 23 million records, respectively. The data were retrieved from the Open Academic Graph which is a network of research profiles and publications. We carefully processed each record and also tried several extractive and abstractive methods of both tasks to create performance baselines for other researchers. We further illustrate the performance of those methods previewing their outputs. In the near future, we would like to apply topic modeling on the two sets to derive subsets of research articles from more specific disciplines.

Abstract (Czech):
Poslední vývoj v učení neuronovými sítěmi výrazně zvýšilo kvalitu automaticky generovaných souhrnů a klíčových slov dokumentu s tím, že je třeba ještě větších trénovacích korpusů. V tomto příspěvku představujeme dvě velké datové sady pro sumarizaci textu (OAGSX) a generování klíčových slov bsahující 34 milionů, resp. 23 milionů záznamů. Data byla získána ze sítě Open Academic Graph obsahující výzkumné profily a publikace. Pečlivě jsme zpracovávali každý záznam a také zkoušeli
několik extraktivních a abstraktivních metod pro obě úlohy, abychom vytvořili základ pro další výzkum. Dále jsme ukázali výkon těchto metod
kontrolou jejich výstupu. Brzy bychom rdi užili modelování témat na dvou množinách, abychom vytvořili dvě podmnožiny článků ze specifičtějších
disciplín.
FINDINGS OF THE IWSLT 2020 EVALUATION CAMPAIGN
Výsledky evaluační kampaně IWSLT 2020
Year: 2020
Authors: Ebrahim Ansari, Amittai Axelrod, Nguyen Bach, Ondřej Bojar, Roldano Cattoni, Fahim Dalvi, Nadir Durrani, Marcello Federico, Christian Federmann, Jiatao Gu, Fei Huang, Kevin Knight, Xutai Ma, Ajay Nagesh, Matteo Negri, Jan Niehues, Juan Pino, Elizabeth Salesky, Xing Shi, Sebastian Stüker, Marco Turchi, Alex Waibel, Changhan Wang

Abstract (English):
The evaluation campaign of the International Conference on Spoken Language Translation (IWSLT 2020) featured this year six challenge tracks: (i) Simultaneous speech translation, (ii) Video speech translation, (iii) Offline speech translation, (iv) Conversational speech translation, (v) Open domain translation, and (vi) Non-native speech translation. A total of teams participated in at least one of the tracks. This paper introduces each track’s goal, data and evaluation metrics, and reports the results of the received submissions.

Abstract (Czech):
V rámci hodnotící kampaně Mezinárodní konference o překladu mluveného jazyka (IWSLT 2020) bylo letos zařazeno šest náročných úloh: i) simultánní překlad řeči, ii) překlad videořeči, iii) offline překlad řeči, iv) překlad konverzační řeči, v) Open domain překlad a vi) překlad řeči nerodilých mluvčí. Tento dokument uvádí cíle každé trati, údaje a metriky hodnocení a informuje o výsledcích obdržených podání.
Speed-optimized, Compact Student Models that Distill Knowledge from a Larger Teacher Model: the UEDIN-CUNI Submission to the WMT 2020 News Translation Task
Kompaktní studentské modely optimalizované na rychlost, které destilují znalosti z většího učitelského modelu: příspěvek UEDIN-CUNI do WMT 2020 News Translation Task
Year: 2020
Authors: Ulrich Germann, Roman Grundkiewicz, Martin Popel, Radina Dobreva, Nikolay Bogoychev, Kenneth Heafield

Abstract (English):
We describe the joint submission of the University of Edinburgh and Charles University, Prague, to the Czech/English track in the WMT 2020 Shared Task on News Translation. Our fast and compact student models distill knowledge from a larger, slower teacher. They are designed to offer a good trade-off between translation quality and inference efficiency. On the WMT 2020 Czech-English test sets, they achieve translation speeds of over 700 whitespace-delimited source words per second on a single CPU thread, thus making neural translation feasible on consumer hardware without a GPU.

Abstract (Czech):
Popisujeme společný příspěvek Edinburské univerzity a Univerzity Karlovy do soutěže v česko-anglickém strojovém překladu - WMT 2020 Shared Task on News Translation. Naše rychlé a kompaktní studentské modely destilují znalosti z většího, pomalejšího učitelského modelu. Jsou navrženy tak, aby nabízely dobrý kompromis mezi kvalitou překladu a efektivitou inference. Na česko-anglických testovacích sadách WMT 2020 dosahují rychlosti překladu přes 700 zdrojových slov za sekundu na jednom procesoru, což umožňuje neuronový strojový překlad na spotřebním hardwaru bez GPU.
Czech parliament meeting recordings as ASR training data
Záznamy jednání českého parlamentu jako trénovací data pro ASR
Year: 2020
Authors: Jan Oldřich Krůza

Abstract (English):
I present a way to leverage the stenographed recordings of the Czech parliament meetings for purposes of training a speech-to-text system. The article presents a method for scraping the data, acquiring word-level alignment and selecting reliable parts of the imprecise transcript. Finally, I present an ASR system trained on these and other data.

Abstract (Czech):
Prezentuji způsob, jak využít stenografované záznamy jednání PSPČR pro účely trénování systémů rozpoznávání řeči. V článku je uvedena metoda pro získání dat, zarovnání na úrovni slov a výběr spolehlivých částí nepřesného přepisu. Konečně prezentuji systém rozpoznávání řeči natrénovaný na těchto i jiných datech.
Prisoner tattoo as a situated social object in Holocaust survivors’ visual history testimonies
Vězeňské tetování ve vyprávění přeživších holocaustu
Year: 2020
Authors: Karolína Bukovská, Jakub Mlynář

Abstract (English):
The practice of tattooing has been part of human culture since the dawn of history. In this paper, despite the mentioned cultural shifts toward the voluntary nature and social acceptability of tattooing, we focus on some cases of tattooing as an involuntary “branding” practice, which is a historical form of exercising total physical control over one’s person, such as in the case of human slaves. In terms of empirical material, our study is based on the USC Shoah Foundation's Visual History Archive.

Abstract (Czech):
Praxe tetování je součástí lidské kultury od počátku dějin. Navzdory kulturním posunům směrem k dobrovolné povaze a společenské přijatelnosti tetování se v tomto textu zaměřujeme na některé případy tetování jako nedobrovolného „značkování“, což je způsob vykonávání naprosté fyzické kontroly nad člověkem, jako v případě lidských otroků. Ve své empirické dimenzi vychází naše studie z Archivu vizuální historie nadace USC Shoah.
PyVallex: A Processing System for Valency Lexicon Data
PyVallex: Nástroj pro zpracování dat valenčních slovníků
Year: 2020
Authors: Jonathan Verner, Anna Vernerová

Abstract (English):
We present PyVallex, a Python-based system for presenting, searching/filtering, editing/extending and automatic processing of machine readable lexicon data originally available in a text-based format. The system consists of several components: a parser for the specific lexicon format used in several valency lexicons, a data-validation framework, a regular expression based search engine, a map-reduce style framework for querying the lexicon data and a web-based interface integrating complex search and some basic editing capabilities. PyVallex provides most of the typical functionalities of a Dictionary Writing System (DWS), such as multiple presentation modes for the underlying lexical database, automatic evaluation of consistency tests, and a mechanism of merging updates coming from multiple sources. The editing functionality is currently limited to the client-side interface and edits of existing lexical entries, but additional script-based operations on the database are also possible. The code is published under the open source MIT license and is also available in the form of a Python module for integrating into other software.

Abstract (Czech):
Představujeme PyVallex, nástroj pro prezentaci, prohledávání/filtrování, editaci/rozšiřování a automatické zpracování strojově čitelných lexikografických dat v původním textovém formátu. Tento systém se skládá z několika komponent, parseru, nástrojů pro validaci dat, vyhledávání pomocí regulárních výrazů, frameworku typu map-reduce pro sestavování komplexnějších dotazů a analýz a webového rozhraní.
Grounded Sequence to Sequence Transduction
Sekvenční učení ukotvené v multimodálních vstupech
Year: 2020
Authors: Lucia Specia, Loïc Barrault, Ozan Caglayan, Amanda Duarte, Desmond Elliott, Spandana Gella, Nils Holzenberger, Chiraag Lala, Sun Jae Lee, Jindřich Libovický, Pranava Madhyastha, Florian Metze, Karl Mulligan, Alissa Ostapenko, Shruti Palaskar, Ramon Sanabria, Josiah Wang, Raman Arora

Abstract (English):
Speech recognition and machine translation have made major progress over the past decades, providing practical systems to map one language sequence to another. Although multiple modalities such as sound and video are becoming increasingly available, the state-of-the-art systems are inherently unimodal, in the sense that they take a single modality⁠—either speech or text⁠—as input. Evidence from human learning suggests that additional modalities can provide disambiguating signals crucial for many language tasks. Here, we describe the How2 dataset, a large, open-domain collection of videos with transcriptions and their translations. We then show how this single dataset can be used to develop systems for a variety of language tasks and present a number of models meant as starting points. Across tasks, we find that building multi-modal architectures that perform better than their unimodal counterpart remains a challenge. This leaves plenty of room for the exploration of more advanced solutions that fully exploit the multi-modal nature of the How2 dataset, and the general direction of multimodal learning with other datasets as well.

Abstract (Czech):
Rozpoznávání řeči a strojový překlad učinily v posledních desetiletích velký pokrok a vedly ke vzniku praktických systémů, které dovedou mapovat jednu jazykovou posloupnost na druhou. Přestože jsou stále dostupnější data ve více modalitách jako je zvuk a video, nejmodernější systémy jsou ze své podstaty unimodální v tom smyslu, že jako vstup berou jedinou modalitu - ať už řeč nebo text. Zkušenosti z toho, jak se učí lidé učí jazyk, ukazují, že různé modality nesou navzájem se dolňující se signály, které jsou často klíčové pro řešení mnoha jazykových úkolů. V tomto článku popisujeme datovou sadu How2, rozsáhlou, kolekci videí s přepisy a jejich překlady. Ukazujeme, jak lze tuto datovou sadu využít k vývoji systémů pro různé jazykové úlohy a představujeme řadu modelů. V rámci řešení těchto úloh zjišťujeme, že budování multimodálních architektur, které by fungovaly lépe, než jejich unimodální protějšek, zůstává i nadále velkou výzvou. To ponechává velký prostor pro zkoumání pokročilejších řešení, která plně využívají multimodální povahu datového souboru How2, a také obecného směřování multimodálního učení s využitím jiných multimodálních datových sad.
WMT20 Document-Level Markable Error Exploration
WMT20 zkoumání chybovosti Markable na úrovni dokumentů
Year: 2020
Authors: Vilém Zouhar, Tereza Vojtěchová, Ondřej Bojar

Abstract (English):
Even though sentence-centric metrics are
used widely in machine translation evaluation,
document-level performance is at least equally
important for professional usage. In this paper,
we bring attention to detailed document-level
evaluation focused on markables (expressions
bearing most of the document meaning) and
the negative impact of various markable error
phenomena on the translation.
For an annotation experiment of two phases,
we chose Czech and English documents translated
by systems submitted to WMT20 News
Translation Task. These documents are from
the News, Audit and Lease domains. We show
that the quality and also the kind of errors
varies significantly among the domains. This
systematic variance is in contrast to the automatic
evaluation results.
We inspect which specific markables are problematic
for MT systems and conclude with an
analysis of the effect of markable error types
on the MT performance measured by humans
and automatic evaluation tools.

Abstract (Czech):
I když se při strojovém vyhodnocování překladů ve velké míře používají metriky se středem věty, výkonnost na úrovni dokumentů je pro profesionální použití přinejmenším stejně důležitá. V tomto dokumentu upozorňujeme na podrobné hodnocení na úrovni dokumentů zaměřené na markables (výrazy nesoucí většinu významu dokumentu) a negativní dopad různých markable error fenomenů na překlad.

Pro anotační experiment dvou fází jsme vybrali české a anglické dokumenty přeložené systémy, které byly předány do WMT20 News Translation Task. Tyto dokumenty jsou z domén News, Audit a Lease. Ukazujeme, že kvalita a také druh chyb se mezi doménami výrazně liší. Tento systematický rozptyl je v protikladu k automatickým výsledkům hodnocení.

Zkoumáme, které specifické značení je problematické pro systémy MT, a zakončíme analýzou vlivu značených chybových typů na výkonnost MT měřenou lidmi a automatickými hodnotícími nástroji.
Outbound Translation User Interface Ptakopet: A Pilot Study
Úvodní studie uživatelského rozhraní Outbound Translation
Year: 2020
Authors: Vilém Zouhar, Ondřej Bojar

Abstract (English):
It  is  not  uncommon  for  Internet  users  to  have  to  produce  a  text  in  a  foreign  language  they  have  very  little  knowledge  of  and  areunable  to  verify  the  translation  quality.We  call  the  task  “outbound  translation”  and  explore  it  by  introducing  an  open-sourcemodular system Ptakopˇet.  Its main purpose is to inspect human interaction with MT systems enhanced with additional subsystems,such  as  backward  translation  and  quality  estimation.    We  follow  up  with  an  experiment  on  (Czech)  human  annotators  tasked  toproduce  questions  in  a  language  they  do  not  speak  (German),  with  the  help  of  Ptakopˇet.   We  focus  on  three  real-world  use  cases(communication with IT support, describing administrative issues and asking encyclopedic questions) from which we gain insight intodifferent strategies users take when faced with outbound translation tasks.  Round trip translation is known to be unreliable for evaluat-ing MT systems but our experimental evaluation documents that it works very well for users, at least on MT systems of mid-range quality.

Abstract (Czech):
Často musí uživatelé internetu vyprodukovat text v cizím jazyce, který znají jen velmi málo a nejsou schopni ověřit kvalitu překladu. Úkol nazýváme "outbound translation" a zkoumáme ho zavedením open-source modulárního systému Ptakopět. Jeho hlavním účelem je kontrola interakce člověka se systémy MT posílenými o další subsystémy, jako je zpětný překlad a odhad kvality. Navazujeme na experiment s (českými) lidskými anotátory, kteří mají za úkol vytvářet otázky v jazyce, kterým nemluví (němčina), s pomocí Ptakopětu. Zaměřujeme se na tři případy využití v reálném světě (komunikace s IT podporou, popis administrativních záležitostí a kladení encyklopedických otázek), z nichž získáváme vhled do různých strategií, které uživatelé používají, když čelí outbound translation. Je známo, že zpětný překlad je pro hodnocení systémů MT nespolehlivý, ale naše experimentální hodnocení dokládá, že pro uživatele funguje velmi dobře, přinejmenším u systémů MT střední kvality.
Extending Ptakopět for Machine Translation User Interaction Experiments
Rozšíření systému Ptakopět pro uživatelské experimenty strojového překladu
Year: 2020
Authors: Vilém Zouhar, Michal Novák

Abstract (English):
The problems of outbound translation, machine translation user confidence and user interaction are not yet fully explored. The goal of the online modular system Ptakopět is to provide tools for studying these phenomena. Ptakopět is a proof-of-concept system for examining user interaction with enhanced machine translation. It can be used either for actual translation or running experiments on human annotators. In this article, we aim to describe its main components and to show how to use Ptakopět for further research. We also share tips for running experiments and setting up a similar online annotation environment.

Ptakopět was already used for outbound machine translation experiments, and we cover the results of the latest experiment in a demonstration to show the research potential of this tool. We show quantitatively that even though backward translation improves machine-translation user experience, it mainly increases users' confidence and not the translation quality.

Abstract (Czech):
Článek popisuje systém Ptakopět, který byl vyvinut pro zkoumání chování užívatelů při práci s interaktivním systémem pro tzv. odchozí překlad. Při něm se překládá do jazyka, kterému užívatel sice nerozumí, ale zodpovědnost za kvalitu překladu ostáva na něm.