ufal/bilingual-abstracts-corpus huggingface dataset:
Detecting Post-edited References and Their Effect on Human Evaluation
Detekce posteditovaných referenčních překladů a jejich vliv na lidské hodnocení překladu
Year: 2021
Authors: Věra Kloudová, Ondřej Bojar, Martin Popel

Abstract (English):
This paper provides a quick overview of possible methods how to detect that reference translations were actually created by post-editing
an MT system. Two methods based on automatic metrics are presented: BLEU difference
between the suspected MT and some other
good MT and BLEU difference using additional references. These two methods revealed
a suspicion that the WMT 2020 Czech reference is based on MT. The suspicion was confirmed in a manual analysis by finding concrete proofs of the post-editing procedure in
particular sentences. Finally, a typology of
post-editing changes is presented where typical errors or changes made by the post-editor
or errors adopted from the MT are classified.

Abstract (Czech):
Článek poskytuje stručný přehled možných metod, jak zjistit, že referenční překlady byly ve skutečnosti vytvořeny posteditací strojového překladu. Využity byly dvě metody založené na automatických metrikách: 1. rozdíl BLEU mezi podezřelým MT a některým jiným
dobrým MT a 2. rozdíl BLEU s využitím dalších referencí. Tyto dvě metody odhalily
podezření, že oficiální reference z WMT 2020 je ve skutečnosti posteditovaný strojový překlad. Toto podezření bylo potvrzeno při manuální analýze zjištěním konkretních dokladů o posteditačním postupu. Také byla vytvořena typologie
posteditačních změn, kde jsou uvedeny některé chyby nebo změny provedené posteditorem, nebo také chyby převzaté ze strojového překladu.
ÚFAL at MultiLexNorm 2021: Improving Multilingual Lexical Normalization by Fine-tuning ByT5
ÚFAL na MultiLexNorm 2021: Zlepšení vícejazyčné lexikální normalizace dotrénováním modelu ByT5
Year: 2021
Authors: David Samuel, Milan Straka

Abstract (English):
We present the winning entry to the Multilingual Lexical Normalization (MultiLexNorm) shared task at W-NUT 2021 (van der Goot et al., 2021a), which evaluates lexical-normalization systems on 12 social media datasets in 11 languages. We base our solution on a pre-trained byte-level language model, ByT5 (Xue et al., 2021a), which we further pre-train on synthetic data and then fine-tune on authentic normalization data. Our system achieves the best performance by a wide margin in intrinsic evaluation, and also the best performance in extrinsic evaluation through dependency parsing. The source code is released at https://github.com/ufal/multilexnorm2021 and the fine-tuned models at https://huggingface.co/ufal.

Abstract (Czech):
Představujeme vítězný systém z Multilingual Lexical Normalization (MultiLexNorm) Shared Task na W-NUT 2021 (van der Goot et al., 2021a), který vyhodnocuje lexikálně-normalizační systémy na 12 datasetech sociálních médií v 11 jazycích. Naše řešení zakládáme na předtrénovaném jazykovém modelu ByT5 (Xue et al., 2021a), který dále trénujeme na syntetických datech a poté dotrénováváme na autentických normalizačních datech. Náš systém dosahuje nejlepších výsledků s velkým náskokem v intrinsic hodnocení a také nejlepších výsledků v extrinsic vyhodnocení prostřednictvím syntaktické analýzy. Zdrojový kód je uvolněn na https://github.com/ufal/multilexnorm2021 a natrénované modely na https://huggingface.co/ufal.
European Language Grid: A Joint Platform for the European Language Technology Community
Evropská jazyková síť: společná platforma pro komunitu evropských jazykových technologií
Year: 2021
Authors: Georg Rehm, Stelios Piperidis, Kalina Bontcheva, Jan Hajič, Victoria Arranz, Andrejs Vasiljevs, Gerhard Backfried, José Manuel Gómez-Pérez, Ulrich Germann, Chris Callison-Burch, Ronald Feldstein, Stefanie Hegele, Florian Kintzel, Katrin Marheinecke, Julian Moreno-Schneider, Dimitris Galanis, Penny Labropoulou, Miltos Deligiannis, Katerina Gkirtzou, Athanasia Kolovou, Dimitris Gkoumas, Leon Voukoutis, Ian Roberts, Jana Hamrlová, Dušan Variš, Lukáš Kačena, Khalid Choukri, Valérie Mapelli, Mickaël Rigault, Julija Melnika, Miro Jánošík, Katja Prinz, Andres Garcia-Silva, Cristian Berrio, Ondřej Klejch, Steve Renals

Abstract (English):
Europe is a multilingual society, in which dozens of languages are spoken. The only option to enable and to benefit from multilingualism is through Language Technologies (LT), i.e., Natural Language Processing and Speech Technologies. We describe the European Language Grid (ELG), which is targeted to evolve into the primary platform and marketplace for LT in Europe by providing one umbrella platform for the European LT landscape, including research and industry, enabling all stakeholders to upload, share and distribute their services, products and resources. At the end of our EU project, which will establish a legal entity in 2022, the ELG will provide access to approx. 1300 services for all European languages as well as thousands of data sets.

Abstract (Czech):
Evropa je mnohojazyčná společnost, v níž se hovoří desítkami jazyků. Jedinou možností, jak mnohojazyčnost umožnit a využít, jsou jazykové technologie (LT), tj. technologie zpracování přirozeného jazyka a řeči. Popisujeme evropskou jazykovou síť (European Language Grid, ELG), která se má vyvinout v primární platformu a tržiště LT v Evropě tím, že poskytne jednu zastřešující platformu pro evropský LT prostor, včetně výzkumu a průmyslu, která umožní všem zúčastněným stranám nahrávat, sdílet a distribuovat své služby, produkty a zdroje. Na konci projektu, který v roce 2022 vytvoří právní subjekt, poskytne ELG přístup k cca. 1300 služeb pro všechny evropské jazyky a tisíce datových souborů.
Lost in Interpreting: Speech Translation from Source or Interpreter?
Ztraceno v tlumočení: Překládat řeč z originálu nebo z tlumočení?
Year: 2021
Authors: Dominik Macháček, Matúš Žilinec, Ondřej Bojar

Abstract (English):
Interpreters facilitate multi-lingual meetings but the affordable set of languages is often smaller than what is needed. Automatic simultaneous speech translation can extend the set of provided languages. We investigate if such an automatic system should rather follow the original speaker, or an interpreter to achieve better translation quality at the cost of increased delay.
To answer the question, we release Europarl Simultaneous Interpreting Corpus (ESIC), 10 hours of recordings and transcripts of European Parliament speeches in English, with simultaneous interpreting into Czech and German. We evaluate quality and latency of speaker-based and interpreter-based spoken translation systems from English to Czech. We study the differences in implicit simplification and summarization of the human interpreter compared to a machine translation system trained to shorten the output to some extent. Finally, we perform human evaluation to measure information loss of each of these approaches.

Abstract (Czech):
Abstrakt je pouze v angličtině.

Interpreters facilitate multi-lingual meetings but the affordable set of languages is often smaller than what is needed. Automatic simultaneous speech translation can extend the set of provided languages. We investigate if such an automatic system should rather follow the original speaker, or an interpreter to achieve better translation quality at the cost of increased delay. To answer the question, we release Europarl Simultaneous Interpreting Corpus (ESIC), 10 hours of recordings and transcripts of European Parliament speeches in English, with simultaneous interpreting into Czech and German. We evaluate quality and latency of speaker-based and interpreter-based spoken translation systems from English to Czech. We study the differences in implicit simplification and summarization of the human interpreter compared to a machine translation system trained to shorten the output to some extent. Finally, we perform human evaluation to measure information loss of each of these approaches.
CUNI-NU System at Biocreative VIII Track 5: Multi-label Topic Classification of COVID-19 Articles using Dual Attention with SPECTRE
Systém UK-NU v soutěži Biocreative VIII Track 5: Víceznačková klasifikace tématu v článcích o COVID-19 s využitím dvojité attention se SPECTRE
Year: 2021
Authors: Aakash Bhatnagar, Nidhir Bhavsar, Muskaan Singh, Tirthankar Ghosal

Abstract (English):
Subject-Article classification is an important problem in
Scholarly Document Processing to address the huge information overload in the scholarly space. This paper describes the
approach of our team CUNI-NU for the Biocreative VII-Track
5 challenge: Litcovid multi-label topic classification for
COVID-19 literature [1]. The concerned task aims to automate
the manual curation of biomedical articles into seven distinct
labels, specifically for the LitCovid data repository. Our best
performing model makes use of the SPECTER [2] document
embeddings for representing abstract, and titles of scientific
articles followed by a Dual-Attention [3] mechanism to perform the multi-label categorization. We achieve significantly
better performance than the baseline methods. We make our code available at https://github.com/Nid989/
CUNI-NU-Biocreative-Track5

Abstract (Czech):
Klasifikace předmětných článků je důležitým problémem
Schosimilar Document Processing to address the huge information overload in the scholarly space. Tento dokument popisuje
přístup našeho týmu CUNI-NU pro Biocreative VII-Track 5 challenge: Litcovid multilabel topic classification for
COVID-19 literatura [1]. Cílem dotčeného úkolu je automatizovat
manuální nakládání s biomedicínskými předměty do sedmi různých
značek, konkrétně pro datové úložiště LitCovid. Naše nejlepší
model používá dokument SPECTER [2]
zápatí pro reprezentaci abstraktních, a tituly vědeckých
články následované mechanismem Dual-Attention [3] do perform multilabel kategorizace. Dosáhli jsme významného lepší výkon než základní metody. Děláme
náš kód dostupný na https://github.com/Nid989/
CUNI-NU-Biocreative-Track5
Towards a Versatile Intelligent Conversational Agent as Personal Assistant for Migrants
Směrem k všestrannému inteligentnímu konverzačnímu agentovi jako osobnímu asistentovi pro migranty
Year: 2021
Authors: Leo Wanner, Matthias Klusch, Athanasios Mavropoulos, Emmanuel Jamin, Victor Martin Puchades, Gerard Casamayor, Jan Černocký, Steffi Davey, Mónica Domínguez, Ekaterina Egorova, Jens Grivolla, Gloria Elena Jaramillo Rojas, Anastasios Karakostas, Dimos Ntioudis, Pavel Pecina, Oleksander Sobko, Stefanos Vrochidis, Lena Wertmann

Abstract (English):
We present a knowledge-driven multilingual conversational agent (referred to as ``MyWelcome Agent'') that acts as personal assistant for migrants in the contexts of their reception and integration. In order to also account for tasks that go beyond communication and require advanced service coordination skills, the architecture of the proposed platform separates the dialogue management service from the agent behavior including the service selection and planning. The involvement of genuine agent planning strategies in the design of personal assistants, which tend to be limited to dialogue management tasks, makes the proposed agent significantly more versatile and intelligent. To ensure high quality verbal interaction, we draw upon state-of-the-art multilingual spoken language understanding and generation technologies.

Abstract (Czech):
Článek popisuje znalostního vícejazyčného konverzačního agenta "MyWelcome Agent", který funguje jako osobní asistent migrantů v kontextu jejich přijímání a integrace.
Using a Parallel Corpus to Adapt the Flesch Reading Ease Formula to Czech
Použití paralelního korpusu pro adaptaci vzorce Flesch Reading Ease na češtinu
Year: 2021
Authors: Klára Bendová

Abstract (English):
Text readability metrics assess how much effort a reader must put into comprehending a given text. They are e.g., used to choose appropriate readings for different student proficiency levels, or to make sure that crucial information is efficiently conveyed (e.g., in an emergency). Flesch Reading Ease is such a globally used formula that it is even integrated into the MS Word Processor. However, its constants are language dependent. The original formula was created for English. So far it has been adapted to several European languages, Bangla, and Hindi. This paper describes the Czech adaptation, with the language-dependent constants optimized by a machine-learning algorithm working on parallel corpora of Czech with English, Russian, Italian, and French.

Abstract (Czech):
Metriky srozumitelnosti textu hodnotí, kolik úsilí musí čtenář vynaložit na porozumění danému textu. Používají se např. K výběru vhodných materiálů pro četbu pro různé úrovně znalostí studentů nebo k zajištění efektivního přenosu důležitých informací (např. V případě nouze). Flesch Reading Ease je natolik globálně používaný vzorec, že je dokonce integrován do textového procesoru MS. Jeho konstanty jsou však závislé na jazyce. Původní vzorec byl vytvořen pro angličtinu. Doposud byl přizpůsoben několika evropským jazykům, bengálštině a hindštině. Tento článek popisuje českou adaptaci, přičemž jazykově závislé konstanty jsou optimalizovány algoritmem strojového učení pracujícím na paralelních korpusech češtiny s angličtinou, ruštinou, italštinou a francouzštinou.
Adaptation of Classic Readability Metrics to Czech
Adaptace klasických metrik srozumitelnosti textu na češtinu
Year: 2021
Authors: Klára Bendová, Silvie Cinková

Abstract (English):
We have fitted four classic readability metrics to Czech, using InterCorp (a parallel corpus with manual sentence alignment), CzEng 2.0 (a large parallel corpus of crawled web texts),  and the optimize.curve fit algorithm from the SciPy library. The adapted metrics are: Flesch Reading Ease, Flesch-Kincaid Grade Level, Coleman-Liau Index, and Automated Readability Index. We describe the details of the procedure and present satisfactory results. Besides, we discuss the sensitivity of these metrics to text paraphrases and correlation of readability scores with empirically observed reading comprehension, as well as the adaptation of Flesch Reading Ease to Czech from Russian.

Abstract (Czech):
Adaptovali jsme na češtinu čtyři klasické metriky srozumitelnosti na základě dat InterCorp (paralelní korpus s ručním zarovnáním vět)a CzEng 2.0 (velký paralelní korpus procházených webových textů) a algoritmu optimize.curve z knihovny SciPy. Adaptované metriky jsou: Flesch Reading Ease, Flesch-Kincaid Grade Level, Coleman-Liau Index a Automated Readability Index. Popisujeme podrobnosti postupu a předkládáme uspokojivé výsledky. Kromě toho diskutujeme citlivost těchto metrik na textové parafráze a korelaci skóre srozumitelnosti s empiricky pozorovaným porozuměním čtenému a také adaptaci Flesch Reading Ease na češtinu z ruštiny.
Accuracy in Neural Text Generation
Přesnost v neuronových generátorech textu
Year: 2021
Authors: Ondřej Dušek

Abstract (English):
While neural-network-based approaches have significantly increased the fluency of machine-generated text, they are prone to accuracy errors, such as leaving out parts of the input (omissions) or generating output that is not grounded in any input (hallucination). This problem becomes especially apparent with lower amounts of training data, generation of longer texts, and noise in the training data. All of these conditions are very common for natural language generation (NLG) tasks.

In this talk, I will show several example approaches aiming to produce more accurate outputs within an NLG system, or to detect errors in an NLG system output. I will specifically focus on sequence-to-sequence neural architectures with pretrained language models and their
extensions. I will mostly discuss generation of text from structured data, but I will also make comparisons to the situation in summarization or dialogue response generation.

Abstract (Czech):
Přestože přístupy založené na neuronových sítích výrazně zvýšily plynulost strojově generovaného textu, jsou náchylné k chybám v přesnosti, jako je vynechávání částí vstupu (opomenutí) nebo generování výstupu, který nemá oporu v žádném vstupu (halucinace). Tento problém se projevuje zejména při menším množství trénovacích dat, generování delších textů nebo šumu v trénovacích datech. Všechny tyto podmínky jsou pro úlohy generování přirozeného jazyka (NLG) velmi časté.

V této přednášce ukážu několik příkladů přístupů zaměřených na vytváření přesnějších výstupů v rámci systému NLG nebo na odhalování chyb ve výstupech systému NLG. Konkrétně se zaměřím na neuronové architektury sequence-to-sequence s předtrénovanými jazykovými modely a jejich rozšíření. Budu se zabývat především generováním textu ze strukturovaných dat, ale uvedu i srovnání se situací při sumarizaci nebo generování dialogových odpovědí.
Better Supervision for End-to-end Neural Dialogue Systems
Lepší supervize pro end-to-end neuronové dialogové systémy
Year: 2021
Authors: Ondřej Dušek

Abstract (English):
While end-to-end neural models have been the research trend in task-oriented dialogue systems in the past years, they still suffer from significant problems: The neural models often produce replies inconsistent with past dialogue context or database results, their replies may be dull and formulaic, and they require large amounts of annotated data to train. In this talk, I will present two of our recent experiments that aim at solving these problems.

First, our end-to-end neural system AuGPT based on the GPT-2 pretrained language model aims at consistency and variability in dialogue responses by using massive data augmentation and filtering as well as specific auxiliary training objectives which check for dialogue consistency. It reached favorable results in terms of both automatic metrics and human judgments (in the DSTC9 competition).

Second, we designed a system that is able to discover relevant dialogue slots (domain attributes) without any human annotation. It uses weak supervision from generic linguistic annotation models (semantic parser, named entities), which is further filtered and clustered. We train a neural slot tagger on the discovered slots, which then reaches state-of-the-art results in dialogue slot tagging without labeled training data. We further show that the discovered slots are helpful for training an end-to-end neural dialogue system.

Abstract (Czech):
Přestože neuronové modely typu end-to-end jsou v posledních letech trendem výzkumu v oblasti dialogových systémů orientovaných na úkoly, stále se potýkají s významnými problémy: Neuronové modely často vytvářejí odpovědi, které neodpovídají minulému kontextu dialogu nebo výsledkům databáze, jejich odpovědi mohou být nudné a formulaické a k jejich trénování je zapotřebí velké množství anotovaných dat. V této přednášce představím dva z našich nedávných experimentů, jejichž cílem je tyto problémy vyřešit.

Zaprvé, náš end-to-end neuronový systém AuGPT založený na předtrénovaném jazykovém modelu GPT-2 se zaměřuje na konzistenci a variabilitu odpovědí v dialogu pomocí masivního rozšiřování a filtrování dat a také specifických pomocných trénovacích cílů, které kontrolují konzistenci dialogu. Dosáhl příznivých výsledků, pokud jde o automatické metriky i lidské hodnocení (v soutěži DSTC9).

Za druhé jsme navrhli systém, který je schopen objevit relevantní dialogové sloty (atributy domény) bez jakékoli lidské anotace. Využívá slabou supervizi z obecných lingvistických anotačních modelů (sémantický parser, pojmenované entity), které dále filtruje a shlukuje. Na objevených slotech trénujeme neuronový tagger slotů, který pak dosahuje nejlepších výsledků v tagování dialogových slotů bez označených trénovacích dat. Dále ukazujeme, že objevené sloty jsou užitečné pro trénování neuronového dialogového systému end-to-end.
THEaiTRobot demo for the exhibition Who is afraid of artificial intelligence
THEaiTRobot demo pro výstavu Kdo se bojí umělé inteligence
Year: 2021
Authors: Alisa Zakhtarenko, Rudolf Rosa, Ondřej Dušek

Abstract (English):
Who's afraid of artificial intelligence?
Come to the Goethe-Institut thematic space and find out how literature is made with the help of robots!

https://www.goethe.de/ins/cz/en/ver.cfm?event_id=22345514

Abstract (Czech):
Kdo se bojí umělé inteligence.
Přijďte do tematického prostoru Goethe-Institutu a zjistěte, jak s pomocí robotů vzniká literatura!

https://www.goethe.de/ins/cz/cs/ver.cfm?event_id=22345514
FINDINGS OF THE IWSLT 2021 EVALUATION CAMPAIGN
Výsledky evaluační kampaně IWSLT 2021
Year: 2021
Authors: Antonios Anastasopoulos, Ondřej Bojar, Jacob Bremerman, Roldano Cattoni, Maha Elbayad, Marcello Federico, Xutai Ma, Satoshi Nakamura, Matteo Negri, Jan Niehues, Juan Pino, Elizabeth Salesky, Sebastian Stüker, Katsuhito Sudoh, Marco Turchi, Alex Waibel, Changhan Wang, Matthew Wiesner

Abstract (English):
The evaluation campaign of the International
Conference on Spoken Language Translation
(IWSLT 2021) featured this year four shared
tasks: (i) Simultaneous speech translation, (ii)
Offline speech translation, (iii) Multilingual
speech translation, (iv) Low-resource speech
translation. A total of 22 teams participated
in at least one of the tasks. This paper de-
scribes each shared task, data and evaluation
metrics, and reports results of the received submissions.

Abstract (Czech):
Hodnotící kampaň Mezinárodní konference o překladu z mluveného jazyka
(IWSLT 2021) letos představila čtyři společné 
úkoly: (i) Simultánní překlad mluvené řeči, (ii) Offline překlad mluvené řeči, (iii) Vícejazyčný
překlad řeči, (iv) překlad řeči s malým množstvím zdrojů. Celkem se zúčastnilo 22 týmů
alespoň na jedné z úloh. Tento článek popisuje každou společnou úlohu, data a hodnocení.
metriky a uvádí výsledky obdržených podání.
Optional valency complementations in Czech light verb constructions
Fakultativní volná doplnění v konstrukcích s kategoriálním slovesem v češtině
Year: 2021
Authors: Václava Kettnerová

Abstract (English):
This paper addresses Czech light verb constructions, partly revising principles of their syntactic structure formation formulated within the Functional Generative Description. It argues that obligatoriness of valency complementations should be reflected in these principles. Namely, the role of optional valency complementations of light verbs played in this process has been analyzed. This analysis has shown that in the cases where light verbs do not provide a sufficient number of valency complementations for the surface expression of semantic participants of predicative nouns, semantic participants of nouns make use of optional verbal complementations. In such cases, semantic participants can be expressed on the surface, either as optional verbal complementation or as nominal complementation. The distribution of verbal and nominal complementations have been observed in 1,600 light verb constructions extracted from the Czech National Corpus, with the result that the surface expression of these participants through the optional verbal complementations is strongly preferred (88% of verbal complementations and 12% of nominal ones).

Abstract (Czech):
Příspěvek se zabývá konstrukcemi s kategoriálním slovesem v češtině. Částěčně reviduje pravidla pro formování syntaktické struktury těchto konstrukcí navržená v rámci funkčního generativního popisu, a to zejména s ohledem na roli fakultativních volných doplnění kategoriálních sloves v těchto konstrukcích. Provedená analýza ukazuje, že v případech, kdy kategoriální slovesa neposkytují dostatečný počet valenčních doplnění pro povrchové vyjádření sémantických participantů jména, využívají participanty pro své povrchové vyjádření i fakultativní volná doplnění slovesa. Distribuce slovesných a jmenných doplnění analyzovaná v 1 600 konstrukcích s kategoriálním slovesem ukázala, že povrchové vyjádření participantů jména skrze fakultativní volná doplnění kategoriálního slovesa je v češtině silně preferováno (88% fakultativních volných doplnění slovesa oproti 12% valenčních doplnění jména).