ufal/bilingual-abstracts-corpus huggingface dataset:
Live speech translation demonstration
Demonstrace živého překladu řeči
Year: 2023
Authors: Dominik Macháček

Abstract (English):
Abstract is only in Czech:

Demonstrovali jsme živý překlad řeči vycházející z projektu ELITR (elitr.eu) na Jednom dni s informatikou a matematikou, popularizační akci pro středoškoláky na MFF UK. Měli jsme stánek, u kterého účastníci akce mohli mluvit do mikrofonu v některém ze čtyř podporovaných jazyků a sledovat živý překlad do 42 jazyků.

Abstract (Czech):
Demonstrovali jsme živý překlad řeči vycházející z projektu ELITR (elitr.eu) na Jednom dni s informatikou a matematikou, popularizační akci pro středoškoláky na MFF UK. Měli jsme stánek, u kterého účastníci akce mohli mluvit do mikrofonu v některém ze čtyř podporovaných jazyků a sledovat živý překlad do 42 jazyků.
Demonstration of live speech translation and of Whisper-Streaming
Demonstrace živého překladu řeči a Whisper-Streaming
Year: 2023
Authors: Dominik Macháček

Abstract (English):
Demonstration of live speech translation from ELITR project. The system uses Whisper-Streaming tool.

Abstract (Czech):
Demonstrace živého překladu řeči vycházejího z projektu ELITR a nástroje Whisper-Streaming.
Whisper-Streaming demonstration
Demonstrace Whisper-Streaming
Year: 2023
Authors: Dominik Macháček

Abstract (English):
We demonstrated Whisper-Streaming -- a tool for live speech transcription and translation of Whisper, big offline speech-to-text model. The event participants could speak into microphone in any of 96 supported languages and observe live speech transcript and translation into English.

Abstract (Czech):
Demonstrovali jsme Whisper-Streaming -- nástroj na živý přepis a překlad řeči velkým offline speech-to-text modelem Whisper. Účastníci akce mohli mluvit do mikrofonu v některém z 96 podporovaných jazyků a sledovat živé přepisy a překlady do angličtiny.
Live speech translation
Živý překlad řeči
Year: 2023
Authors: Dominik Macháček

Abstract (English):
Abstract is only in Czech:

Demonstrace a prezentace živého překladu řeči vycházejícího z projektu ELITR a nástroje Whisper-Streaming.

Abstract (Czech):
Demonstrace a prezentace živého překladu řeči vycházejícího z projektu ELITR a nástroje Whisper-Streaming.
Live speech translation demonstration
Demonstrace živého překladu řeči
Year: 2023
Authors: Dominik Macháček, Ondřej Bojar

Abstract (English):
Abstract is only in Czech.

Demonstrovali jsme živý překlad řeči vycházející z projektu ELITR (elitr.eu) na konferenci CzeDER. Překládali jsme všechny projevy na jednodenní konferenci z angličtiny do češtiny a dalších více než 40 jazyků automatickým systémem, a také jsme živě opravovali chyby v přepisech.
Dále jsme měli stánek, na kterém účastníci konference mohli vyzkoušet překlad své řeči a dozvědět se více informací.

Abstract (Czech):
Demonstrovali jsme živý překlad řeči vycházející z projektu ELITR (elitr.eu) na konferenci CzeDER. Překládali jsme všechny projevy na jednodenní konferenci z angličtiny do češtiny a dalších více než 40 jazyků automatickým systémem, a také jsme živě opravovali chyby v přepisech.
Dále jsme měli stánek, na kterém účastníci konference mohli vyzkoušet překlad své řeči a dozvědět se více informací.
MT Metrics Correlate with Human Ratings of Simultaneous Speech Translation
Automatické metriky strojového překladu korelují s lidským hodnocením simultánního překladu řeči
Year: 2023
Authors: Dominik Macháček, Ondřej Bojar, Raj Dabre

Abstract (English):
There have been several meta-evaluation studies on the correlation between human ratings and offline machine translation (MT) evaluation metrics such as BLEU, chrF2, BertScore and COMET. These metrics have been used to evaluate simultaneous speech translation (SST) but their correlations with human ratings of SST, which has been recently collected as Continuous Ratings (CR), are unclear. In this paper, we leverage the evaluations of candidate systems submitted to the English-German SST task at IWSLT 2022 and conduct an extensive correlation analysis of CR and the aforementioned metrics. Our study reveals that the offline metrics are well correlated with CR and can be reliably used for evaluating machine translation in simultaneous mode, with some limitations on the test set size. We conclude that given the current quality levels of SST, these metrics can be used as proxies for CR, alleviating the need for large scale human evaluation. Additionally, we observe that correlations of the metrics with translation as a reference is significantly higher than with simultaneous interpreting, and thus we recommend the former for reliable evaluation.

Abstract (Czech):
Abstrakt je pouze v angličtině.

There have been several meta-evaluation studies on the correlation between human ratings and offline machine translation (MT) evaluation metrics such as BLEU, chrF2, BertScore and COMET. These metrics have been used to evaluate simultaneous speech translation (SST) but their correlations with human ratings of SST, which has been recently collected as Continuous Ratings (CR), are unclear. In this paper, we leverage the evaluations of candidate systems submitted to the English-German SST task at IWSLT 2022 and conduct an extensive correlation analysis of CR and the aforementioned metrics. Our study reveals that the offline metrics are well correlated with CR and can be reliably used for evaluating machine translation in simultaneous mode, with some limitations on the test set size. We conclude that given the current quality levels of SST, these metrics can be used as proxies for CR, alleviating the need for large scale human evaluation. Additionally, we observe that correlations of the metrics with translation as a reference is significantly higher than with simultaneous interpreting, and thus we recommend the former for reliable evaluation.
Turning Whisper into Real-Time Transcription System
Whisper jako systém pro živý přepis řeči
Year: 2023
Authors: Dominik Macháček, Raj Dabre, Ondřej Bojar

Abstract (English):
Whisper is one of the recent state-of-the-art multilingual speech recognition and translation models, however, it is not designed for real time transcription. In this paper, we build on top of Whisper and create Whisper-Streaming, an implementation of real-time speech transcription and translation of Whisper-like models. Whisper-Streaming uses local agreement policy with self-adaptive latency to enable streaming transcription. We show that Whisper-Streaming achieves high quality and 3.3 seconds latency on unsegmented long-form speech transcription test set, and we demonstrate its robustness and practical usability as a component in live transcription service at a multilingual conference.

Abstract (Czech):
Abstrakt je pouze v angličtině:

Whisper is one of the recent state-of-the-art multilingual speech recognition and translation models, however, it is not designed for real time transcription. In this paper, we build on top of Whisper and create Whisper-Streaming, an implementation of real-time speech transcription and translation of Whisper-like models. Whisper-Streaming uses local agreement policy with self-adaptive latency to enable streaming transcription. We show that Whisper-Streaming achieves high quality and 3.3 seconds latency on unsegmented long-form speech transcription test set, and we demonstrate its robustness and practical usability as a component in live transcription service at a multilingual conference.
Robustness of Multi-Source MT to Transcription Errors
Robustnost vícezdrojového překladu vůči chybám transkripce
Year: 2023
Authors: Dominik Macháček, Peter Polák, Ondřej Bojar, Raj Dabre

Abstract (English):
Automatic speech translation is sensitive to speech recognition errors, but in a multilingual scenario, the same content may be available in various languages via simultaneous interpreting, dubbing or subtitling. In this paper, we hypothesize that leveraging multiple sources will improve translation quality if the sources complement one another in terms of correct information they contain. To this end, we first show that on a 10-hour ESIC corpus, the ASR errors in the original English speech and its simultaneous interpreting into German and Czech are mutually independent. We then use two sources, English and German, in a multi-source setting for translation into Czech to establish its robustness to ASR errors. Furthermore, we observe this robustness when translating both noisy sources together in a simultaneous translation setting. Our results show that multi-source neural machine translation has the potential to be useful in a real-time simultaneous translation setting, thereby motivating further investigation in this area.

Abstract (Czech):
Abstrakt je pouze v angličtině.


Automatic speech translation is sensitive to speech recognition errors, but in a multilingual scenario, the same content may be available in various languages via simultaneous interpreting, dubbing or subtitling. In this paper, we hypothesize that leveraging multiple sources will improve translation quality if the sources complement one another in terms of correct information they contain. To this end, we first show that on a 10-hour ESIC corpus, the ASR errors in the original English speech and its simultaneous interpreting into German and Czech are mutually independent. We then use two sources, English and German, in a multi-source setting for translation into Czech to establish its robustness to ASR errors. Furthermore, we observe this robustness when translating both noisy sources together in a simultaneous translation setting. Our results show that multi-source neural machine translation has the potential to be useful in a real-time simultaneous translation setting, thereby motivating further investigation in this area.
Deep Dive Machine Translation
Hloubkový rozbor strojového překladu
Year: 2023
Authors: Inguna Skadina, Andrejs Vasiljevs, Marcis Pinnis, Aivars Bērziņš, Nora Aranberri, Joachim van den Bogoaert, Sally O’Connor, Mercedes García-Martínez, Iakes Goenaga, Jan Hajič, Manuel Herranz, Christian Lieske, Martin Popel, Maja Popović, Sheila Castilho, Federico Gaspari, Rudolf Rosa, Riccardo Superbo, Andy Way

Abstract (English):
Machine Translation (MT) is one of the oldest language technologies having
been researched for more than 70 years. However, it is only during the last decade
that it has been widely accepted by the general public, to the point where in many
cases it has become an indispensable tool for the global community, supporting communication
between nations and lowering language barriers. Still, there remain major
gaps in the technology that need addressing before it can be successfully applied
in under-resourced settings, can understand context and use world knowledge. This
chapter provides an overview of the current state-of-the-art in the field of MT, offers
technical and scientific forecasting for 2030, and provides recommendations for the
advancement of MT as a critical technology if the goal of digital language equality
in Europe is to be achieved.

Abstract (Czech):
Strojový překlad (MT), jedna z nejstarších jazykových technologií, je zkoumán již více než 70 let. Až v posledním desetiletí však začal být přijímán širokou veřejností, a to do té míry, že v mnoha případech se stal nepostradatelným nástrojem pro globální komunitu podporující komunikaci
mezi národy a snižování jazykových bariér. Tato kapitola podává přehled současného stavu technologie v oblasti MT, nabízí technické a vědecké prognózy do roku 2030 a doporučuje MT jako klíčovou technologii, pokud má být dosaženo digitální jazykové rovnosti v Evropě.
What’s the Meaning of Superhuman Performance in Today’s NLU?
Jaký je význam lepší-než-lidé výkonnosti v dnešních úlohách NLP?
Year: 2023
Authors: Simone Tedeschi, Johan Bos, Thierry Declerck, Jan Hajič, Daniel Hershcovich, Eduard Hovy, Alexander Koller, Simon Krek, Steven Schockaert, Rico Sennrich, Ekaterina Shutova, Roberto Navigli

Abstract (English):
In the last five years, there has been a significant
focus in Natural Language Processing (NLP)
on developing larger Pretrained Language Mod-
els (PLMs) and introducing benchmarks such
as SuperGLUE and SQuAD to measure their
abilities in language understanding, reasoning,
and reading comprehension. These PLMs have
achieved impressive results on these bench-
marks, even surpassing human performance in
some cases. This has led to claims of superhu-
man capabilities and the provocative idea that
certain tasks have been solved. In this position
paper, we take a critical look at these claims and
ask whether PLMs truly have superhuman abili-
ties and what the current benchmarks are really
evaluating. We show that these benchmarks
have serious limitations affecting the compar-
ison between humans and PLMs and provide
recommendations for fairer and more transpar-
ent benchmarks.

Abstract (Czech):
V posledních pěti letech se v Natural Language Processing (NLP) výrazně zaměřili na vývoj větších předtrénovaných jazykových modelů (PLM) a zavedení benchmarků jako SuperGLUE a SQuAD pro měření jejich schopností v porozumění jazyku, uvažování a porozumění čtení. Tyto PLM dosáhly v těchto testech působivých výsledků, v některých případech dokonce překonaly výkon člověka. To vedlo k tvrzení o nadlidských schopnostech a provokativní myšlence, že určité úkoly byly vyřešeny. V tomto pozičním dokumentu se na tato tvrzení kriticky podíváme a ptáme se, zda PLM skutečně mají nadlidské schopnosti a co současné benchmarky skutečně hodnotí. Ukazujeme, že tyto benchmarky mají vážná omezení ovlivňující srovnání mezi lidmi a PLM a poskytují doporučení pro spravedlivější a transparentnější benchmarky.
Shortening of the results of machine translation using paraphrasing dataset
Zkracování strojového překladu pomocí datasetu parafrází
Year: 2023
Authors: Andrej Perković, Jernej Vičič, Dávid Javorský, Ondřej Bojar

Abstract (English):
As machine translation applications continue to expand into the realm of real-time events, the need for faster and more concise translation becomes increasingly important. One such application is simultaneous speech translation, an emission of subtitles in the target language given speech in the source language. In this work, we focus on easing reader's comprehension of subtitles by making the translation shorter while preserving its informativeness. For this, we use the S, M and L version of the Paraphrase Database (PPDB), and exploit their property that some of the paraphrasing rules differ in length of the left and right side. Selecting rules that make the output shorter, we fine-tune an MT model to naturally generate shorter translations. The results show that the model's conciseness improves by up to 0.61%, which leaves the space for improvements using bigger versions of PPDB in future work.

Abstract (Czech):
S tím, jak se aplikace strojového překladu stále rozšiřují do oblasti událostí v reálném čase, je potřeba rychlejšího a výstižnějšího překladu stále důležitější. Jednou z takových aplikací je simultánní překlad řeči, vysílání titulků v cílovém jazyce dané řeči ve zdrojovém jazyce. V této práci se zaměřujeme na usnadnění čtenářského porozumění titulkům tím, že překlad zkrátíme a zároveň zachováme jeho informativnost. K tomu využíváme S, M a L verzi databáze parafrází (PPDB) a využíváme jejich vlastnosti, že některá pravidla parafrázování se liší délkou levé a pravé strany. Výběrem pravidel, která zkrátí výstup, doladíme model MT tak, aby přirozeně generoval kratší překlady. Výsledky ukazují, že stručnost modelu se zlepšuje až o 0,61 %, což ponechává prostor pro vylepšení pomocí větších verzí PPDB v budoucí práci.
Data-to-text Generation with Neural Language Models
Generování textu z dat pomocí neuronových jazykových modelů
Year: 2023
Authors: Ondřej Dušek

Abstract (English):
We introduce the problems of data-to-text generation and the current state of the art, i.e. pretrained language models. We further detail our experiments with using pretrained language models in a pipeline setup, thus increasing explainability and accuracy of the outputs. We also discuss our experiment in collecting a special dataset for verbalizing individual facts and evaluating pretrained language models, including ChatGPT, on this data.

Abstract (Czech):
Představíme problematiku generování textu z dat a současný stav techniky, tj. předtrénované jazykové modely. Dále podrobně popisujeme naše experimenty s využitím předtrénovaných jazykových modelů v pipeline nastavení, které zvyšuje vysvětlitelnost a přesnost výstupů. Pojednáváme také o našem experimentu se sběrem speciální datové sady pro verbalizaci jednotlivých faktů a o hodnocení předtrénovaných jazykových modelů, včetně ChatGPT, na těchto datech.
Dialogue Systems (introduction)
Dialogové systémy (úvod)
Year: 2023
Authors: Ondřej Dušek

Abstract (English):
This lecture presents an introduction into the state of the art in current dialogue systems, mostly focusing on neural architectures, end-to-end models, and pretrained language models.

Abstract (Czech):
V této přednášce se seznámíte s nejnovějším stavem současných dialogových systémů, především se zaměřením na neuronové architektury, end-to-end modely a předtrénované jazykové modely.
Robust Data-to-text Generation with Pretrained Language Models
Robustí generování textu z dat s předtrénovanými jazykovými modely
Year: 2023
Authors: Ondřej Dušek

Abstract (English):
The task of data-to-text generation amounts to describing structured data, such as RDF triples, in fluent natural language sentences. The state-of-the-art approach in research systems today is finetuning pretrained language models (PLMs). This often leads to overfitting the data and may produce hallucinations, i.e. situations where the PLM generates outputs that are not grounded in the input, typically replicating (or amplifying) training data noise. Rather than applying a PLM as black box for the whole data-to-text task, we aim at using
PLMs for simple individual subtasks, aiming to achieve broad generalization and minimize hallucination.

First, we use a pipeline approach where the PLMs only work as text "editors", rather than generators, taking advantage of their high output fluency. The data is converted into text in an initial preprocessing step, where we use simple handcrafted templates (one per RDF relation). This results in very short sentences recounting the individual input facts, corresponding to RDF triples. The PLMs then order the individual facts and fuse them into fluent sentences. This helps us generate without in-domain training data (except the simple
templates) and achieve good fluency and accuracy.

We further examine the capability of PLMs to produce accurate descriptions of individual RDF triples, in order to remove the last handcrafted step. Using a specially collected dataset of varied RDF triple descriptions, we show that PLMs finetuned with a variety of relations are very robust in verbalizing novel, unseen relations. The key to PLMs' usability here is providing clear and meaningful relation
labels.

Abstract (Czech):
Úkolem generování textu z dat je popsat strukturovaná data, například trojice RDF, plynulými větami v přirozeném jazyce. Nejnovějším přístupem ve výzkumných systémech je dnes dolaďování předtrénovaných jazykových modelů (PLM). To často vede k nadměrnému přizpůsobení dat a může vést k halucinacím, tj. situacím, kdy PLM generuje výstupy, které nemají oporu ve vstupních datech, typicky replikují (nebo zesilují) šum tréninkových dat. Namísto použití PLM jako černé skříňky pro celou úlohu generování textu z dat se snažíme využít PLM pro jednoduché jednotlivé dílčí úlohy, přičemž cílem je dosáhnout širokého zobecnění a minimalizovat halucinace.
Robust Data-to-text Generation with Pretrained Language Models
Robustí generování textu z dat s předtrénovanými jazykovými modely
Year: 2023
Authors: Ondřej Dušek

Abstract (English):
The task of data-to-text generation amounts to describing structured data in fluent natural language sentences. The state-of-the-art approach in research systems today is finetuning pretrained neural language models (PLMs). This often leads to overfitting and hallucinations, i.e. situations where the PLM generates outputs that are not grounded in the input, replicating or amplifying training data noise. Rather than applying a PLM as black box for the whole data-to-text task, we aim at using PLMs for simple subtasks, aiming to achieve broad generalization and minimize hallucination. First, we use a pipeline approach where the PLMs only work as text “editors”, rather than generators, taking advantage of their high output fluency. The data is converted into text in an initial preprocessing step, where we use simple handcrafted templates recounting the individual input facts (i.e. relations between entities).

The PLMs then order the facts and fuse them into fluent sentences. This helps us generate without in-domain training data and achieve good fluency and accuracy. We further examine the capability of PLMs to produce accurate descriptions of individual facts from the data, in order to remove the last handcrafted step. Using a specially collected dataset, we show that PLMs finetuned to describe a variety of relations are very robust in verbalizing novel, unseen relations. The key to PLMs’ usability here is providing clear relation names on the input.

Abstract (Czech):
Úkolem generování textu z dat je popsat strukturovaná data plynulými větami v přirozeném jazyce. Nejnovějším přístupem ve výzkumných systémech je dnes jemné ladění předtrénovaných neuronových jazykových modelů (PLM). To často vede k overfittingu a halucinacím, tj. k situacím, kdy PLM generuje výstupy, které nemají oporu ve vstupních datech, a replikuje nebo zesiluje šum tréninkových dat. Spíše než na použití PLM jako černé skříňky pro celou úlohu převodu dat na text se zaměřujeme na použití PLM pro jednoduché dílčí úlohy s cílem dosáhnout široké generalizace a minimalizovat halucinace. Nejprve použijeme pipeline přístup, kdy PLM pracují pouze jako textové "editory", nikoliv generátory, přičemž využijeme jejich vysokou plynulost výstupu. Data jsou převedena na text v úvodním kroku předzpracování, kde používáme jednoduché ručně vytvořené šablony přepočítávající jednotlivá vstupní fakta (tj. vztahy mezi entitami).

PLM pak fakta seřadí a spojí je do plynulých vět. To nám pomáhá generovat bez tréninkových dat v doméně a dosáhnout dobré plynulosti a přesnosti. Dále zkoumáme schopnost PLM vytvářet z dat přesné popisy jednotlivých faktů, abychom odstranili poslední ručně vytvořený krok. Pomocí speciálně shromážděné sady dat ukazujeme, že PLM vyladěné pro popis různých vztahů jsou velmi robustní při verbalizaci nových, dosud neviděných vztahů. Klíčem k použitelnosti PLM je zde poskytování jasných názvů relací na vstupu.
Artificial intelligence and language learning
Umělá inteligence a výuka jazyků
Year: 2023
Authors: Ondřej Dušek, Rudolf Rosa, Lucie Poslušná

Abstract (English):
Functioning principles of artificial intelligence and especially large language models like ChatGPT.
What to look out for with AI tools.
Legal issues of AI tools.
Different ways to use ChatGPT or tips and tricks for prompting.
Recommendations on the use of AI in language learning.

Abstract (Czech):
Principy fungování umělé inteligence a zejména velkých jazykových modelů jako je ChatGPT.
Na co si dát pozor s AI nástroji.
Právní otázky AI nástrojů.
Různé způsoby použití ChatGPT aneb tipy a triky na promptování.
Doporučení ohledně využití AI ve výuce jazyků.