A Comparison of Human and Machine Performance in Simultaneous Interpreting as a Basis for Further Research in Automatic Simultaneous Speech Translation
Srovnání výkonu člověka a stroje při simultánním tlumočení jako základ pro další výzkum v oblasti automatického simultánního překladu řeči
Year: 2024
Authors: Věra Kloudová, Petra Vavroušová Mračková, Dávid Javorský, Ondřej Bojar

Abstract (English):
Simultaneous interpreting (SI) is a cognitively difficult task which requires specialized training and continued learning to deliver the best performance. Even with full attention, occasional errors in interpreting are inevitable, and they are likely to raise in longer sessions. With the advances in deep learning and quality increase in automatic simultaneous speech translation (ASST), we can consider using them as a substitute solution if human interpreters are not available, e.g. for capacity reasons or due to financial constraints.
The presented study assesses the state of the art by analysing translation departures in human SI (professional and trainee interpreters) and ASST. Two terminologically rich speeches, delivered by non-native English speakers, were remotely interpreted by two M.A. interpreting students, and one professional interpreter, to Czech. We had the speeches translated also by an in-house speech translation system.
Our quality assessment focuses on content transfer from the original speech, extending Barik’s taxonomy (1971), which identifies omissions, additions, substitutions, and semantic errors, with grammatical errors and formal defects (Kopczyński 1980).
Our findings reveal that trainee interpreters outperformed the professional one in multiple areas, such as avoiding over-reliance on original structure or excessive use of demonstrative pronouns. In comparison, the ASST model translated more literally, with outputs having fewer translation departures than human interpretations. However, focusing on content transfer only could ignore other qualities of human SI that are more important to the client. Future research aims to expand our sample size and evaluation criteria, incorporating more evaluators, students, and professionals, to further validate our findings.

Abstract (Czech):
Simultánní tlumočení (SI) je kognitivně náročný úkol, který vyžaduje specializovaný výcvik a neustálé vzdělávání, aby bylo možné podat co nejlepší výkon. I při plné pozornosti jsou občasné chyby v tlumočení nevyhnutelné a při delších sezeních se pravděpodobně zvýší. Díky pokroku v oblasti hlubokého učení a zvyšování kvality automatického simultánního překladu řeči (ASST) můžeme uvažovat o jejich využití jako náhradního řešení, pokud nejsou k dispozici lidští tlumočníci, např. z kapacitních důvodů nebo kvůli finančním omezením.
Předkládaná studie hodnotí současný stav na základě analýzy posunů v překladu u lidských profesionálních tlumočníků a tlumočníků-studentů a ASST. Dva terminologicky bohaté projevy, přednesené nerodilými mluvčími angličtiny, byly na dálku tlumočeny dvěma studenty magisterského studia tlumočnictví a jedním profesionálním tlumočníkem do češtiny. Projevy jsme nechali přeložit také interním systémem pro překlad řeči.
Naše hodnocení kvality se zaměřuje na přenos obsahu z originálního projevu a rozšiřuje Barikovu taxonomii (1971), která identifikuje vynechávky, přidávání, záměny a sémantické chyby, o gramatické chyby a formální nedostatky (Kopczyński 1980).
Naše zjištění ukazují, že tlumočníci-studenti překonali profesionální tlumočníky v několika oblastech, například v tom, že se vyhýbali přílišnému spoléhání na původní strukturu nebo nadměrnému používání ukazovacích zájmen. Ve srovnání s tím model ASST překládal doslovněji, přičemž výstupy vykazují méně posunů v překladu. Zaměření pouze na přenos obsahu by však mohlo mít za následek, že budeme ignorovat jiné vlastnosti lidského SI, které jsou pro klienta důležitější. Cílem budoucího výzkumu je rozšířit velikost našeho vzorku a kritéria hodnocení a zahrnout více hodnotitelů, studentů a odborníků, aby bylo možné naše zjištění dále ověřit.