Optimal reference translation of English-Czech WMT2020
Optimální referenční překlady z angličtiny do češtiny WMT2020
Year: 2023
Authors: Věra Kloudová, David Mraček, Ondřej Bojar, Martin Popel

Abstract (English):
We define "optimal reference translation" as a translation thought to be the best possible that can be achieved by a team of human translators. Optimal reference translations can be used in assessments of excellent machine translations.

We selected 50 documents (online news articles, with 579 paragraphs in total) from the 130 English documents included in the WMT2020 news test (http://www.statmt.org/wmt20/) with the aim to preserve diversity (style, genre etc.) of the selection. In addition to the official Czech reference translation provided by the WMT organizers (P1), we hired two additional translators (P2 and P3, native Czech speakers) via a professional translation agency, resulting in three independent translations. The main contribution of this dataset are two additional translations (i.e. optimal reference translations N1 and N2), done jointly by two translators-cum-theoreticians with an extreme care for various aspects of translation quality, while taking into account the translations P1-P3. We publish also internal comments (in Czech) for some of the segments.

Translation N1 should be closer to the English original (with regards to the meaning and linguistic structure) and female surnames use the Czech feminine suffix (e.g. "Mai" is translated as "Maiová"). Translation N2 is more free, trying to be more creative, idiomatic and entertaining for the readers and following the typical style used in Czech media, while still preserving the rules of functional equivalence. Translation N2 is missing for the segments where it was not deemed necessary to provide two alternative translations. For applications/analyses needing translation of all segments, this should be interpreted as if N2 is the same as N1 for a given segment.

We provide the dataset in two formats: OpenDocument spreadsheet (odt) and plain text (one file for each translation and the English original). Some words were highlighted using different colors during the creation of optimal reference translations; this highlighting and comments are present only in the odt format (some comments refer to row numbers in the odt file). Documents are separated by empty lines and each document starts with a special line containing the document name (e.g. "# upi.205735"), which allows alignment with the original WMT2020 news test. For the segments where N2 translations are missing in the odt format, the respective N1 segments are used instead in the plain-text format.

Abstract (Czech):
„Optimální referenční překlady“ definujeme jako nejlepší možné překlady, jakých může dosáhnout tým lidských překladatelů. Optimální referenční překlady lze použít při hodnocení vynikajících strojových překladů.

Ze 130 anglických dokumentů zařazených do datasetu WMT2020 (http://www.statmt.org/wmt20/) jsme vybrali 50 dokumentů (online zpravodajské články, celkem 579 odstavců) s cílem zachovat rozmanitost (styl, žánr atd.) výběru. Kromě oficiálního referenčního českého překladu poskytnutého organizátory WMT (P1) jsme prostřednictvím profesionální překladatelské agentury najali další dva překladatele (P2 a P3, rodilí mluvčí češtiny), čímž vznikly tři nezávislé překlady. Hlavním přínosem tohoto souboru dat jsou dva další překlady (tj. optimální referenční překlady N1 a N2), které společně provedli dva překladatelé a zároveň teoretici překladu s mimořádnou péčí o různé aspekty kvality překladu, přičemž zohlednili překlady P1-P3. K některým segmentům zveřejňujeme i interní komentáře (v češtině).

Překlad N1 by se měl co nejvíce blížit anglickému originálu (co do významu i jazykové struktury). Ženská příjmení přechýlena (např. „Mai“ je přeloženo jako „Maiová“). Překlad N2 je volnější, snaží se být kreativnější, idiomatičtější, pro čtenáře čtivější a řídí se typickým stylem používaným v českých médiích, přičemž zachovává pravidla funkční ekvivalence. Překlad N2 chybí u segmentů, kde nebylo považováno za nutné uvést dva alternativní překlady. U aplikací/analýz, které vyžadují překlad všech segmentů, by se to mělo interpretovat tak, že N2 je pro daný segment stejný jako N1.

Soubor dat poskytujeme ve dvou formátech: OpenDocument spreadsheet (odt) a prostý text (jeden soubor pro každý překlad a anglický originál). Některá slova byla při tvorbě optimálních referenčních překladů zvýrazněna různými barvami; toto zvýraznění a komentáře jsou přítomny pouze ve formátu odt (některé komentáře odkazují na čísla řádků v souboru odt). Dokumenty jsou odděleny prázdnými řádky a každý dokument začíná zvláštním řádkem obsahujícím název dokumentu (např. "# upi.205735"), což umožňuje zarovnání s originálem datasetu WMT2020. Pro segmenty, kde chybí překlady N2 ve formátu odt, se místo nich použijí příslušné segmenty N1 ve formátu prostého textu.