ufal/bilingual-abstracts-corpus huggingface dataset:
Possessives in Parallel English‑Czech-Russian Texts
Possesiva v českých a ruských textech
Year: 2016
Authors: Anna Nedoluzhko, Anna Schwarz (Khoroshkina), Michal Novák

Abstract (English):
We present a corpus-based analysis of the use of possessive and reflexive possessive pronouns in a newly created English-Czech-Russian parallel corpus (PCEDT-R). Automatic word-alignment was applied to the texts, which were subsequently manually corrected. In the word-aligned data, we have manually annotated all correspondences of possessive and possessive reflexive pronouns from the perspective of each analysed language. The collected statistics and the analysis of the annotated data allowed us to formulate assumptions about language differences. Our data confirm the relative frequency of possessive pronouns in English as compared to Czech and Russian, and we explain it by the category of definiteness in English. To confirm some of our hypotheses, we used other corpora and questionnaires. We compared the translated texts in Czech and Russian from our corpus to the original texts from other corpora, in order to find out to what degree the translation factor might influence the frequency of possessives.

Abstract (Czech):
Korpusová analýza použití posesivních zájmen v nově vytvořeném anglicko-česko-ruském paralelním korpusu PCEDT-R. V článku představujeme korpus, popisujeme jeho anotaci a prezentujeme statistiky na něm spočtené.
Adapting SMT Query Translation Reranker to New Languages in Cross-Lingual Information Retrieval
Adaptace sytému  pro přeuspořádávání hypotéz strojového překladu dotazů na nové jazyky pro vícejazyčné vyhledávání informací.
Year: 2016
Authors: Shadi Saleh, Pavel Pecina

Abstract (English):
We investigate adaptation of a supervised  machine learning model for reranking of query translations to new languages in the context of cross-lingual information retrieval. The model is trained to rerank multiple translations produced by a statistical machine translation system and optimize retrieval quality. The model features do not depend on the source language and thus allow the model to be trained on query translations coming from multiple languages. In this paper, we explore how this affects the final retrieval quality. The experiments are conducted on medical-domain test collection in English and multilingual queries (in Czech, German, French) from the CLEF eHealth Lab series 2013--2015.
We adapt our method to allow reranking of query translations for four new languages (Spanish, Hungarian, Polish, Swedish). The baseline approach, where a single model is trained for each source language on query translations from that language, is compared with a model co-trained on translations from the three original languages.

Abstract (Czech):
Tento článek se zabývá metodou překladu vyhledávacích dotazů, která přeuspořádávává překladové hypotézy produkované překladovým systémem, a to s ohledem na kvalitu výsledného vyhledávání. V článku je prezentován způsob adaptace této metody na nové zdrojové jazyky.
Reranking Hypotheses of Machine-Translated Queries for Cross-Lingual Information Retrieval
Přeuspořádávání hypotéz strojového překladu dotazů pro vícejazyčné vyhledávání informací
Year: 2016
Authors: Shadi Saleh, Pavel Pecina

Abstract (English):
Machine Translation (MT) systems employed to translate queries for Cross-Lingual Information Retrieval typically produce single translation with maximum translation quality. This, however, might not be optimal with respect to retrieval quality and other translation variants might lead to better retrieval results. In this paper, we explore a method exploiting multiple translations produced by an MT system, which are reranked using a supervised machine-learning method trained to directly optimize the retrieval quality. We experiment with various types of features and the results obtained on the medical-domain test collection from the CLEF eHealth Lab series show significant improvement of retrieval quality compared to a system using single translation provided by MT.

Abstract (Czech):
Strojový překlad dotazů pro vícejazyčné vyhledávání informací je obvykle cílen na maximální překladovou kvalitu. To ovšem nemusí být optimální s ohledem na kvalitu vyhledávání a jiné překladové hypotézy mohou vést k lepším výsledkům vyhledávání. V tomto článku zkoumáme metodu využívající více možných překladů, které jsou přeuspořádávány pomocí metody založené na strojovém učení, která je optimalizována přímo na kvalitu překladu.
Task3 Patient-Centred Information Retrieval: Team CUNI
Úloha 3: vyhledávání informací se zaměřením na uživatele: Tým Univerzity Karlovy
Year: 2016
Authors: Shadi Saleh, Pavel Pecina

Abstract (English):
In this paper we present our participation as the team of
the Charles University at Task3 Patient-Centred Information Retrieval. In the monolingual task and its subtasks, we submitted two runs: one is based on language model approach and the second one is based on vector space model. For the multilingual task, Khresmoi translator, a Statistical Machine Translation (SMT) system, is used to translate the queries into English and get the n-best-list. For the baseline system, we take 1-best-list translation and use it for the retrieval, while for other runs, we use a machine learning model to rerank the n-best-list translations and predict the translation that gives the best CLIR performance in terms of P@10. We present set of features to train the model, these features are generated from the SMT verbose output, different resources like UMLS Metathesaurus, MetaMap, document collection and from the Wikipedia
articles. Experiments on previous CLEF eHealth IR tasks test set show significant improvement brought by the reranker over the baseline system.

Abstract (Czech):
Zpráva o účasti týmu Univerzity Karlovy v soutěži vyhledávání zdravotních informací CLEF eHealth Evaluation Lab 2016.
Vystadial 2016 – Czech data
Vystadial 2016 – Česká data
Year: 2016
Authors: Ondřej Plátek, Ondřej Dušek, Filip Jurčíček

Abstract (English):
Vystadial 2016 is a dataset of telephone conversations in Czech, developed for training acoustic models for automatic speech recognition in spoken dialogue systems. The data comprise over over 75 hours in Czech, plus orthographic transcriptions.

Abstract (Czech):
Vystadial 2016 je databáze telefonních hovorů v češtině, vyvinuté pro trénování akustických modelů pro automatické rozpoznávání řeči v dialogových systémech. Data obsahují více než 75 hodin v českém jazyce.
Recurrent Neural Networks for Dialogue State Tracking
Rekurentní neuronové sítě pro sledování dialogového stavu
Year: 2016
Authors: Ondřej Plátek, Petr Bělohlávek, Vojtěch Hudeček, Filip Jurčíček

Abstract (English):
This paper discusses models for dialogue state tracking using recurrent neural networks (RNN). We present experiments on the standard dialogue state tracking (DST) dataset, DSTC2. On the one hand, RNN models became the state of the art models in DST, on the other hand, most state-of-the-art models are only turn-based and require dataset-specific preprocessing (e.g. DSTC2-specific) in order to achieve such results. We implemented two architectures which can be used in incremental settings and require almost no preprocessing. We compare their performance to the benchmarks on DSTC2 and discuss their properties. With only trivial preprocessing, the performance of our models is close to the state-of- the-art results.

Abstract (Czech):
Tento článek se zabývá modely pro sledování stavu dialogu pomocí rekurentních neuronových sítí (RNN). Představujeme pokusy na datové sadě, DSTC2. Na jedné straně, RNN modely dosahují vynikajících výsledků. Na druhou stranu většina state-of-the-art modelů jsou "turn-based" a vyžadují specifické předzpracování (např pro data z DSTC2) k dosažení vynikajících výsledků. Představili jsme dvě architektury, které mohou být použity v inkrementálních nastavení a nevyžadují téměř žádnou předzpracování. V članku porovnáváme jejich výkonnost na referenčních hodnotách pro DSTC2 a diskutujeme jejich vlastnosti. S pouze triviální předzpracováním se výkon našich modelů blíží k výsledkům state-of-the-art.
A Dataset of Operator-client Dialogues Aligned with Database Queries for End-to-end Training
Dataset konverzací mezi operátorem a klientem zarovaný s dotazy do databáze pro end-to-end trénovaní
Year: 2016
Authors: Ondřej Plátek, Filip Jurčíček

Abstract (English):
This paper presents a novel dataset for training end-to-end task oriented conversational agents. The dataset contains conversations between an operator – a task expert, and a client who seeks information about the task. Along with the conversation transcriptions, we record database API calls performed by the operator, which capture a distilled meaning of the user query. We expect that the easy-to-get supervision of database calls will allow us to train end-to-end dialogue agents with significantly less training data. The dataset is collected using crowdsourcing and the conversations cover the well-known restaurant domain. Quality of the data is enforced by mutual control among contributors. The dataset is available for download under the Creative Commons 4.0 BY-SA license.

Abstract (Czech):
Tento článek prezentuje novou datovou sadu pro výcvik end-to-end úkol orientovaně konverzační agentů. Obsahuje rozhovory mezi operátorem - odborníkem na danou doménu, a klientem, který hledá informace o úloze. Spolu s konverzační přepisy zaznamenáme databázová volání prováděné operátorem, které zachycují význam dotazu uživatele. Očekáváme, že se snadno získatelné databázová volání nám umožní trénovat end-to-end dialog agenty se s výrazně méně tréninkových dat. Datová sada je sbírána pomocí crowdsourcing a rozhovory pokrývají dobře známé restaurace doménu. Kvalita dat je vynucováno vzájemné kontroly mezi přispěvateli. Datový soubor je k dispozici ke stažení pod licencí Creative Commons 4.0 BY-SA licencí.
A Framework for Discriminative Rule Selection in Hierarchical Moses
Systém pro diskriminativní výběr pravidel v hierarchickém překladači Moses
Year: 2016
Authors: Fabienne Braune, Alexander Fraser, Hal Daumé III, Aleš Tamchyna

Abstract (English):
We propose two contributions to discriminative rule selection in hierarchical machine translation. First, we test  previous  approaches on two French-English translation tasks in domains for which only limited resources are  available  and  show  that  they  fail  to improve  translation  quality. To improve on  such  tasks,  we  propose  a  rule  selection  model  that  is  (i)  global  with  rich label-dependent  features  (ii)  trained  with all available negative samples.  Our global model yields significant improvements, up to 1  BLEU  point,  over  previously  proposed rule selection models.

Abstract (Czech):
Navrhujeme dva příspěvky k diskriminativnímu výběru pravidel v hierarchickém strojovém překladu. Ověřujeme předchozí přístupy na dvou úlohách francouzsko-anglického překladu na doménách s omezenými zdroji a ukazujeme, že nedokážou zlepšit překladovou kvalitu. Navrhujeme model pro výběr pravidel, který je (i) globální a využívá bohatou sadu rysů a (ii) je trénován s využitím všech dostupných negativních příkladů. Náš globální model přináší významné zlepšení až 1 bod BLEU oproti předchozím modelům pro výběr pravidel.
What data are used in machine translation
Jak pracuje automatický překlad
Year: 2016
Authors: Ondřej Bojar

Abstract (English):
An introduction to machine translation for employees of governmental and other public institutions.

Abstract (Czech):
Představení technik strojového překladu pro pracovníky státní správy a veřejných institucí.
What data are used in machine translation
Jaká data se používají ve strojovém překladu
Year: 2016
Authors: Ondřej Bojar

Abstract (English):
An overview of method for acquiring parallel data and for their preparation for the purposes of MT training.

Abstract (Czech):
Přehled o metodách získávání paralelních dat a jejich přípravě pro trénování modelů strojového překladu.
WMT Metrics Task: Past Great Metrics, Current Evaluation Experiments, Future Metrics Challenges
WMT Metrics Task: Úspěšné starší metriky, současné experimenty, budoucí výzvy
Year: 2016
Authors: Ondřej Bojar

Abstract (English):
A summary of ten years of automatic MT evaluation, highlighting past successful metrics, current evaluation challenges and topics that need to be tackled in the future.

Abstract (Czech):
Příspěvek shrnul deset let konání soutěže v automatickém hodnocení kvality překladu: představil úspěšné minulé metriky, současné experimenty a poukázal na potřebné další směry vývoje.
CzEng 1.6
CzEng 1.6
Year: 2016
Authors: Ondřej Bojar, Ondřej Dušek, Tom Kocmi, Jindřich Libovický, Michal Novák, Martin Popel, Roman Sudarikov, Dušan Variš

Abstract (English):
A new release of the Czech-English parallel corpus CzEng. CzEng 1.6 consists of about 0.5 billion words (“gigaword”) in each language. The corpus is equipped with automatic annotation at a deep syntactic level of representation and alternatively in Universal Dependencies.

Abstract (Czech):
Nové vydání česko-anglického paralelního korpusu CzEng. CzEng 1.6 obsahuje kolem půl miliardy slov v každém z jazyků.
CzEng 1.6 pipeline: Docker container
CzEng 1.6 Docker kontejner
Year: 2016
Authors: Ondřej Bojar, Ondřej Dušek, Tom Kocmi, Jindřich Libovický, Michal Novák, Martin Popel, Roman Sudarikov, Dušan Variš

Abstract (English):
A pipeline of linguistic analysis used for CzEng 1.6 packaged in a Docker container. Any English or Czech text can be processed by this pipeline. The processing pipeline includes part-of-speech tagging, parsing, named entity recognition, semantic role labelling, coreference resolution etc.

Abstract (Czech):
Lingvistická anotace angličtiny a češtiny použitá pro CzEng 1.6 je nyní k dispozici pro jakýkoliv text ve formě Docker kontejneru.
CzEng 1.6: Enlarged Czech-English Parallel Corpus with Processing Tools Dockered
CzEng 1.6: Větší česko-anglický paralelní korpus
Year: 2016
Authors: Ondřej Bojar, Ondřej Dušek, Tom Kocmi, Jindřich Libovický, Michal Novák, Martin Popel, Roman Sudarikov, Dušan Variš

Abstract (English):
We present a new release of the Czech-English parallel corpus CzEng. CzEng 1.6 consists of about 0.5 billion words (“gigaword”) in each language. The corpus is equipped with automatic annotation at a deep syntactic level of representation and alternatively in Universal Dependencies. Additionally, we release the complete annotation pipeline as a virtual machine in the Docker virtualization toolkit.

Abstract (Czech):
Představujeme nové vydání česko-anglického paralelního korpusu CzEng. CzEng 1.6 obsahuje kolem půl miliardy slov v každém z jazyků.
Findings of the 2016 Conference on Machine Translation (WMT16)
Výsledky Workshopu o statistickém strojovém překladu v roce 2016
Year: 2016
Authors: Ondřej Bojar, Rajen Chatterjee, Christian Federmann, Yvette Graham, Barry Haddow, Matthias Huck, Antonio Jimeno Yepes, Philipp Koehn, Varvara Logacheva, Christof Monz, Matteo Negri, Aurelie Névéol, Mariana Neves, Martin Popel, Matt Post, Raphael Rubino, Carolina Scarton, Lucia Specia, Marco Turchi, Karin Verspoor, Marcos Zampieri

Abstract (English):
This paper presents the results of the
WMT16 shared tasks, which included five
machine translation (MT) tasks (standard
news, IT-domain, biomedical, multimodal,
pronoun), three evaluation tasks (metrics,
tuning, run-time estimation of MT quality),
and an automatic post-editing task
and bilingual document alignment task.
This year, 102 MT systems from 24 institutions
(plus 36 anonymized online systems)
were submitted to the 12 translation
directions in the news translation task. The
IT-domain task received 31 submissions
from 12 institutions in 7 directions and the
Biomedical task received 15 submissions
systems from 5 institutions. Evaluation
was both automatic and manual (relative
ranking and 100-point scale assessments).

Abstract (Czech):
Článek představuje výsledky společných úloh WMT16, které zahrnovaly 5 úloh strojového překladu (novinové texty, IT doména, biomedicína, multimodální překlad a překlad zájmen), 3 úlohy vyhodnocovací (metriky, tuning, odhadu kvality překladu) a automatické posteditace a bilingvní párování dokumentů. Letos se WMT zůčastnilo 102 překladových systémů z 24 institucí (plus 36 anonymizovaných online systémů).
Results of the WMT16 Metrics Shared Task
Výsledky soutěže ve vyhodnocování strojového překladu
Year: 2016
Authors: Ondřej Bojar, Yvette Graham, Amir Kamran, Miloš Stanojević

Abstract (English):
This paper presents the results of the
WMT16 Metrics Shared Task. We asked
participants of this task to score the outputs
of the MT systems involved in the
WMT16 Shared Translation Task. We
collected scores of 16 metrics from 9 research
groups. In addition to that, we computed
scores of 9 standard metrics (BLEU,
SentBLEU, NIST, WER, PER, TER and
CDER) as baselines. The collected scores
were evaluated in terms of system-level
correlation (how well each metric’s scores
correlate with WMT16 official manual
ranking of systems) and in terms of segment
level correlation (how often a metric
agrees with humans in comparing two
translations of a particular sentence).
This year there are several additions to
the setup: large number of language pairs
(18 in total), datasets from different domains
(news, IT and medical), and different
kinds of judgments: relative ranking
(RR), direct assessment (DA) and HUME
manual semantic judgments. Finally, generation
of large number of hybrid systems
was trialed for provision of more conclusive
system-level metric rankings.

Abstract (Czech):
Článek shrnuje výsledky soutěže v hodnocení kvality strojového překladu. Letos je soutěž rozšířena o několik novinek: větší počet jazykových párů, data z více domén, tři způsoby ručního vyhodnocení, jemuž se mají automatické metody v soutěži přiblížit.
UFAL Submissions to the IWSLT 2016 MT Track
Překladové systémy ÚFALu v MT soutěži IWSLT 2016
Year: 2016
Authors: Ondřej Bojar, Ondřej Cífka, Jindřich Helcl, Tom Kocmi, Roman Sudarikov

Abstract (English):
We present our submissions to the IWSLT 2016 machine
translation task, as our first attempt to translate subtitles and
one of our early experiments with neural machine translation
(NMT). We focus primarily on English→Czech translation
direction but perform also basic adaptation experiments for
NMT with German and also the reverse direction. Three MT
systems are tested: (1) our Chimera, a tight combination of
phrase-based MT and deep linguistic processing, (2) Neural
Monkey, our implementation of a NMT system in TensorFlow
and (3) Nematus, an established NMT system.

Abstract (Czech):
Představujeme naše systémy v překladové soutěži IWSLT 2016. Jedná se o naše první systémy pro překlad filmových titulků a současně o jedny z prvních experimentů s neuronovým překladem, které provádíme.
Ten Years of WMT Evaluation Campaigns: Lessons Learnt
Deset let vyhodnocovacích kampaní WMT: Získané zkušenosti
Year: 2016
Authors: Ondřej Bojar, Christian Federmann, Barry Haddow, Philipp Koehn, Matt Post, Lucia Specia

Abstract (English):
The WMT evaluation campaign (http://www.statmt.org/wmt16) has been run annually since 2006. It is a collection of shared
tasks related to machine translation, in which researchers compare their techniques against those of others in the field. The longest
running task in the campaign is the translation task, where participants translate a common test set with their MT systems. In addition
to the translation task, we have also included shared tasks on evaluation: both on automatic metrics (since 2008), which compare the
reference to the MT system output, and on quality estimation (since 2012), where system output is evaluated without a reference. An
important component of WMT has always been the manual evaluation, wherein human annotators are used to produce the official ranking
of the systems in each translation task. This reflects the belief of theWMTorganizers that human judgement should be the ultimate arbiter
of MT quality. Over the years, we have experimented with different methods of improving the reliability, efficiency and discriminatory
power of these judgements. In this paper we report on our experiences in running this evaluation campaign, the current state of the art in
MT evaluation (both human and automatic), and our plans for future editions of WMT.

Abstract (Czech):
Článek shrnuje deset ročníků soutěží ve strojovém překladu a ve vyhodnocování jeho kvality: WMT.
A Pilot Eye-Tracking Study of WMT-Style Ranking Evaluation
Pilotní studie sledování očních pohybů při hodnocení překladů WMT
Year: 2016
Authors: Ondřej Bojar, Filip Děchtěrenko, Maria Zelenina

Abstract (English):
The shared translation task of the Workshop of Statistical Machine Translation (WMT) is one of the key annual events of the field. Participating
machine translation systems in WMT translation task are manually evaluated by relatively ranking five candidate translations
of a given sentence. This style of evaluation has been used since 2007 with some discussion on interpreting the collected judgements but
virtually no insight into what the annotators are actually doing. The scoring task is relatively cognitively demanding and many scoring
strategies are possible, influencing the reliability of the final judgements. In this paper, we describe our first steps towards explaining the
scoring task: we run the scoring under an eye-tracker and monitor what the annotators do. At the current stage, our results are more of a
proof-of-concept, testing the feasibility of eye tracking for the analysis of such a complex MT evaluation setup.

Abstract (Czech):
Soutěž ve strojovém překladu WMT používá od roku 2007 ruční hodnocení, kdy anotátor vidí najednou pět kandidátských překladů. Přes relativně dlouhou dobu používání nemáme dosud jasnou představu, co přesně anotátoři dělají. Tento článek představuje pilotní studii s osmi anotátory, jejichž oční pohyby jsme během hodnocení zaznamenávali na eyetrackeru a následně vyhodnotili.
The Chimera-TectoMT architecture of Machine   Translation with Deep Linguistic Analysis
Chimera-TectoMt architektura strojového překladu s hlubokou jazykovou analýzou
Year: 2016
Authors: Jan Hajič

Abstract (English):
The TectoMT system is a result of long-term development which began in the pre-statistical era at Charles University in Prague and continued to include state-of-the-art tools for POS tagging, morphological feature disambiguation, lemmatization parsing, and some aspects of semantic analysis. It follows the usual Analysis – Transfer – Generation workflow, with transfer trained on a large parallel corpus using Hidden Markov Tree Model. Generation is partly rule-based (at the syntax level) and partly statistical (at the inflection/morphology level). Chimera is a hybrid system that uses a specific combination of TectoMT and a standard Phrase-based SMT (Moses), complemented by a “Depfix” automatic post-editing system, which as a whole improves on the individual systems, as documented in the results of the recent WMT Shared tasks. The system has been originally developed for English-Czech and recently transferred to several other languages within the EU QTLeap project (qtleap.eu), where it has been successfully used in the IT domain for both question and answer translation in a Q&A context. Both the TectoMT and Chimera systems will be presented together with a discussion about language (in)dependence of such a hybrid solution.

Abstract (Czech):
Prezentace vítězného systému ze soutěže (Shared Task) WMT 2013-2015. Byla prezentována architektura, zásadní moduly a principy, a statistické komponenty.