Annotation of the Evaluative Language in a Dependency Treebank

Anotace evaluativního jazyka v závislostním korpusu

In the paper, we present our efforts to annotate evaluative language in the Prague Dependency Treebank 2.0. The project is a follow-up of the series of annotations of small plaintext corpora. It uses automatic identification of potentially evaluative nodes through mapping a Czech subjectivity lexicon to syntactically annotated data. The annotations unveiled several advantages and disadvantages of the chosen framework.

V příspěvku představujeme projekt anotace evaluativního významu v Pražském závislostním korpusu 2.0. Projekt navazuje na sérii anotací malých korpusů prostého textu. V projektu byla použita automatická identifikace potenciálně evaluativních uzlů prostřednictvím českého slovníku hodnotících výrazů Czech SubLex 1.0. V rámci anotačních prací byly odhaleny výhody i nevýhody zvoleného anotačního schématu.


The radio said... or the mutual alignment of location and actor in a bilingual treebank

Hlásili to v rozhlase aneb vzájemné mapování lokace a aktoru v dvojjazyčném závislostním korpusu

In the paper we address one type of structural difference between Czech and English parallel sentences in a bilingual PCEDT treebank, the mutual mapping of actors and locations. Within the analysis of treebank examples, we show the effect of language-specific syntactic and semantic preferences of individual words in the positions of the subject and predicate on the differences in valency structure, as well as the effect of diathesis and the principal of agent demoting.

V příspěvku se zabýváme jedním typem strukturní odlišnosti mezi českými a anglickými paralelními větami v dvojjazyčném korpusu PCEDT, konkrétně vzájemným mapováním valenčních doplnění aktorového typu a (nevalenčních) lokačních doplnění. Analýzou korpusových příkladů ukazujeme, do jaké míry se na rozdílech ve valenci sloves v překladově ekvivalentních větách podílejí jazykově specifické syntakticko-sémantické preference konkrétních slov na pozicích subjektu a predikátu a jak je toto mapování ovlivněno vzájemnou souhrou těchto preferencí, větné diateze a sémantického principu potlačení agentu ve větné struktuře.


Emotions Translated: Enhancing a Subjectivity Lexicon Using a Parallel Valency Lexicon

Překlad emocí: rozšíření lexikonu hodnotících výrazů (???) pomocí paraleního valenčního slovníku

This paper documents the behavior of verb valency complementations regarding the position of the target of evaluation within the valency frame. We classify the types of evaluative meaning expressed by the verbs and identify shared characteristic features considering the valency patterns of the verbs. In the analysis, we comment on three major issues of interest: the semantic classification of evaluative verbs and its relation to the propagation of sentiment value to the participants, the possible non-matching structural positions of the target of evaluation in the valency frame of a verb and its translation, i.e., the possible shift in evaluative focus and scope, and the possible loss of evaluative stance in the process of translation.

Příspěvek sleduje chování valenčních doplnění sloves vzhledem k pozici evaluačního cíle mezi participanty valenčního rámce. Předkládáme klasifikaci typů evaluativnío významu vyjádřeného slovesy a popisujeme společné charakteristické rysy valenčních rámců evaluačních sloves. V analýze se zabýváme třemi problémy: sémantickou klasifikací evaluačních sloves a jejím vztahem k propagaci evaluačního významu jednotlivým participantům, různým valenčním pozicím evaluačního cíle u vzýjemně překladových sloves, tj. možným posunům evaluativního fokusu a dosahu a ztrátě evaluativního významu během překladu.


Linguistic reasons for choosing constructivist approach to teaching word class categorization

Lingvistické opodstatnění konstruktivistické didaktiky při výuce slovních druhů

The  paper  addresses  the  advantages  of teaching  word  class  categorization  in  Czech in  a  constructivist  manner.  The  problem  of  vagueness and blurriness of the linguistic category of word class is analyzed from the linguistic point of view, the lexicographer's point of view and the pedagogical point of view.
We argue that because of the overall change of the aims of the teaching process,  constructivism  is  more  in  compliance  with  the  principles  of modern linguistic approaches than the transmissive teaching. It allows pupils to build their own linguistic concepts by their logical thinking and direct manipulation  of  language,  shifting  the  attention  from  the  word  class  categorization  training to the analytical thinking.

V příspěvku se zabýváme možnostmi pojetí výuky slovních druhů v  konstruktivistickém  vyučování.  Problematiku  vágnosti  a  vzájemné  prostupnosti  jazykových  kategorií  analyzujeme  z  hlediska  lingvistické  teorie, která usiluje o konzistentnost a přístupnost pro školní praxi, z hlediska lexikografické práce, jejímž cílem je připravit jasnou oporu pro běžného uživatele  i  pedagoga,  i  z  hlediska  moderní pedagogiky,  jejímž  úkolem  je  zpřístupňovat žákům vědecké koncepty a teoretické konstrukty důvěryhodným a smysluplným způsobem.
Důraz  klademe  zejména  na  proměnu  cílů jazykového  vyučování  i  na  proměnu vnímání role učitele. Tvrdíme, že konstruktivistické vyučování je více v souladu s principy současné jazykové deskripce než vyučování transmisivní, neboť umožňuje žákovské budování pojmů vlastní manipulací s materiálem a vlastní logickou úvahou a přechod od nácviku jednoznačné kategorizace k prohlubování obecných analytických schopností.


We describe the process of creating NUDAR, a Universal Dependency treebank for Arabic. We present the conversion from the Penn Arabic Treebank to the Universal Dependency syntactic representation through an intermediate dependency representation. We discuss the challenges faced in the conversion of the trees, the decisions we made to solve them, and the validation of our conversion. We also present initial parsing results on NUDAR.

Popisujeme proces vzniku NUDAR, arabského treebanku ve stylu Universal Dependencies. Představujeme převod z Penn Arabic Treebanku do syntaktické reprezentace Universal Dependencies přes mezilehlou závislostní reprezentaci. Probíráme obtíže, se kterými je převod závislostních stromů spojen, řešení, která jsme použili, a hodnocení námi převedených dat. Dále představujeme prvotní výsledky parsingu na NUDARu.


Paying Attention to Multi-Word Expressions in Neural Machine Translation

Pozornost víceslovným výrazům v neuronovém strojovém překladu

Processing of multi-word expressions (MWEs) is a known problem for any natural language
processing task. Even neural machine translation (NMT) struggles to overcome it. This paper
presents results of experiments on investigating NMT attention allocation to the MWEs and
improving automated translation of sentences that contain MWEs in English→Latvian and
English→Czech NMT systems. Two improvement strategies were explored—(1) bilingual
pairs of automatically extracted MWE candidates were added to the parallel corpus used to
train the NMT system, and (2) full sentences containing the automatically extracted MWE
candidates were added to the parallel corpus. Both approaches allowed to increase automated
evaluation results. The best result—0.99 BLEU point increase—has been reached with the first
approach, while with the second approach minimal improvements achieved. We also provide
open-source software and tools used for MWE extraction and alignment inspection.

Víceslovné výrazy představují problém pro všechny aplikace zpracování přirozeného jazyka. V článku představujeme výsledky experimentů s neuronovým strojovým překladem z angličtiny do češtiny a lotyšštiny s důrazem na víceslovné výrazy.


Visualizing Neural Machine Translation Attention and Confidence

Zobrazování pozornosti a spolehlivosti neuronového strojového překladu

In this article, we describe a tool for visualizing the output and attention weights of neural
machine translation systems and for estimating confidence about the output based on the
attention.
Our aim is to help researchers and developers better understand the behaviour of their
NMT systems without the need for any reference translations. Our tool includes command
line and web-based interfaces that allow to systematically evaluate translation outputs from
various engines and experiments. We also present a web demo of our tool with examples of
good and bad translations: http://ej.uz/nmt-attention

V článku popisuje nástroj pro vykreslování výstupu a pozornostních vah neuronového překladu a pro odhad spolehlivosti překladu vypočtený na základě pozornosti.


Understanding text coherence: Implicit discourse relations

Porozumění textové koherenci: Implicitní diskurzní vztahy

The paper deals with secondary language signals that can express the semantics of implicit discourse relations. These include, for example, evaluative expressions in focus, usually followed by an argument with the meaning of explication or specification.

Příspěvek se zabývá vedlejšími jazykovými signály, které mohou vyjadřovat sémantiku implicitních vztahů. K nim patří např. hodnotící výrazy ve fokusu, za nimiž následuje obvykle argument s významem explikace či specifikace.


Prague workshop Discourse Relations in Multilingual Context (Kontakt II)

Pražský workshop Discourse Relations in Multilingual Context (Kontakt II)

A report on the contents of an international research project on the structure of discourse and on the means of its connectivity and on a workshop organized in Prague.

Zpráva o vědecké náplni mezinárodního projektu týkajícího se výstavby diskurzu a prostředků jeho konektivity a o workshopu pořádaném v Praze v rámci tohoto projektu.


Discourse Connectives: From Historical Origin to Present-Day Development

Diskurzní konektory: Od původu k současnosti

The paper focuses on the description and delimitation of discourse connectives, i.e.
linguistic expressions significantly contributing to text coherence and generally
helping the reader to better understand semantic relations within a text. The paper
discusses the historical origin of discourse connectives viewed from the perspective
of present-day linguistics. Its aim is to define present-day discourse connectives
according to their historical origin through which we see what is happening in discourse in contemporary language. The paper analyzes the historical origin of the most frequent connectives in Czech, English and German (which could be useful for more accurate translations of connectives in these languages) and point out that they underwent a similar process to gain a status of present-day discourse connectives. The paper argues that this historical origin or process of rising discourse connectives might be language universal. Finally, the paper demonstrates how these observations may be helpful for annotations of discourse in large corpora.

Kapitola se zaměřuje na popis a delimitaci diskurzních konektorů, tj. výrazů přispívajících ke kohereci textu a pomáhajících čtenáři lépe porozumět sémantickým vztahům v textu. V příspěvku je představen etymologický původ diskurzních konektorů z hlediska současné lingvistiky. Cílem je podat definici diskurzních konektorů s ohledem na jejich historický vývoj, díky němuž můžeme lépe nahlížet na  diskurzní vztahy v současném jazyce. V kapitole analyzujeme etymologický původ a vývoj deseti nejfrekventovanějších konektorů v češtině, angličtině a němčině (mezijazykový pohled může napomoci také přesnějšímu překladu konektorů) a poukazujeme na fakt, že tyto konektory prošly ve všech sledovaných jazycích velmi podobným vývojem, než se ustálily v roli současných diskurzních konektorů. Domníváme se proto, že způsob vzniku diskurzních konektorů může být jazykovou univerzálií. V závěru kapitoly ukazujeme, jak naše zjištění mohou pomoci při anotacích diskurzu ve velkých korpusech.


Installation and user settings for Czech-English and English-Czech translation of Czech technical terms of the INSPIRE Directive and thesaurea GEMET and AgroVoc (spatial data) for exclusive use in a research project

Instalace a uživatelské nastavení pro česko-anglický a anglicko-český překlad českých odborných termínů směrnice INSPIRE a thesaurů GEMET a AgroVoc (prostorová data) pro výhradní použití ve výzkumném projektu

Installation and user setting for Czech-English and English-Czech translation of Czech technical terms of the INSPIRE Directive and thesauri GEMET and AgroVoc (spatial data). For the project a package containing trained Moses models and commands for translation was prepared.

Instalace a uživatelské nastavení odborných překladů z češtiny do angličtiny a z angličtiny do češtiny. Překládají se české odborné termíny směrnice INSPIRE a thesaury GEMET a AgroVoc (prostorová data). Pro účely projektu byl připraven balíček obsahující připravené modely v systému Moses a seznam příkazů pro provádění překladu.


Tokenizing, POS Tagging, Lemmatizing and Parsing UD 2.0 with UDPipe

Tokenizace, tagging, lemmatizace a syntaktická analýza UD 2.0 pomocí UDPipe

We present an update to UDPipe 1.0, a trainable pipeline which performs sentence segmentation, tokenization, POS tagging, lemmatization and dependency parsing. We provide models for all 50 languages of UD 2.0, and furthermore, the pipeline can be trained easily using data in CoNLL-U format.

For the purpose of the CoNLL 2017 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies, the updated UDPipe 1.1 was used as one of the baseline systems, finishing as the 13th system of 33 participants. A further improved UDPipe 1.2 participated in the shared task, placing as the 8th best system, while achieving low running times and moderately sized models.

The tool is available under open-source Mozilla Public Licence (MPL) and provides bindings for C++, Python (through ufal.udpipe PyPI package), Perl (through UFAL::UDPipe CPAN package), Java and C#.

Představujeme novou verzi UDPipe 1.0, což je trénovatelný nástroj provádějící větnou segmentaci, tokenizaci, morfologické značkování, lemmatizaci a syntaktickou analýzu. Poskytujeme modely pro všech 50 jazyků UD 2.0, a navíc lze jednoduše UDPipe natrénovat pomocí vlastních dat v CoNLL-U formátu.

Pro potřeby CoNLL 2017 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies, upravená verze UDPipe 1.1 byla použita jako základový systém a umístila se na 13. místě z 33 účastníků. Nejnovější verze UDPipe 1.2, která se také účastnila, dosáhla na 8. místo, přičemž potřebuje jen malý čas na běh a středné velké modely.

Nástroj je k dispozici pod open-source licencí MPL a poskytuje rozhraní pro C++, Python (pomocí ufal.udpipe balíčku PyPI), Perl (pomocí UFAL::UDPipe balíčku CPAN), Javu a C#.


We present our contribution to The First Shared Task on Extrinsic Parser Evaluation (EPE 2017). Our participant system, the UDPipe, is an open-source pipeline performing tokenization, morphological analysis, part-of-speech tagging, lemmatization and dependency parsing. It is trained in a language agnostic manner for 50 languages of the UD version 2. With a relatively limited amount of training data (200k tokens of English UD) and without any English specific tuning, the system achieves overall score 56.05, placing as the 7th participant system.

Představujeme náš příspěvek do First Shared Task on Extrinsic Parser Evaluation (EPE 2017). Náš systém, UDPipe, je trénovatelný nástroj provádějící tokenizaci, morfologickou analýzu, morfologické značkování, lemmatizaci a syntaktickou analýzu. Je nezávislý na jazyku a k dispozici jsou modely pro všech 50 jazyků UD 2.0. Použitím relativně omezeného množství trénovacích dat (200 tisíc tokenů z anglického korpusu UD) a bez nastavení specifického pro angličtinu získal systém celkové hodnocení 56.05 a umístil se mezi soutěžícími systémy jako 7.


clarin-dspace Architecture and RDA-DFT/FAIR/OAIS

Architektura clarin-dspace a RDA-DFT/FAIR/OAIS

Describing clarin-dspace architecture and the compliance to RDA-DFT/FAIR/OAIS.

Popis architektury projektu clarin-dspace a dodrziavanie standardov a doporuceni RDA-DFT/FAIR/OAIS.


The QT21 Combined Machine Translation System for English to Latvian

Společný kombinovaný systém projektu QT21 pro překlad z angličtiny do lotyšštiny

This  paper  describes  the  joint  submis-
sion    of    the    QT21    projects    for    the
English
→
Latvian  translation  task  of  the
EMNLP 2017 Second Conference on Ma-
chine Translation
(WMT 2017).  The sub-
mission  is  a  system  combination  which
combines  seven  different  statistical  ma-
chine translation systems provided by the
different groups.
The  systems  are  combined  using  either
RWTH’s  system  combination  approach,
or
USFD’s
consensus-based
system-
selection approach.  The final submission
shows   an   improvement   of   0.5   B
LEU
compared  to  the  best  single  system  on
newstest2017.

Článek popisuje společný systém projektu QT21 pro překlad z angličtiny do lotyšštiny na druhé konferenci WMT 2017.

Jan-Thorsten Peter
Hermann Ney
Ondřej Bojar
Ngoc-Quam Pham
Jan Niehues
Alex Waibel
Franck Burlot
François Yvon
Marcis Pinnis
Valters Sics
Joost Bastings
Miguel Rios
Wilker Aziz
Phil Williams
Frédéric Blain
Lucia Specia


Constrained Deep Answer Sentence Selection

We propose Constrained Deep Neural Network (CDNN) a deep neural model for answer sentence selection in the context of
Question Answering (QA) systems. To
produce the best predictions, CDNN combines neural reasoning with a kind of
symbolic constraint. It integrates pattern
matching technique into sentence vector
learning. When trained using enough samples, CDNN outperforms the other best
models for sentence selection.
We show how the use of other sources of
training can enhance the performance of
CDNN. In a well-studied dataset for answer sentence selection, our model improves the state-of-the-art significantly

Navrhujeme propuštěnou hlubokou neuronovou síť (CDNN) hluboký neuronový model pro výběr věty odpovědi v kontextu systémů QA (Question Answering). Pro vytvoření nejlepších předpovědí kombinuje CDNN neurální uvažování s určitým symbolickým omezením. Integruje techniku přizpůsobení vzoru do vektoru vět
učení se. Při výcviku za použití dostatečných vzorků převyšuje CDNN ostatní nejlepší modely pro výběr vět. Ukazujeme, jak se využívají další zdroje
Školení může zvýšit výkon CDNN. V dobře studovaném datovém souboru pro výběr věty odpovědi náš model výrazně zlepšuje nejmodernější technologii.


Hybrid Deep Open-Domain Question Answering

Hybridní Hluboký Otevřená Doména Otázka Odpovědět

In this short paper, we report a progressing work on a hybrid deep neural system for answering open-domain factoid and non-factoid questions. This system supplements knowledge graph based Question Answering with free-texts searching techniques to address the sparsity issues in knowledge graphs. We justify the efficiency of the proposed system based on the results of a pilot experiment. We also describe the settings of an on-going project in the context of this system.

V tomto krátkém časopise oznamujeme postupnou práci na hybridním hlubokém nervovém systému, který odpovídá na faktoidní a nepravotní otázky otevřené oblasti. Tento systém doplňuje znalostní graf založený na zodpovězení dotazu s vyhledávacími technikami pro volné texty, které řeší problematiku sparsity ve znalostních grafech. Ospravedlňujeme účinnost navrhovaného systému na základě výsledků pilotního experimentu. Rovněž popisujeme nastavení probíhajícího projektu v kontextu tohoto systému.


We report on a progressing work for compiling Quora question answer dataset. Quora dataset is composed of the questions which are posed in
Quora question answering site. It is the only dataset which provides answers in
sentence level and word level at the same time. Moreover, the questions in the
dataset are authentic which is much more realistic for question answering systems. We test the performance of a state-of-the-art question answering system on
the dataset and compare it with human performance to establish an upper bound
for the dataset

Uvádíme zprávu o pokročilejších úkolech při sestavování datových sad otázka odpovědět Quora. Datová sada Quora se skládá z otázek, které jsou položeny na stránkách Quora answering site. Je to jediná datová sada, která poskytuje odpovědi současně na úrovni vět a slov. Otázky v datové sadě jsou navíc autentické, což je mnohem realističtější pro systémy odpovědí na otázky. Testujeme výkonnost nejmodernějšího záznamníku otázek na datové množině a porovnáváme ji s lidskou výkonností, abychom vytvořili horní hranici datové sady.


CzeDLex and other Lexicons of Discourse Connectives

CzeDLex a další slovníky textových konektorů

The presentation offers an overview and comparison of present-day electronic lexicons of discourse connectives in different languages, with a special regard on the recently developed lexicon of Czech connectives – CzeDLex.

Prezentace nabízí přehled a srovnání současných elektronických lexikonů textových konektorů v různých jazycích se zvláštním zřetelem na nový lexikon českých konektorů - CzeDLex.


Signalling Implicit Relations: A PDTB - RST Comparison

Signály implicitních vzahů: Srovnání PDTB a RST

Describing implicit phenomena in discourse is known to be a problematic task, both from the
theoretical and from the empirical perspective. The present article contributes to this topic by
a novel comparative analysis of two prominent annotation approaches to discourse (coherence)
relations that were carried out on the same texts. We compare the annotation of implicit relations in the Penn Discourse Treebank 2.0, i.e. discourse relations not signalled by an explicit discourse connective, to the recently released analysis of signals of rhetorical relations in the RST Signalling Corpus. Our data transformation allows for a simultaneous depiction and detailed study of these
two resources.

Článek předkládá podrobné srovnání dvou proslulých přístupů k analýze imlicitních diskurzních vztahů, Penn Discourse Treebanku a databáze Rhetorical Structure Theory Signalling Corpus.

Lucie Poláková
Jiří Mírovský
Pavlína Synková


Hluboké učení v (neuronovém) strojovém překladu

Neural machine translation (NMT) has become a widely-adopted approach to machine translation in the past few years.

In our tutorial, we will start with the introduction to the basics of the deep learning methods used in NMT, such as recurrent neural networks and their advanced variants (GRU or LSTM networks), or the algorithms for their optimization.

We introduce the NMT-specific models, such as the attention mechanism, and describe the methods used for decoding the target sentences, including model ensembling and beam search.

We will go through the recent advancements in the field and discuss their impact on the state-of-the-art methods used in this year's WMT competition (http://www.statmt.org/wmt17/).

Neuronový strojový překlad (NMT) se stal v posledních letech široce využívaným přístupem ke strojovému překladu.

V našem tutoriálu začneme úvodem do základů metod hloubkového učení používaných v NMT jako jsou rekurentní neuronové sítě a jejich pokročilé varianty (GRU nebo LSTM sítě) nebo algoritmy pro jejich optimalizaci.

Představujeme modely specifické pro NMT, jako je mechanizmus pozornosti, a popisujeme metody použité pro dekódování cílových vět, včetně ensemblování modelů a paprskového prohledávání.

Projdeme nedávné pokroky v této oblasti a budeme diskutovat o jejich dopadu na nejmodernější metody používané na letošní soutěži WMT (http://www.statmt.org/wmt17/).


CUNI System for the WMT17 Multimodal Translation Task

Systém Univerzity Karlovy pro úlohu multimodálního strojového překladu na WMT17

In this paper, we describe our submissions to the WMT17 Multimodal
  Translation Task. For Task 1 (multimodal translation), our best scoring
  system is a purely textual neural translation  of the source image caption to
  the target language. The main feature of the system is the use of additional
  data that was acquired by selecting similar sentences from parallel corpora
  and by data synthesis with back-translation. For Task 2 (cross-lingual image
  captioning), our best submitted system generates an English caption which is
  then translated by the best system used in Task 1. We also present negative
  results, which are based on ideas that we believe have potential of making
  improvements, but did not prove to be useful in our particular setup.

V tomto článku popisujeme naše příspěvky do multimodální překladové úlohy na WMT17.
Pro úlohu 1 (multimodální překlad) byl nejlepším systémem čistě textový neuronový překlad titulku zdrojového obrázku do cílového jazyka.
Hlavním rysem našeho systému je využití dalších dat získaných výběrem podobných vět z paralelních korpusů a syntézou dat zpětným překladem.
Pro úlohu 2 (vícejazyčné generování popisu obrázků) náš nejlepší systém generuje anglický popis obrázku, který je poté přeložen podle nejlepšího systému používaného v úloze č. 1.
Také předkládáme negativní výsledky, které jsou založeny na myšlenkách, o kterých se domníváme, že mají potenciál překlad zlepšit, ale v našem konkrétním uspořádání
 neprokázaly býti prospěšnými.


Neural Monkey: An Open-source Tool for Sequence Learning

Neural Monkey: Open source nástroj pro sekvenční učení

In this paper, we announce development of Neural Monkey — an open-source neural machine translation (NMT) and general sequence-to-sequence learning system built over TensorFlow machine learning library.
The system provides a high-level API with support for fast prototyping of complex architectures with multiple sequence encoders and decoders. These models’ overall architecture is specified in easy-to-read configuration files. The long-term goal of Neural Monkey project is to create and maintain a growing collection of implementations of recently proposed components or methods, and therefore it is designed to be easily extensible. The trained models can be deployed either for batch data processing or as a web service. In the presented paper, we describe the design of the system and introduce the reader to running experiments using Neural Monkey.

V tomto článku představujeme vývoj Neural Monkey — open source nástroj pro neuronový strojový překlad a sekvenční učení obecně, který je postavený na knihovně TensorFlow. Náš nástroj poskytuje svým uživatelům vysokoúrovňové rozhraní, které umožňuje rychlé vytváření prototypů komplexních modelů s několika enkodéry a dekodéry. Architektura modelů se vytváří pomocí snadno čitelných konfiguračních souborů. Dlouhodobým cílem Neural Monkey je vytvořit a udržovat kolekci moderních metod pro sekvenční učení. Tomu odpovídá i modulární snadno rozšiřitelný design. Natrénované modely je možné použít pro dávkové zpracování dat nebo spustit jako webovou službu. V předkládaném článku popisujeme základní design nástroje a postup, jak spustit trénování jednoduchého překladače.


The aim of this lab is to familiarize the users with the Neural Monkey toolkit for sequence learning experiments.

Účel tohoto labu je seznámit uživatele s toolkitem Neural Monkey, využívaným pro experimenty se sekvenčním učením.


Attention Strategies for Multi-Source Sequence-to-Sequence Learning

Strategie používání attention modelů ve vícezdrojovém sekvenčním učení

Modeling attention in neural multi-source sequence-to-sequence learning remains a relatively unexplored area, despite its usefulness in tasks that incorporate multiple source languages or modalities. We propose two novel approaches to combine the outputs of attention mechanisms over each source sequence, flat and hierarchical. We compare the proposed methods with existing techniques and present results of systematic evaluation of those methods on the WMT16 Multimodal Translation and
Automatic Post-editing tasks. We show the proposed methods achieve competitive results on both tasks.

Attention modely ve vícezdrojovém neuronovém  sekvenčním učení zůstávají poměrně neprobádanou oblastí, a to navzdory jeho užitečnosti v úkolech, které které využívají více zdrojových jazyků či modalit. Navrhujeme dvě nové strategie jak kombinovat výstupy attentiion modelu z různých vstupů, plochou a hierarchickou. Navrhované metody porovnáváme se stávajícími a výsledky vyhodnocujeme na datech pro multimodální překlad a automatické post-editování překladu z WMT16. Navrhované metody dosažení konkurenceschopných výsledků na obou úlohách.


Querying Multiword Expressions Annotation with NoSke

Vyhledávání v datech s anotací víceslovných jednotek pomocí CQL

This paper demonstrates one of the possible ways on how to represent and query corpora with multiword expression (MWE) annotation.
   We exploit the multilingual corpus of 18 languages created under the PARSEME project with verbal multiword expression (VMWE) annotation. VMWEs include categories such as idioms, light verb constructions, verb-particle constructions, inherently reflexive verbs, and others. The corpus was mainly used for the purposes of training predictive models, yet not much linguistic research was conducted based on this data.
We discuss how to allow linguists to query for MWEs in a simple user interface using the Corpus Query Language (CQL) within the NoSke corpus management and concordance system.
Despite its limited abilities to represent challenging cases such as discontinuous, coordinated or embedded VMWEs, CQL can be sufficient to make basic analysis of the MWE-annotated data in corpus-based studies.

Článek popisuje jeden z možných způsobů, jak zobrazit a prohledávat data s anotací víceslovných jednotek.
Využíváme mnohojazyčný korpus PARSEME s anotací verbálních víceslovných jednotek v 18 jazycích. Anotované jednotky zahrnují různé typy, jako např. idiomy, konstrukce s lehkými slovesy, inherentně reflexivní slovesa nebo konstrukce se slovesem a částicí. Korpus byl dosud využíván zejména pro trénování prediktivních modelů, ale nikoli k lingvistickému výzkumu per se.
Článek nabízí způsob, jak data zpřístupnit lingvistům skrze jednoduché vyhledávací prostředí a jazyk Corpus Query Language (CQL) známy například z často užívané platformy NoSke.
I přes omezené možnosti k zachycení komplexních jevů jakými jsou nespojité, koordinované nebo vnořené víceslovné predikáty, CQL může postačovat k základním vyhledávkám víceslovných jednotek pro korpusově založený výzkum.

Natalia Klyueva
Anna Vernerová
Behrang QasemiZadeh


Neural Networks for Multi-Word Expression Detection

Umělé neuronové sítě pro rozpoznávání víceslovných výrazů

In this paper we describe the MUMULS system that participated to the 2017 shared task on automatic identification of verbal multiword expressions (VMWEs). The MUMULS system was implemented using a supervised approach based on recurrent neural networks using the open source library TensorFlow. The model was trained on a data set containing annotated VMWEs as well as morphological and syntactic information. The MUMULS system performed the identification of VMWEs in 15 languages, it was one of few systems that could categorize VMWEs type in nearly all languages.

Tento článek popisuje systém MUMULS, který se účastnil 2017 Shared Task on Automatic Identification of Verbal Multiword expressions (VMWEs). Systém MUMULS byl implementován přístupem učení s učitelem pomocí rekurentních neuronových sítí v open-source knihovně TensorFlow. Model byl trénován na poskytnutých datech s VMWEs a také na morfologických a syntaktických anotacích. MUMULS provádí identifikaci VMWEs v patnácti jazycích, byl to jeden z mála systémů který dokázal kategorizovat VMWEs ve skoro všech jazycích.

Natalia Klyueva
Antoine Doucet
Milan Straka


Denotation Extraction for Interactive Learning in Dialogue Systems

Extrakce denotací pro interaktivní učení v dialogových systémech

This paper presents a novel task using real user data obtained in human-machine conversation. The task concerns with denotation extraction from answer hints collected interactively in a dialogue. The task is motivated by the need for large amounts of training data for question answering dialogue system development, where the data is often expensive and hard to collect. Being able to collect denotation interactively and directly from users, one could improve, for example, natural understanding components online and ease the collection of the training data. This paper also presents introductory results of evaluation of several denotation extraction models including attention-based neural network approaches.

Tento článek představuje novou úlohu na využití dat od uživatelů dialogových systémů v konverzacích člověk-stroj. Tato úloha se zaměřuje na sběr denotací extrahováním z přirozených vět získaných v průběhu dialogu. Motivace spočívá v potřebě velkého monžství trénovacích dat pro vývoj Q&A dialogových systémů, přičemž získání těchto dat je obvykle těžké a nákladné. Získávání denotací při interakcích s uživateli například umožňuje online vylepšování komponent pro porozumění přirozenému jazyku a zjednodušit sběr trénovacích dat. Tento článek také prezentuje výsledky evaluace několika přístupů k extrakci denotací zahrnující modely založené na neuronových sítích s attention architekturou.


Hybrid Dialog State Tracker with ASR Features

Hybridní State Tracker pro Dialog s ASR Featurami

This paper presents a hybrid dialog state tracker enhanced by trainable Spoken Language Understanding (SLU) for slot-filling dialog systems. Our architecture is inspired by previously proposed neural-network-based belief-tracking systems. In addition, we extended some parts of our modular architecture with differentiable rules to allow end-to-end training. We hypothesize that these rules allow our tracker to generalize better than pure machine-learning based systems. For evaluation, we used the Dialog State Tracking Challenge (DSTC) 2 dataset - a popular belief tracking testbed with dialogs from restaurant information system. To our knowledge, our hybrid tracker sets a new state-of-the-art result in three out of four categories within the DSTC2.

Tento článek představuje hybridní dialog state tracker, rozšířený o trénovatelnou jednotku zpracování přirozeného jazyka (SLU). Naše architektura je inspirována belief trackery založenými na neuronových sítích. Tento přístup navíc rozšiřujeme o derivovatelná prvidla, která umožní end-to-end trénink. Tato pravidla umožní našemu trackeru lépe generalizovat v porovnání s trackery založenými pouze na strojovém učení. Pro evaluaci používáme Dialog State Tracking Challenge (DSTC) 2 - populární dataset využívaný pro srovnání výkonnosti belief trackerů. Podle informací, které máme, náš tracker dosahuje state-of-the-art výsledků ve třech ze čtyř kategorií datasetu DSTC2.

Miroslav Vodolán
Rudolf Kadlec
Jan Kleindienst


Udapi: Universal API for Universal Dependencies

Udapi: univerzální API pro Universal Dependencies

Udapi is an open-source framework providing
an application programming interface
(API) for processing Universal Dependencies
data. Udapi is available in
Python, Perl and Java. It is suitable
both for full-fledged applications and fast
prototyping: visualization of dependency
trees, format conversions, querying, editing
and transformations, validity tests, dependency
parsing, evaluation etc.

Udapi je open-source framework poskytující APO pro zpracovávání dat z projektu Universal Dependencies.
Implementace Udapi je dostupné pro programovací jazyky: Python, Perl a Java. Udapi je vhodné jak pro plnohodnotné aplikace, tak pro rychlé vyváření prototypů: vizualizace stromů, konverze formátu, dotazování, editace, transformace, testy validity, závislostní parsing, vyhodnocování, atd.

Martin Popel
Zdeněk Žabokrtský
Martin Vojtek


CUNI System for WMT17 Automatic Post-Editing Task

Systém UK pro úlohu automatické posteditace strojového překladu WTM17

Following upon the last year's CUNI system for automatic post-editing of machine translation output,
we focus on exploiting the potential of sequence-to-sequence neural models for this task. In this system description paper, we compare several encoder-decoder architectures on a smaller-scale models and present the system we submitted to WMT 2017 Automatic Post-Editing shared task based on this preliminary comparison. We also show how simple inclusion of synthetic data can improve the overall performance as measured by an automatic evaluation metric. Lastly, we list few example outputs generated by our post-editing system.

V návaznosti na loňský systém pro automatickou post-editaci strojového překladu Karlovy Univerzity se soustředíme na využití potenciálu sequence-to-sequence neuronových modelů pro danou úlohu. V článku nejprve porovnáváme několik architektur typu enkodér-dekodér na modelech menšího měřítka a představujeme systém, který byl vybrán na základě těchto předběžných výsledků a odeslán na WMT 2017 Automatic Post-Editing shared task. V článku také ukazujeme jak jednoduchá inkluze umělých dat dokáže vylepšit úspěšnost modelu na základě automatických evaluačních metrik. V závěru uvádíme několik příkladů výstupů vygenerových našim post-editačním systémem.


Edinburgh’s Statistical Machine Translation Systems for WMT16

Edinburské statistické překladové systémy pro WMT16

This paper describes the University of Edinburgh’s
phrase-based and syntax-based
submissions to the shared translation tasks
of the ACL 2016 First Conference on Machine
Translation (WMT16). We submitted
five phrase-based and five syntaxbased
systems for the news task, plus one
phrase-based system for the biomedical
task.

Článek popisuje frázové a syntaktické překladové systémy Univerzity v Edinburku účastnící se soutěžní překladového úlohy WMT16.

Phil Williams
Rico Sennrich
Maria Nadejde
Matthias Huck
Barry Haddow
Ondřej Bojar


42th Year of the Olympiad in Czech Language

Analysis of competition tasks of the Olympiad in Czech language, evaluation of students' language skills.

Analýza soutěžních úkolů z Olympiády v českém jazyce, hodnocení jazykových dovedností studentů.


Evaluator of Discourse (EVALD 1.0) is a software that serves for automatic evaluation of surface coherence (cohesion) in Czech texts written by native speakers of Czech. Software evaluates the level of the given text from the perspective of its surface coherence (i.e. it takes into consideration, e.g., the frequency and diversity of connectives, richness of vocabulary etc.).

Počítačový nástroj Evaluátor diskurzu (EVALD 1.0) slouží k automatickému hodnocení povrchové koherence (koheze) textů v češtině psaných rodilými mluvčími češtiny. Software tedy hodnotí (známkuje) úroveň předloženého textu z hlediska jeho povrchové výstavby (zohledňuje např. frekvenci a rozmanitost spojovacích prostředků, bohatost slovní zásoby apod.).

Kateřina Rysová
Jiří Mírovský
Michal Novák
Magdaléna Rysová


Evaluator of Discourse for Foreigners (EVALD 1.0 for Foreigners) is a software that serves for automatic evaluation of surface coherence (cohesion) in Czech texts written by non-native speakers of Czech. Software evaluates the level of the given text from the perspective of its surface coherence (i.e. it takes into consideration, e.g., the frequency and diversity of connectives, richness of vocabulary etc.).

Počítačový nástroj Evaluátor diskurzu pro cizince (EVALD 1.0 pro cizince) slouží k automatickému hodnocení povrchové koherence (koheze) textů v češtině psaných nerodilými mluvčími češtiny. Software hodnotí úroveň předloženého textu z hlediska jeho povrchové výstavby (zohledňuje např. frekvenci a rozmanitost užitých spojovacích prostředků, bohatost slovní zásoby apod.).


Coreference and Ellipsis in Prague Dependency Treebank

Koreference a elipsa v Pražském závislostním korpusu

The paper focuses on which role is given to elided sentence participants in coreference chains in the text, i.e. whether (and to which degree) the participants that are present only implicitly in the surface layer are involved in relations of textual and grammatical coreference. Generally, the paper introduces  he methods how it is possible to examine the interplays of different language phenomena in corpus data of the Prague Dependency Treebank containing multilayer annotation.

Článek popisuje, jakou roli hrají elidované větné participanty v koreferenčních řetězcích v textu, tj. zda a do jaké míry se participanty, které jsou v povrchové větné struktuře přítomné pouze implicitně, zapojují do vztahů textové a gramatické koreference. Článek zároveň představuje metody, jimiž je možné zkoumat vzájemné vztahy mezi různými jazykovými jevy, a to na datech Pražského závislostního korpusu, který obsahuje anotaci lingvistických jevů na několika jazykových rovinách.


Automatic evaluation of surface coherence in L2 texts in Czech

Automatická evaluace povrchové koherence v textech nerodilých mluvčích češtiny

We introduce possibilities of automatic evaluation of surface text coherence (cohesion) in texts written by learners of Czech during certified exams for non-native speakers. On
the basis of a corpus analysis, we focus on finding and describing relevant distinctive
features for automatic detection of A1–C1 levels (established by CEFR – the Common
European Framework of Reference for Languages) in terms of surface text coherence.
The CEFR levels are evaluated by human assessors and we try to reach this assessment
automatically by using several discourse features like frequency and diversity of discourse
connectives, density of discourse relations etc. We present experiments with various
features using two machine learning algorithms. Our results of automatic evaluation
of CEFR coherence/cohesion marks (compared to human assessment) achieved 73.2%
success rate for the detection of A1–C1 levels and 74.9% for the detection of A2–B2
levels.

V článku jsou představeny možnosti automatické evaluace povrchové koherence (koheze) textů psaných nerodilými mluvčími češtiny během certifikovaných zkoušek. Na základě korpusové analýzy jsou vyhledávány a popisovány relevantní rozlišovací rysy (týkající se povrchové koherence textu) pro automatickou detekci úrovní textů nerodilých mluvčích A1–C1 (úrovně jsou ustanoveny Společným evropským referenčním rámcem pro jazyky). Úrovně A1–C1 byly hodnoceny nejprve lidmi (anotátory) – poté byly dělány strojové experimenty s cílem přiblížit se lidskému hodnocení automaticky, a to sledováním vybraných textových rysů, např. frekvence a různorodosti diskurzních konektorů nebo hustoty diskurzních vztahů v daném textu ap. V článku jsou představeny experimenty sledující vždy různé textové rysy při použití dvou algoritmů strojového učení. Úspěšnost automatického měření povrchové koherence (koheze) textu podle Společného evropského referenčního rámce pro jazyky je 73,2 % pro rozpoznávání úrovní A1–C1 a 74,9 % pro rozpoznávání úrovní A2–B2.

Kateřina Rysová
Magdaléna Rysová
Jiří Mírovský


Logical vs. Natural Language Conjunctions in Czech: A Comparative Study

Jazykové spojky v češtině: komparativní studie

This paper studies the relationship between
conjunctions in a natural language (Czech) and their logical counterparts. It shows that the process of transformation of a natural language expression into its logical representation is not straightforward. The paper concentrates on the most frequently used logical conjunctions, AND and OR, and it analyzes the natural language phenomena which influence their transformation
into logical conjunction and disjunction.
The phenomena discussed in the paper are temporal
sequence, expressions describing mutual relationship and the consequences of using plural.

Názvy logických spojek jsou často motivovány názvy spojek z přirozeného jazyka. V případě, že však chceme výroku v přirozeném jazyce (konkrétně češtině) přiřadit jednoznačně logické schéma, zjišt’ujeme, že to není možné dělat automaticky. V tomto článku se zabýváme tím, kdy je možné české spojky „a“ a „nebo“ zapsat pomocí konjunkce a disjunkce a kde je nutné zvolit jinou interpretaci – s ohledem na problematiku množného čísla a vyjádření vztahů.

Katrin Přikrylová
Vladislav Kuboň
Kateřina Veselovská


The Role of Conjunctions in Adjective Polarity Analysis in Czech

Úloha spojek v při určování polarity českých adjektiv

Adjectives very often determine the polarity of
an utterance. This paper studies the role of conjunctions in the analysis of adjective polarity. The study is being performed on Czech language on the basis of an existing algorithm for English. The algorithm has been modified in order to reflect the differences between
the two typologically different languages. The results of the original and modified algorithm are being compared and discussed. The paper also contains a thorough discussion of exceptions and special cases supported by a number of examples from a large corpus of Czech.

Adjektiva velmi často určují polaritu věty. Tento článek studuje roli spojek v analýze polarity adjektiv. Celá studie je prováděna pro češtinu modifikací algoritmu vyvinutého původně pro angličtinu. Modifikace berou v úvahu typologické rozdíly mezi oběma jazyky. Výsledky dosažené pro oba jazyky jsou porovnány a doplněny rozsáhlým rozborem výjimečných případů.


If You Even Don't Have a Bit of Bible: Learning Delexicalized POS Taggers

Když nemáte ani kus Bible: učení delexikalizovaných POS taggerů

Part-of-speech (POS) tagging is sometimes considered an almost solved problem in NLP. Standard supervised approaches often reach accuracy above 95% if sufficiently large hand-labeled training data are available (typically several hundred thousand tokens or more). However, we still believe that it makes sense to study semi-supervised and unsupervised approaches.

Značkování slovními druhy (POS tagging) se v počítačovém zpracování přirozeného jazyka někdy považuje za téměř vyřešený problém. Standardní řízené přístupy často dosahují úspěšnosti přes 95 %, pokud je k dispozici dostatek ručně anotovaných trénovacích dat (typicky několik set tisíc tokenů nebo více). My si nicméně myslíme, že je stále užitečné studovat polořízené a neřízené přístupy.

Zhiwei Yu
David Mareček
Zdeněk Žabokrtský
Daniel Zeman


Deeper Machine Translation and Evaluation for German

Hlubší strojový překlad a evaluace pro němčinu

This paper describes a hybrid Machine Translation (MT) system built for translating from English
to German in the domain of technical documentation. The system is based on three different
MT engines (phrase-based SMT, RBMT, neural) that are joined by a selection mechanism
that uses deep linguistic features within a machine learning process. It also presents a detailed
source-driven manual error analysis we have performed using a dedicated “test suite” that contains
selected examples of relevant phenomena. While automatic scores show huge differences
between the engines, the overall average number or errors they (do not) make is very similar for
all systems. However, the detailed error breakdown shows that the systems behave very differently
concerning the various phenomena.

Tento článek popisuje systém hybridního strojového překladu (MT), který byl vytvořen pro překlad z angličtiny do němčiny v oblasti technické dokumentace.
Systém je založen na třech různých systémech MT (frázový, pravidlový a neuronový), které jsou spojeny výběrovým mechanismem, který používá hluboké jazykové rysy v procesu strojového učení.
Součástí je také podrobná manuální analýza chyb, kterou jsme provedli pomocí specializované "zkušební sady", která obsahuje vybrané příklady relevantních jevů.
Zatímco automatické výsledky ukazují obrovské rozdíly mezi systémy, celkový průměrný počet chyb, které (ne) dělají, je pro všechny systémy velmi podobný.
Podrobné rozdělení chyb však ukazuje, že systémy se chovají velmi odlišně, pokud jde o různé jevy.

Eleftherios Avramidis
Vivien Macketanz
Aljoscha Burchardt
Jindřich Helcl
Hans Uszkoreit


VPS-GradeUp: Graded Decisions on Usage Patterns

VPS-GradeUp: Škálované posouzení vzorů užití

We present VPS-GradeUp ― a set of 11,400 graded human decisions on usage patterns of 29 English lexical verbs from the Pattern Dictionary of English Verbs by Patrick Hanks. The annotation contains, for each verb lemma, a batch of 50 concordances with the given lemma as KWIC, and for each of these concordances we provide a graded human decision on how well the individual PDEV patterns for this particular lemma illustrate the given concordance, indicated on a 7-point Likert scale for each PDEV pattern. With our annotation, we were pursuing a pilot investigation of the foundations of human clustering and disambiguation decisions with respect to usage patterns of verbs in context. The data set is publicly available at http://hdl.handle.net/11234/1-1585.

Článek představuje VPS-GradeUp, sadu 11 400 manuálně anotovaných ohodnocení vzorů užití 29 anglických sloves z Pattern Dictionary of English Verbs Patricka Hankse.

Vít Baisa
Silvie Cinková
Ema Krejčová
Anna Vernerová


Enriching a Valency Lexicon by Deverbative Nouns

Rozšíření valenčního slovníku o deverbativní substantiva

In this paper, we present an attempt to automatically identify Czech deverbative nouns using several methods that use large corpora as well as existing lexical resources. The motivation for the task is to extend a verbal valency (i.e., predicate-argument) lexicon by adding nouns that share the valency properties with the base verb, assuming their properties can be derived (even if not trivially) from the underlying verb by deterministic grammatical rules. At the same time, even in inflective languages, not all deverbatives are simply created from their underlying base verb by regular lexical derivation processes. We have thus developed hybrid techniques that use
both large parallel corpora and several standard lexical resources. Thanks to the use of parallel
corpora, the resulting sets contain also synonyms, which the lexical derivation rules cannot get. For evaluation, we have manually created a gold dataset of deverbative nouns linked to 100 frequent Czech verbs since no such dataset was initially available for Czech.

Článek popisuje metodu automatické identifikace deverbativ na základě slovníků a manuálně a automaticky anotovaných korpusů. Metoda je evaluována na novém testovacím korpusu, který je rovněž zveřejněn.


Joint search in a bilingual valency lexicon and an annotated corpus

Vyhledávání ve dvojjazyčném slovníku a anotovaném korpusu

In this paper and the associated system demo, we present an advanced search system that allows
to perform a joint search over a (bilingual) valency lexicon and a correspondingly annotated
linked parallel corpus. This search tool has been developed on the basis of the Prague Czech-English Dependency Treebank, but its ideas are applicable in principle to any bilingual
parallel corpus that is annotated for ependencies and valency (i.e., predicate-argument structure), and where verbs are linked to appropriate entries in an associated valency lexicon. Our online search tool consolidates more search interfaces into one, providing expanded
structured search capability and a more efficient advanced way to search, allowing users to
search for verb pairs, verbal argument pairs, their surface realization as recorded in the lexicon, or for their surface form actually appearing in the linked parallel corpus. The search system is currently under development, and is replacing our current search tool available at
http://lindat.mff.cuni.cz/services/CzEngVallex, which could search the lexicon but the queries cannot take advantage of the underlying corpus nor use the additional surface form information from the lexicon(s). The system is available as open source.

Článek popisuje vyhledávací systém pro spojené vyhledávání ve dvojjazyčném slovníku CzEngVallex a v paralelním anglicko-českém korpusu PCEDT.


Word2vec Based System for Recognizing Partial Textual Entailment

Word2vec systém pro rozpoznávání Partial Textual Entailment

Recognizing textual entailment is typically considered as a binary decision task – whether a text T entails a hypothesis H. Thus, in case of a negative answer, it is not possible to express that H is “almost entailed” by T. Partial textual entailment provides one possible approach to this issue. This paper presents an attempt to use word2vec model for recognizing partial (faceted) textual entailment. The proposed approach does not rely on language dependent NLP tools and other linguistic resources, therefore it can be easily implemented in different language environments where word2vec models are available.

Recognizing textual entailment is typically considered as a binary decision task – whether a text T entails a hypothesis H. Thus, in case of a negative answer, it is not possible to express that H is almost entailed by T. Partial textual entailment provides one possible approach to this issue. This paper presents an attempt to use word2vec model for recognizing partial (faceted) textual entailment. The proposed approach does not rely on language dependent NLP tools and other linguistic resources, therefore it can be easily implemented in different language environments where word2vec models are available.


Sentiment analysis or automatic extraction of subjective opinions from a written texts is currently one of the major topics in NLP. In this talk, I will introduce the state-of-the-art methods and approaches to sentiment analysis on Czech data.

Sentiment analysis neboli automatická extrakce subjektivních názorů z textu je v současnosti jedním z hlavních témat počítačového zpracovávání přirozeného jazyka. V příspěvku bude shrnut současný stav bádání v této oblasti na českých datech. Obšírněji představím základní metody vytěžování emocí z textu, datové zdroje pro češtinu i specifika českých dat a přiblížím konkrétní aplikace a use cases např. z oblasti internetového marketingu, monitoringu sociálních sítí apod.


Automatic sentiment or Where does the World go

Automatický sentiment aneb Kam spěje svět

Ignite talk on automatic detection of emotions, basic approaches, data resources overview.

Ignite talk na téma automatické detekce emocí, základní přístupy a datové zdroje.


If well trained, computers can count emotions in texts. Is that so? And what about irony?

Pokud mají dostatek trénovacích dat, umějí stroje rozpoznat emoce v psaném textu. Je tomu skutečně tak? A jak se řeší ironie?


Machine Learning Approaches to Sentiment Analysis

Current computational linguistics witnesses a massive increase of interest in sentiment analysis, as it is a powerful means of public opinion mining. However, is it even possible to distinguish between good and evil using statistical methods? How would you treat irony, idioms, innovative vulgarisms and other inherent elements of natural language? Are emotions language-independent? I will share my thoughts and opinions towards these issues, describing the state-of-the art approaches employed in sentiment analysis.

Současná počítačová lingvistika zažívá masový zájem o postojovou analýzu jakožto nástroj zjišťování veřejného mínění. Je ale možné rozlišit dobro a zlo pomocí statistických metod? Jak zacházet s ironií, idiomy či vulgarismy? Jsou emoce jazykově nezávislé? V příspěvku zodpovím tyto otázky a popíšu současné přístupy k postojové analýze.


The volume of text data is increasing constantly, the rise of Web 2.0 brings lots of data created by the Internet users themselves. How do we categorize these data automatically with respect to emotions they express? In this talk, I will introduce basic means of emotional language and methods we use to process it automatically.

Objem textových dat stále roste, rozvoj Webu 2.0 přináší množství textů generovaných samotnými uživateli Internetu. Jejich příspěvky nezřídka obsahují subjektivní názory, emoce, hodnocení… K čemu a jak můžeme tato data použít? Je možné emoce v textu spolehlivě strojově třídit?
V přednášce si představíme základní prostředky emocionálního vyjadřování v češtině na všech rovinách popisu jazyka a popíšeme metody automatického zpracovávání emocionálně laděných textů i jejich praktické aplikace z oblasti internetového marketingu, monitoringu sociálních sítí apod.


Stance modality and possibilities of automatic extraction of emotions from written text

Postojová modalita a možnosti automatické extrakce emocionality z psaného textu

In this talk, I will introduce basic means of Czech emotional language on all the levels of linguistic description. I will focus on both grammar and lexicon and semantics and pragmatics of evaluative utterances.

V přednášce si představíme základní prostředky emocionálního vyjadřování v češtině na všech rovinách lingvistického popisu: zaměříme se na stránku lexikální (slovník emocionálních výrazů pro češtinu, evaluativní idiomy, vulgarismy), gramatickou (význam jednotlivých slovních druhů, typické syntaktické vzorce hodnotících vět) a především sémantickou a pragmatickou (ironie, sarkasmus). Popíšeme také základní metody automatického zpracovávání emocionálně laděných textů a jejich praktické aplikace.


Artificial Intelligence with Opinion: Objectivity in computer linguistics

Umělá inteligence s názorem: objektivita v počítačové lingvistice

Can artificial intelligence have an opinion? And how do we distinguish between subjective and objective stances using computer linguistic? This talk introduces basic approaches to these problems.

Může mít umělá inteligence vlastní úsudek? A jak dokážeme počítačově odhalit objektivní či subjektivní názor? Přednáška shrne základní přístupy k objektivitě a subjektivitě v textu.


Using Universal Dependencies for Cross-linguistic Comparison of Syntactic Features in Evaluative Structures

Využití univerzálních závislostí pro mezijazykové srovnání syntaktických rysů evaluativních struktur

This paper is to present a unique project of parallel treebank annotation and a case study of its practical use. We describe the project of Universal Dependencies, explain the methodological approach, illustrate the basic principles of parallel annotation and introduce the universal annotation scheme. Also, we provide a contrastive syntactic analysis of evaluative sentences in typologically different languages.

Příspěvek představuje projekt Universal Dependencie a konkrétní případ jeho využití v oblasti sentiment analysis.


Vyjadřování emocí v češtině a možnosti extrakce emocionality z psaného textu

In this talk, we introduce the basic means of expressing emotions in Czech on all levels of the linguistic description.


Combining Hand-Crafted Rules and Machine Learning Methods in Opinion Target Identification

Kombinace pravidel a metod strojového učení pro identifikaci cílů hodnocení

This poster shows how we created the rules for  opinion  target  identification  based  on  evaluative  structures automatically found in Prague Dependency Treebank and  combined  them  with  machine  learning  methods, namely linear-chain conditional random fields.

Poster představuje tvorbu pravidel pro určení cílů hodnocení založenou na evaluativních strukturách automaticky vyhledaných v Pražském závislostním korpusu. Tato pravidla jsme zkombinovali s metodami strojového učení, konkrétně s conditional random fields.


Czech-English Manual Word Alignment. Czech-English Manual Word Alignment.

Česko-anglické ruční zarovnání slov. Česko-anglické ruční zarovnání slov.


Delexicalized and Minimally Supervised Parsing on Universal Dependencies

Delexikalizovaný a minimálně supervizovaný parsing na Universal Dependencies

In this paper, we compare delexicalized transfer and minimally supervised parsing techniques on 32 different languages from Universal Dependencies treebank collection. The minimal supervision is in adding handcrafted universal grammatical rules for POS tags. The rules are incorporated into the unsupervised dependency parser in forms of external prior probabilities. We also experiment with learning this probabilities from other treebanks. The average attachment score of our parser is slightly lower then the delexicalized transfer parser, however, it performs better for languages from less resourced language families (non-Indo-European) and is therefore suitable for those, for which the treebanks often do not exist.

V tomto článku budeme porovnávat delexicalized přenos a minimálně pod dohledem rozebrat techniky na 32 různých jazyků od Universal závislostí korpusu sbírky. Minimální dohled při přidávání pouštět univerzální gramatická pravidla pro POS tagy. Pravidla jsou začleněny do nekontrolované závislost parseru ve formách externích dřívějších pravděpodobnostech. Také jsme experimentovat s učit se toto pravděpodobností z jiných stromových korpusů. Průměrná připevnění skóre našeho parseru je o něco nižší než v delexicalized přenosu analyzátor, nicméně, to funguje lépe pro jazyky z méně zdroji jazykových rodin (non-Indo-Evropan), a proto je vhodný pro ty, pro které stromových korpusů často neexistují.


Merged bilingual trees based on Universal Dependencies in Machine Translation

Dvojjazyčné stromy založené na Universal Dependencies ve strojovém překladu

In  this  paper,  we  present  our  new  experimental system of merging dependency
representations  of  two  parallel  sentences
into  one  dependency  tree. All  the  inner  nodes  in  dependency  tree  represent source-target  pairs  of  words,   the  extra words are in form of leaf nodes.  We use Universal Dependencies annotation style, in  which  the  function  words,  whose  usage  often  differs  between  languages,  are annotated  as  leaves.
The  parallel  treebank  is  parsed  in minimally  supervised way. Unaligned  words  are  there  automatically  pushed  to  leaves. We  present a  simple  translation  system  trained  on such   merged   trees   and   evaluate   it   in WMT 2016 English-to-Czech and Czech-to-English  translation  task. Even though the model is so far very simple and no language  model  and  word-reordering  model were  used,  the  Czech-to-English  variant reached similar BLEU score as another established tree-based system.

V tomto příspěvku představujeme náš nový experimentální systém sloučení závislost
reprezentace dvou rovnoběžných vět
do jednoho strom závislostí. Všechny vnitřní uzly v závislosti stromu představují zdroj-cílové páry slovy, další slova jsou ve formě koncové uzly. Používáme Univerzální Závislosti anotace styl, ve kterém funkční slova, jejichž použití se často liší mezi jazyky, jsou zaznamenány jako listy.
Paralelní korpus je analyzován v minimálně dohlíží způsobem. Nezarovnaný slova jsou zde automaticky tlačil na povrch listů. Představujeme jednoduchý systém překladu vyškoleného na takových sloučených stromech a vyhodnocovat jej WMT 2016 anglicko-to-český a česko-to-anglický překlad úloh. I přesto, že model je doposud velmi jednoduché a byl používán žádný jazykový model a model word-li řazení varianta Český k angličtině dosáhl podobného Bleu skóre jako další zavedeného systému stromu bázi.


Twelve Years of Unsupervised Dependency Parsing

Dvanáct let neřízeného závislostního parsingu

In the last 12 years, there has been a big progress in the field of unsupervised dependency parsing. Different approaches however sometimes differ in motivation and definition of the problem. Some of them allow using resources that are forbidden by others, since they are treated
as a kind of supervision. The goal of this paper is to define all the variants of unsupervised dependency parsing problem and show their motivation, progress, and the best results. We also discuss the usefulness of the unsupervised
parsing generally, both for the formal linguistics and for the applications.

V posledních 12 letech došlo k velkým pokroku v oblasti bez dozoru závislostní parsování. Různé přístupy však někdy liší v motivaci a ve vymezení problému. Některé z nich umožňují využití zdrojů, které jsou zakázány jinými, neboť se s nimi zachází jako druh dohledu. Cílem tohoto příspěvku je definovat všechny varianty bez dozoru závislost rozebrat problém a ukázat jejich motivace, pokrok, a nejlepší výsledky. Také jsme diskutovali o užitečnosti látky jako součásti bez dozoru analýze obecně, a to jak pro formální lingvistiky a pro aplikace.


Texts in 107 languages from the W2C corpus (http://hdl.handle.net/11858/00-097C-0000-0022-6133-9), first 1,000,000 tokens per language, tagged by the delexicalized tagger described in Yu et al. (2016, LREC, Portorož, Slovenia).

Texty ve 107 jazycích z korpusu W2C (http://hdl.handle.net/11858/00-097C-0000-0022-6133-9), první 1000000 tokenů pro každý jazyk, označkované delexikalizovaným taggerem popsaným v Yu et al. (2016, LREC, Portorož, Slovenia).

David Mareček
Zhiwei Yu
Daniel Zeman
Zdeněk Žabokrtský


Gibbs Sampling Segmentation of Parallel Dependency Trees for Tree-Based Machine Translation

Segmentace paralelních závislostních stromů pomocí Gibbsova samplingu pro stromový strojový překlad

We present a work in progress aimed at extracting translation pairs of source and target dependency treelets to be used in a dependency-based machine translation system. We introduce a novel unsupervised method for parallel tree segmentation based on Gibbs sampling. Using the data from a Czech-English parallel treebank, we show that the procedure converges to a dictionary containing reasonably sized treelets; in some cases, the segmentation seems to have interesting linguistic interpretations.

Představujeme nedokončené zaměřená na těžbu překladové páry zdrojové a cílové závislost treelets které mají být použity v systému strojového překládání závislostí na bázi. Představíme nový voze metodu pro paralelní segmentaci stromu na základě vzorků Gibbs. S použitím dat z české, anglické paralelním korpusu, ukážeme, že postup konverguje ke slovníku, který obsahuje poměrně velké treelets; V některých případech se zdá, že segmentace mít zajímavé lingvistické výklady.


A Context-aware Natural Language Generation Dataset for Dialogue Systems

Kontextová datová sada pro generování jazyka v dialogových systémech

We present a novel dataset for natural language generation (NLG) in spoken dialogue systems which includes preceding context (user utterance) along with each system response to be generated, i.e., each pair of source meaning representation and target natural language paraphrase. We expect this to allow an NLG system to adapt (entrain) to the user’s way of speaking, thus creating more natural and potentially more successful responses. The dataset has been collected using crowdsourcing, with several stages to obtain natural user utterances and corresponding relevant, natural, and contextually bound system responses. The dataset is available for download under the Creative Commons 4.0 BY-SA license.

Představujeme novou datovou sadu pro generování jazyka v hlasových dialogových systémech, která spolu s každou odpovědí systému k vygenerování (pár zdrojová sémantická reprezentace – cílová věta v přirozeném jazyce) uvádí i předcházející kontext (uživatelský dotaz). Očekáváme, že tento kontext dovolí generátorům jazyka adaptovat se na způsob vyjadřování uživatele a tím docílit přirozenějších a potenciálně úspěšnějších odpovědí. Datová sada byla vytvořena za pomoci crowdsourcingu v několika fázích, aby bylo možno získat přirozené uživatelské dotazy a odpovídající přirozené, relevantní a kontextově zapojené odpovědi systému. Datová sada je dostupná online pod otevřenou licencí Creative Commons 4.0 BY-SA.


A Context-aware Natural Language Generator for Dialogue Systems

Kontextový generátor přirozeného jazyka pro dialogové systémy

We present a novel natural language generation system for spoken dialogue systems capable of entraining (adapting) to users' way of speaking, providing contextually appropriate responses. The generator is based on recurrent neural networks and the sequence-to-sequence approach. It is fully trainable from data which include preceding context along with responses to be generated. We show that the context-aware generator yields significant improvements over the baseline in both automatic metrics and a human pairwise preference test.

Představujeme nový generátor přirozeného jazyka pro hlasové dialogové systémy, který je schopný přizpůsobit se způsobu, jakým mluví uživatel, a poskytovat odpovědi přiměřené kontextu dialogu. Generátor je založen na neuronových sítích a přístupu sequence-to-sequence. Je plně trénovatelný z dat, která spolu s trénovacími výstupy generátoru obsahují také předchozí kontext. Ukazujeme, že kontextový generátor přináší signifikantní zlepšení oproti základnímu generátoru, a to jak z pohledu automatických metrik, tak v preferenčním testu lidského hodnocení.


Kontextová datová sada pro generování jazyka

A dataset intended for fully trainable natural language generation (NLG) systems in task-oriented spoken dialogue systems (SDS), covering the English public transport information domain.
It includes preceding context (user utterance) along with each data instance (pair of source meaning representation and target natural language paraphrase to be generated). Taking the form of the previous user utterance into account for generating the system response allows NLG systems trained on this dataset to entrain (adapt) to the preceding utterance, i.e., reuse wording and syntactic structure. This should presumably improve the perceived naturalness of the output, and may even lead to a higher task success rate.
Crowdsourcing has been used to obtain natural context user utterances as well as natural system responses to be generated.

Datová sada pro plně trénovatelné generátory jazyka v hlasových dialogových systémech, která pokrývá doménu anglických informací o veřejné dopravě.
Spolu s každou datovou položkou (pár zdrojové reprezentace významu a věty v přirozeném jazyce jako cíl generování) obsahuje i předcházející kontext (uživatelův dotaz, který má systém egnerovanou větou zodpovědět). Zohlednění formy předchozího dotazu pro generování umožní generátorům natrénovaným na této datové sadě adaptovat se na předchozí dotazy, tj. používat stejné shodné výrazy a syntaktické konstrukce jako uživatel dialogového systému. Předpokládáme, vygenerované věty tak budou vnímány jako přirozenější, což může vést i k úspěšnějším dialogům.
Pro získání přirozených uživatelských dotazů i odpovědí systému byla použita metoda crowdsourcingu.


Sequence-to-Sequence Generation for Spoken Dialogue via Deep Syntax Trees and Strings

Generování hloubkově syntaktických stromů a řetězců pro dialogové systémy s použitím metody sequence-to-sequence

We present a natural language generator based on the sequence-to-sequence approach that can be trained to produce natural language strings as well as deep syntax dependency trees from input dialogue acts, and we use it to directly compare two-step generation with separate sentence planning and surface realization stages to a joint, one-step approach.

We were able to train both setups successfully using very little training data. The joint setup offers better performance, surpassing state-of-the-art with regards to n-gram-based scores while providing more relevant outputs.

Prezentujeme generátor přirozeného jazyka založený na metodě sequence-to-sequence, který lze natrénovat tak, aby z dialogových aktů produkoval buď věty v přirozeném jazyce, nebo hloubkově syntaktické závislostní stromy. Na generátoru potom přímo porovnáváme dvoufázové generování, které používá oddělené větné plánování a povrchovou realizaci, s jednofázovým přístupem.

Obě nastavení generátoru jsme byli schopni natrénovat s použitím velmi malého množství trénovacích dat. Jednofázové generování dosahuje lepších výsledků; překonává nejlepší předchozí výsledek podle n-gramových automatických metrik a zároveň nabízí relevantnější výstupy.


Diatheses of Complex Predicates in Czech

Diatheses represent relations between different surface syntactic structures of verbs. They are conditioned by changes in morphological meaning of a verb and they are associated with specific changes in its valency structure. In this contribution, I discussed changes in the surface syntactic expressions of Czech complex predicates.

Diateze představují vztahy mezi různými povrchověsyntaktickými strukturami sloves. Jsou podmíněny změnou morfologické charakteristiky slovesného rodu a jsou spojeny se změnami v povrchověsyntaktickém vyjádření valenčních doplnění sloves. V příspěvku jsme se zaměřili na specifické změny, kterým podléhají valenční doplnění českých funkčních sloves.


Distribution of Valency Complementations in Light Verb Constructions

Distribuce valenčních doplnění v konstrukcích s funkčními slovesy

The contribution discusses the distribution of ACTors in light verb constructions in Czech.

Příspěvek se zabývá distribucí Konatele v konstrukcích komplexních predikátů s kategoriálními slovesy.


Syntactic Structure of Complex Predicates and its Description in the Valency Lexicon

Syntaktická struktura komplexních predikátů a její popis ve valenčním slovníku

This chapter describes the syntactic structure of Czech complex predicates with light verbs in active voice. Four types of Czech complex predicates are distinguished. Their rules based description and representation in the valency lexicon are proposed.

Kapitola popisuje syntaktickou strukturu českých komplexních predikátů s funkčním slovesem v aktivu. Vymezuje čtyři typy komplexních predikátů. Navrhuje pravidlový popis daných jazykových jevů a jejich zachycení ve slovníku.


Lexicographic Description of Complex Predicates in Czech: Between Lexicon and Grammar

Lexikografický popis komplexních predikátů v češtině: Mezi lexikonem a gramatikou

In this contribution, we propose a lexicographic representation of Czech complex predicates. Special attention is devoted to the selection of collocations of function verbs and predicative nouns and to the annotation of their syntactic structure.

V příspěvku navrhujeme lexikografickou reprezentaci komplexivních predikátů v češtině. Zvláštní oddíl je věnován výběru kolokací funkčních sloves a predikativních jmen a anotaci jejich syntaktické struktury.

Václava Kettnerová
Petra Barančíková
Markéta Lopatková


Distribution of Valency Complements in Czech Complex Predicates: Between Verb and Noun

Distribuce valenčních doplnění v českých složených predikátech: Mezi slovesem a substantivem

In this paper, we focus on Czech complex predicates formed by a light verb and a predicative noun expressed as the direct object. Although Czech – as an inflectional language encoding syntactic relations via morphological cases – provides an excellent opportunity to study the distribution of valency complements in the syntactic structure with complex predicates, this distribution has not been described so far. On the basis of a manual analysis of the richly annotated data from the Prague Dependency Treebank, we thus formulate principles governing this distribution. In an automatic experiment, we verify these principles on well-formed syntactic structures from the Prague Dependency Treebank and the Prague Czech-English Dependency Treebank with very satisfactory results: the distribution of 97% of valency complements in the surface structure is governed by the proposed principles. These results corroborate that the surface structure formation of complex predicates is a regular process.

V tomto článku se zaměřujeme na české složené predikáty, které jsou tvořené lehkým slovesem a predikativním jménem vyjádřeným jako přímý objekt. Ačkoli čeština -- jakožto inflekční jazyk -- poskytuje výbornou příležitost pro studium distribuce valenčních doplnění složených predikátů, tato distribuce dosud nebyla poplsána. Na základě manuální analýzy bohatě anotovaných dat PDT formulujeme poučky řídicí tuto distribuci. V automatickém experimentu tyto poučky ověřujeme na korektních syntaktických strukturách PDT a PCEDT s velmi uspokojivými výsledky: distribuce 97% valenčních doplnění se řídí navrženými poučkami. Tyto výsledky dokládají, že vytváření povrchové struktury složených predikátů je pravidelný proces.


Towards Comparability of Linguistic Graph Banks for Semantic Parsing

Ke srovnatelnosti lingvistických závislostních grafů pro sémantickou analýzu

Increased interest in natural language ‘understanding’ has brought into the focus of much current work a variety of techniques often described as ‘semantic parsing’.

Zvýšený zájem o ‚porozumění‘ přirozeným jazykům způsobil, že do centra pozornosti současného výzkumu se dostávají různé postupy, často popisované jako ‚sémantická analýza‘.

Stephan Oepen
Marco Kuhlmann
Yusuke Miyao
Daniel Zeman
Silvie Cinková
Dan Flickinger
Jan Hajič
Angelina Ivanova
Zdeňka Urešová


Neural Networks for Featureless Named Entity Recognition in Czech

Umělé neuronové sítě pro rozpoznávání pojmenovaných entit v češtině

We present a completely featureless, language agnostic named entity recognition system. Following recent advances in artificial neural network research, the recognizer employs parametric rectified linear units (PReLU), word embeddings and character-level embeddings based on
gated linear units (GRU). Without any feature engineering, only with surface forms, lemmas and tags as input, the network achieves excellent results in Czech NER and surpasses the current state of the art of previously published Czech NER systems, which use manually designed rule-based orthographic classification features. Furthermore, the neural network achieves robust results even when only surface forms are available as input. In addition, the proposed neural network can use the manually designed rule-based orthographic classification features and in such combination, it exceeds the current state of the art by a wide margin.

Předkládáme systém pro rozpoznávání pojmenovaných entit, který je jazykově nezávislý a nepotřebuje klasifikační rysy pro strojové učení. Systém využívá současných výsledků v oblasti umělých neuronových sítí, jako jsou parametric rectified linear units (PReLU), embeddingy slov a embeddingy charakterů ve slovech založené na gated linear units (GRU). Systém nepotřebuje vyhledávání vhodné sady klasifikačních rysů (feature engineering) a pouze s využitích povrchových forem, lemmat a slovních druhů na vstupu dosahuje vynikajících výsledků v rozpoznávání pojmenovaných entit v češtině a překonává stávající výsledky dříve publikovaných prací, které využívají ručně vytvořené klasifikační rysy založené na ortografické podobnosti slov. Navíc tato síť podává robustní výkon i v případě, kdy jsou na vstupu pouze povrchové formy. Síť dovede využít navíc i kombinaci ručně vytvořených klasifikačních rysů a v tom případě překonává stávající výsledky s markantním rozdílem.


Creating Hybrid Dependency Parsers for Syntax-Based MT

Hybridní závislostní analyzátory pro strojový překlad založený na syntaxi

Dependency parsers are almost ubiquitously evaluated on their accuracy
scores, these scores say nothing of the complexity and usefulness of the
resulting structures. As dependency parses are basic structures in which
other systems are built upon, it would seem more reasonable to judge
these parsers down the NLP pipeline. In this chapter, we will discuss
how different forms and different hybrid combinations of dependency
parses effect the overall output of Syntax-Based machine translation both
through automatic and manual evaluation. We show results from a variety
of individual parsers, including dependency and constituent parsers, and
describe multiple ensemble parsing techniques with their overall effect
on the Machine Translation system. We show that parsers’ UAS scores
are more correlated to the NIST evaluation metric than to the BLEU
Metric, however we see increases in both metrics. To truly see the effect
of hybrid dependency parsers on machine translation, we will describe
and evaluate a combined resource we have released, that contains gold
standard dependency trees along with gold standard translations.

Závislostní parsery jsou obvykle vyhodnocovány pomocí podílu správně zavěšených uzlů, toto skóre ale neříká nic o užitečnosti daného parseru pro koncové aplikace, v nichž slouží jako komponenta. V této kapitole se zabývá tím, jak rozdílné parsery a jejich různé kombinace přispívají ke kvalitě strojového překladu založeného na syntaxi. Překládáme výsledky pro několik základních typů parserů a pro různé metody jejich kombinace. Ukazujeme korelace se standardními metrikami pro vyhodnocování kvality strojového překladu.


SubGram: Extending Skip-gram Word Representation with Substrings

SubGram: Rozšíření Skip-gramové slovní reprezentace o podřetězce

Skip-gram (word2vec) is a recent method for creating vector representations of words (“distributed word representations”) using a neural network. The representation gained popularity in various areas of natural language processing, because it seems to capture syntactic and semantic information about words without any explicit supervision in this respect.
We propose SubGram, a refinement of the Skip-gram model to consider also the word structure during the training process, achieving large gains on the Skip-gram original test set.

Představujeme SubGram, rozšíření Skip-gram modelu, které používá podřetězce slov během trénování reprezentace slov.


Universal Dependencies for Russian: A New Syntactic Dependencies Tagset

Universal Dependencies pro ruštinu: nová sada závislostních syntaktických značek

We present a new annotation schema of dependency syntax for Russian. The schema is based on the Universal Dependencies formalism. It has been applied to the SynTagRus corpus.

Představujeme nové anotační schéma závislostní syntaxe pro ruštinu, založené na formalismu Universal Dependencies a aplikované na korpus SynTagRus.

Olga Lyashevskaya
Kira Droganova
Daniel Zeman
Maria Alexeeva
Tatiana Gavrilova
Nina Mustafina
Elena Shakurova


CUNI at TRECVID 2015 Video Hyperlinking Task

CUNI na benchmarku TRECVID 2015 Video Hyperlinking Task

In this paper, we present our approach used in the TRECVID 2015 Video Hyperlinking Task. Our approach combines text-based similarity calculated on subtitles, visual similarity between keyframes calculated using Feature Signatures, and preference whether the query
and retrieved answer come from the same TV series. All experiments were tuned and tested on about 2500 hours of BBC TV programmes.
Our Baseline run exploits fixed-length segmentation, text-based retrieval of subtitles, and query expansion which utilizes metadata, context, in-formation about music and artist contained in the query segment and visual concepts. The Series run combines the Baseline run with weighting based on information whether the query and data segment come from the same TV series. The FS run combines the Baseline run with the similarity between query and data keyframes calculated using Feature Signatures. The FSSeriesRerank run is based on the FS run on which we applied reranking which, again, uses information about the TV series. The Series run significantly outperforms the FSSeriesRerank run. Both these runs are significantly inferior to our Baseline run in terms of all our reported measures. The FS run outperforms the Baseline run in terms of all measures but it is significantly better than the Baseline run only in terms of the MAP score. Our test results confirm that employment of visual similarity can improve video retrieval based on information contained in subtitles but information about TV series which was most helpful in our training experiments did not lead to further improvements.

V článku popisujeme náš postup aplikovaný v benchmarku TRECVID 2015 v úlohe Video Hyperlinking. Náš prístup kombinuje podobnosť textov vypočítanú z titulkov, vizuálnu podobnosť medzi zábermi vypočítanú pomocou Feature Signatures a informáciou o tom, či query segment a vyhľadaný segment pochádzajú z toho istého televízneho programu. Všetky experimenty boli odladené a otestované na kolekcii 2500 hodín televíznych programov poskytnutých BBC.

Petra Galuščáková
Michal Batko
Martin Kruliš
Jakub Lokoč
David Novák
Pavel Pecina


SHAMUS: UFAL Search and Hyperlinking Multimedia System

SHAMUS: Systém na vyhľadávanie v multimédiách

In this paper, we describe SHAMUS, our system for an easy search and navigation in multimedia archives. The system consists of three components. The Search component provides a text-based search in a multimedia collection, the Anchoring component determines the most important segments of videos, and segments topically related to the anchoring ones are retrieved by the Hyperlinking component. In the paper, we describe each component of the system as well as the online demo interface which currently works with a collection of TED talks.

Článok popisuje systém SHAMUS určený na jednoduché vyhľadávanie a navigáciu v multimediálnych archívoch. Systém pozostáva z troch komponentov. Search poskytuje textové vyhľadávanie v mutlimediálnej kolekcii, Anchoring automaticky detekuje najvýznamnejšie segmenty videa a sémanticky súvisiace segmenty sú vyhľadané v komponente Hyperlinking. V článku popisujeme jednotlivé komponenty systému, ako aj online demo rozhranie, ktoré pracuje s kolekciou videí z konferencie TED.

Petra Galuščáková
Shadi Saleh
Pavel Pecina


Machine Translation of Medical Text in the KConnect Project

Strojový překlad medicínských textů v projektu KConnect

This paper presents the work on Machine Translation (MT) that has been conducted within the KConnect project, funded under the H2020 programme and focused on development and commercialization of cloud-based services for multilingual Semantic Annotation, Semantic Search and Machine Translation of electronic health records and medical publications. We first present the main goal and role of MT in the project and then briefly describe the main methods and components developed in the project, including training data acquisition, methods of domain adaptation, deployment of MT as cloud-based web-service, and the training toolkit allowing easy adaptation of the MT service to new languages.

Článek popisuje práci na strojovém překladu provedenou v rámci projektu KConnect, financovaném v rámci programu H2020 a zaměřeném na vývoj a komercializaci cloudových služeb pro vícejazyčnou sémantickou anotaci, sémantické vyhledávání a strojový překlad elektronických zdravotních záznamů a medicínských publikací. Nejprve prezentujeme hlavní cíl a úlohu strojového překladu v projektu, následně stručně popisujeme hlavní metody a komponenty vyvinuté v rámci projektu, mj. získání dat, metody doménové adaptace, nasazení MT jako cloudové webové služby a nástroj pro trénování překladových systémů, který umožňuje snadnou adaptaci překladové služby na nové jazyky.

Petra Galuščáková
Jan Hajič
Jindřich Libovický
Pavel Pecina
Aleš Tamchyna


Classifier of Russian Documents for ACREA CR, spol. s r.o.

Klasifikátor ruských dokumentů pro ACREA CR, spol. s r.o.

Given the specification of ACREA CR, a commercial partner of UFAL, a software for binary classification of documents written in the Russian language was implemented. New documents are classified as relevant or non-relevant with respect to a given topic, while the topic is specified using a training dataset of documents that are relevant for the topic.

Na základě objednávky komerčního partnera ACREA CR byl implementován software pro binární klasifikaci dokumentů v ruštině na dokumenty relevantní nebo nerelevantní vůči tématu zadanému příklady relevantních dokumentů.

Petra Galuščáková
Zdeněk Žabokrtský
Pavel Pecina


Quantitative Analysis of Syntactic Dependency in Czech

Kvantitativní analýza syntaktických závislostí v češtině

Cílem prezentace je kvantitativní analýza syntaktických závislostí v češtině. Pro každé slovo syntakticky anotovaného korpusu (Bejček et al. 2013) odvozujeme závislostní rámec , který je tvořen analytickými funkcemi přiřazenými každému bezprostředně závislému slovu.

The aim of our talk is to present results of quantitative analysis of dependency characteristics of particular analytical functions. For each word in a syntactically annotated corpus (Bejček et al. 2013), a dependency frame is derived first. The dependency frame consists of all analytical functions assigned to its directly dependent words.

Radek Čech
Ján Mačutek
Michaela Koľcová
Markéta Lopatková


NLP Pipeline for Russian: an Easy-to-Use Web Application for Morphological and Syntactic Annotation

NLP Pipeline pro rustinu: snadno pouzivatelna webova aplikace pro morfologickou a syntaktickou anotaci

The aim of this poster is to present an easy-to-use web application specifically developed for annotating Russian texts with morphological and syntactic information.

Cílem je podat snadno použitelné webové aplikace speciálně vyvinuté pro anotaci ruských textů s morfologickou a syntaktickou informaci.


Conversion of SynTagRus (the Russian dependency treebank) to Universal Dependencies

Konverze SynTagRusu (ruského závislostního korpusu) do Universal Dependencies

This report presents the Universal Dependencies (UD) annotated corpus for Russian and a conversion process which was developed to transform the SynTagRus dependency treebank of Russion into a UD-style annotated corpus.

Tato zpráva představuje ruský korpus anotovaný podle standardu Universal Dependencies a popisuje postup, kterým byl existující ruský závislostní korpus SynTagRus transformován do stylu UD.


Enriching Source for English-to-Urdu Machine Translation

Obohacování zdrojové strany ve strojovém překladu z angličtiny do urdštiny

This paper focuses on the generation of case markers for free word order languages that use case markers as phrasal clitics for marking the relationship between the dependent- noun and its head. The generation of such clitics becomes essential task especially when translating from fixed word order languages where syntactic relations are identified by the positions of the dependent-nouns. To address the problem of missing markers on source-side, artificial markers are added in source to improve alignments with its target counterparts. Up to 1 BLEU point increase is observed over the baseline on different test sets for English-to-Urdu.

Článek se zaměřuje na generování pádových příznaků ve strojovém překladu do jazyků s volným slovosledem. Navrhujeme několik pravidel identifikujících vhodná místa pro takové příznaky při překladu z angličtiny do urdštiny. Výsledky ukazují zlepšení až 1 bod BLEU.


Výsledky soutěže v optimalizaci systémů strojového překladu WMT16

This paper presents the results of the
WMT16 Tuning Shared Task. We provided
the participants of this task with a
complete machine translation system and
asked them to tune its internal parameters
(feature weights). The tuned systems were
used to translate the test set and the outputs
were manually ranked for translation
quality. We received 4 submissions in the
Czech-English and 8 in the English-Czech
translation direction. In addition, we ran
2 baseline setups, tuning the parameters
with standard optimizers for BLEU score.
In contrast to previous years, the tuned
systems in 2016 rely on large data.

Článek shrnuje výsledky soutěže v optimalizaci parametrů pevně daného překladového systému. V letošní variantě soutěže jde o systém opírající se o velká trénovací data.

Bushra Jawaid
Amir Kamran
Miloš Stanojević
Ondřej Bojar


From search to exploration: Barriers and opportunities in using oral history archives as data resources

Od vyhledávání k objevování: Meze a možnosti ve využívání orálněhistorických archivů jako zdrojů dat

Key themes of the talk were: (1) using oral history as topic and resource; (2) different barriers in doing so (epistemological, methodological, technical); (3) imagined possibilities, future opportunities and
new research directions. Some of the current barriers seem to result from the fragmentary nature of social/human sciences, which is hard to overcome. At the same time, facilitating the use of ICT provides enviroment for interdisciplinary cooperation, which often leads to interesting and ground-breaking research.

Hlavní témata přednášky: (1) užití orální historie jako zdroje a tématu výzkumu; (2) rozmanité bariéry v tomto kontextu (epistemologické, metodologické, technické); (3) možnosti a budoucí příležitosti, nové výzkumné směřování.


The Past as a Memory and Narrative: USC Shoah Foundation's Visual History Archive in the context of oral history

Minulost jako vzpomínka a vyprávění: Archiv vizuální historie USC Shoah Foundation v kontextu orální historie

The chapter describes USC Shoah Foundation's Visual History Archive, its relevant content for the thematic focus of the book, and some methodological issues of secondary analysis of oral history recordings.

Kapitola popisuje Archiv vizuální historie USC Shoah Foundation, jeho obsah relevantní s ohledem na tematické zaměření knihy, a některé metodologické souvislosti sekundární analýzy orálněhistorických nahrávek.


Bridging Corpus for Russian in comparison with Czech

Bridging korpus pro ruštinu ve srovnání s češtinou

In this paper, we present a syntactic approach to the annotation of bridging relations, so-called genitive bridging. We introduce the RuGenBridge corpus for Russian annotated with genitive bridging and compare it to the semantic approach that was applied in the Prague Dependency Treebank for Czech. We discuss some special aspects of bridging resolution for Russian and specifics of bridging annotation for languages where definite nominal groups are not as frequent as e.g. in Romance and Germanic languages. To verify the consistency of our method, we carry out two
comparative experiments: the annotation of a small portion of our corpus with bridging relations according to both approaches and finding for all relations from the RuGenBridge their semantic interpretation that would be annotated for Czech.

V práci popisujeme syntaktický přístup zpracovaní asociační anafory. Představujeme nově vytvořený korpus RuGenBridge  s anotací tzv. genitivní asociační anafory v ruštině. Srovnáváme výsledky anotace se statistyky a typy anotovaných vztahů v PDT.


One of the four English target representations (viz. DM) and the entire Czech data (in the PSD target representation) are not derivative of LDC-licensed annotations and, thus, can be made available for direct download (Open SDP; version 1.1; April 2016) under a more permissive licensing scheme, viz. the Creative Common Attribution-NonCommercial-ShareAlike scheme (CC BY-NC-SA 2.0). This package also includes some ‘richer’ meaning representations from which the English bi-lexical DM graphs derive, viz. scope-underspecified logical forms and more abstract, non-lexicalized ‘semantic networks’. The latter of these are formally (if not linguistically) similar to Abstract Meaning Representation (AMR) and are available in a range of serializations, including in AMR-like syntax.

Jedna z našich čtyř anglických reprezentací (DM) a kompletní česká data (v reprezentaci PSD) nejsou odvozené od anotací licencovaných LDC, a tudíž mohou být poskytnuta k přímému stažení (Open SDP; verze 1.1; duben 2016) pod svobodnější licencí, konkrétně Creative Commons Attribution-NonCommercial-ShareAlike (CC BY-NC-SA). Tento balíček také obsahuje některé bohatší reprezentace významu, ze kterých jsou anglické bilexikální DM grafy odvozeny, totiž logické formy a abstraktnější nelexikalizované sémantické sítě. Ty jsou formálně (když už ne lingvisticky) podobné abstraktní reprezentaci významu (AMR) a jsou k dispozici v různých formátech, včetně syntaxe podobné AMR.

Dan Flickinger
Jan Hajič
Angelina Ivanova
Marco Kuhlmann
Yusuke Miyao
Stephan Oepen
Daniel Zeman


SDP 2014 & 2015: Sémantická závislostní analýza s širokým pokrytím

SDP 2014 & 2015: Broad Coverage Semantic Dependency Parsing consists of data, tools, system results, and publications associated with the 2014 and 2015 tasks on Broad-Coverage Semantic Dependency Parsing (SDP) conducted in conjunction with the International Workshop on Semantic Evaluation (SemEval) and was developed by the SDP task organizers.

SDP 2014 & 2015: Sémantická závislostní analýza se širokým pokrytím sestává z dat, nástrojů, systémových výstupů a publikací spojených se soutěžemi v sémantické závislostní analýze (SDP) v letech 2014 a 2015, které byly pořádány spolu s mezinárodním workshopem SemEval. Tento balíček dat a softwarových nástrojů byl připraven organizátory soutěží SDP.


On Similarities Between Workflow Verification and Grammar Checking

O podobnostech mezi verifikací postupů a gramatickou kontrolou

The paper investigates the similarities in the application of attribute grammars to two seemingly different research areas, namely the area of formal description of workflows and the area of checking the syntactic correctness
of natural languages. It uses existing models
and formalisms and tries to find a common ground
which would enable to exploit mutually the experience gained in both individual fields. It shows how a slight adaptation of a grammar formalism used for grammar checking of languages with a high degree of word-order freedom may lead to a tool useful for a workflow verification.

Článek zkoumá podobnost aplikace atributových gramatik ve dvou zdánlivě odlišných vědeckých oblastech, jmenovitě ve formálním popisu pracovních postupů a v kontrole syntaktické správnosti přirozených jazyků. Jsou použity existující modely a formalismy a hledá se společný jmenovatel, který by umožnil využít zkušenosti nabyté v obou oblastech. Zároveň také ukazuje nutnost mírné adaptace formalismu pro kontrolu gramatiky pro jazyky s vysokým stupněm volnosti slovosledu, která by mohla vést k vytvoření nástroje použitelného pro kontrolu pracovních postupů.


Using a Grammar Checker to Validate Compliance of Processes with Workflow Models

Použití kontroly gramatiky k validaci shody procesů s modely procesních toků

Grammar checking has been used for a long time to validate if a given sentence - a sequence of words - complies with grammar rules. Recently attribute grammars have been proposed as a formal model to describe workflows. A workflow specifies valid processes, which are sequences of actions. In this paper we show how a grammar checker developed for natural languages can be used to validate whether or not a given process complies with the workflow model expressed using an attribute grammar. The checker can also suggest possible corrections of the process to become a valid process.

Nedávné výsledky ukázaly, že vhodným nástrojem popisu procesních toků jsou atributové gramatiky. Ty v minulosti posloužily také jako vhodný prostředek implementace kontroly gramatické správnosti přirozených jazyků. Článek popisuje způsob, jak by bylo možné validovat, zda daný procesní tok je správně sestaven podobně jako se to dělá pro věty přirozeného jazyka.


In the world of academic identity (inter-)federations, the release attribute problem is often mentioned. The problem is that Service Providers (SPs) do not get the attributes from Identity Providers (IdPs) they need. This service makes it possible to gather statistics about released attributes names between various SPs and IDPs.

Ve světě akademických federací identit je častým problémem neuvolňování atributů potřebných pro chod služeb.
Naše služba umožňuje sbírat statistiky o uvolňovaných atributech mezi různými poskytovateli služeb (SP) a poskytovateli identit (IDP).

Amir Kamran
Ondřej Košarko
Jozef Mišutka