Modelling Morphographemic Alternations in Derivation of Czech

Modelování morfografémových alternací při odvozování v češtině

The present paper deals with morphographemic alternations in Czech derivation with regard to the build-up of a large-coverage lexical resource specialized in derivational morphology of contemporary Czech (DeriNet database). After a summary of available descriptions in the Czech linguistic literature and Natural Language Processing, an extensive list of alternations is provided in the first part of the paper with a focus on their manifestation in writing. Due to the significant frequency and limited predictability of alternations in Czech derivation, several bottom-up methods were used in order to adequately model the alternations in DeriNet. Suffix-substitution rules proved to be efficient for alternations in the final position of the stem, whereas a specialized approach of extracting alternations from inflectional paradigms was used for modelling alternations within the roots. Alternations connected with derivation of verbs were handled as a separate task. DeriNet data are expected to be helpful in developing a tool for morphemic segmentation and, once the segmentation is available, to become a reliable resource for data-based description of word formation including alternations in Czech.

Článek se věnuje grafémovým alternacím při odvozování slov v češtině z pohledu budování lexikální sítě DeriNet, která se specializuje na zachycování derivačních vztahů v českém lexikonu.


Derivation of Czech verbs and the category of aspect

Odvozování českých sloves a kategorie vidu

The present paper deals with the changes of the category of grammatical aspect during derivation of verbs from verbs in Czech. After summarizing the main issues of the long-standing debate over aspect in Czech, it is argued that formation of aspectual pairs can be seen as an integral part of derivation of Czech verbs. In a language data resource capturing the derivational morphology of Czech, the category of aspect was employed as an important feature in modelling verb-to-verb derivation. A set of criteria used for organization of verbs in the database is presented in the paper.

Příspěvek se zabývá změnami v kategorii slovesného vidu, k nimž dochází během odvozování sloves od sloves v češtině. Po stručném shrnutí základních bodů aspektologických diskuzí nad videm českého slovesa je tvoření vidových protějšků prezentováno jako integrální součást derivace českých sloves. Ve shodě s tímto pohledem je kategorie vidu využita jako důležitý rys při modelování slovesné derivace v databázi zachycující derivační morfologii češtiny. V příspěvku představujeme sadu kritérií, na jejichž základě byla slovesa v databázi organizována.


On the borderline between inflectional and derivational morphology: The case of the Czech verbal prefix po-

Hranice flektivní a derivační morfologie: Případ předpony po- u českých sloves

The present case study deals with the functions of the Czech verbal prefix po-. Three functions of the prefix are analysed by contrasting the existing theoretical descriptions with corpus data. In its primary, word-formational function, po- modifies the meaning of the base verb (expressing one of the semantic features described as Aktionsart or other meanings; e.g. kreslit ‘to draw’ > pokreslit ‘to cover with drawings’). In its second function, po- derives perfective counterparts from the imperfective verb; here, the prefix is considered to be a grammatical means used for the formation of aspectual pairs of verbs (cf. kárat ‘to admonish.impf’ > pokárat ‘to admonish.pf’). The third function of po- is manifested in the class of determinate verbs; it is a part of the morphological form of these verbs in their (imperfective) future meaning (e.g. běžet ‘to run’ – poběží ‘(he) will run’). A group of verbs suspected of exhibiting similar behaviour as the pure determinate verbs is analysed and attested using the corpus data. Finally, the competition between the prefix po- and
several tens of prefixes in Czech verbs is commented upon and the position of the prefixed verbs within word-formation nests is sketched.

Příspěvek probírá postupně tři funkce, které jsou v odborné literatuře připisovány předponě po- u českých sloves. Na pozadí rozsáhlých korpusových dat se předponou po- zabýváme nejprve jako formantem odvozujícím předponová slovesa od sloves bezpředponových, dále jako morfémem podílejícím se na tvoření vidového protějšku a naposledy jako morfémem tvořícím syntetické nedokonavé futurum.
Cílem naší analýzy v jednotlivých oddílech je dosavadní poznatky jednak shrnout a syntetizovat, jednak je konfrontovat se zásadní otázkou, jak autentické korpusové doklady k jednotlivým funkcím přiřadit. Na závěr se na předponu po- u sloves díváme z hlediska konkurence s dalšími předponami a z hlediska, jaké místo předponová slovesa zaujímají v příslušných slovotvorných hnízdech.


A language resource specialized in Czech word-formation: Recent achievements in developing the DeriNet database

Zdroj jazyových dat zaměřený na slovotvorbu češtiny: Novinky ve vývoji databáze DeriNet

The paper reports on recent progress in development of the lexical database DeriNet, which has been designed as a resource specialized in derivation of Czech but, recently, the structure of the database has been modified in order to allow  for  capturing  compounding  and  combined  word-formation  processes, too. The ambition is to cover a major part of the word-formation system of Czech in all its complexity.  The potential of the resource for both linguistic research and experiments  in  Natural  Language  Processing  are exemplified  by  recent  case studies based on the data.

Příspěvek informuje o novinkách ve vývoji lexikální databáze DeriNet, která je budována jako zdroj jazykových data specializovaný na derivaci v češtině a aktuálně modifikována tak, aby zde bylo možné zachycovat i slovotvornou kompozici. Možnosti využití těchto dat jsou ilustrovány nejnovějšími experimenty z oblasti zpracování přirozeného jazyka i z lingvistického výzkumu.

Magda Ševčíková
Adéla Kalužová
Zdeněk Žabokrtský


Universal Dependencies is a project that seeks to develop cross-linguistically consistent treebank annotation for many languages, with the goal of facilitating multilingual parser development, cross-lingual learning, and parsing research from a language typology perspective. The annotation scheme is based on (universal) Stanford dependencies (de Marneffe et al., 2006, 2008, 2014), Google universal part-of-speech tags (Petrov et al., 2012), and the Interset interlingua for morphosyntactic tagsets (Zeman, 2008). This is the ninth release of UD Treebanks, Version 2.3.

Universal Dependencies je projekt, který vyvíjí mezijazykově konzistentní morfologicko-syntaktickou anotaci mnoha jazyků s cílem usnadnit vývoj jazykově nezávislých parserů, mezijazykové strojové učení a výzkum parsingu z perspektivy jazykové typologie. Anotační schéma je založeno na univerzálních Stanfordských závislostech (de Marneffe et al., 2006, 2008, 2014), univerzálních značkách Google (Petrov et al., 2012) a na Intersetu, tj. interlingvě pro sady morfologických značek (Zeman, 2008). Toto je deváté vydání treebanků UD, verze 2.3.

Joakim Nivre
Mitchell Abrams
Željko Agić
Lars Ahrenberg
Lene Antonsen
Katya Aplonova
Maria Jesus Aranzabe
Gashaw Arutie
Masayuki Asahara
Luma Ateyah
Mohammed Attia
Aitziber Atutxa
Liesbeth Augustinus
Elena Badmaeva
Miguel Ballesteros
Esha Banerjee
Sebastian Bank
Verginica Barbu Mititelu
Victoria Basmov
John Bauer
Sandra Bellato
Kepa Bengoetxea
Yevgeni Berzak
Irshad Ahmad Bhat
Riyaz Ahmad Bhat
Erica Biagetti
Eckhard Bick
Rogier Blokland
Victoria Bobicev
Carl Börstell
Cristina Bosco
Gosse Bouma
Sam Bowman
Adriane Boyd
Aljoscha Burchardt
Marie Candito
Bernard Caron
Gauthier Caron
Gülşen Cebiroğlu Eryiğit
Flavio Massimiliano Cecchini
Giuseppe G. A. Celano
Slavomír Čéplö
Savas Cetin
Fabricio Chalub
Jinho Choi
Yongseok Cho
Jayeol Chun
Silvie Cinková
Aurélie Collomb
Çağrı Çöltekin
Miriam Connor
Marine Courtin
Elizabeth Davidson
Marie-Catherine de Marneffe
Valeria de Paiva
Arantza Diaz de Ilarraza
Carly Dickerson
Peter Dirix
Kaja Dobrovoljc
Timothy Dozat
Kira Droganova
Puneet Dwivedi
Marhaba Eli
Ali Elkahky
Binyam Ephrem
Tomaž Erjavec
Aline Etienne
Richárd Farkas
Hector Fernandez Alcalde
Jennifer Foster
Cláudia Freitas
Katarína Gajdošová
Daniel Galbraith
Marcos Garcia
Moa Gärdenfors
Sebastian Garza
Kim Gerdes
Filip Ginter
Iakes Goenaga
Koldo Gojenola
Memduh Gökırmak
Yoav Goldberg
Xavier Gómez Guinovart
Berta González Saavedra
Matias Grioni
Normunds Grūzītis
Bruno Guillaume
Céline Guillot-Barbance
Nizar Habash
Jan Hajič
Jan Hajič, jr.
Linh Hà Mỹ
Na-Rae Han
Kim Harris
Dag Haug
Barbora Hladká
Jaroslava Hlaváčová
Florinel Hociung
Petter Hohle
Jena Hwang
Radu Ion
Elena Irimia
Ọlájídé Ishola
Tomáš Jelínek
Anders Johannsen
Fredrik Jørgensen
Hüner Kaşıkara
Sylvain Kahane
Hiroshi Kanayama
Jenna Kanerva
Boris Katz
Tolga Kayadelen
Jessica Kenney
Václava Kettnerová
Jesse Kirchner
Kamil Kopacewicz
Natalia Kotsyba
Simon Krek
Sookyoung Kwak
Veronika Laippala
Lorenzo Lambertino
Lucia Lam
Tatiana Lando
Septina Dian Larasati
Alexei Lavrentiev
John Lee
Phương Lê Hồng
Alessandro Lenci
Saran Lertpradit
Herman Leung
Cheuk Ying Li
Josie Li
Keying Li
KyungTae Lim
Nikola Ljubešić
Olga Loginova
Olga Lyashevskaya
Teresa Lynn
Vivien Macketanz
Aibek Makazhanov
Michael Mandl
Christopher Manning
Ruli Manurung
Cătălina Mărănduc
David Mareček
Katrin Marheinecke
Héctor Martínez Alonso
André Martins
Jan Mašek
Yuji Matsumoto
Ryan McDonald
Gustavo Mendonça
Niko Miekka
Margarita Misirpashayeva
Anna Missilä
Cătălin Mititelu
Yusuke Miyao
Simonetta Montemagni
Amir More
Laura Moreno Romero
Keiko Sophie Mori
Shinsuke Mori
Bjartur Mortensen
Bohdan Moskalevskyi
Kadri Muischnek
Yugo Murawaki
Kaili Müürisep
Pinkey Nainwani
Juan Ignacio Navarro Horñiacek
Anna Nedoluzhko
Gunta Nešpore-Bērzkalne
Lương Nguyễn Thị
Huyền Nguyễn Thị Minh
Vitaly Nikolaev
Rattima Nitisaroj
Hanna Nurmi
Stina Ojala
Adédayọ̀ Olúòkun
Mai Omura
Petya Osenova
Robert Östling
Lilja Øvrelid
Niko Partanen
Elena Pascual
Marco Passarotti
Agnieszka Patejuk
Guilherme Paulino-Passos
Siyao Peng
Cenel-Augusto Perez
Guy Perrier
Slav Petrov
Jussi Piitulainen
Emily Pitler
Barbara Plank
Thierry Poibeau
Martin Popel
Lauma Pretkalniņa
Sophie Prévost
Prokopis Prokopidis
Adam Przepiórkowski
Tiina Puolakainen
Sampo Pyysalo
Andriela Rääbis
Alexandre Rademaker
Loganathan Ramasamy
Taraka Rama
Carlos Ramisch
Vinit Ravishankar
Livy Real
Siva Reddy
Georg Rehm
Michael Rießler
Larissa Rinaldi
Laura Rituma
Luisa Rocha
Mykhailo Romanenko
Rudolf Rosa
Davide Rovati
Valentin Roșca
Olga Rudina
Jack Rueter
Shoval Sadde
Benoît Sagot
Shadi Saleh
Tanja Samardžić
Stephanie Samson
Manuela Sanguinetti
Baiba Saulīte
Yanin Sawanakunanon
Nathan Schneider
Sebastian Schuster
Djamé Seddah
Wolfgang Seeker
Mojgan Seraji
Mo Shen
Atsuko Shimada
Muh Shohibussirri
Dmitri Sitchinava
Natalia Silveira
Maria Simi
Radu Simionescu
Katalin Simkó
Mária Šimková
Kiril Simov
Aaron Smith
Isabela Soares-Bastos
Carolyn Spadine
Antonio Stella
Milan Straka
Jana Strnadová
Alane Suhr
Umut Sulubacak
Zsolt Szántó
Dima Taji
Yuta Takahashi
Takaaki Tanaka
Isabelle Tellier
Trond Trosterud
Anna Trukhina
Reut Tsarfaty
Francis Tyers
Sumire Uematsu
Zdeňka Urešová
Larraitz Uria
Hans Uszkoreit
Sowmya Vajjala
Daniel van Niekerk
Gertjan van Noord
Viktor Varga
Eric Villemonte de la Clergerie
Veronika Vincze
Lars Wallin
Jing Xian Wang
Jonathan North Washington
Seyi Williams
Mats Wirén
Tsegay Woldemariam
Tak-sum Wong
Chunxiao Yan
Marat M. Yavrumyan
Zhuoran Yu
Zdeněk Žabokrtský
Amir Zeldes
Daniel Zeman
Manying Zhang
Hanzhi Zhu


Universal Dependencies is a project that seeks to develop cross-linguistically consistent treebank annotation for many languages, with the goal of facilitating multilingual parser development, cross-lingual learning, and parsing research from a language typology perspective. The annotation scheme is based on (universal) Stanford dependencies (de Marneffe et al., 2006, 2008, 2014), Google universal part-of-speech tags (Petrov et al., 2012), and the Interset interlingua for morphosyntactic tagsets (Zeman, 2008). This is the eighth release of UD Treebanks, Version 2.2.

Universal Dependencies je projekt, který vyvíjí mezijazykově konzistentní morfologicko-syntaktickou anotaci mnoha jazyků s cílem usnadnit vývoj jazykově nezávislých parserů, mezijazykové strojové učení a výzkum parsingu z perspektivy jazykové typologie. Anotační schéma je založeno na univerzálních Stanfordských závislostech (de Marneffe et al., 2006, 2008, 2014), univerzálních značkách Google (Petrov et al., 2012) a na Intersetu, tj. interlingvě pro sady morfologických značek (Zeman, 2008). Toto je osmé vydání treebanků UD, verze 2.2.

Joakim Nivre
Mitchell Abrams
Željko Agić
Lars Ahrenberg
Lene Antonsen
Maria Jesus Aranzabe
Gashaw Arutie
Masayuki Asahara
Luma Ateyah
Mohammed Attia
Aitziber Atutxa
Liesbeth Augustinus
Elena Badmaeva
Miguel Ballesteros
Esha Banerjee
Sebastian Bank
Verginica Barbu Mititelu
John Bauer
Sandra Bellato
Kepa Bengoetxea
Riyaz Ahmad Bhat
Erica Biagetti
Eckhard Bick
Rogier Blokland
Victoria Bobicev
Carl Börstell
Cristina Bosco
Gosse Bouma
Sam Bowman
Adriane Boyd
Aljoscha Burchardt
Marie Candito
Bernard Caron
Gauthier Caron
Gülşen Cebiroğlu Eryiğit
Giuseppe G. A. Celano
Savas Cetin
Fabricio Chalub
Jinho Choi
Yongseok Cho
Jayeol Chun
Silvie Cinková
Aurélie Collomb
Çağrı Çöltekin
Miriam Connor
Marine Courtin
Elizabeth Davidson
Marie-Catherine de Marneffe
Valeria de Paiva
Arantza Diaz de Ilarraza
Carly Dickerson
Peter Dirix
Kaja Dobrovoljc
Timothy Dozat
Kira Droganova
Puneet Dwivedi
Marhaba Eli
Ali Elkahky
Binyam Ephrem
Tomaž Erjavec
Aline Etienne
Richárd Farkas
Hector Fernandez Alcalde
Jennifer Foster
Cláudia Freitas
Katarína Gajdošová
Daniel Galbraith
Marcos Garcia
Moa Gärdenfors
Kim Gerdes
Filip Ginter
Iakes Goenaga
Koldo Gojenola
Memduh Gökırmak
Yoav Goldberg
Xavier Gómez Guinovart
Berta González Saavedra
Matias Grioni
Normunds Grūzītis
Bruno Guillaume
Céline Guillot-Barbance
Nizar Habash
Jan Hajič
Jan Hajič, jr.
Linh Hà Mỹ
Na-Rae Han
Kim Harris
Dag Haug
Barbora Hladká
Jaroslava Hlaváčová
Florinel Hociung
Petter Hohle
Jena Hwang
Radu Ion
Elena Irimia
Tomáš Jelínek
Anders Johannsen
Fredrik Jørgensen
Hüner Kaşıkara
Sylvain Kahane
Hiroshi Kanayama
Jenna Kanerva
Tolga Kayadelen
Václava Kettnerová
Jesse Kirchner
Natalia Kotsyba
Simon Krek
Sookyoung Kwak
Veronika Laippala
Lorenzo Lambertino
Tatiana Lando
Septina Dian Larasati
Alexei Lavrentiev
John Lee
Phương Lê Hồng
Alessandro Lenci
Saran Lertpradit
Herman Leung
Cheuk Ying Li
Josie Li
Keying Li
Kyungtae Lim
Nikola Ljubešić
Olga Loginova
Olga Lyashevskaya
Teresa Lynn
Vivien Macketanz
Aibek Makazhanov
Michael Mandl
Christopher Manning
Ruli Manurung
Cătălina Mărănduc
David Mareček
Katrin Marheinecke
Héctor Martínez Alonso
André Martins
Jan Mašek
Yuji Matsumoto
Ryan McDonald
Gustavo Mendonça
Niko Miekka
Anna Missilä
Cătălin Mititelu
Yusuke Miyao
Simonetta Montemagni
Amir More
Laura Moreno Romero
Shinsuke Mori
Bjartur Mortensen
Bohdan Moskalevskyi
Kadri Muischnek
Yugo Murawaki
Kaili Müürisep
Pinkey Nainwani
Juan Ignacio Navarro Horñiacek
Anna Nedoluzhko
Gunta Nešpore-Bērzkalne
Lương Nguyễn Thị
Huyền Nguyễn Thị Minh
Vitaly Nikolaev
Rattima Nitisaroj
Hanna Nurmi
Stina Ojala
Adédayọ̀ Olúòkun
Mai Omura
Petya Osenova
Robert Östling
Lilja Øvrelid
Niko Partanen
Elena Pascual
Marco Passarotti
Agnieszka Patejuk
Siyao Peng
Cenel-Augusto Perez
Guy Perrier
Slav Petrov
Jussi Piitulainen
Emily Pitler
Barbara Plank
Thierry Poibeau
Martin Popel
Lauma Pretkalniņa
Sophie Prévost
Prokopis Prokopidis
Adam Przepiórkowski
Tiina Puolakainen
Sampo Pyysalo
Andriela Rääbis
Alexandre Rademaker
Loganathan Ramasamy
Taraka Rama
Carlos Ramisch
Vinit Ravishankar
Livy Real
Siva Reddy
Georg Rehm
Michael Rießler
Larissa Rinaldi
Laura Rituma
Luisa Rocha
Mykhailo Romanenko
Rudolf Rosa
Davide Rovati
Valentin Roșca
Olga Rudina
Shoval Sadde
Shadi Saleh
Tanja Samardžić
Stephanie Samson
Manuela Sanguinetti
Baiba Saulīte
Yanin Sawanakunanon
Nathan Schneider
Sebastian Schuster
Djamé Seddah
Wolfgang Seeker
Mojgan Seraji
Mo Shen
Atsuko Shimada
Muh Shohibussirri
Dmitri Sitchinava
Natalia Silveira
Maria Simi
Radu Simionescu
Katalin Simkó
Mária Šimková
Kiril Simov
Aaron Smith
Isabela Soares-Bastos
Antonio Stella
Milan Straka
Jana Strnadová
Alane Suhr
Umut Sulubacak
Zsolt Szántó
Dima Taji
Yuta Takahashi
Takaaki Tanaka
Isabelle Tellier
Trond Trosterud
Anna Trukhina
Reut Tsarfaty
Francis Tyers
Sumire Uematsu
Zdeňka Urešová
Larraitz Uria
Hans Uszkoreit
Sowmya Vajjala
Daniel van Niekerk
Gertjan van Noord
Viktor Varga
Veronika Vincze
Lars Wallin
Jonathan North Washington
Seyi Williams
Mats Wirén
Tsegay Woldemariam
Tak-sum Wong
Chunxiao Yan
Marat M. Yavrumyan
Zhuoran Yu
Zdeněk Žabokrtský
Amir Zeldes
Daniel Zeman
Manying Zhang
Hanzhi Zhu


We present our ever ongoing work on cross-lingual syntactic parsing.

Představujeme naši stále probíhající práci na mezijazyčném přenosu syntaktických parserů.


Digital Humanities at Dibris, University of Genova, Italy

Digital Humanities v Dibris, University of Genova, Itálie

I present what I learned about the PhD studies at University of Genova, and suggest some changes to PhD studies at ÚFAL.

Prezentuji, co jsem se dozvěděl o PhD studiu na University of Genova, a navrhuji několik změn pro PhD studium na ÚFALu.


Discovering the structure of natural language sentences by semi-supervised methods

Hledání struktury vět přirozeného jazyka pomocí částečně řízených metod

In this thesis, we focus on the problem of automatically syntactically analyzing a language for which there is no syntactically annotated training data. We explore several methods for cross-lingual transfer of syntactic as well as morphological annotation, ultimately based on utilization of bilingual or multilingual sentence-aligned corpora and machine translation approaches. We pay particular attention to automatic estimation of the appropriateness of a source language for the analysis of a given target language, devising a novel measure based on the similarity of part-of-speech sequences frequent in the languages. The effectiveness of the presented methods has been confirmed by experiments conducted both by us as well as independently by other respectable researchers.

V této dizertaci se zaměřujeme na problém automatického syntaktického rozboru jazyků, pro něž nejsou k dispozici žádná syntakticky anotovaná trénovací data. Zkoumáme několik metod mezijazyčného přenosu syntaktické i morfologické anotace, a nakonec docházíme k metodám založeným na využití dvojjazyčných či vícejazyčných korpů zarovnaných na úrovni vět, a strojového překladu. Zvláštní pozornost věnujeme automatickému odhadování vhodnosti zdrojového jazyka pro analýzu daného cílového jazyka, a navrhujeme novou míru založenou na podobnostech častých sledů slovních druhů. Účinnost představených postupů byla ověřena jak v našich pokusech, tak nezávisle v pracech uznávaných světových vědců.


Modelling language syntax across languages

Modelování závislostní syntaxe napříč jazyky

Presentation of the GAUK project, especially the language similarity measure, and a personal view of the advantages and disadvantages of GAUKs.

Představení projektu GA UK, zejména metody měření podobnosti jazyků, a osobní pohled na výhody a nevýhody GAUKu.


Wikipedia plain text data obtained from Wikipedia dumps with WikiExtractor in February 2018.

Data v podobě prostého textu získaná z dumpů Wikipedie v únoru 2018.


CUNI x-ling: Parsing under-resourced languages in CoNLL 2018 UD Shared Task

CUNI x-ling: Parsing jazyků s omezenými zdroji v CoNLL 2018 UD Shared Task

This is a system description paper for the CUNI x-ling submission to the CoNLL 2018 UD Shared Task. We focused on parsing under-resourced languages, with no or little training data available. We employed a wide range of approaches, including simple word-based treebank translation, combination of delexicalized parsers, and exploitation of available morphological dictionaries, with a dedicated setup tailored to each of the languages. In the official evaluation, our submission was identified as the clear winner of the Low-resource languages category.

Tento článek popisuje systém CUNI x-ling zaslaný do soutěže CoNLL 2018 UD Shared Task. Zaměřili jsme se na syntaktickou analýzu jazyků s nedostatkem zdrojů, které mají k dipozici malá nebo žádná trénovací data. Použili jsme široké spektrum přístupů, včetně jednoduchého překladu závislostních korpusů slovo po slově, kombinace delexikalizovaných parserů, a využití dostupných tvaroslovných slovníků. Náš příspěvek byl v oficiálním vyhodnocení označen za jasného vítěze v kategorii analýzy jazyků s nedostatkem zdrojů.


Slovenskočeský NLP workshop (SloNLP 2018)

SloNLP is a workshop focused on Natural Language Processing (NLP) and Computational Linguistics. Its primary aim is to promote cooperation among NLP researchers in Slovakia and Czech Republic.

The topics of the workshop include automatic speech recognition, automatic natural language analysis and generation (morphology, syntax, semantics, etc.), dialogue systems, machine translation, information retrieval, practical applications of NLP technologies, and other topics of computational linguistics.

SloNLP je workshop speciálně zaměřený na zpracování přirozeného jazyka a počítačovou lingvistiku. Jeho hlavním cílem je podpořit spolupráci mezi výzkumníky v oblasti NLP v Česku a na Slovensku.

Mezi témata workshopu patří automatické rozpoznávání mluvené řeči (ASR), automatická analýza a generování přirozeného jazyka (morfologie, syntax, sémantika...), dialogové systémy (DS), strojový překlad (MT), vyhledávání informací (IR), praktické aplikace NLP technologií, a další témata počítačové lingvistiky.


Looking for linguistic structures in neural networks

Hledání lingvistických struktur v neuronových sítích

In recent years, deep neural networks have achieved and surpassed
state-of-the-art results in many tasks, including many natural language
processing problems, such as machine translation, sentiment analysis, image
captioning, etc.

Traditionally, solving these tasks relied on many intermediary
steps, internally using explicit linguistic annotations and representations,
such as part-of-speech tags, syntactic structures, semantic labels, etc. These
smaller substeps were thought of as useful or even necessary to solve the
larger and more complex tasks.

However, deep neural networks have made it possible to use end-to-end
learning, where the network directly learns to produce the desired outputs
from the inputs, without any explicit internal intermediary representations.

Nevertheless, the networks are structured in such a way that we can still
think of them as using some intermediary representations of the inputs,
although these are learned only implicitly. Some of the representations can be
directly linked to certain parts of the input -- such as word embeddings
corresponding to individual words -- others are linked to the inputs more
vaguely, due to using recurrent units, attention, etc.

In our project, we are interested in investigating these internal representations,
trying to see what information they capture, how they are structured, and what
meaning we can assign to them. More specifically, we are currently trying to
reliably determine to what extent neural networks seem to capture some basic
linguistic notions, such as part of speech, in their various components --
encoder word embeddings, decoder word embeddings, encoder hidden states... We
are also interested in how this depends on the task for which the network is
trained -- language modelling (word2vec), machine translation, sentiment
analysis... Ultimately, we are interested in the somewhat philosophical
question of whether neural networks seem to understand language, or at least
capture the meanings of sentences.

Představujeme svůj projekt LSD, ve kterém se snažíme zjistit, zda neuronové sítě pracují s reprezentacemi podobnými klasickým lingvistickým strukturám.

Rudolf Rosa
Jindřich Libovický
Tomáš Musil
David Mareček


We present the question-answering system Politician, which
is a chatbot designed to imitate a fictional politician. The chatbot accepts questions on political issues and answers them accordingly. The questions are analyzed using natural language processing techniques, mainly using a custom scenario built on Treex, and no complex knowledge base is involved. There are two working versions so far, in Czech and in English.

Once morphological and syntactic annotations are available for
the question, an appropriate answer template is selected from the manually created set of answer templates based on the nouns, verbs and named entities present in the question. After that, the answer template is transformed into a grammatically correct reply.

We also briefly investigated the differences between the two languages and potential generalization of the approach to other topics. Apparently, morphological and syntactic information provides enough data for a very basic understanding of questions on a specific topic.

Prezentujeme dialogový systém Politik, který imituje virtuálního politika. Systém zodpovídá otázky na politická témata. Otázky jsou analyzovány pomocí nástrojů počítačového zpracování jazyka pomocí systému Treex bez znalostní báze. Systém je navržen pro češtinu a angličtinu. Po zpracování morfologickém a syntaktickém zpracování otázky se vybírá vhodná šablona odpovědi z ručně vytvořených šablon. Následně je šablona transformována do gramiticky správné věty. Také jsme pilotně zkoumali rozdíly v doméně rozhovoru.

David Kuboň
Eleni Metheniti
Barbora Hladká


A Fine-grained Large-scale Analysis of Coreference Projection

Detailní analýza projekce koreference na velkých datech

We perform a fine-grained large-scale analysis
of coreference projection.  By projecting gold
coreference  from  Czech  to  English  and  vice
versa  on  Prague  Czech-English  Dependency
Treebank 2.0 Coref, we set an upper bound of
a proposed projection approach for these two
languages.  We undertake a detailed thorough
analysis that combines the analysis of projec-
tion’s  subtasks  with  analysis  of  performance
on individual mention types.  The findings are
accompanied with examples from the corpus.

V článku provádíme experimenty s projekcí koreference na velkých datech a analyzujeme je napříč jemně zvolenými kategoriemi.


A Study on Bilingually Informed Coreference Resolution

Studie o bilinguálně informovaném rozpoznávání koreference

Coreference is a basic means to retain coherence of a text that likely exists in every language. However, languages may differ in how a coreference relation is manifested on the surface. A possible way how to measure the extent and nature of such differences is to build a coreference resolution system that operates on a parallel corpus and extracts information from both language sides of the corpus. In this work, we build such a bilingually informed coreference resolution system and apply it on Czech-English data. We compare its performance with the system that learns only from a single language. Our results show that the cross-lingual approach outperforms the monolingual one. They also suggest that a system for Czech can exploit the additional English information more effectively than the other way round. The work concludes with a detailed analysis that tries to reveal the reasons behind these results.

Článek popisuje experimenty s bilinguálně informovaným rozpoznáváním koreference na česko-anglických datech.


Coreference from the Cross-lingual Perspective

The subject of this monograph is to study properties of coreference using cross-lingual approaches. We designed two cross-lingual methods: the bilingually informed coreference resolution and the coreference projection. The results of our experiments suggest that with respect to coreference English is more informative for cyech than vice versa.

Tématem této knihy je studium vlastností koreference s použitím mezijazykových přístupů. Navrhujeme dvě mezijazykové metody: rozpoznávání koreference s informací z druhého jazyka a projekci koreference. Výsledky našich experimentů s těmito metodami na česko-anglických datech naznačují, že s ohledem na koreferenci přináší angličtina více informací do češtiny než naopak.


The subject of this thesis is to study properties of coreference using cross-lingual approaches. The work is motivated by the research on coreference-related linguistic typology. Another motivation is to explore whether differences in the ways how languages express coreference can be exploited to build better models for coreference resolution. We design two cross-lingual methods: the bilingually informed coreference resolution and the coreference projection. The results of our experiments with the methods carried out on Czech-English data suggest that with respect to coreference English is more informative for Czech than vice versa. Furthermore, the bilingually informed resolution applied on parallel texts has managed to outperform the monolingual resolver on both languages. In the experiments, we employ the monolingual coreference resolver and an improved method for alignment of coreferential expressions, both of which we also designed within the thesis.

Tématem této práce je studium vlastností koreference s použitím mezijazykových přístupů. Motivací práce je výzkum lingvistické typologie založené na koreferenci. Další motivací je prozkoumání, jestli rozdíly ve způsobech, jak jazyky vyjadřují koreferenci, mohou být využity k natrénování lepších modelů pro rozpoznávání koreference. Navrhujeme dvě mezijazykové metody: rozpoznávání koreference s informací z druhého jazyka a projekci koreference. Výsledky našich experimentů s těmito metodami na česko-anglických datech naznačují, že s ohledem na koreferenci přináší angličtina více informací do češtiny než naopak. Rozpoznávání koreference s informací z druhého jazyka navíc dokázalo při aplikaci na paralelních datech překonat na obou jazycích výsledky jednojazykového systému na rozpoznávání. Při experimentech používáme jednojazykový rozpoznávač koreference a vylepšenou metodu na zarovnání koreferenčních výrazů, které jsme rovněž navrhli v rámci této práce.


Topic–Focus Articulation: A Third Pillar of Automatic Evaluation of Text Coherence

Topic–Focus Articulation: Třetí pilíř automatického hodnocení koherence textu

We present a system for automatic evaluation of surface text coherence in Czech essays written by native and non-native speakers. The features of the EVALD system cover spelling, vocabulary, morphology, syntax, discourse relations and coreference. Newly we add features targeting topic–focus articulation.

Představujeme systém pro automatické hodnocení textové koherence v českých esejích psaných nerodilými mluvčími. Systém EVALD pracuje s množinou rysů z oblasti pravopisu, slovní zásoby, morfologie, syntaxe, diskurzních vzahů a koreference. Nově nyní přidáváme rysy z oblasti informační struktury věty (aktuálního členění větného).

Michal Novák
Jiří Mírovský
Kateřina Rysová
Magdaléna Rysová


Diacritics Restoration Using Neural Networks

Doplnění diakritiky pomocí neuronových sítí

In this paper, we describe a novel combination of a character-level recurrent neural-network based model and a language model applied to diacritics restoration. In many cases in the past and still at present, people often replace characters with diacritics with their ASCII counterparts. Despite the fact that the resulting text is usually easy to understand for humans, it is much harder for further computational processing. This paper opens with a discussion of applicability of restoration of diacritics in selected languages. Next, we present a neural network-based approach to diacritics generation. The core component of our model is a bidirectional recurrent neural network operating at a character level. We evaluate the model on two existing datasets consisting of four European languages. When combined with a language model, our model reduces the error of current best systems by 20% to 64%. Finally, we propose a pipeline for obtaining consistent diacritics restoration datasets for twelve languages and evaluate our model on it. All the code is available under open source license on https://github.com/arahusky/diacritics_restoration.

Článek popisuje inovativní kombinaci recurrent neural-network based modelu na úrovni znaků a jazykového modelu aplikovanou na úlohu doplnění diakritiky do textu.

Jakub Náplava
Milan Straka
Pavel Straňák
Jan Hajič


The WMT’18 Morpheval test suites for English-Czech, English-German, English-Finnish and Turkish-English

Testovací sady Morpeval pro WMT18 a jazykové páry angličtina-čeština, angličtina-němčina, angličtina-finština

Progress in the quality of machine translation
output calls for new automatic evaluation pro-
cedures  and  metrics.    In  this  paper,  we  ex-
tend  the  Morpheval  protocol  introduced  by
Burlot  and  Yvon  (2017)  for  the  English-to-
Czech  and  English-to-Latvian  translation  di-
rections to three additional language pairs, and
report its use to analyze the results of WMT
2018’s  participants  for  these  language  pairs.
Considering  additional,  typologically  varied
source  and  target  languages  also  enables  us
to  draw  some  generalizations  regarding  this
morphology-oriented evaluation procedure.

Pokrok v kvalitě strojového překladu si žádá nové metody a metriky automatického vyhodnocování. V tomto příspěvku rozšiřujeme testovací sadu pro morfologické rysy (Burlot a Zvon, 2017) o další jazykové páry.

Franck Burlot
Yves Scherrer
Vinit Ravishankar
Ondřej Bojar
Stig-Arne Grönroos
Maarit Koponen
Tommi Nieminem
François Yvon


Challenges in Converting the Index Thomisticus Treebank into Universal Dependencies

Výzvy při převodu korpusu Index Thomisticus do Universal Dependencies

This paper describes the changes applied to the original process used to convert the Index Thomisticus Treebank, a corpus including texts in Medieval Latin by Thomas Aquinas, into the annotation style of Universal Dependencies. The changes are made both to harmonise the Universal Dependencies version of the Index Thomisticus Treebank with the two other available Latin treebanks and to fix errors and inconsistencies resulting from the original process. The paper details the treatment of different issues in PoS tagging, lemmatisation and assignment of dependency relations. Finally, it assesses the quality of the new conversion process by providing an evaluation against a gold standard.

Tento článek popisuje změny v proceduře, která se používá při převodu závislostního korpusu Index Thomisticus do anotačního stylu Universal Dependencies. Index Thomisticus je korpus středověkých latinských textů od Tomáše Akvinského.

Flavio Massimiliano Cecchini
Marco Passarotti
Paola Marongiu
Daniel Zeman


A Case for Instrinsic Evaluation of Optical Music Recognition

Za intrinsní evaluaci rozpoznávání notopisu

Evaluating Optical Music Recognition (OMR) has
long been an acknowledged sore spot of the field. This short
position paper attempts to bring some clarity to what are actually
open problems in OMR evaluation: a closer look reveals that the
main problem is finding an edit distance between some practical
representations of music scores. While estimating these editing
costs in the transcription use-case of OMR is difficult, I argue
that the problems with modeling the subsequent editing workflow
can be de-coupled from general OMR system development using
an intrinsic evaluation approach, and sketch out how to do this.

Evaluace rozpoznávání notopisu (Optical Music Recognition, OMR) je dlouholetým trnem v patě oboru. Tento krátký position paper se pokouší vyjasnit, co přesně jsou překážky ve vyhodnocování OMR: detailnější pohled ukazuje, že hlavním problémem je nalézt způsob, jak vypočítat editační vzdálenost mezi prakticky použitelnými reprezentacemi notopisu.  Odhadovat tyto "ceny úprav" pro aplikaci OMR pro přímočarou digitalizaci not je obtížné, tvrdím však, že problémy s modelováním dalších faktorů ovlivňující náročnost lidského post-editování výstupu OMR je možné separovat od vyhodnocování sytémů OMR během jejich vývoje, pokud se použije intrinsní evaluace místo evaluace motivované aplikací, a načrtávám způsob, jak takovou evaluaci udělat.


Optical Music Recognition (OMR) is a field of research that investigates how to computationally decode music notation in documents. As most musical compositions in the Western tradition have been written rather than recorded, bringing this music into the digital domain can significantly diversify the sources for MIR, digital musicology, and more broadly lower the costs of introducing previously unheard works to audiences worldwide. While OMR has been regarded as a largely unsolved problem, this situation has recently shifted: new large-scale datasets and tools have been released, methods based on deep learning are successfully dealing with musical symbol detection and partial end-to-end recognition, and applications of OMR such as retrieval have started migrating from article introductions to the Results sections. Our tutorial will present this new and rather exciting state of the art in OMR. We will demonstrate recent methods and results, introduce the audience to the tools and datasets used to achieve them, and showcase the opportunities for using OMR. Finally, we will introduce the current challenges in OMR. After the tutorial, the participants should be familiar with state-of-the-art OMR research, and should be able to start using existing tools to integrate OMR into their own work, whether in MIR or (digital) musicology. For those interested in working on OMR themselves, the tutorial should provide a head start.

Rozpoznávání notopisu (Optical Music Recognition, OMR) je oblast výzkumu zaměřená na automatické dekódování hudební notace z dokumentů. Vzhledem k tomu, že většina hudebních skladeb v západní tradici existuje pouze v psané podobě, zapojení této modality do digitální domény může podstatně diversifikovat zdroje pro digitální muzikologii, hudební informatiku, aj. Doposud bylo OMR považováno za převážně nevyřešený problém, avšak tato situace se v posledních letech začla měnit: byly vydány rozsáhlé datové sady, metody založené na strojovém učení překonávají dříve nepřekonatelné překážky, a aplikace OMR migrují z motivačních úvodů jednotlivých článků spíše do sekcí Výsledky. Náš tutoriál prezentuje tento nový stav poznání: metody, výsledky, nástroje, a datasety. Po tutoriálu budou účastníci obeznámeni se stavem rozpoznávání notopisu, a měli by být schopní pomocí existujících nástrojů začít OMR integrovat do své práce, ať už hudebně-informatické či muzikologické; pro účastníky, kteří mají zájem na OMR přímo pracovat, pak tutoriál představuje efektivní úvod do problematiky.

Jan Hajič, jr.
Alexander Pacha
Jorge Calvo-Zaragoza


How current optical music recognition systems are becoming useful for digital libraries

Jak se systémy rozpoznávání notopisu stávají užitečnější pro digitální knihovny

Optical Music Recognition (OMR) promises to make large collections of sheet music searchable by their musical content. It would open up novel ways of accessing the vast amount of written music that has never been recorded before. For a long time, OMR was not living up to that promise, as its performance was simply not good enough, especially on handwritten music or under non-ideal image conditions. However, OMR has recently seen a number of improvements, mainly due to the advances in machine learning. In this work, we take an OMR system based on the traditional pipeline and an end-to-end system, which represent the current state of the art, and illustrate in proof-of-concept experiments their applicability in retrieval settings. We also provide an example of a musicological study that can be replicated with OMR outputs at much lower costs. Taken together, this indicates that in some settings, current OMR can be used as a general tool for enriching digital libraries.

Rozpoznávání notopisu (optical music recognition, OMR) slibuje, že díky němu půjde prohledávat hudební "full-text" v rozsáhlých notových archivech. Otevřel by se tak nový způsob přístupu k obrovskému množství hudby, která byla napsána, avšak ne nahrána. OMR však toto už slibuje dlouho a povětšinou bezvýsledně: jeho výsledky nejsou dostatečně dobré, především pro hudební rukopisy či pro nedokonalé scany. V poslední době se však OMR zlepšilo, především díky pokrokům ve strojovém učení. V tomto příspěvku vezmeme OMR systém založený na tradičním několikakrokovém postupu a druhý systém založený na učení end-to-end, a ilustrujeme jejich možnosti v jednoduchých, prototypických vyhledávacích aplikacích. Na příkladu také ukazujeme, jak použití OMR může výrazně snížit náklady na studie kvantitativní muzikologie. Dohromady tyto výsledky interpretujeme tak, že v určitých úlohách již lze současné technologie OMR nasadit jako obecný nástroj pro obohacování digitálních knihoven.

Jan Hajič, jr.
Marta Kolárová
Alexander Pacha
Jorge Calvo-Zaragoza


Towards Full-Pipeline Handwritten OMR with Musical Symbol Detection by U-Nets

Směrem k úplnému rozpoznávání rukopisné notace s detekcí notačních objeků pomocí architektury U-Net

Detecting music notation symbols is the most immediate unsolved  subproblem  in  Optical  Music  Recognition  for musical manuscripts.  We show that a U-Net architecture for semantic segmentation combined with a trivial detector  already  establishes  a  high  baseline  for  this  task,  and we  propose  tricks  that  further  improve  detection  performance: training against convex hulls of symbol masks, and multichannel output models that enable feature sharing for semantically related symbols. The latter is helpful especially for clefs, which have severe impacts on the overall OMR result. We then integrate the networks into an OMR pipeline by applying a subsequent notation assembly stage, establishing a new baseline result for pitch inference in handwritten music at an f-score of 0.81.  Given the automatically inferred pitches we run retrieval experiments on handwritten scores, providing first empirical evidence that utilizing the powerful image processing models brings content-based search in large musical manuscript archives within reach.

Detekce notačních symbolů je nejpalčivější otevřený podproblém v rozpoznávání notopisu (Optical Music Recognition, OMR). Ukazujeme, že architektura U-Net pro sémantickou segmentaci spolu s triviálním detektorem představuje silnou baseline, a navrhujeme několik triků, které výsledky ještě zlepšují: trénování proti konvexním obalům notačních objektů, a vícekanálové výstupy které umožňují sdílet parametry sítě pro několik sémanticky příbuzných tříd objektů. Oba triky přináší výrazné zlepšení v detekci klíčů, což má zásadní následky pro výsledky OMR. Následně začleníme U-Nety do kompletního rozpoznávacího systému: přidáme model doplňující vztahy mezi rozpoznanými symboly, a dosáhneme tak výsledného f-score 0.81 pro extrakci výšek zapsaných tónů. Nad takto automaticky extrahovanými tóny provedeme pokusy pro vyhledávání rukopisných kopií stejné hudby, které přináší první empirické indikace, že využívání mocných modelů hlubokého učení pro OMR skutečně dle očekávání přibližuje full-textové vyhledávání ve velkých sbírkách hudebních rukopisů na dosah.

Jan Hajič, jr.
Matthias Dorfer
Gerhard Widmer
Pavel Pecina


Are BLEU and Meaning Representation in Opposition?

Odporují si BLEU a reprezentace významu?

One of possible ways of obtaining continuous-space
sentence representations is by
training neural machine translation (NMT)
systems. The recent attention mechanism
however removes the single point in the
neural network from which the source sentence
representation can be extracted. We
propose several variations of the attentive
NMT architecture bringing this meeting
point back. Empirical evaluation suggests
that the better the translation quality, the
worse the learned sentence representations
serve in a wide range of classification and
similarity tasks.

Neuronový strojový překlad lze použít jako jedno z metod pro získání spojité větné reprezentace. V příspěvku ukazujeme, že pro takto získané reprezentace kvalita překladu negativně koreluje s kvalitou zachycení významu.


The Czech Legal Text Treebank 2.0 (CLTT 2.0) contains texts that come from the legal domain and are manually syntactically annotated. The syntactic annotation in CLTT 2.0 is more elaborate than in CLTT 1.0.  In addition, CLTT 2.0 contains two new annotation layers, namely the layer of entities and the layer of semantic entity relations. In total, CLTT 2.0 consists of two legal documents, 1,121 sentences and 40,950 tokens.

Český korpus právních textů 2.0 (CLTT 2.0) obsahuje texty z legislativní domény, které jsou manuálně syntakticky anotovány. Nová verze korpusu obsahuje vylepšenou syntaktickou anotaci a dvě nové vrstvy anotací - anotaci jmenných entit a sémantických vztahů. Celkově korpus obsahuje 2 právní dokumenty, 1121 vět a 40950 tokenů.


The actor – instrument alternation in a parallel Czech-English dependency treebank

Alternace konstrukcí s aktorem a instrumentem v paralelním česko-anglickém závislostním korpusu

This paper analyzes one type of valency structure difference in a bilingual, Czech-English valency lexicon and a parallel syntactically annotated treebank, namely the instances of Instrument-Subject Alternation, Abstract Cause-Subject Alternation and Locatum-Subject Alternation (Levin, 1993), roughly corresponding to three specific verb semantic classes. These alternations represent a problematic point of mutual alignment of valency structures in a parallel corpus and a bilingual valency lexicon because of the dual possible assignment of a semantic role to the position of a syntactic subject, and consequently, the dual interpretation of the deep-syntactic role of an actor.  As a result, two different interpretations arise, an agentive one and a non-agentive one, which collide in the syntactically annotated data. The conflict of the two intepretations influences substantially the semantic interpretation of the “target of evaluation” in constructions involving evaluative verbs in Sentiment Analysis tasks. We discuss the problem through linking individual syntactic, semantic and situational participants, focusing both on the similarities and differences between the three alternation types in question, providing analogies to other known constructions, and studying them from the morphosyntactic, semantic and propositional content point of view.

V příspěvku se zabýváme jedním typem rozdílu v zachycení valenčních struktur v českém a anglickém valenčním slovníku a paralelním česko-anglickém syntakticky anotovaném korpusu. Jde o konstrukce tzv. alternace subjektu a instrumentu (Instrument-Subject Alternation) a jí podobné alternace subjektu a abstraktní příčiny (Abstract Cause-Subject Alternation), příp. alternace subjektu a materiálu (Locatum-Subject Alternation) (Levin, 1993), odpovídající zhruba třem sémantickým typům sloves. Tyto konstrukce představují specifický problém v rámci vzájemného mapování valenčních struktur v paralelním korpusu a jejich zachycení ve valenčních slovnících, neboť u nich dochází ke konkurenčnímu naplnění pozice povrchověsyntaktického subjektu a hloubkověsyntaktického aktoru dvěma sémanticky různými typy doplnění. Výsledkem jsou dvě interpretace, agentní a neagentní, které vstupují do konfliktu při zachycení v syntakticky anotovaných korpusových datech. Konflikt těchto dvou interpretací významně ovlivňuje sémantickou interpretaci „cíle evaluace“ v konstrukcích s evaluativními slovesy v rámci analýzy sentimentu.  Problém analyzujeme na základě vzájemného vztažení syntaktických, sémantických a situačních participantů, s ohledem na již publikovanou literaturu k tématu. Zaměřujeme se na společné rysy všech tří dotčených sémantických slovesných typů i na rozdíly mezi nimi. Zmíněné alternující konstrukce vztahujeme k dalším analogickým konstrukcím a studujeme z hlediska morfosyntaktického, lexikálněsémantického i propozičně obsahového.

Jana Šindlerová
Vladislav Kuboň
Aleš Tamchyna
Kateřina Veselovská


Phonetic Transcription by Untrained Annotators

Fonetická transkripce od netrénovaných anotátorů

The paper presents an application for lay, untrained users to generate high-quality, aligned phonetic transcription of speech. The application has been in use for several years and has served to transcribe over 600 thousand word forms over two versions of a web interface. We present measures for compensating the lack of expert training.

Článek prezentuje aplikaci pro laické, netrénované uživatele, která slouži pro generování kvalitních zarovnaných fonetických přepisů mluveného slova. Aplikace se již několik let používá a přepsalo se jí přes 600 tisíc slovních forem napříč dvěma verzemi webového rozhraní. Představujeme opatření pro kompenzaci nedostatku odborného tréninku.


Second-Generation Web Interface to Correcting ASR Output

Webové rozhraní druhé generace pro opravování výstupu rozpoznávání řeči

This paper presents a next-generation web application that enables users to contribute corrections to automatically acquired transcription of long speech recordings. We describe differences from similar settings, compare our solution with others and reflect on the development from the now 6 years old work we build upon in the light of the progress made, lessons learned and the new technologies available in the browser.

Článek prezentuje webovou aplikaci nové generace, která umožňuje uživatelům přispívat opravami automaticky získaného přepisu dlouhých záznamů mluveného slova. Popisujeme rozdíly od podobných případů, porovnáváme svoje řešení s ostatními a pozastavujeme se nad vývojem oproti nyní 6 let staré aplikaci, z níž vycházíme, ve světle učiněného pokroku, získaného poučení a v prohlížeči nově dostupných technologií.


Enriched Discourse Annotation of PDiT Subset 1.0 (PDiT-EDA 1.0)

Enriched discourse annotation of a subset of the Prague Discourse Treebank, adding implicit relations, entity based relations, question-answer relations and other types of discourse structuring relations.

Rozšířená anotace diskurzu v části Pražského diskurzního korpusu, přidávající implicitní vztahy, vztahy založené na koreferenci, vztahy mezi otázkou a odpovědí a další typy vztahů strukturujících výpověď.

Šárka Zikánová
Pavlína Synková
Jiří Mírovský


A pilot study on underspecified discourse connectives in the TED Talk parallel corpus

Pilotní studie o subspecifrikovaných konektorech v paralelním korpusu TED talks

The presentation describes general results of comparison how underspecified discourse connectives are used in English, Czech, Hungarian, French and Lithuanian, based on the texts of TED talks.

Přednáška představuje hlavní výsledky srovnávací analýzy věnované vágním diskurzním konektorům v angličtině, češtině, maďarštině, francouzštině a litevštině. Analýza je založena na textech z TED talks.

Šárka Zikánová
Ágnes Abuczki
Nijolė Burkšaitienė
Ludivine Crible
Péter Furkó
Anna Nedoluzhko
Giedre Valunaite Oleskeviciene


Discourse Connectives in Czech: From Centre to Periphery

Diskurzní konektory v češtině: Od centra k periferii

In the monograph, we examine primary and secondary discourse connectives in Czech. The analysis is carried out on the data of the Prague Discourse Treebank 2.0 (PDiT). The results of the research are presented in four parts. The first one focuses on delimitation and characteristics of discourse connectives in Czech, the second one describes annotation of connectives in the PDiT and demonstrates its evaluation, the third one presents results of this annotation, and the fourth one discusses linguistic principles and tendencies in using discourse connectives.

V knize představujeme výzkum primárních a sekundárních diskurzních konektorů v češtině, provedený na datech Pražského diskurzního korpusu 2.0 (PDiT). Výsledky výzkumu jsou rozděleny do čtyř částí. První část přináší vymezení a charakteristiku diskurzních konektorů v češtině, druhá popisuje anotaci konektorů v PDiT. Ve třetí části jsou představeny výsledky diskurzní anotace PDiT a ve čtvrté obecné principy a tendence v užívání diskurzní konektorů v komunikaci.


Primary and secondary discourse connectives: Constraints and preferences

Primární a sekundární diskurzní konektory: tendence v užívání

In this paper, we explore the linguistic factors that influence an author's choice of discourse connectives in the production of a coherent text. We focus on the competition between so-called primary connectives (grammaticalized and mostly one-word expressions such as therefore) and secondary connectives (not yet fully grammaticalized compositional discourse phrases such as for this reason). We attempt to describe the linguistic constraints on and preferences in connective selection. The analysis is based on manually annotated data from the Prague Discourse Treebank 2.0 (PDiT), which contains almost 50000 sentences from Czech newspaper texts. We demonstrate that discourse connectives are used in accordance with the economy principle in language, i.e. authors aim to achieve the maximal result with minimal effort. They most frequently choose short and semantically more generalized primary connectives. However, in cases where the discourse relations can be misunderstood, authors prefer more complex and specific structures.

Článek se zabývá jazykovými faktory, které ovlivňují výběr diskurzních konektorů při tvorbě koherentního textu. Zaměřuje se na konkurenci tzv. primárních konektorů (gramatikalizovaných a většinou jednoslovných výrazů typu „protože“) a sekundárních konektorů (dosud ne plně gramatikalizovaných výrazů typu „z tohoto důvodu“). Analýza vychází z dat Pražského diskurzního korpusu 2.0 (Prague Discourse Treebank, PDiT), který obsahuje téměř 50 000 vět z českých novinových textů. Ukazuje se, že užívání diskurzních konektorů ovlivňuje tzv. jazyková ekonomie, tj. autoři textu usilují o dosažení maximálního výsledku s vynaložením minimálního úsilí. Nejčastěji proto volí krátké a sémanticky obecnější primární konektory. Naopak v případech, kdy by diskurzní vztahy mohly být interpretovány nesprávně, upřednostňují autoři složitější a specifické konektivní struktury.


Practicing Students‘ Writing Skills through eLearning: Automated Evaluation of Text Coherence in Czech

Písemné dovednosti studentů a e-learning: automatické hodnocení koherence textu v češtině

The paper presents possibilities of improving students’ writing skills through e-learning. It addresses the topic of automated evaluation of surface text coherence and introduces improvements of a system solving this task for Czech. With the implementation of new morpho-syntactic features, the system works with the reliability of 0.63 macro-average F-score. Except for the overall mark for coherence, the system newly provides also a detailed feedback for users. The user (student) learns stronger and weaker aspects of his or her text in the following language fields: spelling, vocabulary, morphology, syntax, and discourse (in terms of coreference and discourse relations). The student (a learner of Czech) is thus given a detailed evaluation of his or her text, which is available online and gives thus space for practicing writing skills easily through e-learning.

Článek představuje možnosti, jak zlepšovat dovednosti studentů psát koherentní text pomocí e-learningových metod. Zaměřuje se na téma automatického hodnocení povrchové koherence textu a představuje zlepšení softwaru, který toto hodnocení provádí pro texty v češtině.

Magdaléna Rysová
Kateřina Rysová
Jiří Mírovský
Michal Novák


Describing CzeDLex – a Lexicon of Czech Discourse Connectives

Popis CzeDLexu – slovníku českých diskurzních konektorů

We introduce a pilot version of CzeDLex, a Lexicon of Czech Discourse Connectives. Currently, CzeDLex contains 205 lemmas of connectives coming from the annotation of the Prague Discourse Treebank 2.0 (PDiT). At this stage, 19 lemmas have been fully manually processed, which covers more than two thirds of all discourse relations annotated in the PDiT.

Představujeme pilotní verzi CzeDLexu, slovníku českých diskurzních konektorů. Ve své aktuální verzi CzeDLex obsahuje 205 lemmat konektorů, získaných z anotací Pražského diskurzního korpusu 2.0 (PDiT). 19 lemmat bylo plně ručně zpracováno, což zahrnuje více než dvě třetiny všech diskurzních vztahů anotovaných v PDiT.

Magdaléna Rysová
Lucie Poláková
Jiří Mírovský
Pavlína Synková


UDPipe 2.0 Prototype at CoNLL 2018 UD Shared Task

Prototype UDPipe 2.0 v CoNLL 2018 UD Shared Task

UDPipe is a trainable pipeline which performs sentence segmentation, tokenization, POS tagging, lemmatization and dependency parsing. We present a prototype for UDPipe 2.0 and evaluate it in the CoNLL 2018 UD Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies, which employs three metrics for submission ranking. Out of 26 participants, the prototype placed first in the MLAS ranking, third in the LAS ranking and third in the BLEX ranking. In extrinsic parser evaluation EPE 2018, the system ranked first in the overall score.

The prototype utilizes an artificial neural network with a single joint model for POS tagging, lemmatization and dependency parsing, and is trained only using the CoNLL-U training data and pretrained word embeddings, contrary to both systems surpassing the prototype in the LAS and BLEX ranking in the shared task.

The open-source code of the prototype is available at http://github.com/CoNLL-UD-2018/UDPipe-Future.

After the shared task, we slightly refined the model architecture, resulting in better performance both in the intrinsic evaluation (corresponding to first, second and second rank in MLAS, LAS and BLEX shared task metrics) and the extrinsic evaluation. The improved models will be available shortly in UDPipe at http://ufal.mff.cuni.cz/udpipe.

UDPipe je trénovatelný nástroj, který provádí segmentaci vět, tokenizaci, morfologické značkování, lemmatizaci a syntaktickou analýzu. Představujeme prototyp UDPipe 2.0 a jeho vyhodnocení v Soutěži CoNLL 2018 UD: Multilingual Parsing from Raw Text to Universal Dependencies, která využívá tři míry pro hodnocení. Z 26 účastníků obsadil prototyp první místo dle míry MLAS, třetí dle míry LAS a třetí dle míry BLEX. V extrinsic hodnocení EPE 2018 se systém umístil na prvním místě v celkovém hodnocení.

Prototyp je založen na neuronovou síťi s jediným společným modelem pro současné morfologické značkování, lemmatizaci a syntaktickou analýzu a je trénován pouze pomocí trénovacích dat CoNLL-U a předtrénovaných slovních embeddingů, na rozdíl od obou systémů, které překonaly tento prototyp v LAS a BLEX mírách.

Open-source zdrojový kód prototypu je k dispozici na adrese http://github.com/CoNLL-UD-2018/UDPipe-Future.

Po soutěží CoNLL 2018 jsme mírně vylepšili modelovou architekturu, což vedlo k lepšímu výkonu jak v intrinsic hodnocení (odpovídající prvnímu, druhému a druhému místu dle metrik MLAS, LAS a BLEX), tak i v extrinsic hodnocení. Vylepšené modely budou brzy k dispozici v UDPipe na adrese http://ufal.mff.cuni.cz/udpipe.


SumeCzech: Large Czech News-Based Summarization Dataset

SumeCzech: Velký český summarizace dataset na základě zpráv

Document summarization is a well-studied NLP task. With the emergence of artificial neural network models, the summarization performance is increasing, as are the requirements on training data. However, only a few datasets are available for Czech, none of them particularly large. Additionally, summarization has been evaluated predominantly on English, with the commonly used ROUGE metric being English-specific. In this paper, we try to address both issues. We present SumeCzech, a Czech news-based summarization dataset. It contains more than a million documents, each consisting of a headline, a several sentences long abstract and a full text. The dataset can be downloaded using the provided scripts available at http://hdl.handle.net/11234/1-2615. We evaluate several summarization baselines on the dataset, including a strong abstractive approach based on Transformer neural network architecture. The evaluation is performed using a language-agnostic variant of ROUGE.

Shrnutí dokumentu je dobře studovaným NLP úkolem. Se vznikem modelů umělé neuronové sítě se zvyšuje souhrnná výkonnost, stejně jako požadavky na výcvikové údaje. Pro Čechy je však k dispozici pouze několik datových souborů, z nichž žádný není zvlášť velký. Kromě toho bylo shrnutí vyhodnoceno převážně na angličtině, přičemž běžně používaná metrika ROUGE je specifická pro angličtinu. V tomto příspěvku se snažíme řešit obě otázky. Představujeme SumeCzech, český datový soubor pro sumarizaci zpráv. Obsahuje více než milion dokumentů, z nichž každá obsahuje nadpis, několik věty dlouhý abstrakt a úplný text. Sadu dat lze stáhnout pomocí dodaných skriptů, které jsou k dispozici na adrese http://hdl.handle.net/11234/1-2615. Vyhodnocujeme několik souhrnných základních dat na množině dat, včetně silného abstrakčního přístupu založeného na architektuře neuronových sítí Transformeru. Hodnocení se provádí jazykově-agnostickou variantou ROUGE.

Milan Straka
Nikita Mediankin
Tom Kocmi
Zdeněk Žabokrtský
Vojtěch Hudeček
Jan Hajič


The Andrew K. Mellon Foundation has funded a project to create a “trust network” between the Language Applications (LAPPS) Grid, a major framework for composing pipelines of natural language processing (NLP) tools, and the WebLicht workflow engine hosted by the CLARIN-D Center in Tuebingen. The project also includes integration of NLP services available from the LINDAT/CLARIN Center in Prague. The goal is to allow users on one side of the bridge to gain appropriately authenticated access to the other and enable seamless communication among tools and resources in both frameworks. The resulting “meta-framework” provides users across the globe with access to an unprecedented array of language processing facilities that cover multiple languages, tasks, and applications, all of which are fully interoperable.

Článek popisuje projekt, který sjednocuje jazykové infrastruktury v USA (LAPPSGrid) a Evropě (Clarin) po stránce workflow a z hlediska přístupu uživatelů z jiné oblasti.

Erhard Hinrichs
Nancy Ide
James Pustejovsky
Jan Hajič
Marie Hinrichs
Mohammad Fazleh Elahi
Keith Suderman
Marc Verhagen
Kyeongmin Rim
Pavel Straňák
Jozef Mišutka


Morphological Resources of Derivational Word-Formation Relations

Morfologické zdroje derivačních slovotvorných vztahů

The report focuses on existing morphological resources containing derivational wordformation relations. For each resource, the report describes history, licence, format, data structure and some other basic statistics to compare. Therefore, it means the first step to review and harmonize these resources in a similar way as it has already been done with resources of syntactic trees.

Zpráva se zaměřuje na existující morfologické zdroje obsahující derivační slovotvorné vztahy. Pro každý zdroj je ve zprávě popsána jeho historie, licence, formát, struktura dat a některé základní statistiky pro porovnání zdrojů. Zpráva představuje první krok v přezkoumání a harmonizaci těchto zdrojů podobným způsobem, jako tomu bylo již učiněno se zdroji syntaktických stromů.


A Morphological Analyzer for Shipibo-Konibo

Morfologický analyzátor jazyka shipibo-konibo

We present a morphological analyzer for Shipibo-Konibo, a low-resourced native language spoken in the Amazonian region of Peru. We resort to the robustness of finite-state systems in order to model the complex morpho-syntax of the language. Evaluation over raw corpora shows promising coverage of grammatical phenomena, limited only by the scarce lexicon. We make this tool freely available so as to aid the production of annotated corpora and impulse further research in native languages of Peru.

Představujeme morfologický analyzátor shipiba-koniba, domorodého jazyka z oblasti peruánské Amazonie. Díky robustnosti konečněstavových systémů můžeme vytvořit model komplexní morfosyntaxe tohoto jazyka. Vyhodnocení na textových korpusech ukazuje slibné pokrytí gramatických jevů, omezením je pouze zatím malý slovník. Nástroj je volně k dispozici pro kohokoliv, čímž chceme podpořit další výzkum peruánských domorodých jazyků.


Morphological Analyzer for Shipibo-Konibo

This tool is the first morphological analyzer ever for this language.
The analyzer is a FST that produces all possible segmentations and tagging sequences in a word-by-word fashion.

Tento nástroj je prvním morfologickým analyzátorem jazyka šipibo-konibo. Je to


Deep Multi-Lingual Cross Sentence Alignment

Hluboké vícejazyčné zarovnání křížových vět

Sentence-aligned parallel bilingual corpora are the main and sometimes the only required resource for training Statistical and Neural Machine Translation systems (SMT, NMT). We propose an end-to-end deep neural architecture for language independent sentence alignment. In addition to one-to-one alignment, our aligner can perform cross- and many-to-many alignment as well. We also present a case study which shows how simple linguistic analysis can improve the performance of a pure neural network significantly. We used three language pairs from Europarl corpus (Koehn, 2005) and an English-Persian corpus (Pilevar et al., 2011) to generate an alignment dataset. Using this dataset, we tested our system individually and in an SMT system. In both settings, we obtained significantly better results compared to an open source baseline.

Paralelní dvojjazyčné korpusy v souladu s větou jsou hlavním a někdy jediným požadovaným zdrojem pro výuku systémů pro překlad statistických a neurálních strojů (SMT, NMT). Navrhujeme koncovou hlubokou neuronovou architekturu pro jazykové nezávislé zarovnání vět. Kromě zarovnání typu "one-to-one" může náš zarovnávač také provádět cross-a many-to-many alignment. Předkládáme také případovou studii, která ukazuje, jak může výrazná jazyková analýza výrazně zlepšit výkon čisté neuronové sítě. V souboru Europarl korpus (Koehn, 2005) a anglicko-perského korpusu (Pilevar et al., 2011) jsme použili tři páry jazyků pro vytvoření souhrnu dat. Pomocí této datové sady jsme testovali náš systém jednotlivě a v systému SMT. V obou nastaveních jsme dosáhli výrazně lepších výsledků ve srovnání s výchozími zdroji open source.


Deep Neural Networks at the Service of Multilingual Parallel Sentence Extraction

Hluboké neuronové sítě při servisu mnohojazyčného extrahování paralelních vět

Wikipedia provides an invaluable source of parallel multilingual data, which are in high demand
for various sorts of linguistic inquiry, including both theoretical and practical studies. We intro-
duce a novel end-to-end neural model for large-scale parallel data harvesting from Wikipedia.
Our model is language-independent, robust, and highly scalable. We use our system for collect-
ing parallel German-English, French-English and Persian-English sentences. Human evaluations
at the end show the strong performance of this model in collecting high-quality parallel data. We
also propose a statistical framework which extends the results of our human evaluation to other
language pairs. Our model also obtained a state-of-the-art result on the German-English dataset
of BUCC 2017 shared task on parallel sentence extraction from comparable corpora.

Wikipedia poskytuje neocenitelný zdroj paralelních vícejazyčných dat, které jsou ve vysoké poptávce pro různé druhy jazykových šetření, včetně teoretických i praktických studií. Zavedeme vede nový end-to-end neuronový model pro rozsáhlé paralelní sběr dat z Wikipedie. Náš model je nezávislý na jazyku, robustní a vysoce škálovatelný. Používáme náš systém pro shromažďování, francouzsko-anglické a perzština-anglické věty. Hodnocení člověka na konci ukazují silný výkon tohoto modelu při shromažďování vysoce kvalitních paralelních dat. My navrhnout také statistický rámec, který rozšiřuje výsledky našeho lidského hodnocení na jiné jazykové páry. Náš model také získal nejmodernější výsledek německo-anglické datové sady ze společného úkolu BUCC 2017 na paralelní extrakci vět z srovnatelných korpusů.


Linguistically-based Deep Unstructured Question Answering

Jazykově založené hluboké nestrukturované dotazování

In this paper, we propose a new linguistically-based approach to answering non-factoid open-domain questions from unstructured data. First, we elaborate on an architecture for textual encoding based on which we introduce a deep end-to-end neural model. This architecture benefits from a bilateral attention mechanism which helps the model to focus on a question and the answer sentence at the same time for phrasal answer extraction. Second, we feed the output of a constituency parser into the model directly and integrate linguistic constituents into the network to help it concentrate on chunks of an answer rather than on its single words for generating more natural output. By optimizing this architecture, we managed to obtain near-to-human-performance results and competitive to a state-of-the-art system on SQuAD and MS-MARCO datasets respectively.

V tomto příspěvku navrhujeme nový jazykově založený přístup k odpovědi na otázky non-factoid otevřené domény z nestrukturovaných dat. Nejprve vypracujeme architekturu pro textové kódování, na jejímž základě zavedeme hluboký neuronový model. Tato architektura využívá mechanismus dvoustranné pozornosti, který pomáhá modelu soustředit se na otázku a větu odpovědi současně na extrakci frázové odpovědi. Za druhé, do modelu předáváme výstup analyzátoru volebních obvodů a integrujeme do sítě síť jazykových složek, abychom se mohli soustředit na kusy odpovědi spíše než na jeho jednotlivé slova pro vytvoření přírodnějšího výstupu. Díky optimalizaci této architektury se nám podařilo získat výsledky z hlediska výkonnosti, které jsou téměř shodné s lidskými parametry, a konkurenceschopné na nejmodernějších systémech datových souborů SQuAD a MS-MARCO.


Building Lexicons of Discourse Connectives

The talk is devoted to the development of dictionaries and lexicons of discourse-relational devices across languages, from the very first ones from 1990ies to the recent ones, including the CzeDLex, the Lexicon of Czech Discourse Connectives.

Přednáška přináší přehled vývoje slovníků textově-spojovacích prostředků napříč jazyky, od prvních z 90. let až po ty nejnovější, včetně projektu CzeDLex, slovníku českých textových konektorů.


Semi-Automatic Construction of Word-Formation Networks (for Polish and Spanish)

Poloautomatická výstavba slovotvorných sítí (pro polštinu a španělštinu)

The paper presents a semi-automatic method for the construction of derivational networks. The proposed approach applies a sequential pattern mining technique in order to construct useful morphological features in an unsupervised manner.  The features take the form of regular expressions and later are used to feed a machine-learned ranking model.  The network is constructed by applying resulting model to sort the lists of possible base words and selecting the most probable ones.  This approach, besides relatively small training set and a lexicon, does not require any additional language resources such as a list of alternations groups, POS tags etc.  The proposed approach is applied to the lexeme sets of two languages, namely Polish and Spanish, which results in the establishment of two novel word-formation networks.  Finally, the network constructed for Polish is merged with the derivational connections extracted from the Polish WordNet and those resulting from the derivational rules developed by a linguist, resulting in the biggest word-formation network for that language. The presented approach is general enough to be adopted for other languages.

Příspěvek představuje poloautomatickou metodu budování derivačních sítí. Metoda byla aplikována na polská a španělská jazyková data.

Mateusz Lango
Magda Ševčíková
Zdeněk Žabokrtský


Neural Monkey: The Current State and Beyond

Neural Monkey is an open-source toolkit for sequence-to-sequence learning. The focus of this paper is to present the current state of the toolkit to the intended audience, which includes students and researchers, both active in the deep learning community and newcomers. For each of these target groups, we describe the most relevant features of the toolkit, including the simple configuration scheme, methods of model inspection that promote useful intuitions, or a modular design for easy prototyping. We summarize relevant contributions to the research community which were made using this toolkit and discuss the characteristics of our toolkit with respect to other existing systems. We conclude with a set of proposals for future development.

Neural Monkey je open-source toolkit pro sequence-to-sequence učení. Článek je zaměřen na prezentaci současného stavu toolkitu cílovým skupinám, mezi které patří studenti a výzkumníci, ať už aktivní v komunitě hlubokého učení či nováčci. Pro každou skupinu popisujeme nejvíce relevantní vlastnosti toolkitu spolu s jednoduchým schématem konfigurace, metodami analýzy modelů, které podporují užitečnou intuici, nebo modulární design umožňující snadné prototypování. Shrnujeme relevantní příspěvky vědecké komunity, které vznikly s využitím tohoto toolkitu a rozebíráme charakteristiky našeho toolkitu s ohledem na ostatní existující systémy. Článek uzavírá nástin budoucího vývoje toolkitu.

Jindřich Helcl
Jindřich Libovický
Tom Kocmi
Tomáš Musil
Ondřej Cífka
Dušan Variš
Ondřej Bojar


This is the Czech version of the Multi30k dataset that is used for WMT competitions in Multimodal Machine Translation. The dataset is based on the Flickr30k dataset with more 30,000 images accompanied by English captions. For the WTM16 and WMT17 German and French translation were added to these captions. For the WTM18 competition, we added also the translation into the Czech language.

Toto je česká verze datasetu Multi30k, který se používá při soutěžích v Multimodálním strojovém překladu. Dataset je založený ja datové sadě Flickr30k, která obsahuje přes 30 tisíc fotografií opatřených anglickými popisky. Pro soutěž na WMT16 a WMT17 byly tyto věty přeloženy do Němčiny a Francozštiny. Pro soutež v roce 2018 jsme obahatili tento dataset také o překlady do českého jazyka.

Jindřich Helcl
Jindřich Libovický
Pavel Pecina


CUNI System for the WMT18 Multimodal Translation Task

Systém Univerzity Karlovy pro úlohu multimodálního strojového překladu na WMT18

We present our submission to the WMT18 Multimodal Translation Task. The main feature of our submission is applying a self-attentive network instead of a recurrent neural network. We evaluate two methods of incorporating the visual features in the model: first, we include the image representation as another input to the network; second, we train the model to predict the visual features and use it as an auxiliary objective. For our submission, we acquired both textual and multimodal additional data. Both of the proposed methods yield significant improvements over recurrent networks and self-attentive textual baselines.

V článku představuje příspěvek do soutěže v multimodálním strjovém překladu na WMT18. V našem systému požíváme self-attentive neuronové sítě místo rekurentních. Evaluujeme dvě metody, jak lze zahrnout vizuální rysy do modelu: v prvním používáme vizuální informaci jako další vstup do dekodéruů v druhé metodě trénujeme enkodér tak, aby predikoval vizuální reprezentaci. Pro náš příspěvek jsem vytěžili dodatečná data. Obě navrhované metody přináší výrazné zlepšení oproti obdobným modelům využívajícím neuronové sítě.

Jindřich Helcl
Jindřich Libovický
Dušan Variš


Artificial intelligence and machine translation

Nowadays, newspapers often write what the artificial intelligence achieved, what other tasks it will master, and when it will conquer the wold. On the example of automatic translation from one language to another, which has recently made great progress due to neural networks, we will explain how neural networks work. We will show how to collect examples of translations on the Internet and how to use them with a neural network can learn how to solve a complex task like translation.

V novinách poslední dobou můžeme číst, co zase kde udělala umělá inteligence, co dokázala, co umí, co bude umět, kolik lidí připraví o práci, kdy ovládne lidstvo a tak podobně. Za většinou těchto zpráv jsou úspěchy, kterých informatika dosáhla v posledních letech pomocí umělých neuronových sítí. Nejedná se však, jak by mohl název napovídat, o simulaci lidského mozku, ale o celkem jednoduché matematické modely, které se kdysi biologickými neurony vzdáleně inspirovaly. Na příkladu automatického překladu z jednoho jazyka do druhého, který právě díky neuronovým sítím dosáhl v poslední době velkého pokroku, si vysvětlíme, jak neuronové sítě fungují. Ukážeme si, jak lze na internetu sbírat příklady překladů a jak se s jejich pomocí neuronová síť dokáže naučit řešit tak komplexní úlohu jako je právě překlad.


Machine Translation Evaluation beyond the Sentence Level

Evaluace strojové překladu přes hranice vět

Automatic machine translation evaluation was crucial for the rapid development of machine translation systems over the last two decades. So far, most attention has been paid to the evaluation metrics that work with text on the sentence level and so did the translation systems. Across-sentence translation quality depends on discourse phenomena that may not manifest at all when staying within sentence boundaries  (e.g. coreference, discourse connectives, verb tense sequence etc.). To tackle this, we propose several document-level MT evaluation metrics: generalizations of sentence-level metrics, language-(pair)-independent versions of lexical cohesion scores and coreference and morphology preservation in the target texts. We measure their agreement with human judgment on a newly created dataset of pairwise paragraph comparisons for four language pairs.

Automatické hodnocení kvality strojního překladu bylo zásadní pro rychlý vývoj systémů strojního překladu v posledních dvou desetiletích. Zatím se věnuje největší pozornost metrikám, které pracují s textem na úrovni vět, protože stejně tak fungují i překladové systémy. Kvalita překladu ale závisí i na diskurzních jevech, které se nemusí vůbec projevit, pokud se nacházejí uvnitř věty (např. koreference, diskurzní konektory, časová souslednost apod.). Navrhneme tedy několik metrik hodnocení strojového překladu na úrovni dokumentů: zobecnění exsitujících metrik a jazykově nezávislé metody měření lexikální soudržnosti a zachování koreference a morfologie zachování v cílovém jazyce. U těchto také měříme shodu s lidským úsudkem na nově vytvořené datové sadě, které obsahuje lidské hodnocení překladu pro čtyři jazykové páry.

Jindřich Libovický
Thomas Brovelli (Meyer)
Bruno Cartoni


Czech image captioning, machine translation, and sentiment analysis (Neural Monkey models)

České popisování obrázků, strojový překlad a rozbor sentimentu (modely pro Neural Monkey)

This submission contains trained end-to-end models for the Neural Monkey toolkit for Czech and English, solving three NLP tasks: machine translation, image captioning, and sentiment analysis.
The models are trained on standard datasets and achieve state-of-the-art or near state-of-the-art performance in the tasks.

Vydali jsme natrénované modely pro nástroj Neural Monkey, které řeší 3 úlohy: strojový překlad, popisování obrázků, a analýzu sentimentu.

Jindřich Libovický
Rudolf Rosa
Jindřich Helcl
Martin Popel


Solving Three Czech NLP Tasks End-to-End with Neural Models

Celkové řešení tří úloh NLP pro češtinu s pomocí neuronových modelů

In this work, we focus on three different NLP tasks: image captioning, machine translation, and sentiment analysis. We reimplement successful approaches of other authors and adapt them to the Czech language. We provide end-to-end architectures that achieve state-of-the-art or nearly state-of-the-art results on all of the tasks within a single sequence learning toolkit. The trained models are available both for download as well as in an online demo.

V této práci se zaměřujeme na tři různé úlohy NLP: popis obrázků, strojový překlad, a rozbor sentimentu. Reimplementujeme úspěšné postupy jiných autorů a přizpůsobujeme je českému jazyku. Nabízíme end-to-end architektury, které dosahují nejlepších či téměř nejlepších výsledků známých pro tyto úlohy, přičemž všechny jsou implementovány ve stejném nástroji pro sekvenční učení. Natrénované modely jsou k dispozici jak ke stažení, tak v podobě online dema.


Multimodal Abstractive Summarization for Open-Domain Videos

Multimodální abstraktivní sumarizace videí bez doménového omezení

Multimodal and abstractive summarization of open-domain videos requires summarizing the contents of an entire video in a few short sentences, while fusing information from multiple modalities, in our case video and audio (or text). Different from traditional news summarization, the goal is less to “compress” text information only, but to provide a fluent textual summary of information that has been collected and fused from different source modalities. In this paper, we introduce the task of abstractive summarization for open-domain videos, we show how a sequence-to-sequence model with hierarchical attention can integrate information from different modalities into a coherent output, and present pilot experiments on the How2 corpus of instructional videos. We also present a new evaluation metric for this task called Content F1 that measures semantic adequacy rather than fluency of the summaries, which is covered by ROUGE and BLEU like metrics.

Multimodální a abstraktní sumarizace videí bez doménového omezení vyžaduje shrnutí obsahu celého videa v několika krátkých větách a zároveň sloučení informací z více modalit, v našem případě videa a zvuku (nebo textu). Na rozdíl od obvyklé sumarizace žurnalistických textů není cílem pouze „komprimovat“ textové informace, ale poskytnout plynulé textové shrnutí informací, které byly shromážděny z různých vstupních modalit. V tomto příspěvku představujeme úlohu abstraktní sumarizace pro videa bez doménového omezení, ukazujeme, jak může model sekvenčního učení s hierarchickým mechanismem pozorností integrovat informace z různých modalit do uceleného výstupu. Dále prezentujeme pilotní experimenty na How2 korpusu instruktážních videí. Představujeme také novou evaluační metriku pro sumarizaci nazvanou Content F1, která měří spíše sémantickou přiměřenost než plynulost abstraktů, narozdíl od metrik jako jsou ROUGE a BLEU.

Jindřich Libovický
Shruti Palaskar
Spandana Gella
Florian Metze


End-to-End Non-Autoregressive Neural Machine Translation with Connectionist Temporal Classification

Neautoregresivní neuronový strojový překlad pomocí konekcionistitické temporální klasifikace trénovaný bez mezikroků

Autoregressive decoding is the only part of sequence-to-sequence models that prevents them from massive parallelization at inference time. Non-autoregressive models enable the decoder to generate all output symbols independently in parallel. We present a novel non-autoregressive architecture based on connectionist temporal classification and evaluate it on the task of neural machine translation. Unlike other non-autoregressive methods which operate in several steps, our model can be trained end-to-end. We conduct experiments on the WMT English-Romanian and English-German datasets. Our models achieve a significant speedup over the autoregressive models, keeping the  translation quality comparable to other non-autoregressive models.

Autoregresivní dekódování je jedinou součástí převádějících sekvence na sekvence, která bráňí masivní paralelizaci při inferenci. Neautoregresivní modely umožňují dekodéru generovat všechny výstupní symboly nezávisle a tedy paralelně. V článku představujeme novou neautoregresivní architekturu založenou na konekcionistické temporální klasifikaci (CTC). Na rozdíl od jiných neautoregresivních metod, které je nutné trénovat v několika krocích, představovaný systém se trénuje monoliticky. Experimentuje se strojovým překladem mezi angličinou a rumunštionou a angličtinou němčinou na standardních testovacích datech z WMT. Naše modely dosahují výrazného zrychlení oproti autoregresivním modelům, přičemž kvalita překladu je srovnatelná s jinými neautoregresivními modely.


Input Combination Strategies for Multi-Source Transformer Decoder

Strategie kombinování více vstupů v dekodéru modelu Transformer

In multi-source sequence-to-sequence tasks, the attention mechanism can be modeled in several ways. This topic has been thoroughly studied on recurrent architectures. In this paper, we extend the previous work to the encoder-decoder attention in the Transformer architecture. We propose four different input combination strategies for the encoder-decoder
attention: serial, parallel, flat, and hierarchical. We evaluate our methods on tasks of multimodal translation and translation with
multiple source languages. The experiments show that the models are able to use multiple sources and improve over single source baselines.

Při sekvenčním učením s více zrdoje informace, může být mechanismus pozornosti (attention) modelován různými způsoby. Toto téma bylo důkladně studováno na rekurentních neurnovoých sítích. V tomto článku se zabýváme tímto problém v architektuře Transormer. Navrhujeme čtyři různé strategie kombinace vstupů: sériové, paralelní, ploché a hierarchické. Navrhované metody vyhodnocujeme na úloze multimodálního překladu a překladu z více zdrojových jazyků současně. Z  výsledků experimentů vyplývá, že modely jsou schopny využívat více zdrojů a fungovat lépe než modely s pouze jedním zdrojem informace.

Jindřich Libovický
Jindřich Helcl
David Mareček


CUNI Transformer Neural MT System for WMT18

CUNI Transformer - neuronový strojový překladač pro WMT18

We describe our NMT system submitted to
the WMT2018 shared task in news translation.
Our system is based on the Transformer model
(Vaswani et al., 2017). We use an improved
technique of backtranslation, where we iterate
the process of translating monolingual data in
one direction and training an NMT model for
the opposite direction using synthetic parallel
data. We apply a simple but effective filtering
of the synthetic data. We pre-process the input
sentences using coreference resolution in order
to disambiguate the gender of pro-dropped
personal pronouns. Finally, we apply two simple
post-processing substitutions on the translated output.
Our system is significantly (p < 0.05) better than all other English-Czech and Czech-English systems in WMT2018.

Popisujeme náš neuronový překladač zaslaný do soutěže v překladu zpráv WMT2018. Náš systém je založen na modelu Transformer (Vaswani et al., 2017). Používáme vylepšenou techniku zpětného překladu, kdy opakujeme proces překládání jednojazyčných dat jedním směrem a trénujeme model pro opačný směr pomocí syntetických paralelních dat. Aplikujeme jednoduché, ale účinné filtrování syntetických dat.
Na vstupní věty aplikujeme rozpoznávač koreference za účelem doplnění vypuštěných osobních zájmen. Na přeložený výstup aplikujeme dvě jednoduché substituce.
Náš systém je výrazně (p < 0,05) lepší než všechny ostatní anglicko-české a česko-anglické systémy ve WMT2018.


Machine Translation Using Syntactic Analysis

Strojový překlad s využitím syntaktické analýzy

This thesis describes our improvement of machine translation (MT),
with a special focus on the English-Czech language pair, but using techniques
applicable also to other languages. First, we present multiple improvements
of the deep-syntactic system TectoMT. For instance, we implemented a novel
context-sensitive translation model, comparing several machine learning approaches.
We also adapted TectoMT to other domains and languages. Second,
we present Transformer – a state-of-the-art end-to-end neural MT system. We
analyzed in detail the effect of several training hyper-parameters. With our
optimized training, the system outperformed the best result on the WMT2017
test set by +1.0 BLEU. We further extended this system by utilization of monolingual
training data and by a new type of backtranslation (+2.8 BLEU compared
to the baseline system). In addition, we leveraged domain adaptation and the
effect of “translationese” (i.e which language in parallel data is the original
and which is the translation) to optimize MT systems for original-language and
translated-language data (gaining further +0.2 BLEU). Our improved neural MT
system significantly (p<0.05) outperformed all other systems in English-Czech
and Czech-English WMT2018 shared tasks, in terms of both automatic and
manual evaluation. It was even significantly better than the human reference
translation according to the manual evaluation.

Tato práce popisuje zlepšení anglicko-českého a česko-anglického strojového překladu
pomocí metod, které lze použít i na další jazyky.
V první části je popsáno několik zlepšení hloubkově-syntaktického překladače TectoMT,
například rozšíření pro další jazyky a domény
nebo implementace nového typu překladových modelů využívajících kontext a různé metody strojového učení.
V druhé části je popsán neuronový překladač Transformer a jeho vylepšení.
Po detailní analýze vlivu různých hyperparametrů,
bylo optimalizováno trénování systému tak, že dosáhl o 1.0 BLEU lepšího překladu
než nejlepší systém v soutěži WMT2017.
Využitím jednojazyčných dat cílového jazyka pomocí nového typu zpětného překladu
bylo dosaženo dalšího zlepšení kvality překladu o 2.8 BLEU.
Využitím doménové adaptace zohledňující překladštinu (translationese)
-- tedy zohledněním toho, zda paralelní data jsou původně psána česky, nebo anglicky --
byl výsledný systém vylepšen o dalších 0.2 BLEU.
Tento výsledný neuronový překladač byl signifikantně lepší (p<0.05)
než všechny ostatní anglicko-české a česko-anglické překladače v soutěži WMT2018.
Podle výsledků ručního hodnocení byla kvalita tohoto strojového překladu dokonce vyšší
než kvalita lidského referenčního překladu.


Machine translation and artificial inteligence

A popular lecture for high-school students about the research done at ÚFAL: natural language processing, machine translation, artificial intelligence.

Popularizační přednáška pro studenty gymnázia o tom, čím se zabývá ÚFAL: zpracování přirozeného jazyka, strojový překlad, umělá inteligence.


This article describes our experiments in neural machine translation using the recent Tensor2Tensor
framework and the Transformer sequence-to-sequence model (Vaswani et al., 2017).
We examine some of the critical parameters that affect the final translation quality, memory
usage, training stability and training time, concluding each experiment with a set of recommendations
for fellow researchers. In addition to confirming the general mantra “more data
and larger models”, we address scaling to multiple GPUs and provide practical tips for improved
training regarding batch size, learning rate, warmup steps, maximum sentence length
and checkpoint averaging. We hope that our observations will allow others to get better results
given their particular hardware and data constraints.

Tento článek popisuje naše experimenty s neuronovým strojovým překladem pomocí frameworku Tensor2Tensoru a modelu Transformer (Vaswani a kol., 2017).
Zkoumáme některé kritické parametry, které ovlivňují kvalitu překladu, paměťovou náročnost, stabilitu trénování a délku trénování. Každý experiment uzavíráme souborem doporučení. Krom jiného zkoumáme škálování na více GPU a poskytujeme praktické tipy pro vylepšené trénování týkající se velikosti dávky, rychlosti učení, počtu zahřívacích kroků, maximální délky věty a průměrování modelů. Doufáme, že naše pozorování umožní ostatním výzkumníkům dosáhnout lepších výsledků vzhledem k jejich specifickým hardwarovým a datovým omezením.


Improving a Neural-based Tagger for Multiword Expression Identification

Vylepšení neuronového taggeru pro identifikaci víceslovných výrazů

In this paper, we present a set of improvements introduced to MUMULS, a tagger for the automatic detection of verbal multiword expressions. Our tagger participated in the PARSEME shared task and it was the only one based on neural networks. We show that character-level embeddings can improve the performance, mainly by reducing the out-of-vocabulary rate. Furthermore, replacing the softmax layer in the decoder by a conditional random field classifier brings additional improvements. Finally, we compare different context-aware feature representations of input tokens using various encoder architectures. The experiments on Czech show that the combination of character-level embeddings using a convolutional network, self-attentive encoding layer over the word representations and an output conditional random field classifier yields the best empirical results.

V článku prezentujeme sadu vylepšení taggeru pro automatickou detekci slovesných víceslovných výrazů, MUMULS. Náš tagger se zúčastnil PARSEME shared tasku a jako jediný byl založen na neuronových sítích. Ukazujeme, že embeddingy slov na základě jejich znaků vedou k zlepšením, především díky redukci množství out-of-vocabulary slov. Dále nahrazením softmaxové vrstvy v dekodéru klasifikátorem založeným na conditional random fields dosahujeme dalšího zlepšení. Na závěr porovnáváme různé druhy reprezentací příznaků zohledňující okolní kontext slova za pomocí různých architektur enkodérů. Experimenty s češtinou ukazují, že kombinace embeddingů založených na konvoluci jednotlivých znaků, self-attentive architektura enkodéru a conditional random filed klasifikátor dosahují nejlepších empirických výsledků.


Assessment of Essays in Terms of Text Coherence

Hodnocení písemných prací z hlediska koherence textu

The presentation described cohesive means appearing in texts written by learners of Czech.

Příspěvěk se zabýval popisem kohezních prostředků vyskytujících se v textech psaných nerodilými mluvčími češtiny.


Possibilities of Text Coherence Analysis in the Prague Dependency Treebank

Možnosti analýzy koherence textu v Pražském závislostním korpusu

The aim of the paper is to examine the interplay of text coreference and sentence
information structure and its role in text coherence.

Cílem příspěvku je výzkum provázanosti textové koreference a aktuálního členění větného a jejich podíl na koherenci textu.


43rd Year of the Olympiad in Czech Language Has Finished

Proběhl 43. ročník Olympiády v českém jazyce

This article summarizes the course of the 43rd year of the Olympiad in the Czech language, presenting in brief its general settings as well as the tasks, their solutions, the approaches of the participants (jointly with their evaluation) and the names of winners.

Článek shrnuje průběh 43. ročníku Olympiády v českém jazyce a stručně představuje zadané jazykové úkoly, jejich řešení, přístupy účastníků k úkolům (společně s hodnocením) a jména vítězů.


Introducing EVALD  – Software Applications for Automatic Evaluation of Discourse in Czech

Představujeme EVALD – softwarové aplikace pro automatické hodnocení textu v češtině

In  the  paper, we  introduce  two  software applications  for  automatic  evaluation  of coherence in Czech texts called EVALD – Evaluator  of  Discourse.  The  first  one – EVALD 1.0 – evaluates texts  written by native  speakers  of  Czech on a  five - step scale  commonly  used  at  Czech  schools (grade 1 is the best, grade 5 is the worst). The second application is EVALD
1.0 for Foreigners  assessing  texts  by  non-native speakers  of  Czech  using  six - step  scale (A1–C2) according to CEFR. Both applications are available online at https://lindat.mff.cuni.cz/services/evald-foreign/.

V příspěvku představujeme dvě softwarové aplikace na automatické hodnocení koherence textu v češtině s názvem EVALD – Evaluátor diskurzu. První aplikace "EVALD 1.0" hodnotí texty psané rodilými mluvčími češtiny (hodnotící škálou užívanou v českých školách: 1–5). Druhá aplikace "EVALD 1.0 pro cizince" hodnotí texty nerodilých mluvčích češtiny (na škále A1–C2 podle "Společného evropského referenčního rámce"). Obě aplikace jsou dostupné online na https://lindat.mff.cuni.cz/services/evald-foreign/.

Kateřina Rysová
Magdaléna Rysová
Jiří Mírovský
Michal Novák


The dictionary of affixes presents not only prefixes and sufixes but also many word-parts of compound words.

Slovník afixů zpracovává předpony (prefixy) a přípony (sufixy), představuje však i četné části složených slov, jimž se někdy přiznává blízkost afixům. Je to tedy kompendium popisující všechny důležité odvozovací prvky slov užívaných v současných českých textech – včetně slov přejatých. Netradiční pohled na tvoření slov od afixů dává trochu odlišný obraz než běžný směr od derivátů: do ohniska pozornosti se leckdy dostanou doklady z různých příčin opomíjené. Výhodou je i korpus jako zdroj dat: materiál je dostatečně reprezentativní a poskytuje vesměs spolehlivý základ pro odborné závěry. Pomocí slovníku je možné studovat systém afixů v závislosti na jejich frekvenci či produktivitě. Lze z něho vyjít při řešení otázek synonymie afixů, návaznosti na povahu základu a mnoha dalších jevů.

Josef Šimandl
Jana Klímová
Klára Osolsobě
François Esvan
František Štícha
Renata Novotná


The study introduces latest research findings from the area of machine processing of Czech emotional language data. First, it provides an analysis of language means which together form an emotional meaning of written utterances in Czech. Second, it employs the findings concerning emotional language in computational applications.

The author provides a systematic overview of lexical, morphosyntactic, semantic and pragmatic aspects of emotional meaning in Czech utterances. Also, she proposes two formal representations of emotional structures within the framework of the Prague Dependency Treebank and Construction Grammar.

Regarding the computational applications, the study focuses on sentiment analysis, i.e. automatic extraction of emotions from text. It describes a creation of manually annotated emotional data resources in Czech and performs main sentiment analysis tasks, such as e.g. polarity classification and opinion target identification on Czech data, employing the up-to-date methods of natural language processing.

Kniha přináší nejnovější poznatky z oblasti strojového zpracování českých emocionálně laděných textů. Za prvé přináší analýzu jazykových prostředků, které společně formují emocionální význam psaných výpovědí v češtině. Za druhé využívá zjištění týkající se emocionálního jazyka v komputačních aplikacích.

Autorka podává systematický přehled lexikálních, morfosyntaktických, sémantických a pragmatických aspektů emocionálního významu v českých výpovědích a navrhuje formální reprezentaci emocionálních struktur v rámci Pražského závislostního korpusu a konstrukční gramatiky.

V oblasti komputačních aplikací se zaměřuje na témata sentiment analysis, tedy automatické extrakce emocí z textu. Popisuje tvorbu ručně anotovaných emocionálních zdrojů dat a řeší základní úlohy postojové analýzy, jako je např. klasifikace polarity a identifikace cíle hodnocení, a to za využití nejnovějších metod z oblasti automatického zpracování přirozeného jazyka.