Delimiting Adverbial Meanings. A corpus-based comparative study on Czech spatial prepositions and their English equivalents

Vydělování adverbiálních významů. Na korpusu založená srovnávací studie věnovaná českým předložkám vyjadřujícím prostorové významy a jejich anglickým ekvivalentům

The data of the Prague Czech-English Dependency Treebank (a member of the family of Prague Dependency Treebanks) have served as a basis for the comparative study of delimiting adverbial meanings of the local relation “within the given place”. The Czech prepositional groups containing the prepositions v, na, and u with the above meaning are compared with their English equivalents, using a more subtle differentiation into three semantic subgroups of "inside", "on the surface" and "at the given place". Our analysis confirms that though every language structures the reality in a different way, certain tendencies may be observed in the relation of the forms and their functions that eventually result in a more detailed classification. The contribution presents results of an ongoing work.

Data Pražského česko-anglického závislostního korpusu (Prague Czech-English Dependency Treebank, PCEDT) posloužila jako materiál pro srovnávací studii věnovanou vydělování adverbiálních významů místního určení "v rámci daného místa". České předložkové skupiny obsahující předložky v, na a u vyjadřující výše uvedené místní určení byly srovnány s jejich anglickými ekvivalenty a byly dále rozděleny do tří sémantických podskupin, konkrétně "uvnitř", "na povrchu" a "v daném místě". Naše analýza potvrdila, že přestože oba jazyky strukturují realitu jiným způsobem, lze vypozorovat určité tendence ve vztahu forem a jejich funkcí, které vedou k jemnější klasifikaci daných adverbiálních významů. Jedná se o studii popisující aktuálně probíhající výzkum.

Marie Mikulová
Veronika Kolářová
Jarmila Panevová
Eva Hajičová


Aggregates and Variants in two Czech morphological approaches

Agregáty a varianty ve dvou českých morfologických projektech

There exist several morphological dictionaries
for Czech. They differ only in solutions of complicated morphological features. Various attempts have been made to unify their approaches, but only some of them were implemented. The paper deals with several such features and compares their solutions taken in two different projects,
namely preparation of the new edition of PDT (Prague Dependency Treebank) and NovaMorf. The features presented in this paper are: aggregates (the word-forms without a clear part of speech, e.g. užs, oč, naň), and variants – inflectional (more wordforms for a particular combination of lemma and morphological tag) as well as global ones (mainly orthographic variants expressed in all wordforms of a paradigm).

Existuje několik morfologických slovníků pro češtinu. Liší se pouze řešením komplikovaných morfologických rysů. Byly učiněny různé pokusy o sjednocení jejich přístupů, ale jen některé z nich byly realizovány. Dokument se zabývá několika takovými rysy a porovnává jejich řešení přijatá ve dvou různých projektech, konkrétně příprava nového vydání PDT (Prague Dependency Treebank) a NovaMorf. Charakteristickými rysy prezentovanými v tomto dokumentu jsou: agregáty (slovní formy bez jasné části řeči, např. užs, oč, naň) a varianty - flektivní (více slovní formy pro konkrétní kombinaci lemmy a morfologické značky) i globální (zejména ortografické varianty vyjádřené ve všech slovních formách paradigmatu).


Modifications of the Czech morphological dictionary for consistent corpus annotation

Změny v českém morfologickém slovníku za účelem konzistentní anotace korpusu

We describe systematic changes that have been made to the Czech morphological dictionary related to annotating new data within the project of Prague Dependency Treebank (PDT). We bring new solutions to several complicated morphological features that occur in Czech texts. We introduced two new parts of speech, namely foreign word and segment. We adopted new principles for morphological analysis of global and inflectional variants, homonymous lemmas, abbreviations and aggregates. The changes were initiated by the need of consistency between the data and the dictionary and of the dictionary itself.

V článku jsou popsány systematické změny, které jsou realizovány v českém morfologickém slovníku v souvislosti s anotací nových dat v Pražských závislostních korpusech. Přináší řešení několika komplikovaných morfologických jevů, které se objevují v českých textech. Představeny jsou dva nové slovní druhy: cizí slovo a segment. Popisují se pravidla pro reprezentaci variantních a homonymních tvarů a slov (lemmat), pravidla pro zachycení zkratek a tzv. agregátů (např. naň). Změny ve slovníku jsou prováděny za účelem vyšší konzistence mezi daty a slovníkem a  v slovníku samotném.

Jaroslava Hlaváčová
Marie Mikulová
Barbora Štěpánková
Jan Hajič


Stylometry in Literary Translation via Universal Dependencies: Finally Breaking the Language Barrier?

Stylometrie v literárním překladu s pomocí Universal Dependencies: prolomíme jazykovou bariéru?

The method of stylometry by most frequent words does not allow direct comparison of original texts and their translations, i.e. across languages. We have tried to remove this language barrier for direct stylometric comparison of literary translation by replacing the text  tokens  with  the  cross-lingual  morphological  tags  provided  by  the  Universal Dependencies scheme (http://universaldependencies.org). We have prepared a collection of approximately 50 texts in Czech and German: it contained Czech originals and their German translations; German originals and their Czech translations; and works originally written  in  English,  French  or  Russian,  but  only  in  Czech  and  German  translations.  We converted  the  texts  into sequences  of  tags  using  the  UD-Pipe  parser.  The  output  was  a CONLL-u  table  (one  token  per  line,  different  types  of  linguistic  markup  in  columns: token,   lemma,   coarse   part-of-speech   tag,   fine-grained   morphological   features, dependency relation to the governing node, ID of the governing node).The   coarse   part-of-speech   (POS)   tags   are   called   UPOS   and   the   fine-grained morphological features are called FEATS. The dependency relations are called DEPREL. While  the  UPOS  are  truly  universal,  the  inventory  of  relevant  FEATS  is  language-dependent. For instance, a language that does not use noun definiteness does not use the `Definite` feature with its values `Def` and `Indef`. Since the FEATS inventories of Czech and  German  differ,  we  have  stripped  feature  attributes  and  values  specific  to  either language, keeping only features and values shared by both languages.
As a next step, we replaced the original lemmas with a ``FLEMMA'', i.e. a "fake lemma". FLEMMA is a cross-lingual lemma for the German-Czech pair. We designed it as a numerical ID. Weobtained a glossary of FLEMMAS drawing on a Czech-German glossary (Škrabal and Vavřín 2017) that was  automatically  generated  from the multilingal parallel  corpus  InterCorp (Rosen 2016). We counted various  combinations of tags obtained for the four parsinglevels according the the usual Delta procedure (Burrows 2002). Each tagging string was treated as a single element (the counterpart of word-types in traditional stylometric analysis by most frequent words), and their frequencies were counted in the texts in the corpus and compared in text pairs to produce a matrix of distance measures; in this study, the distances were established by means of the modified Cosine Delta (Smith and Aldridge 2011), which is now seen as the most reliable version (Evert et al. 2017). The function classify() in the stylo package (Eder et al. 2016) for R (R Core Team 2016) was used to try to assess authorship attribution success when its reference set contained texts in one language and the test set contained texts in the other. Attribution success was counted whenever the Delta value for the pair of the translations of the same text was lowest.The most successful combination for authorship attribution was FLEMMAS + UPOS (95.6%), while FLEMMAS alone achieved only (3.7%), and so did UPOS alone. This shows that even a very crude word-to-word translation (polysemy neglected), along with the coarse part of speech, helps bypass the language barrier. Another interesting finding is the seemingly modest 20.3% success rate for attribution by the combination UPOS + FEATS + DEPREL. This is, after all, much more than a coin toss for such a number of texts. More importantly, guessing was consistently successful for the same pairs of texts, suggesting that these particular pairs might be easier to guess. This, in turn, might indicate that the translations in these case applied strategies resulting in grammatical and syntactic structures somehow similar to the original, a phenomenon oftenobserved in word-for-word translation, or, more generally, in translations aiming for the so-called “formal equivalence” (Nida 1964).This work was funded by LTC18020.

Připomenutí od Googlu ohledně ochrany soukromíPřečíst nyníPřečtu si je později

4027/5000
Metoda stylometrie nejčastějšími slovy neumožňuje přímé srovnání původních textů a jejich překladů, tj. Napříč jazyky. Pokusili jsme se odstranit tuto jazykovou bariéru pro přímé stylometrické srovnání literárního překladu tím, že jsme textové tokeny nahradili křížovými lingválními morfologickými značkami poskytovanými v rámci programu Universal Dependencies (http://universaldependencies.org). Připravili jsme sbírku přibližně 50 textů v češtině a němčině: obsahovala české originály a jejich německé překlady; Německé originály a jejich české překlady; a díla původně psaná v angličtině, francouzštině nebo ruštině, ale pouze v českých a německých překladech. Pomocí analyzátoru UD-Pipe jsme převedli texty na sekvence značek. Výstupem byla tabulka CONLL-u (jeden token na řádek, různé typy jazykových značek ve sloupcích: token, lemma, hrubý tag části řeči, jemnozrnné morfologické znaky, závislost na řídícím uzlu, ID řídící uzel). Hrubé tagy pro část řeči (POS) se nazývají UPOS a jemnozrnné morfologické znaky se nazývají FEATS. Závislostní vztahy se nazývají DEPREL. Zatímco UPOS jsou skutečně univerzální, soupis příslušných funkcí je závislý na jazyce. Například jazyk, který nepoužívá definitivitu substantiva, nepoužívá funkci `Definitivní 's hodnotami` Def` a `Indef`. Protože se české a německé soupisy FEATS liší, odstranili jsme atributy funkcí a hodnoty specifické pro oba jazyky, přičemž zachovali pouze funkce a hodnoty sdílené oběma jazyky.
V dalším kroku jsme původní lemma nahradili `` FLEMMA '', tj. "Falešné lemma". FLEMMA je mezikulturní lemma pro německo-český pár. Navrhli jsme to jako číselné ID. Získali jsme glosář FLEMMAS, který čerpal z česko-německého glosáře (Škrabal a Vavřín 2017), který byl automaticky generován z vícejazyčného paralelního korpusu InterCorp (Rosen 2016). Počítali jsme různé kombinace značek získaných pro čtyři úrovně parsingu podle obvyklého postupu Delta (Burrows 2002). Každý značkovací řetězec byl považován za jediný prvek (protějšek typů slov v tradiční stylometrické analýze podle nejčastějších slov) a jejich frekvence byly spočteny v textech v korpusu a porovnány v textových párech za účelem vytvoření matice měr vzdálenosti; v této studii byly vzdálenosti stanoveny pomocí modifikované Cosine Delta (Smith and Aldridge 2011), která je nyní považována za nejspolehlivější verzi (Evert et al. 2017). Funkce classify () v balíčku stylů (Eder et al. 2016) pro R (R Core Team 2016) byla použita k pokusu o posouzení úspěšnosti přiřazení autorství, když její referenční sada obsahovala texty v jednom jazyce a testovací sada obsahovala texty v jiný. Úspěch přiřazení byl počítán vždy, když byla hodnota Delta pro dvojici překladů stejného textu nejnižší. Nejúspěšnější kombinací pro přiřazování autorství byl FLEMMAS + UPOS (95,6%), zatímco samotný FLEMMAS dosáhl pouze (3,7%) a stejně tak UPOS sám. To ukazuje, že i velmi hrubý překlad ze slova na slovo (polysemy zanedbaný), spolu s hrubou částí řeči, pomáhá obejít jazykovou bariéru. Dalším zajímavým nálezem je zdánlivě skromná 20,3% úspěšnost pro přiřazení kombinací UPOS + FEATS + DEPREL. To je konec konců mnohem víc než jen hod pro mince pro takový počet textů. Ještě důležitější je, že hádání bylo pro stejné dvojice textů trvale úspěšné, což naznačuje, že tyto konkrétní dvojice by bylo snadnější uhodnout. To by zase mohlo naznačovat, že překlady v těchto případech aplikovaly strategie vedoucí k gramatickým a syntaktickým strukturám podobným původnímu, jevu často pozorovanému v překladu slovo za slovem, nebo obecněji v překladech zaměřených na tzv. nazývána „formální rovnocennost“ (Nida 1964). Tato práce byla financována z LTC18020.
Odeslat zpětnou vazbu
Historie
Uloženo
Komunita


Evaluation of taggers for 19th-century fiction

Evaluace taggerů pro beletrii z 19. století

We  evaluate  a  selection  of  currently  available  taggers  on  fiction  texts  from  the  19th century. The texts belong to the ELTeC collection created and maintained by the WG1 team of the COST project CA16204 "Distant Reading for European Literary History". It is  a  multilingual  collection  of  19th-century  fiction  in  the  following  languages:  Czech, English,  French,  German,  Hungarian,  Italian,  Norwegian  (both  varieties),  Portuguese, Serbian, and Slovene (with new languages being added). Each language is represented by at least 20 novels in the TEI format.We have evaluated the taggers for the following languages:Czech,  English,  French,  We evaluate a selection of currently available taggers on fiction texts from the 19th century. The texts belong to the ELTeC collection created and maintained by the WG1 team of the COST project CA16204 "Distant Reading for European Literary History". It is a multilingual collection of 19th-century fiction in the following languages: Czech, English, French, German, Hungarian, Italian, Norwegian (both varieties), Portuguese, Serbian, and Slovene (with new languages being added). Each language is represented by at least 20 novels in the TEI format.
We have evaluated the taggers for the following languages:
Czech, English, French, German, Hungarian, Norwegian-Nynorsk, Portuguese, and Slovene. We have tagged them all with the UD-Pipe tagger. On top of that, Hungarian was also tagged with e-magyar. We have selected UD-Pipe because of the appealing cross-lingual markup and uniform model building for all languages. It was known before that the Hungarian model is very small and that the Hungarian tagging is poor. Therefore we have also evaluated e-magyar, the best tagger currently available for Hungarian
The annotation scheme of UD-Pipe
The UD-Pipe tagger and parser draws on Universal Dependencies (universaldependencies.org), henceforth UD. UD is a cross-lingual annotation scheme for morphology and syntax. At the moment, more than 70 languages have their own UD treebank to train a parser on. The categories that UD-Pipe annotates are: lemma, coarse part of speech (e.g. VERB), universal features (e.g. Plural, Past Tense), and syntactic dependency relations (e.g. Subject, Predicate).
The procedure
We have selected a random sample for a manual tagging correction in each language. Each sample comprised approximately 5,000 tokens in entire sentences. The sentences had been extracted from ELTeC across all documents in each language and tagged in the CONLL-u format: one token per line, columns: token, lemma, universal POS, universal features. The annotators performed the annotation in a spreadsheet, in four additional columns for tokenization, lemma, POS, and features, respectively. In the first three columns, they were to indicate the corresponding error type(s) with an "F". In the fourth column, the annotators were to type the number of incorrectly recognized linguistic features.
Hence, the annotation captures four different error types for each token. The number of feature errors measures only the precision, not the recall, of the tagger. This is because the morphological annotation is rather complex and it would have been too time- and resource-consuming to train a fully competent morphological annotator for each language, who would have been able to correct the automatical tagger output to a new gold standard.
We have produced descriptive and explorative statistics and visualizations for each language to compare the performance of UD-Pipe among languages and to analyze the errors. As a second step, we have compared the vocabulary of the individual samples to the vocabulary of the referential treebanks of the respective languages to find out how much the domain of the 19th-century fiction differs from the domain of the referential treebank. We have manually classified the tokens specific to the 19-century samples into the following categories: Foreign word/heavy dialect, archaic spelling/morphology, morphological ambiguity, archaic tokenization, typo, proper noun. The annotator was allowed to leave a cell blank when none of the labels matched. The category labels could also be deliberately combined.
Based on both annotations, we are able to tell, for each language, where the tagger has most problems (POS, lemmatization? Tokenization? Features?) and with which words (how much is archaic spelling associated with lemmatization performance?). The ability of the tagger to "guess" unknown words differs in each language. With this double annotation, we are able to start a collaboration with UD-Pipe developers on a possible domain adaptation for selected languages and build reliable models to tag 19-th century fiction.
This work was funded by LTC18020.

Vyhodnocujeme výběr aktuálně dostupných značkovačů na beletristických textech z 19. století. Texty patří do sbírky ELTeC vytvořené a udržované týmem WG1 projektu COST CA16204 „Vzdálené čtení pro evropskou literární historii“. Jedná se o mnohojazyčnou sbírku beletrie 19. století v následujících jazycích: čeština, angličtina, francouzština, němčina, maďarština, italština, norština (obě odrůdy), portugalština, srbština a slovinština (s novými jazyky). Každý jazyk je zastoupen nejméně 20 romány ve formátu TEI.
Hodnotili jsme značkovače pro následující jazyky:
Česky, anglicky, francouzsky, německy, maďarsky, norsky-nynorsk, portugalsky a slovinsky. Všechny jsme označili štítkem UD-Pipe. Kromě toho byla maďarština označena také e-magyar. UD-Pipe jsme vybrali kvůli přitažlivé křížové jazykové značce a jednotné tvorbě modelů pro všechny jazyky. Již dříve bylo známo, že maďarský model je velmi malý a že maďarské značkování je špatné. Proto jsme také vyhodnotili e-magyar, nejlepší značkovač v současnosti dostupný pro maďarštinu
Schéma anotací UD-Pipe
Značkovač a analyzátor UD-Pipe čerpá z Universal Dependencies (universaldependencies.org), dále od UD. UD je schéma vícejazyčných anotací pro morfologii a syntaxi. V současné době má více než 70 jazyků vlastní UD stromovou banku, na které lze trénovat syntaktický analyzátor. Kategorie, které anotují UD-Pipe, jsou: lemma, hrubá část řeči (např. VERB), univerzální rysy (např. Množné číslo, minulé napětí) a vztahy syntaktické závislosti (např. Předmět, predikát).
Postup
Vybrali jsme náhodný vzorek pro ruční opravu značkování v každém jazyce. Každý vzorek obsahoval přibližně 5 000 žetonů v celých větách. Věty byly extrahovány z ELTeC napříč všemi dokumenty v každém jazyce a označeny ve formátu CONLL-u: jeden token na řádek, sloupce: token, lemma, univerzální POS, univerzální funkce. Anotace provedla anotaci v tabulce ve čtyřech dalších sloupcích pro tokenizaci, lemma, POS a funkce. V prvních třech sloupcích měly označovat odpovídající typ chyby s písmenem „F“. Ve čtvrtém sloupci měli anotátoři zadat počet nesprávně rozpoznaných jazykových prvků.
Proto anotace zachycuje čtyři různé typy chyb pro každý token. Počet chyb funkcí měří pouze přesnost, nikoli stažení, značkovače. Je to proto, že morfologická anotace je poněkud složitá a bylo by příliš náročné na čas a zdroje na to, aby bylo možné vyškolit plně kompetentního morfologického anotátora pro každý jazyk, který by byl schopen korigovat výstup automatického značkovače na nový zlatý standard.
Pro každý jazyk jsme vytvořili popisné a explorativní statistiky a vizualizace, abychom porovnali výkon UD-Pipe mezi jazyky a analyzovali chyby. Jako druhý krok jsme porovnali slovní zásobu jednotlivých vzorků se slovní zásobou referenčních stromů příslušných jazyků, abychom zjistili, do jaké míry se doména beletrie 19. století liší od domény referenční stromové struktury. Ručně jsme rozdělili tokeny specifické pro vzorky z 19. století do následujících kategorií: Cizí slovo / těžký dialekt, archaické hláskování / morfologie, morfologická dvojznačnost, archaické tokenizace, typo, vlastní jméno. Když anotátor nechal žádnou buňku prázdnou, když se žádný ze štítků neshodoval. Štítky kategorií lze také úmyslně kombinovat.
Na základě obou anotací jsme schopni pro každý jazyk říct, kde má tagger největší problémy (POS, lemmatizace? Tokenizace? Funkce?) As jakými slovy (kolik archaického pravopisu souvisí s výkonem lemmatizace?). Schopnost značkovače „hádat“ neznámá slova se v každém jazyce liší. Díky této dvojité anotaci jsme schopni zahájit spolupráci s vývojáři UD-Pipe na možné adaptaci domény pro vybrané jazyky a vytvářet spolehlivé modely pro označování fikce 19. století.
Tato práce byla financována z LTC18020.
Odeslat zpětnou vazbu

Silvie Cinková
Tomaž Erjavec
Cláudia Freitas
Ioana Maracescu Galleron
Péter Horváth
Indig Balász
Pavel Smrž


Genre preferences in the narratives of younger school children

Žánrová preference v narativech dětí mladšího školního věku

In this paper, we present an analysis of hypothesized sex-specific genre preferences in spontaneous narratives in a corpus of 286 transcribed recordings of younger school children (aged 6–11). We draw upon Nicolopoulou’s conception of narratives as a symbolic activity with sex-specific tendencies: girls prefer the “family” genre and boys prefer the “heroic-agonistic” one. We operationalized Nikolopoulou’s genre classification into 10 thematic narrative features and an-notated their respective presence or absence in each narrative. The application of a combination of statistical methods to our sample revealed that the sex-correlated narrative preferences are so weak that they have no implications, e.g. for school practice. The most prominent result, in fact, even coun-ters the a priori assumption of sex-based narrative preferences: no matter what sex or age, children show a strong preference for “mutual aid and cooperation”.

V této práci prezentujeme analýzu hypotetických preferencí žánru specifických pro žánry u spontánních příběhů v korpusu 286 přepsaných záznamů mladších školních dětí (ve věku 6–11). Vycházíme z Nicolopoulouvé pojetí vyprávění jako symbolické aktivity s tendencemi danými pohlavím: dívky dávají přednost „rodinnému“ žánru a chlapci preferují „hrdinně agonistický“. Operacionalizovali jsme žánrovou klasifikaci podle Nikolopoulou do 10 tematických vyprávěcích rysů a zaznamenali jsme jejich příslušnou přítomnost nebo nepřítomnost v každém vyprávění. Kombinace statistických metod na náš vzorek odhalila, že narativní preference spojené s pohlavím jsou tak slabé, že nemají žádné důsledky, např. pro školní praxi. Nejvýznamnější výsledek ve skutečnosti dokonce odporuje apriornímu předpokladu pohlavních narativních preferencí: bez ohledu na věk a pohlaví, děti projevují silnou preferenci „vzájemné pomoci a spolupráce“.


Aspect in loan verbal neologisms in Czech

Kategorie vidu u přejatých slvoesných neologismů v češtině

The paper focuses on how loan verbal neologisms form their aspectual counterpart in Czech, either by changing the thematic suffix in a simplex verb, or by deriving a prefixed verb. The main hypothesis is that the formation of aspectual pairs is determined by whether the neologism is interpreted as having either a verbal base, or a noun base.

Příspěvek se zabývá tvořením vidového protějšku u přejatých slovesných neologismů v češtině. To, zda je vidový protějšek tvořen sufixací či prefixací, závisí - podle mé hypotézy diskutované v příspěvku - na tom, zda je báze neologismu v češtině interpretovaná jako slovesná nebo nominální.


Introducing Semantic Labels into the DeriNet Network

Seémantické značkování derivační sítě DeriNet

The paper describes a semi-automatic procedure introducing semantic labels into the DeriNet network, which is a large, freely available resource modelling derivational relations in the lexicon of Czech. The data
were assigned labels corresponding to five semantic categories (diminutives, possessives, female nouns, iteratives, and aspectual meanings) by a machine learning model, which achieved excellent results in terms of both precision and recall.

Příspěvek popisuje poloautomatickou proceduru, při níž byly vztahy mezi základovými slovy a jejich deriváty v lexikální síti DeriNet označkovány sémantickými značkami. V prezentovaném pilotním experimentu, který byl omezen na pět sémantických značek (diminutiva, posesiva, ženské protějšky maskulin, iterativa a vidové významy), byla data značkována metodami strojového učení.


Universal Dependencies is a project that seeks to develop cross-linguistically consistent treebank annotation for many languages, with the goal of facilitating multilingual parser development, cross-lingual learning, and parsing research from a language typology perspective. The annotation scheme is based on (universal) Stanford dependencies (de Marneffe et al., 2006, 2008, 2014), Google universal part-of-speech tags (Petrov et al., 2012), and the Interset interlingua for morphosyntactic tagsets (Zeman, 2008). This is the tenth release of UD Treebanks, Version 2.4.

Universal Dependencies je projekt, který vyvíjí mezijazykově konzistentní morfologicko-syntaktickou anotaci mnoha jazyků s cílem usnadnit vývoj jazykově nezávislých parserů, mezijazykové strojové učení a výzkum parsingu z perspektivy jazykové typologie. Anotační schéma je založeno na univerzálních Stanfordských závislostech (de Marneffe et al., 2006, 2008, 2014), univerzálních značkách Google (Petrov et al., 2012) a na Intersetu, tj. interlingvě pro sady morfologických značek (Zeman, 2008). Toto je desáté vydání treebanků UD, verze 2.4.

Joakim Nivre
Mitchell Abrams
Željko Agić
Lars Ahrenberg
Gabrielė Aleksandravičiūtė
Lene Antonsen
Katya Aplonova
Maria Jesus Aranzabe
Gashaw Arutie
Masayuki Asahara
Luma Ateyah
Mohammed Attia
Aitziber Atutxa
Liesbeth Augustinus
Elena Badmaeva
Miguel Ballesteros
Esha Banerjee
Sebastian Bank
Verginica Barbu Mititelu
Victoria Basmov
John Bauer
Sandra Bellato
Kepa Bengoetxea
Yevgeni Berzak
Irshad Ahmad Bhat
Riyaz Ahmad Bhat
Erica Biagetti
Eckhard Bick
Agnė Bielinskienė
Rogier Blokland
Victoria Bobicev
Loïc Boizou
Emanuel Borges Völker
Carl Börstell
Cristina Bosco
Gosse Bouma
Sam Bowman
Adriane Boyd
Kristina Brokaitė
Aljoscha Burchardt
Marie Candito
Bernard Caron
Gauthier Caron
Gülşen Cebiroğlu Eryiğit
Flavio Massimiliano Cecchini
Giuseppe G. A. Celano
Slavomír Čéplö
Savas Cetin
Fabricio Chalub
Jinho Choi
Yongseok Cho
Jayeol Chun
Silvie Cinková
Aurélie Collomb
Çağrı Çöltekin
Miriam Connor
Marine Courtin
Elizabeth Davidson
Marie-Catherine de Marneffe
Valeria de Paiva
Arantza Diaz de Ilarraza
Carly Dickerson
Bamba Dione
Peter Dirix
Kaja Dobrovoljc
Timothy Dozat
Kira Droganova
Puneet Dwivedi
Hanne Eckhoff
Marhaba Eli
Ali Elkahky
Binyam Ephrem
Tomaž Erjavec
Aline Etienne
Richárd Farkas
Hector Fernandez Alcalde
Jennifer Foster
Cláudia Freitas
Kazunori Fujita
Katarína Gajdošová
Daniel Galbraith
Marcos Garcia
Moa Gärdenfors
Sebastian Garza
Kim Gerdes
Filip Ginter
Iakes Goenaga
Koldo Gojenola
Memduh Gökırmak
Yoav Goldberg
Xavier Gómez Guinovart
Berta González Saavedra
Matias Grioni
Normunds Grūzītis
Bruno Guillaume
Céline Guillot-Barbance
Nizar Habash
Jan Hajič
Jan Hajič, jr.
Linh Hà Mỹ
Na-Rae Han
Kim Harris
Dag Haug
Johannes Heinecke
Felix Hennig
Barbora Hladká
Jaroslava Hlaváčová
Florinel Hociung
Petter Hohle
Jena Hwang
Takumi Ikeda
Radu Ion
Elena Irimia
Ọlájídé Ishola
Tomáš Jelínek
Anders Johannsen
Fredrik Jørgensen
Hüner Kaşıkara
Andre Kaasen
Sylvain Kahane
Hiroshi Kanayama
Jenna Kanerva
Boris Katz
Tolga Kayadelen
Jessica Kenney
Václava Kettnerová
Jesse Kirchner
Arne Köhn
Kamil Kopacewicz
Natalia Kotsyba
Jolanta Kovalevskaitė
Simon Krek
Sookyoung Kwak
Veronika Laippala
Lorenzo Lambertino
Lucia Lam
Tatiana Lando
Septina Dian Larasati
Alexei Lavrentiev
John Lee
Phương Lê Hồng
Alessandro Lenci
Saran Lertpradit
Herman Leung
Cheuk Ying Li
Josie Li
Keying Li
KyungTae Lim
Yuan Li
Nikola Ljubešić
Olga Loginova
Olga Lyashevskaya
Teresa Lynn
Vivien Macketanz
Aibek Makazhanov
Michael Mandl
Christopher Manning
Ruli Manurung
Cătălina Mărănduc
David Mareček
Katrin Marheinecke
Héctor Martínez Alonso
André Martins
Jan Mašek
Yuji Matsumoto
Ryan McDonald
Sarah McGuinness
Gustavo Mendonça
Niko Miekka
Margarita Misirpashayeva
Anna Missilä
Cătălin Mititelu
Yusuke Miyao
Simonetta Montemagni
Amir More
Laura Moreno Romero
Keiko Sophie Mori
Tomohiko Morioka
Shinsuke Mori
Shigeki Moro
Bjartur Mortensen
Bohdan Moskalevskyi
Kadri Muischnek
Yugo Murawaki
Kaili Müürisep
Pinkey Nainwani
Juan Ignacio Navarro Horñiacek
Anna Nedoluzhko
Gunta Nešpore-Bērzkalne
Lương Nguyễn Thị
Huyền Nguyễn Thị Minh
Yoshihiro Nikaido
Vitaly Nikolaev
Rattima Nitisaroj
Hanna Nurmi
Stina Ojala
Adédayọ̀ Olúòkun
Mai Omura
Petya Osenova
Robert Östling
Lilja Øvrelid
Niko Partanen
Elena Pascual
Marco Passarotti
Agnieszka Patejuk
Guilherme Paulino-Passos
Angelika Peljak-Łapińska
Siyao Peng
Cenel-Augusto Perez
Guy Perrier
Daria Petrova
Slav Petrov
Jussi Piitulainen
Tommi A Pirinen
Emily Pitler
Barbara Plank
Thierry Poibeau
Martin Popel
Lauma Pretkalniņa
Sophie Prévost
Prokopis Prokopidis
Adam Przepiórkowski
Tiina Puolakainen
Sampo Pyysalo
Andriela Rääbis
Alexandre Rademaker
Loganathan Ramasamy
Taraka Rama
Carlos Ramisch
Vinit Ravishankar
Livy Real
Siva Reddy
Georg Rehm
Michael Rießler
Erika Rimkutė
Larissa Rinaldi
Laura Rituma
Luisa Rocha
Mykhailo Romanenko
Rudolf Rosa
Davide Rovati
Valentin Roșca
Olga Rudina
Jack Rueter
Shoval Sadde
Benoît Sagot
Shadi Saleh
Alessio Salomoni
Tanja Samardžić
Stephanie Samson
Manuela Sanguinetti
Dage Särg
Baiba Saulīte
Yanin Sawanakunanon
Nathan Schneider
Sebastian Schuster
Djamé Seddah
Wolfgang Seeker
Mojgan Seraji
Mo Shen
Atsuko Shimada
Hiroyuki Shirasu
Muh Shohibussirri
Dmitry Sichinava
Natalia Silveira
Maria Simi
Radu Simionescu
Katalin Simkó
Mária Šimková
Kiril Simov
Aaron Smith
Isabela Soares-Bastos
Carolyn Spadine
Antonio Stella
Milan Straka
Jana Strnadová
Alane Suhr
Umut Sulubacak
Shingo Suzuki
Zsolt Szántó
Dima Taji
Yuta Takahashi
Fabio Tamburini
Takaaki Tanaka
Isabelle Tellier
Guillaume Thomas
Liisi Torga
Trond Trosterud
Anna Trukhina
Reut Tsarfaty
Francis Tyers
Sumire Uematsu
Zdeňka Urešová
Larraitz Uria
Hans Uszkoreit
Sowmya Vajjala
Daniel van Niekerk
Gertjan van Noord
Viktor Varga
Eric Villemonte de la Clergerie
Veronika Vincze
Lars Wallin
Abigail Walsh
Jing Xian Wang
Jonathan North Washington
Maximilan Wendt
Seyi Williams
Mats Wirén
Christian Wittern
Tsegay Woldemariam
Tak-sum Wong
Alina Wróblewska
Mary Yako
Naoki Yamazaki
Chunxiao Yan
Koichi Yasuoka
Marat M. Yavrumyan
Zhuoran Yu
Zdeněk Žabokrtský
Amir Zeldes
Daniel Zeman
Manying Zhang
Hanzhi Zhu


Automatic Generation of Theatre Play Scripts

We present a proposal for a project for automatic generation of theatre play scripts. We suggest a hierarchical generation scenario based on text expansion (an inverse of text summarization), iteratively expanding the title of the play until the whole script is generated. We review the challenges of the project and solutions that we envision for them.

Představujeme návrh projektu pro automatické generování scénářů divadelních her. Navrhujeme hierarchický postup generování založený na expanzi textu (inverze sumarizace textu), která iterativně rozgenerovává název hry, dokud není vygenerován celý scénář. Diskutujeme výzvy projektu a navrhujeme pro ně řešení.


Deep Neural Networks in Natural Language Processing

Hluboké neuronové sítě ve zpracování přirozeného jazyka

Similarly to other fields, Natural language processing has recently been
revolutionized by the introduction of Deep learning. In my talk, I will
focus on two specific properties of natural text as input to a machine
learning system, and the current ways in which these are addressed in
Deep neural networks:
- Representing massively multi-valued discrete data (words) by
continuous low-dimensional vectors (word embeddings).
- Handling variable-length input sequences with long-distance relations
between elements (sentences) by fixed-sized neural units (attention
mechanisms).

Podobně jako v jiných oborech, zpracování přirozeného jazyka prošlo nedávno revolucí zavedením hlubokého učení. V mé přednášce se zaměřím na dvě specifické vlastnosti přírozeného textu jako vstupu pro systém strojového učení a na současné způsoby, jakými jsou v hlubokých neuronových sítích řešeny:
- Reprezentace masivně vícehodnotových diskrétních dat (slov) kontinuálními nízkodimenzionálními vektory (slovní embedinky).
- Zpracování vstupních sekvencí s proměnnou délkou pomocí vztahů na dlouhou vzdálenost mezi elementy (větami) neurálními jednotkami pevné velikosti (mechanismy pozornosti).


CoNLL 2018 Shared Task Team CUNI-x-ling -- source codes for a competition in multilingual parsing

CoNLL 2018 Shared Task, tým CUNI-x-ling -- zdrojové kódy pro soutěž ve vícejazyčném syntaktickém parsingu


Inducing Syntactic Trees from BERT Representations

Odvozování syntactických stromů z BERTových reprezentací

We use the English model of BERT and explore how a deletion of one word in a sentence changes representations of other words. Our hypothesis is that removing a reducible word (e.g. an adjective) does not affect the representation of other words so much as removing e.g. the main verb, which makes the sentence ungrammatical and of "high surprise" for the language model. We estimate reducibilities of individual words and also of longer continuous phrases (word n-grams), study their syntax-related properties, and then also use them to induce full dependency trees.

Používáme anglický model BERT a zkoumáme, jak vypuštění jednoho slova ve větě mění reprezentace jiných slov. Naše hypotéza je taková, že odstranění redukovatelného slova (např. přídavného jména) neovlivní reprezentaci jiných slov natolik, jako odstranění např. hlavního slovesa, které činí větu pro jazykový model negramatickou a „velmi překvapivou“. Odhadujeme reducibility jednotlivých slov a také delších souvislých frází (slovních n-gramů), studujeme jejich syntaktické vlastnosti a poté je také použijeme k odvození plných závislostních stromů.


Quick intro to language processing for the THEAITRE project

Rychlokurz počítačového zpracování jazyka pro projekt THEAITRE

Representing text on a computer.
Representation of words (word embeddings).
Generating Sentences I. (n-gram language models).
Basic principles of machine learning.
Generating Sentences II (artificial neural networks).
Reflections on more powerfully managed generation.

Reprezentace textu v počítači.
Reprezentace slov (slovní embedinky).
Generování vět I. (n-gramové jazykové modely).
Základní principy strojového učení.
Generování vět II. (umělé neuronové sítě).
Úvahy nad silněji řízeným generováním.

Rudolf Rosa
Ondřej Dušek
Tomáš Musil
Tom Kocmi


Attempting to separate inflection and derivation using vector space representations

Pokus o oddělení flexe a derivace pomocí vektorových reprezentací

We investigate to what extent inflection can be automatically separated from derivation, just based
on the word forms. We expect pairs of inflected forms of the same lemma to be closer to each other
than pairs of inflected forms of two different lemmas (still derived from a same root, though),
given a proper distance measure. We estimate distances of word forms using edit distance, which
represents character-based similarity, and word embedding similarity, which serves as a proxy
to meaning similarity. Specifically, we explore Levenshtein and Jaro-Winkler edit distances, and
cosine similarity of FastText word embeddings. We evaluate the separability of inflection and
derivation on a sample from DeriNet, a database of word formation relations in Czech. We
investigate the word distance measures directly, as well as embedded in a clustering setup. Best
results are achieved by using a combination of Jaro-Winkler edit distance and word embedding
cosine similarity, outperforming each of the individual measures. Further analysis shows that the
method works better for some classes of inflections and derivations than for others, revealing some
limitations of the method, but also supporting the idea of replacing a binary inflection-derivation
dichotomy with a continuous scale.

Zkoumáme, do jaké míry lze flexi automaticky oddělit od derivace, jen na základě slovních forem. Očekáváme, že při použití vhodné míry vzdálenosti budou páry vyskloňovaných tvarů stejného lemmatu k sobě blíže než páry vyskloňovaných forem dvou různých lemmat (stále odvozených od stejného kořene). Vzdálenosti slovních tvarů odhadujeme pomocí editační vzdálenosti, která představuje podobnost založenou na znacích, a pomocí podobnosti slovních embedinků, která slouží jako proxy k významové podobnosti. Konkrétně zkoumáme Levenshteinovu a Jarovu-Winklerovu editační vzdálenost a kosinovou podobnost FastTextových slovních embedinků. Vyhodnocujeme oddělitelnost flexe a derivace na vzorku z databáze DeriNet, což je databáze slovotvorných vztahů v češtině. Zkoumáme míry vzdálenosti slov jednak přímo a jednak a jako složku shlukovacího postupu. Nejlepších výsledků je dosaženo kombinací Jarovy-Winklerovy editační vzdálenosti a kosionové podobnosti slovních embedinků, která překonává míry použité samostatně. Další analýza ukazuje, že metoda funguje lépe pro některé třídy flexí a derivací než pro jiné, což ukazuje některá omezení metody, ale také podporuje myšlenku nahrazení binární dichotomie flexe-derivace kontinuální škálou.


Unsupervised Lemmatization as Embeddings-Based Word Clustering

Neřízená lematizace jako shlukování slov založené na embedinkách

We focus on the task of unsupervised lemmatization, i.e. grouping together inflected forms of one word under one label (a lemma) without the use of annotated training data. We propose to perform agglomerative clustering of word forms with a novel distance measure. Our distance measure is based on the observation that inflections of the same word tend to be similar both string-wise and in meaning. We therefore combine word embedding cosine similarity, serving as a proxy to the meaning similarity, with Jaro-Winkler edit distance. Our experiments on 23 languages show our approach to be promising, surpassing the baseline on 23 of the 28 evaluation datasets.

Zaměřujeme se na úlohu neřízené lemmatizace, tj. seskupení vyskloňovaných forem jednoho slova pod jeden štítek (lemma) bez použití anotovaných trénovacích dat. Navrhujeme provádět aglomerativní shlukování slovních forem s novou mírou vzdálenosti. Naše míra vzdálenosti je založena na pozorování, že flexe jednoho slova mají tendenci být podobné řetězcově i významově. Proto kombinujeme kosinovou podobnost slovních embedinků, která slouží jako proxy k významové podobnosti, s editační vzdáleností Jaro-Winklera. Naše experimenty na 23 jazycích ukazují, že náš přístup je slibný a překonal baseline pro 23 z 28 testovacích sad.


Coherence Evaluation in Czech: Utilization of Large Unlabeled data

Hodnocení koherence v češtině: využití velkých neanotovaných dat

Introduction of the research of automatic coherence evaluation in Czech using unlabeled large data.

Představení výzkumu automatického vyhodnocování koherence v češtině s pomocí naanotovaných velkých dat.

Michal Novák
Jiří Mírovský
Kateřina Rysová
Magdaléna Rysová


Exploiting Large Unlabeled Data in Automatic Evaluation of Coherence in Czech

Využití velkých neanotovaných dat v automatickém hodnocení koherence v češtině

We use large unlabeled data (n-gram model, density estimates of features) to improve quality of surface coherence evaluation in Czech texts. Along with new features across layers of language description, the additions significantly improve the performance of the system.

Využíváme velkých neanotovaných dat (n-gramový model, odhady hustoty featur) ke zlepšení kvality automatického hodnocení koherence textů v češtině. Spolu s novými featurami z různých jazykových rovin přispělo využití neanotovaných dat k signifikantnímu zlepšení výsledků systému.


EVALD 4.0 for Beginners – Evaluator of Discourse

EVALD 4.0 pro začátečníky – Evaluátor diskurzu

Evaluator of Discourse for Beginners (EVALD 4.0 for Beginners) is a software that serves for automatic evaluation of surface coherence (cohesion) in Czech texts written by non-native speakers of Czech. Software evaluates the level of the given text from the perspective of its surface coherence (i.e. it takes into consideration, e.g., the frequency and diversity of connectives, richness of vocabulary, coreference realations, topic-focus articulation, readability etc.), and reports whether the text reaches the basic A1 level.

Počítačový nástroj Evaluátor diskurzu pro začátečníky (EVALD 4.0 pro začátečníky) slouží k automatickému hodnocení povrchové koherence (koheze) textů v češtině psaných začínajícími nerodilými mluvčími češtiny. Software hodnotí úroveň předloženého textu z hlediska jeho povrchové výstavby (zohledňuje např. frekvenci a rozmanitost užitých spojovacích prostředků, bohatost slovní zásoby, koreferenční vztahy, aktuální členění, obtížnost čtení apod.) a vyhodnocuje, zda text dostahuje alespoň základní úrovně A1.

Michal Novák
Jiří Mírovský
Kateřina Rysová
Magdaléna Rysová
Eva Hajičová


EVALD 4.0 for Foreigners – Evaluator of Discourse

EVALD 4.0 pro cizince – Evaluátor diskurzu

Evaluator of Discourse for Foreigners (EVALD 4.0 for Foreigners) is a software that serves for automatic evaluation of surface coherence (cohesion) in Czech texts written by non-native speakers of Czech. Software evaluates the level of the given text from the perspective of its surface coherence (i.e. it takes into consideration, e.g., the frequency and diversity of connectives, richness of vocabulary, coreference relations, topic-focus articulation etc.). The new version (4.0) adds a set of features related to readability of the text and also newly uses large unlabeled data.

Počítačový nástroj Evaluátor diskurzu pro cizince (EVALD 4.0 pro cizince) slouží k automatickému hodnocení povrchové koherence (koheze) textů v češtině psaných nerodilými mluvčími češtiny. Software hodnotí úroveň předloženého textu z hlediska jeho povrchové výstavby (zohledňuje např. frekvenci a rozmanitost užitých spojovacích prostředků, bohatost slovní zásoby, koreferenční vztahy, aktuální členění apod.). Nová verze (4.0) přidává množinu rysů zaměřených především na obtížnost čtení textu a nově také využívá velká neanotovaná data.


Evaluator of Discourse (EVALD 4.0) is a software that serves for automatic evaluation of surface coherence (cohesion) in Czech texts written by native speakers of Czech. Software evaluates the level of the given text from the perspective of its surface coherence (i.e. it takes into consideration, e.g., the frequency and diversity of connectives, richness of vocabulary, coreference relations, topic-focus articulation etc.). The new version (4.0) adds a set of features related to readability of the text and also newly uses large unlabeled data.

Počítačový nástroj Evaluátor diskurzu (EVALD 4.0) slouží k automatickému hodnocení povrchové koherence (koheze) textů v češtině psaných rodilými mluvčími češtiny. Software tedy hodnotí (známkuje) úroveň předloženého textu z hlediska jeho povrchové výstavby (zohledňuje např. frekvenci a rozmanitost spojovacích prostředků, bohatost slovní zásoby, koreferenční vztahy, aktuální členění apod.). Nová verze (4.0) přidává množinu rysů zaměřených především na obtížnost čtení textu a nově také využívá velká neanotovaná data.


CUNI System for the Building Educational Applications 2019 Shared Task: Grammatical Error Correction

CUNI systém pro Building Educational Applications 2019 Shared Task v automatické opravě gramatiky

In this paper, we describe our systems submitted to the Building Educational Applications (BEA) 2019 Shared Task (Bryant et al., 2019). We participated in all three tracks. Our models are NMT systems based on the Transformer model, which we improve by incorporating several enhancements: applying dropout to whole source and target words, weighting target subwords, averaging model checkpoints, and using the trained model iteratively for correcting the intermediate translations. The system in the Restricted Track is trained on the provided corpora with oversampled "cleaner" sentences and reaches 59.39 F0.5 score on the test set. The system in the Low-Resource Track is trained from Wikipedia revision histories and reaches 44.13 F0.5 score. Finally, we finetune the system from the Low-Resource Track on restricted data and achieve 64.55 F0.5 score, placing third in the Unrestricted Track.

V tomto článku popisujeme naše systémy předložené v rámci soutěže Building Educational Applications (BEA) 2019 Shared Task (Bryant a kol., 2019). Zúčastnili jsme se všech tří variant. Naše modely jsou systémy NMT založené na architektuře Transformer, který vylepšujeme začleněním několika vylepšení: dropout celých zdrojových a cílových slov, vážení cílových podslov, průměrování modelu a použití trénovaného modelu iterativním způsobem. Systém v Restricted Track je trénován na poskytnutých korpusech s nadměrně zesílenými "čistšími" větami a na testovací sadě dosahuje skóre 59,39 F0,5. Systém v režimu nízkých zdrojů je trénován z historie revizí Wikipedie a dosahuje skóre 44,13 F0,5. V neomezeném režimu jsme dotrénováním systému z režimu nízkých zdrojů dosáhli 64.55 F0.5 skóre a obsadili tak třetí místo.


Grammatical Error Correction in Low-Resource Scenarios

Automatická oprava gramatiky při malém množství trénovacích dat

Grammatical error correction in English is a long studied problem with many existing systems and datasets. However, there has been only a limited research on error correction of other languages. In this paper, we present a new dataset AKCES-GEC on grammatical error correction for Czech. We then make experiments on Czech, German and Russian and show that when utilizing synthetic parallel corpus, Transformer neural machine translation model can reach new state-of-the-art results on these datasets. AKCES-GEC is published under CC BY-NC-SA 4.0 license at https://hdl.handle.net/11234/1-3057 and the source code of the GEC model is available at https://github.com/ufal/low-resource-gec-wnut2019.

Automatická oprava gramatiky v angličtině je dlouho studovaný problém s mnoha existujícími systémy a datovými zdroji. Výzkum oprav chyb v jiných jazycích je však pouze omezený. V této práci představujeme nový dataset AKCES-GEC pro gramatickou korekci chyb pro češtinu. Dále provádíme experimenty na češtině, němčině a ruštině a ukazujeme, že při využití syntetického paralelního korpusu může model neuronového strojového překladu Transformer dosáhnout na těchto datasetech nejlepších známých výsledků. AKCES-GEC vychází pod licencí CC BY-NC-SA 4.0 na adrese https://hdl.handle.net/11234/1-3057 a zdrojový kód modelu GEC je k dispozici na adrese https://github.com/ufal/low-resource-gec-wnut2019.


Overview of the 6th Workshop on Asian Translation

Přehled 6. workshopu o překladu do asijských jazyků

This paper presents the results of the
shared tasks from the 6th workshop on
Asian translation (WAT2019) including
Ja↔En, Ja↔Zh scientific paper translation subtasks, Ja↔En, Ja↔Ko, Ja↔En
patent translation subtasks, Hi↔En,
My↔En, Km↔En, Ta↔En mixed domain
subtasks, Ru↔Ja news commentary
translation task, and En→Hi multi-modal
translation task. For the WAT2019, 25
teams participated in the shared tasks.
We also received 10 research paper submissions out of which 71 were accepted.
About 400 translation results were submitted to the automatic evaluation server,
and selected submissions were manually
evaluated.

Tento článek představuje výsledky sdílených úkolů z 6. workshopu o asijském překladu (WAT2019), včetně dílčích úkolů Ja↔En, Ja↔Zh pro překlad vědeckých článků, Ja↔En, Ja↔Ko, Ja↔En pro překlad patentů, Hi↔En, My↔En, Km↔En, Ta↔En pro překlad smíšených doménových dílčích úkolů, Ru↔Ja komentář pro překlad zpráv a En pro multimodální překlad. V rámci programu WAT2019 se sdílených úkolů účastnilo 25 týmů.
Obdrželi jsme také 10 písemných podání k výzkumu, z nichž 71 bylo přijato. Automatickému hodnotícímu serveru bylo předloženo asi 400 výsledků překladu a vybraná podání byla ručně vyhodnocena.

Toshiaki Nakazawa
Nobushige Doi
Shohei Higashiyama
Chenchen Ding
Raj Dabre
Hideya Mino
Isao Goto
Win Pa Pa
Anoop Kunchukuttan
Shantipriya Parida
Ondřej Bojar
Sadao Kurohashi


Fuzzy Boundaries in the Different Functions and Translations of the Discourse Marker and

Nejasné hranice v různých funkcích a překladech diskurzního markeru AND

The present research focuses on the multiple functions performed by the discourse marker "and" in annotated spoken-like texts of TED Talks in English and Lithuanian. The annotation of TED Talks in Lithuanian has started only recently, which results in the limitation regarding the quantity of annotated texts. The research findings show that and and its Lithuanian counterparts perform multiple fuzzy functions, including the function of addition, discourse management and structuring discourse.
It was also established that the most frequent variants of translation of the discourse marker and are those provided by bilingual English–Lithuanian dictionaries and that translators choose paraphrases to convey the pragmatics of the spoken-like texts.

Tento výzkum se zaměřuje na různé funkce diskurzního konektivu "a" v anotovaných zapsaných mluvených textech TED Talks v angličtině a litevštině. Anotace litevských textů bylo zahájena teprve nedávno, proto tvoří litevské texty ve srovnání prozatím menší vzorek. Výsledky výzkumu ukazují, že výraz "and" a jeho ekvivalenty v litevštině vyjadřují řadu vágních významů, včetně prostého přidávání, řízení a strukturace diskurzu

Giedre Valunaite Oleskeviciene
Sigita Rackevičienė
Jolita Šliogerienė
Nijolė Burkšaitienė
Viktorija Mažeikienė
Liudmila Mockienė
Péter Furkó
Ágnes Abuczki
Šárka Zikánová


Efficiency Metrics for Data-Driven Models: A Text Summarization Case Study

Metriky účinnosti pro datově řízené modely: případová studie sumarizace textu

Using data-driven models for solving text summarization or similar tasks has become very common in the last years. Yet most of the studies report basic accuracy scores only, and nothing is known about the ability of the proposed models to improve when trained on more data. In this paper, we define and propose three data efficiency metrics: data score efficiency, data time deficiency and overall data efficiency. We also propose a simple scheme that uses those metrics and apply it for a more comprehensive evaluation of popular methods on text summarization and title generation tasks. For the latter task, we process and release a huge collection of 35 million abstract-title pairs from scientific articles. Our results reveal that among the tested models, the Transformer is the most efficient on both tasks.

Využití modelů řízených daty pro sumarizaci textu nebo podobné úlohy se v posledních letech stává velmi běžným. Zatímco většina studií hlásí pouze základní přesnost, není nic známo o schopnosti zmíněných modelů se zlepšit, jsou-li trénovány na větších datech. V tomto příspěvku definujeme a navrhujeme tři metriky efektivity dat: efektivita úspěšnosti dat, časové nedostatečnosti dat a celkové účinnosti dat. Navrhujeme také jednoduché schema využívající těchto metod a využívající je pro ucelenější hodnocení populárních metod sumarizace textů a generování nadpisů. Pro druhou z úloh zpracováváme a uvol%nujeme rozsáhlou kolekci 35 miliónů párů abstrakt-název vědeckých článků. Naše výsledky odhalují, že mezi tetovanými metodami je Transformer nejúčinnější pro obě úlohy.


Keyphrase Generation: A Multi-Aspect Survey

Generování klíčových slov: Přehled víceaspektových metod

Extractive keyphrase generation research has been around since the nineties, but the more advanced abstractive approach based on the encoder-decoder framework and sequence-to-sequence learning has been explored only recently. In fact, more than a dozen of abstractive methods have been proposed in the last three years, producing meaningful keyphrases and achieving state-of-the-art scores. In this survey, we examine various aspects of the extractive keyphrase generation methods and focus mostly on the more recent abstractive methods that are based on neural networks. We pay particular attention to the mechanisms that have driven the perfection of the later. A huge collection of scientific article metadata and the corresponding keyphrases is created and released for the research community. We also present various keyphrase generation and text summarization research patterns and trends of the last two decades.

Výzkum získávání klíčových slov probíhá od devadesátých let, ale pokročilé přístupy jako kodér-dekodér a učení z posloupností byly objeveny až v poslední době. Více než tucet abstrakčních metod poskytujících smysluplná klíčová slova a dosahujících aktuálních výsledků bylo navrženo v posledních třech letech. Testujeme zde různé aspekty metod generování klíčových slov.
Soustředíme se zejména na metody z poslední doby založené na neuronových sítích. Zvláštní důraz klademe na mechanismy řízení přesnosti těch posledně jmenovaných. Byla vytvořena velmi rozsáhlá kolekce metadat o vědeckých článcích a uvolněna vědecké komunitě. Také jsme prezentovali různé vzory výzkumu generování klíčových slov a sumarizace textu a trendy posledních dvou dekád.


Keyphrase Generation: A Text Summarization Struggle

Generování klíčových slov: Náročná sumarizace textu

Authors' keyphrases assigned to scientific articles are essential for recognizing content and topic aspects. Most of the proposed supervised and unsupervised methods for keyphrase generation are unable to produce terms that are valuable but do not appear in the text. In this paper, we explore the possibility of considering the keyphrase string as an abstractive summary of the title and the abstract. First, we collect, process and release a large dataset of scientific paper metadata that contains 2.2 million records. Then we experiment with popular text summarization neural architectures. Despite using advanced deep learning models, large quantities of training data and many days of computation, our systematic evaluation on four test datasets reveals that the explored text summarization methods could not produce better keyphrases than the much simpler unsupervised methods or the existing supervised ones.

Klíčová slova, která svým vědeckým článkům přiřadili jejich autoři jsou nepostradatelná pro rozpoznání obsahu a témat dané článku. Většina
řízených i neřízených metod generování klíčových slov není schopna přiřazovat termíny, které to dobře vystihují, ale nevyskytují se v textu. V tomto příspěvku zkoumáme možnost klíčových slov coby shrnutím názvu práce a abstraktu. Nejdříve sesbíráme, zpracujme a vydáme velkou sadu metadat vědeckých článků čítajících 2,2 milionu záznamů. Pak vyzkoušíme populární neurální architektury pro sumarizaci textů. Na rozdíl od pokročilých metod hlubokého učení, velkých objemů dat a mnoha
dní výpočtů naše systematické vyhodnocování na čtyřech testovacích sadách dat ukázalo, že zkoumané metody sumarizace textu nemohou vytvořit
lepší klíčová slova než jednoduché neřízené či řízené metody.


Sentiment Analysis of Czech Texts: An Algorithmic Survey

Analýza sentimentu českých textů: Přehled algoritmů

In the area of online communication, commerce and transactions, analyzing sentiment polarity of texts written in various natural languages has become crucial. While there have been a lot of contributions in resources and studies for the English language, "smaller" languages like Czech have not received much attention. In this survey, we explore the effectiveness of many existing machine learning algorithms for sentiment analysis of Czech Facebook posts and product reviews. We report the sets of optimal parameter values for each algorithm and the scores in both datasets. We finally observe that support vector machines are the best classifier and efforts to increase performance even more with bagging, boosting or voting ensemble schemes fail to do so.

V oblasti online komunikace, komerce a překladů, se analýza polarity sentimentu textů napsaných v různých přirozených jazycích stává zásadní. Zatímco pro angličtinu je k dispozici mnoho příspěvků a zdrojů, "menší" jazyky, jako je čeština, se zatím netěší větší pozornosti. V tomto
přehledu zkoumáme efektivitu mnoha algoritmů strojového učení pro analýzu sentimentu příspěvků na českém Facebooku a recenzí různých produktů. Sepíšeme sady optimálních hodnot parametrů pro každý algoritmus a ohodnocení v obou datasetech. Nakonec zaznamenáme, že metoda podpůrných vektorů je nejlepším klasifikátorem a snahy dále zlepšit výkon pomocí baggingu, boostingu, či hlasovacích schemat selhaly.


Supervised Morphological Segmentation Using Rich Annotated Lexicon

Řízená morfologická segmentace s využitím bohatě anotovaného slovníku

Morphological segmentation of words is the process of dividing a word into smaller units called morphemes; it is tricky especially when a morphologically rich or polysynthetic language is under question. In this work, we designed and evaluated several Recurrent Neural Network (RNN) based models as well as various other machine learning based approaches for the morphological segmentation task. We trained our models using annotated segmentation lexicons. To evaluate the effect of the training data size on our models, we decided to create a large hand-annotated morphologically segmented corpus of Persian words, which is, to the best of our knowledge, the first and the only segmentation lexicon for the Persian language. In the experimental phase, using the hand-annotated Persian lexicon and two smaller similar lexicons for Czech and Finnish languages, we evaluated the effect of the training data size, different hyper-parameters settings as well as different RNN-based models.

Morfologická segmentace slov je proces rozdělování slova na menší jednotky nazývané morfémy, což je úloha, která je obtížná zejména v případě morfologicky bohatých nebo polysyntetických jazyků. V této práci navrhujeme pro řešení této úlohy několik rekurzivních neuronových sítí a dalších přístupů založených na strojovém učení. Jako trénovací data používáme ručně segmentované slovníky. K vyhodnocení vlivu velikosti slovníku na kvalitu segmentace používáme rozsáhlý, ručně anotovaný segmentační slovník perštiny. Dále používáme menší segmentační slovníky pro češtinu a finštinu. Na těchto jazycích zkoumáme rovněž vliv nastavení hyperparametrů a zvolených rekurentních architektur.

Ebrahim Ansari
Zdeněk Žabokrtský
Mohammad Mahmoudi
Hamid Haghdoost
Jonáš Vidra


Multimodal Abstractive Summarization for How2 Videos

Multimodální abstraktivní sumarizace instruktážních videí

In this paper, we study abstractive summarization for open-domain videos. Unlike the traditional text news summarization, the goal is less to "compress" text information but rather to provide a fluent textual summary of information that has been collected and fused from different source modalities, in our case video and audio transcripts (or text). We show how a multi-source sequence-to-sequence model with hierarchical attention can integrate information from different modalities into a coherent output, compare various models trained with different modalities and present pilot experiments on the How2 corpus of instructional videos. We also propose a new evaluation metric (Content F1) for abstractive summarization task that measures semantic adequacy rather than fluency of the summaries, which is covered by metrics like ROUGE and BLEU.

V tomto článku studujeme abstraktiví sumarizaci videí bez doménového omezení. Na rozdíl od tradiční sumarizace zpravodajských textů není cílem "komprimovat" textové informace, ale spíše poskytnout plynulé textové shrnutí informací, které byly shromážděny z různých zdrojových modalit, v našem případě videozáznamů a audio přepisů (nebo textu). Ukazujeme, jak vícezdrojový model sekvenčního učení s hierarchickým mechanismem pozorností dokáže integrovat informace z různých modalit do uceleného výstupu, porovnáváme různé modely trénované s různými modalitami a prezentuje pilotní experimenty na How2 korpusu instruktážních videí. Navrhujeme také novou hodnotící metriku (Conent F1) pro abstraktivní sumarizaci, která měří spíše sémantickou adekvátnost než plynulost, kterou naopak zachcují tradiční metriky jako jako ROUGE a BLEU.

Shruti Palaskar
Jindřich Libovický
Spandana Gella
Florian Metze


Comparison of Automatic and Human Evaluation of L2 Texts in Czech

Srovnání hodnocení textů L2 v češtině provedeného strojem a člověkem

We introduce an experimental probe comparing how texts written by non-native speakers of Czech are evaluated by a software application EVALD and by teachers of Czech as a foreign language.

Článek představuje experimentální výzkum srovnávající, jak jsou texty psané nerodilými mluvčími češtiny hodnoceny softwarovou aplikací EVALD a učiteli češtiny jako cizího jazyka.

Svatava Škodová
Kateřina Rysová
Magdaléna Rysová


User Evaluation of a Multi-dimensional Statistical Dialogue System

Uživatelská evaluace multidimenzionálního statistického dialogového systému

We present the first complete spoken dialogue system driven by a multiimensional statistical dialogue manager. This framework has been shown to substantially reduce data needs by leveraging domain-independent dimensions, such as social obligations or feedback, which (as we show) can be transferred between domains. In this paper, we conduct a user study and show that the performance of a multi-dimensional system, which can be adapted from a source domain, is equivalent to that of a one-dimensional baseline, which can only be trained from scratch.

Představujeme první kompletní hlasový dialogový systém řízený multidimenzionálním statistickým dialogovým manažerem. Tento framework prokazatelně významně snižuje potřebu dat využitím doménově nezávislých dimenzí, jako jsou společenské konvence nebo zpětná vazba, které (jak ukazujeme) lze přenášet mezi doménami. V tomto článku provádíme uživatelskou sudii a ukazujeme, že výkon multidimenzionálního systému, který lze adaptovat ze zdrojové domény, je ekvivalentní výkonu jednodimenzionální baseline, kterou je třeba natrénovat od nuly.

Simon Keizer
Ondřej Dušek
Xingkun Liu
Verena Rieser


Cohesion in Czech: Semantics of implicit and explicit discourse relations

Koheze v češtině: význam implicitních a explicitních diskurzních vztahů

The lecture presents the results of the annotation of implicit relations in Czech based on the PDiT-EDA 1.0 corpus. It focuses on the distribution of implicit and explicit relations, their semantics, the presence of sentence negation and the relation of implicitness to the text genre.

Přednáška představuje výsledky anotace implicitních vztahů v češtině na základě korpusu PDiT-EDA 1.0. Zaměřuje se na distribuci implicitních a explicitních vztahů, jejich sémantiku, přítomnost větné negace a vztah implicitnosti k textovému žánru.


He did not come, it rained. Implicit discourse relations in Czech

Nepřišel, pršelo. Implicitní diskurzní vztahy v češtině.

The paper gives a basic overview of implicit discourse relations in the PDiT-EDA 1.0 corpus. It deals with the relation of implicitness to the following language factors: semantics of discourse relation, presence of sentence negation, text genre.

Příspěvek podává základní přehled o implicitních diskurzních vztazích v korpusu PDiT-EDA 1.0. Zabývá se vztahem implicitnosti k následujícím jazykovým faktorům: sémantika diskurzního vztahu, přítomnost větné negace, textový žánr.


Explicit and Implicit Discourse Relations in the Prague Discourse Treebank

Explicitní a implicitní diskurzní vztahy v Pražském diskurzním korpusu

We analyze some of the factors influencing the explicitness/implicitness of discourse relations, such as the text genre, semantic type of the discourse relation and the presence of negation in discourse arguments.

Analyzujeme některé faktory ovlivňující explicitnost/implicitnost diskurzních vztahů, např. žánr textu, sémantický typ diskurzního vztahu a přítomnost negace v diskurzních argumentech.

Šárka Zikánová
Jiří Mírovský
Pavlína Synková


Jana Hoffmannová, Jiří Homoláč, Kamila Mrázková (eds.): Syntax of Spoken Czech, Praha: Academia, 2019

Jana Hoffmannová, Jiří Homoláč, Kamila Mrázková (eds.): Syntax mluvené češtiny, Praha: Academia, 2019

Review of Syntax of Spoken Czech, a book edited by Jana Hoffmannová, Jiří Homoláč and Kamila Mrázková.

Recenze knihy Syntax mluvené češtiny, jejímiž editory jsou Jana Hoffmannová, Jiří Homoláč a Kamila Mrázková.


Coherence Errors in Learners’ Essays and a Possibility of Their Improvement through EVALD (Automated Evaluator of Discourse)

Chyby v koherenci v žákovských textech a možnosti jejich zlepšení pomocí aplikace EVALD (automatického evaluátoru diskurzu)

Coherence may be manifested through various language means, e.g. by discourse connectives, anaphoric devices, lexical repetition etc. We present research of the most common errors in coherence occurring in learners’ essays.

Koherence textů může být zajištěna řadou jazykových prostředků, např. diskurzními konektory, anaforickým odkazováním, lexikálním opakováním apod. Představujeme výzkum nejčastějších chyb v koherenci žákovských textů.

Magdaléna Rysová
Kateřina Rysová
Jiří Mírovský
Michal Novák


ÚFAL MRPipe at MRP 2019: UDPipe Goes Semantic in the Meaning Representation Parsing Shared Task

ÚFAL MRPipe na MRP 2019: UDPipe se stává sémantickým v soutěži Meaning Representation Parsing

We present a system description of our contribution to the CoNLL 2019 shared task, Cross-
Framework Meaning Representation Parsing (MRP 2019). The proposed architecture is our first attempt towards a semantic parsing extension of the UDPipe 2.0, a lemmatization, POS tagging and dependency parsing pipeline.

For the MRP 2019, which features five formally and linguistically different approaches to meaning representation (DM, PSD, EDS, UCCA and AMR), we propose a uniform, language and framework agnostic graph-to-graph neural network architecture. Without any knowledge about the graph structure, and specifically without any linguistically or framework motivated features, our system implicitly models the meaning representation graphs.

After fixing a human error (we used earlier incorrect version of provided test set analyses),
our submission would score third in the competition evaluation. The source code of our
system is available at https://github.
com/ufal/mrpipe-conll2019.

Předkládáme popis našeho příspěvku do soutěže CoNLL 2019, Cross-Framework Meaning Representation Parsing (MRP 2019). Navržená architektura je naším prvním pokusem o sémantický parsing v rámci UDPipe 2.0, nástroje pro lemmatizaci, POS tagging a závislostní parsing.

Pro MRP 2019, který zahrnuje pět formálně a lingvisticky rozdílných přístupů k reprezentaci významu (DM, PSD, EDS, UCCA a AMR), navrhujeme uniformní, jazykově a formálně agnostickou architekturu založenou na transformaci grafů pomocí umělých neuronových sítí. Bez jakékoli znalosti grafové struktury, a specificky bez jakýchkoli lingvisticky nebo formálně motivovaných klasifikačních rysů náš systém implicitně modeluje reprezentaci významu v grafu.

Po opravě člověkem způsobené chyby (použili jsme nesprávnou verzi poskytnutých analýz testovacích dat) se náš příspěvek umístil na třetím místě v soutěžním hodnocení. Zdrojový ḱód našeho systému je dostupný na adrese https://github.
com/ufal/mrpipe-conll2019.


Czech Text Processing with Contextual Embeddings: POS Tagging, Lemmatization, Parsing and NER

Zpracování textu v češtině pomocí kontextových embeddingů: POS tagging, lemmatizace, závislostní parsing a rozpoznávání pojmenovaných entit

Contextualized embeddings, which capture appropriate word meaning depending on context, have recently been proposed. We evaluate two methods for precomputing such embeddings, BERT and Flair, on four Czech text processing tasks: part-of-speech (POS) tagging, lemmatization, dependency parsing and named entity recognition (NER). The first three tasks, POS tagging, lemmatization and dependency parsing, are evaluated on two corpora: the Prague Dependency Treebank 3.5 and the Universal Dependencies 2.3. The named entity
recognition (NER) is evaluated on the Czech Named Entity Corpus 1.1 and 2.0. We report state-of-the-art results for the above mentioned tasks and corpora.

Nedávno byly navrženy kontextové embeddingy, které vhodně zachycují význam slova v závislosti na kontextu. V tomto příspěvku vyhodnocujeme dvě metody pro výpočet takových embeddingů, BERT a Flair, na čtyřech úlohách zpracování přirozeného jazyka v češtině: značkování slovních druhů (POS tagging), lemmetizace, závislostní parsing a rozpoznávání pojmenovaných entit. První tři úlohy jsou vyhodnoceny na dvou korpusech: Pražský závislostní korpus 3.5 a Universal Dependencies 2.3. Rozpoznávání pojmenovaných entit je vyhodnoceno na Českém korpusu pojmenovaných entit (Czech Named Entity Corpus) 1.1 a 2.0. Publikujeme state-of-the-art výsledky ve všech výše zmíněných úlohách na všech korpusech.


Evaluating Contextualized Embeddings on 54 Languages in POS Tagging, Lemmatization and Dependency Parsing

Vyhodnocení kontextualizovaných embeddingů na 54 jazycích v POS tagingu, lemmatizaci a závislostním parsingu

We present an extensive evaluation of three recently proposed methods for contextualized embeddings on 89 corpora in 54 languages of the Universal Dependencies 2.3 in three tasks: POS tagging, lemmatization, and dependency parsing. Employing the BERT, Flair and ELMo as pretrained embedding inputs in a strong baseline of UDPipe 2.0, one of the best-performing systems of the CoNLL 2018 Shared Task and an overall winner of the EPE 2018, we present a one-to-one comparison of the three contextualized word embedding methods, as well as a comparison with word2vec-like pretrained embeddings and with end-to-end character-level word embeddings. We report state-of-the-art results in all three tasks as compared to results on UD 2.2 in the CoNLL 2018 Shared Task.

Představujeme rozsáhlé hodnocení tří nedávno navržených metod pro kontextualizované embeddiny na 89 korpusech v 54 jazycích projektu Universal Dependencies 2.3 ve třech úkolech: POS tagging, lemmatizace a závislostní analýza. Využitím BERT, Flair a ELMo jako předtrénovaných embeddingů do systému UDPipe 2.0, jednoho z vítězů CoNLL 2018 Shared Task a celkového vítěze EPE 2018, představujeme porovnání těchto tří kontextualizovaných metod, word2vec předtrénovaných embedingů a trénovatelných embedingů založených na znacích slov. Popsané metody dosahují nejlepších známých výsledků na UD 2.2 v porovnání s výsledky na CoNLL 2018 Shared Task.


UDPipe at SIGMORPHON 2019: Contextualized Embeddings, Regularization with Morphological Categories, Corpora Merging

UDPipe na SIGMORPHON 2019: Kontextualizované embeddingy, regularizace morfologickými kategoriemi, slučování korpusů

We present our contribution to the SIGMORPHON 2019 Shared Task: Crosslinguality and Context in Morphology, Task 2: contextual morphological analysis and lemmatization.

We submitted a modification of the UDPipe 2.0, one of best-performing systems of the CoNLL 2018 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies and an overall winner of the The 2018 Shared Task on Extrinsic Parser Evaluation. As our first improvement, we use the pretrained contextualized embeddings (BERT) as additional inputs to the network; secondly, we use individual morphological features as regularization; and finally, we merge the selected corpora of the same language.

In the lemmatization task, our system exceeds all the submitted systems by a wide margin with lemmatization accuracy 95.78 (second best was 95.00, third 94.46). In the morphological analysis, our system placed tightly second: our morphological analysis accuracy was 93.19, the winning system’s 93.23.

Představujeme náš příspěvek k shared tasku SIGMORPHON 2019: Crosslingualita a kontext v morfologii, úkol 2: kontextová morfologická analýza a lemmatizace.

Odevzdali jsme modifikaci UDPipe 2.0, jednoho z výherního systému CoNLL 2018 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies a celkového vítěze The 2018 Shared Task on Extrinsic Parser Evaluation. Jako první vylepšení používáme předtrénované kontextualizované embeddingy (BERT) jako další vstupy do sítě, za druhé používáme jednotlivé morfologické vlastnosti jako regularizaci a nakonec slučujeme vybrané korpusy stejného jazyka.

V lemmatizačním úkolu náš systém výrazně převyšuje všechny ostatní systémy s přesností lemmatizace 95,78 (druhý nejlepší byl 95,00, třetí 94,46). V morfologické analýze se náš systém umístil těsně druhý: přesnost naší morfologické analýzy byla 93,19, vítězný systém měl 93,23.


Universal Derivations (UDer) is a collection of harmonized lexical networks capturing word-formation, especially derivational relations, in a cross-linguistically consistent annotation scheme for many languages. The annotation scheme is based on a rooted tree data structure, in which nodes correspond to lexemes, while edges represent derivational relations or compounding.
The current version of the UDer collection contains eleven harmonized resources covering eleven different languages.

Universal Derivations (UDer) je sada lexikalních sítí zachycujících slovotvorné, zvl. derivační vztahy jednotlivých jazyků, tyto sítě byly harmonizovány do jednotného formátu. Stávající verze UDer v0.5 obsahuje 11 harmonizovaných zdrojů pokrývajících 11 různých jazyků.

Lukáš Kyjánek
Zdeněk Žabokrtský
Jonáš Vidra
Magda Ševčíková


Universal Derivations Kickoff: A Collection of Harmonized Derivational Resources for Eleven Languages

Universal Derivations: Soubor harmonizovaných derivačních zdrojů pro jedenáct jazyků

The aim of this paper is to open a discussion on harmonization of existing data resources related
to derivational morphology. We present a newly assembled collection of eleven harmonized
resources named “Universal Derivations” (clearly being inspired by the success story of the
Universal Dependencies initiative in treebanking), as well as the harmonization process that
brings the individual resources under a unified annotation scheme.

Cílem tohoto článku je otevřít diskusi o harmonizaci existujících datových zdrojů zabývajících se derivační morfologií. Představujeme nově vytvořený soubor jedenácti harmonizovaných zdrojů pojmenovaný „Universal Derivations“ (zjevně inspirovaný úspěchem iniciativy Universal Dependencies mezi syntakticky anotovanými korpusy) a harmonizační proces, kterým jsme tyto zdroje sjednotili do stejného anotačního schématu.

Lukáš Kyjánek
Zdeněk Žabokrtský
Magda Ševčíková
Jonáš Vidra


CUNI–Malta system at CoNLL–SIGMORPHON 2019 Shared Task on Morphological Analysis and Lemmatization in context: Operation-based word formation

Systém UK-Malta v soutěži CoNLL-SIGMORPHON 2019 v morfologické analýze a lematizaci v kontextu: Ohýbání slov postavené na operacích

This paper presents the submission by the Charles University-University of Malta team to
the CoNLL--SIGMORPHON 2019 Shared Task on Morphological Analysis and Lemmatization in context. We present a lemmatization model based on previous work on neural transducers \cite{makarov2018neural,aharoni-goldberg-2017-morphological}. The key difference is that our model transform the whole word form in every stem, instead of consuming it character by character. We propose a merging strategy inspired by Byte-Pair-Encoding that reduces the space of valid operations by merging frequent adjacent operations. The resulting operations not only encode the action/s to be performed but the relative position in the word token and
how characters need to be transformed.

Our morphological tagger is a vanilla biLSTM tagger that operates over operation representations, encoding operations and words in a hierarchical manner.

Even though relative performance according to metrics is below the baseline, experiments show that our models capture important associations between interpretable operation labels and fine-grained morpho-syntax labels.

Článek představuje příspěvek týmu Univerzity Karlovy a Maltské univerzity do soutěže CoNLL-SIGMORPHON 2019 v morfologické analýze a lematizaci v kontextu. Předkládáme lematizační model postavený na dříve publikované metodě neuronových převodníků (Makarov 2018; Aharoni a Goldberg 2017). Klíčovým rozdílem je, že náš model transformuje celý slovní tvar každého kmene, místo aby ho konzumoval znak po znaku.

Ronald Cardenas
Claudia Borg
Daniel Zeman


Challenges of integrating multiple divergent audiovisual oral history collections: the case of the Malach Center for visual history in Prague

Výzvy spojené se začleněním více různých sbírek audiovizuální historie: případ Centra vizuální historie Malach v Praze

Digital collections of audiovisual oral history interviews (OHIs) can be conceived as a specific category of large text corpora that require implementation of distant reading methods. Following the digital revolution in oral history research (e.g. Thomson, 2007; Boyd & Larson, 2014), many institutions now provide access to divergent digital collections at once, which provides the users and researchers with an opportunity to combine and compare, for example, several OHIs conducted with the same person in varied situational and socio-historical framework as part of various "process-generated" (Freund, 2009) oral history projects. This constitutes a pertinent issue for such access institutions: How can we make it as easy as possible for users to work with several separate digital archives of OHIs? Which computational methods can facilitate distant reading and efficient use of large collection of audiovisual OHI materials? And what are the persistent problems -- technical, methodological, ethical, etc. -- that have to be solved by the institutions of multiple access?
In outlining answers to these questions, in our presentation, we will discuss our experience and technological solution from the Malach Center for Visual History (CVHM) at the Charles University in Prague (see Mlynář, 2015). Over the last decade, CVHM has been providing access for students, researchers and general public to several established collections of OHIs. Since 2009, CVHM is an access point to the USC Shoah Foundation's Visual History Archive (VHA), which is an ever-growing collection of interviews with witnesses and survivors of genocides, especially the Holocaust. At the present moment, the VHA contains nearly 56,000 audiovisual recordings of OHIs in more than 40 languages (see Gustman et al., 2002). Since 2018, the Fortunoff Video Archive for Holocaust Testimonies of the Yale University Library with more than 4,400 audiovisual recordings of OHIs is also available at CVHM. In addition, users in CVHM can work with smaller collections lacking an integrated user interface such as the Refugee Voices archive (150 English interviews), and a small portion of interviews from the Jewish Holocaust Center in Melbourne (15 interviews with people of Czechoslovak origin).
The present situation of hosting several disparate collections at once poses several challenges on the level of improving effectivity of search and textual corpora analysis methods. On one hand, users-researchers are in need of a complete metadata overview, in order to generate relevant datasets, discover duplicate cases and analyze OHI collections’ profiles. On the other hand, the question of performing content-based queries across the whole corpus is imminent. For these purposes, CVHM developed an in-house interface integrating several collection at once providing solutions to both of these issues. Besides providing general access to metadata, automated speech recognition based transcripts (generated by AMALACH algorithm, post-edited) serve simultaneously as textual data for the multilingual cross-corpus search in English, Czech and Slovak and searchable automatically generated keywords dataset (KER - Keyword Extractor provided by LINDAT/CLARIN). Owing to this approach, users are able to easily acquire relevant results on several levels without the necessity of separately accessing the individual collections or OHIs.

Digitální sbírky audiovizuálních orálněhistorických rozhovorů (OHI) mohou být pojaty jako zvláštní kategorie velkých textových korpusů, které vyžadují implementaci metod vzdáleného čtení. Po digitální revoluci ve výzkumu orální historie (např. Thomson, 2007; Boyd & Larson, 2014) dnes mnoho institucí poskytuje přístup k mnoha digitálním kolekcím najednou, což uživatelům a výzkumníkům poskytuje možnost zkombinovat a porovnat například několik OHI provedených se stejnou osobou v různorodém situačním a sociohistorickém rámci jako součást různých projektů. To klade před takové přístupové instituce řadu otázek: Jak můžeme uživatelům co nejvíce usnadnit práci s několika samostatnými digitálními archivy OHI? Které výpočetní metody mohou usnadnit vzdálené čtení a efektivní využití rozsáhlého sběru audiovizuálních materiálů OHI? A jaké jsou přetrvávající problémy - technické, metodologické, etické atd. -, které musí instituce vyřešit?
Při nastínění odpovědí na tyto otázky budeme v naší prezentaci diskutovat o našich zkušenostech a technologických řešeních z Centra vizuální historie Malach (CVHM) na Univerzitě Karlově.
Současná situace, kdy je zpřístupněno několik nesourodých sbírek najednou, představuje několik výzev na úrovni zlepšení účinnosti metod vyhledávání a textové analýzy korpusů. Na jedné straně uživatelé-výzkumníci potřebují úplný přehled metadat, aby mohli vytvářet příslušné soubory dat, objevovat duplicitní případy a analyzovat profily sbírek OHI. Zároveň vyvstává otázka prohledávání obsahu napříč celým korpusem. Pro tyto účely vyvinulo CVHM interní rozhraní, které integruje několik kolekcí najednou a poskytuje řešení obou těchto otázek. Díky tomuto řešení mohou uživatelé snadno získávat relevantní výsledky na několika úrovních bez nutnosti samostatného přístupu k jednotlivým sbírkám nebo k OHI.

Jiří Kocián
Jakub Mlynář
Pavel Obdržálek


Promoting the Knowledge of Source Syntax in Transformer NMT Is Not Needed

Podpora znalostí zdrojové syntaxe v Transformer NMT není třeba

The utility of linguistic annotation in neural machine translation seemed to had been established in past papers. The experiments were however limited to recurrent sequence-to-sequence architectures and relatively small data settings.

We focus on the state-of-the-art Transformer model and use comparably larger corpora. Specifically, we try to promote the knowledge of source-side syntax using multi-task learning either through simple data manipulation techniques or through a dedicated model component. In particular, we train one
of Transformer attention heads to produce source-side dependency tree.

Overall, our results cast some doubt on the utility of multi-task setups with linguistic information. The data manipulation techniques, recommended in previous works, prove ineffective in large data settings.

The treatment of self-attention as dependencies seems much more promising: it helps in translation and reveals that Transformer model can very easily grasp the syntactic structure.
An important but curious result is, however, that identical gains are obtained by using trivial ``linear trees'' instead of true dependencies. The reason for the gain thus may not be coming from the added linguistic knowledge but from some simpler regularizing effect we induced on self-attention matrices.

Užitečnost jazykových anotací v překladu do neurálních strojů byla zřejmě prokázána v minulých pracích. Pokusy se však omezovaly na opakující se sekvenční architektury a relativně malé nastavení dat.

Zaměřujeme se na nejmodernější model Transformeru a používáme srovnatelně větší korporáty. Konkrétně se snažíme podporovat znalosti syntaxe na zdrojové straně pomocí víceúkolového učení buď pomocí jednoduchých technik manipulace s daty, nebo pomocí speciální modelové komponenty. Konkrétně jednoho cvičíme
Transformer se soustředí na vytvoření stromu závislosti na straně zdroje.

Celkově naše výsledky zpochybňují užitečnost víceúkolových sestav s jazykovými informacemi. Techniky manipulace s daty, doporučované v předchozích dílech, se v nastavení velkých dat ukazují jako neúčinné.

Zacházení se sebepozorností jako se závislostmi se zdá mnohem slibnější: pomáhá při překladu a odhaluje, že model Transformer dokáže velmi snadno uchopit syntaktickou strukturu.
Důležitým, ale kuriózním výsledkem však je, že identického zisku se dosáhne použitím triviálních ,,lineárních stromů`` namísto skutečných závislostí. Přínos tedy nemusí vyplývat z přidaných jazykových znalostí, ale z nějakého jednoduššího regularizačního efektu, který jsme navodili u matricí, které se věnují samy sobě.

Thuong-Hai Pham
Dominik Macháček
Ondřej Bojar


Anaphoric Connectives and Long-Distance Discourse Relations in Czech

Anaforické konektory a diskurzní vztahy nesousedních textových segmentů v češtině

The paper is a linguistic as well as technical survey for the development of a shallow discourse parser for Czech. It focuses on long-distance discourse relations signalled by (mostly) anaphoric discourse connectives. Proceeding from the division of connectives on “structural” and “anaphoric” according to their (in)ability to accept distant (non-adjacent) text segments as their left-sided arguments, and taking into account results of related analyses on English data in the framework of the Penn Discourse Treebank, we analyze a large amount of language data in Czech. We benefit from the multilayer manual annotation of various language aspects from morphology to discourse, coreference and bridging relations in the Prague Dependency Treebank 3.0. We describe the linguistic parameters of long-distance discourse relations in Czechin connection with their anchoring connective, and suggest possible ways of their detection. Our empirical research also outlines some theoretical consequences for the underlying assumptions in discourse analysis and parsing, e.g. the risk of relying too much on different (language-specific?) part-of-speech categorizations of connectives or the different perspectives in shallow and global discourse analyses (the minimality principle vs. higher text structure).

Článek přináší lingvistický i technický podklad pro vývoj diskurzního parseru pro češtinu. Zaměřuje se na diskurzní vztahy  mezi nesousedními segmenty textu signalizované (většinou) anaforickými konektory.


CUNI Systems for the Unsupervised News Translation Task in WMT 2019

Systémy Univerzity Karlovy pro soutěž ve strojovém překladu novinových textů bez použití paralelních dat

In this paper we describe the CUNI translation system used for the unsupervised news shared task of the ACL 2019 Fourth Conference on Machine Translation (WMT19). We follow the strategy of Artetxe ae at. (2018b), creating a seed phrase-based system where the phrase table is initialized from cross-lingual embedding mappings trained on monolingual data, followed by a neural machine translation system trained on synthetic parallel data. The synthetic corpus was produced from a monolingual corpus by a tuned PBMT model refined through iterative back-translation. We further focus on the handling of named entities, i.e. the part of vocabulary where the cross-lingual embedding mapping suffers most. Our system reaches a BLEU score of 15.3 on the German-Czech WMT19 shared task.

V tomto článku popisujeme překladový systém CUNI pro úlohu neřízeného strojového překladu novinových textů na ACL 2019 Fourth Conference on Machine Translation (WMT19).

Ivana Kvapilíková
Dominik Macháček
Ondřej Bojar


CUNI System for the WMT19 Robustness Task

Systém Univerzity Karlovy pro úlohu robustního překladu na WMT19

We present our submission to the WMT19 Robustness Task. Our baseline system is the CUNI Transformer system trained for the WMT18 shared task on News Translation. Quantitative results show that the CUNI Transformer system is already far more robust to noisy input than the LSTM-based baseline provided by the task organizers. We further improved the performance of our model by fine-tuning on the in-domain noisy data.

V článku přestavuje náš přísvek do soutěže v robustním strojovém překaladu na konferenci WMT19. Náš základní systém je CUNI Transformer systém trénovaný překlad novinových textů pro WMT18. Kvantitativní výsledky ukazují, že systém CUNI Transformer je již mnohem robustnější základní model založený na LSTM, který poskytli organizátoři soutěže. Kvalitu překladu našeho modelu jsme dále vylepšili vyladěním na zašuměných datech, která byla poskytnuta k soutěži.

Jindřich Helcl
Jindřich Libovický
Martin Popel


Traditionally, most natural language processing tasks are solved within the language, relying on distributional properties of words. Representation learning abilities of deep learning recently allowed using additional information source by grounding the representations in the visual modality. One of the tasks that attempt to exploit the visual information is multimodal machine translation: translation of image captions when having access to the original image. The thesis summarizes joint processing of language and real-world images using deep learning. It gives an overview of the state of the art in multimodal machine translation and describes our original contribution to solving this task. We introduce methods of combining multiple inputs of possibly different modalities in recurrent and self-attentive sequence-to-sequence models and show results on multimodal machine
translation and other tasks related to machine translation. Finally, we analyze how the multimodality influences the semantic properties of the sentence representation learned by the networks and how that relates to translation quality

Tradičně se většina úloh zpracování přirozeného jazyka řeší výhradně uvnitř jazyka, kdy modely spoléhají na distribuční vlastnosti slov. Hluboké učení se svojí schopností učit se vhodné reprezentace vstupních dat umožňuje využití více informací tím, že trénovací signál nepochází pouze z jazyka, ale o i z obrazové modality. Jednou z úloh, které se pokoušejí využít vizuální informace, je multimodální strojový překlad: překlad popisků obrázků, kdy je stále k dispozici původní obrázek, který lze využít jako vstup pro překladač. Tato práce shrnuje metody společného zpracovávání jazykových dat a fotografií s využitím hlubokého učení. Uvádíme přehled metod, které se využívají k řešení multimodálního strojového překladu a popisujeme náš původní příspěvek k řešení této úlohy. Představujeme metody kombinování více vstupů z potenciálně různých modalit v modelech sekvenčního učení založených na rekurentních neuronových sítích a neuronových sítí s mechanismem sebepozornosti. Uvádíme výsledky, kterých jsme dosáhli při řešení multimodálního strojového překladu a dalších úloh souvisejících se strojovým překladem. Na závěr analyzujeme, jak multimodalita ovlivňuje sémantické vlastnosti větných reprezentací, které v sítích vznikají, a jak sémantické vlastnosti reprezentací souvisí s kvalitou překladu.


Traditionally, most NLP tasks are solved within the language, relying on distributional properties of words. Representation learning abilities of deep learning recently allowed using additional information source by grounding the representations in the visual modality. One of the tasks that attempt to exploit the visual information is multimodal machine translation, translation of image captions when having access to the original image.

The talk will summarize methods of combining multiple inputs of possibly different modality in recurrent and Transformer sequence-to-sequence models and show results on multimodal and multi-source machine translation. Finally, we will discuss how the multimodality influences the semantic properties of the representation learned by the networks and how does that relate to the translation quality.

Většina úloh zpracování přirozeného jazyka se tradičně řeší v rámci jazyka a spoléhá se na distribuční vlastnosti slov. Schopnost modelů hlubokého učení učit se vhodnou reprezentaci vstupních dat nedávno umožnila využít také obrazovou informaci. Jedna z úloh, které se pokoušejí využít vizuální informaci, je multimodální strojový překlad, tj. překlad popisků obrázků, který má k původnímu obrázku.

Přednáška shrnuje metody kombinování více vstupů s možnou různou modalitou v model využívajích rekurentní neuronové sítě a modelu Tranformer a ukáže výsledky multimodálního a vícezdrojového strojového překladu. Nakonec probereme, jak multimodalita ovlivňuje sémantické vlastnosti reprezentace, které se sítě naučily, a jak to souvisí s kvalitou překladu.


Neural Networks as Explicit Word-Based Rules

Neuronové sítě jako explicitní pravida se slovy

Filters of convolutional networks used in computer vision are often visualized as image patches that maximize the response of the filter. We use the same approach to interpret weight matrices in simple architectures for natural language processing tasks. We interpret a convolutional network for sentiment classification as word-based rules. Using the rule, we recover the performance of the original model.

Filtry konvolučních neuronových sítí používaných v počítačovém vidění se často vizualizjí jako malé čtevrcové obrázky, které maximalizují odezvu filtru. V tomto abstraktu používáme stejný postup při interpretaci váhových matic v jednoduchých architekturách pro úkoly zpracování přirozeného jazyka. Intepretujeme konvoluční neuronovou síť pro klasifikaci sentimentu jako slovní pravidla. Pomocí těchto pravidel jsme schopni rokonstruovat fungování původního modelu.


Neural networks and automatic translation

The article explains the basics of artificial neural networks and describes model for neural machine translation. Further, it discusses problem of the current models such as handling gender stereotypes.

Článek populárně vysvětluje základy fungování umělých neuronových sítí a popisuje, jak fungují modely pro neuronový strojový překlad. Dále ukazuje problémy strojového překladu jako třeba genderové stereotypy, které modely vykazují.


How Language-Neutral is Multilingual BERT?

Jak jazykově neutrální je vícejazyčný BERT?

Multilingual BERT (mBERT) provides sentence representations for 104 languages, which are useful for many multi-lingual tasks. Previous work probed the cross-linguality of mBERT using zero-shot transfer learning on morphological and syntactic tasks. We instead focus on the semantic properties of mBERT. We show that mBERT representations can be split into a language-specific component and a language-neutral component, and that the language-neutral component is sufficiently general in terms of modeling semantics to allow high-accuracy word-alignment and sentence retrieval but is not yet good enough for the more difficult task of MT quality estimation. Our work presents interesting challenges which must be solved to build better language-neutral representations, particularly for tasks requiring linguistic transfer of semantics.

Vícejazyčný BERT (mBERT) poskytuje větné reprezentace pro 104 jazyků, které jsou užitečné pro mnoho vícejazyčných úloh. Předchozí práce zkoumala mnohojazyčnost mBERTu s využitím nulového transferového učení na morfologických a syntaktických úkolech. Místo toho se soustředíme na sémantické vlastnosti mBERTu. Ukazujeme, že reprezentace mBERT mohou být rozděleny na jazykově specifickou složku a jazykově neutrální složku a že jazykově neutrální složka je dostatečně obecná, pokud jde o modelování sémantiky, aby umožnila vysoce přesné zarovnání slov a vyhledávání vět, ale zatím není dostatečně dobrá pro obtížnější úkol odhadu kvality MT. Naše práce přináší zajímavé výzvy, které musí být vyřešeny, aby bylo možné sestavit lepší jazykově neutrální reprezentace, zejména u úkolů vyžadujících jazykový přenos sémantiky.

Jindřich Libovický
Rudolf Rosa
Alexander Fraser


Probing Representations Learned by Multimodal Recurrent and Transformer Models

Zkoumání reprezentací naučených v multimodálních rekurentních a sebepozornostních modelech

Recent literature shows that large-scale language modeling provides excellent reusable sentence representations with both recurrent and self-attentive architectures. However, there has been less clarity on the commonalities and differences in the representational properties induced by the two architectures. It also has been shown that visual information serves as one of the means for grounding sentence representations. In this paper, we present a meta-study assessing the representational quality of models where the training signal is obtained from different modalities, in particular, language modeling, image features prediction, and both textual and multimodal machine translation. We evaluate textual and visual features of sentence representations obtained using predominant approaches on image retrieval and semantic textual similarity. Our experiments reveal that on moderate-sized datasets, a sentence counterpart in a target language or visual modality provides much stronger training signal for sentence representation than language modeling. Importantly, we observe that while the Transformer models achieve superior machine translation quality, representations from the recurrent neural network based models perform significantly better over tasks focused on semantic relevance.

Z nedávné literatury vyplývá, že jazykové modelování na velkých datech poskytuje vynikající opakovaně použitelné větné reprezentace. Bylo rovněž prokázáno, že vizuální informace sloužit jako jeden ze způsobů ukotvení větných reprezentací. V tomto článku představujeme metastudii hodnotící kvalitu reprezentace modelů, kde trénovací signál pochází z různých modalit: jazykového modelování, předvídání reprezentace obrázku a textového a multimodálního strojového překladu. Hodnotíme textové a vizuální vlastnosti větných reprezentací na úlohách vyhledávání obrázků a sématické podobnosti textů. Naše experimenty odhalují, že na středně velkých datasetech poskytuje větný protějšek v cílovém jazyce nebo vizuální modalitě mnohem silnější trénovací signál pro reprezentaci vět než jazykové modelování. Důležité je, že zatímco modely Transformer dosahují vyšší kvality strojového překladu, reprezentace z modelů založených na rekurentních neuronové sítí dosahují výrazně lepších výsledků při hodnocení sématické relevance.