This paper presents the ongoing European Language Equality (ELE) project, an 18-month action funded by the European Commission. The primary goal of the ELE project is to prepare the ELE programme, in the form of a strategic research, innovation and implementation agenda and roadmap for achieving full digital language equality in Europe by 2030.

Tento dokument představuje probíhající projekt Evropské jazykové rovnosti (ELE), což je osmnáctiměsíční akce financovaná Evropskou komisí. Primárním cílem projektu ELE je připravit program ELE v podobě strategického programu výzkumu, inovací a realizace a plánu pro dosažení úplné digitální jazykové rovnosti v Evropě do roku 2030.

Itziar Aldabe
Jane Dunne
Aritz Farwell
Owen Gallagher
Federico Gaspari
Maria Giagkou
Jan Hajič
Jens Peter Kückens
Teresa Lynn
Georg Rehm
German Rigau
Katrin Marheinecke
Stelios Piperidis
Natalia Resende
Tereza Vojtěchová
Andy Way


Migrant Stories is a corpus of 1017 short biographic narratives of migrants supplemented with meta information about countries of origin/destination, the migrant gender, GDP per capita of the respective countries etc. The corpus has been compiled as a teaching material for data analysis.

Příběhy migrantů je korpus 1017 krátkých biografických příběhů migrantů doplněných metainformacemi o zemích původu/cílových zemích, pohlaví migrantů, HDP na obyvatele příslušných zemí apod. Korpus byl vytvořen jako výukový materiál pro analýzu dat.

Martin Hájek
Jiří Mírovský
Barbora Hladká


GEMv2: Multilingual NLG Benchmarking in a Single Line of Code

GEMv2: Vícejazyčný NLG Benchmarking v jediném řádku kódu

Evaluation in machine learning is usually informed by past choices, for example which datasets or metrics to use. This standardization enables the comparison on equal footing using leaderboards, but the evaluation choices become sub-optimal as better alternatives arise. This problem is especially pertinent in natural language generation which requires ever-improving suites of datasets, metrics, and human evaluation to make definitive claims. To make following best model evaluation practices easier, we introduce GEMv2. The new version of the Generation, Evaluation, and Metrics Benchmark introduces a modular infrastructure for dataset, model, and metric developers to benefit from each others work. GEMv2 supports 40 documented datasets in 51 languages. Models for all datasets can be evaluated online and our interactive data card creation and rendering tools make it easier to add new datasets to the living benchmark.

Vyhodnocování ve strojovém učení je obvykle založeno na minulých rozhodnutích, například na tom, které datové sady nebo metriky použít. Tato standardizace umožňuje rovnocenné porovnávání pomocí žebříčků, ale volby hodnocení se stávají suboptimálními, protože se objevují lepší alternativy. Tento problém se týká zejména generování přirozeného jazyka, které vyžaduje stále se zdokonalující sady datových sad, metrik a lidské hodnocení, aby bylo možné učinit definitivní závěry. Abychom usnadnili sledování nejlepších postupů vyhodnocování modelů, představujeme GEMv2. Nová verze benchmarku pro generování, vyhodnocování a metriky zavádí modulární infrastrukturu pro vývojáře datových sad, modelů a metrik, aby mohli vzájemně využívat své práce. GEMv2 podporuje 40 zdokumentovaných datových sad v 51 jazycích. Modely pro všechny datové sady lze vyhodnocovat online a naše interaktivní nástroje pro tvorbu a vykreslování datových karet usnadňují přidávání nových datových sad do živého benchmarku.

Sebastian Gehrmann
Abhik Bhattacharjee
Abinaya Mahendiran
Alex Wang
Alexandros Papangelis
Aman Madaan
Angelina McMillan-Major
Anna Shvets
Ashish Upadhay
Bingsheng Yao
Bryan Wilie
Chandra Bhagavatula
Chaobin You
Craig Thomson
Cristina Garbacea
Dakuo Wang
Daniel Deutsch
Deyi Xiong
Di Jin
Dimitra Gkatzia
Dragomir R. Radev
Elizabeth Clark
Esin Durmus
Faisal Ladhak
Filip Ginter
Genta Indra Winata
Hendrik Strobelt
Hiroaki Hayashi
Jekaterina Novikova
Jenna Kanerva
Jenny Chim
Jiawei Zhou
Jordan Clive
Joshua Maynez
Joao Sedoc
Juraj Juraska
Kaustubh D. Dhole
Khyati Rangavi Chandu
Laura Perez-Beltrachini
Leonardo F. R. Ribeiro
Lewis Tunstall
Li Zhang
Mahima Pushkarna
Mathias Creutz
Michael White
Mihir Kale
Moussa Kamal Eddine
Nico Daheim
Nishant Subramani
Ondřej Dušek
Paul Pu Liang
Pawan Sasanka Ammanamanchi
Qi Zhu
Ratish Puduppully
Reno Kriz
Rifat Shahriyar
Ronald Cardenas
Saad Mahamood
Salomey Osei
Samuel Cahyawijaya
Sanja Štajner
Sebastien Montella
Shailza Jolly
Simon Mille
Tahmid Hasan
Tianhao Shen
Tosin Adewumi
Vikas Raunak
Vipul Raheja
Vitaly Nikolaev
Vivian Tsai
Yacine Jernite
Ying Xu
Yisi Sang
Yixin Liu
Yufang Hou


Two Reproductions of a Human-Assessed Comparative Evaluation of a Semantic Error Detection System

Dvě reprodukce lidmi hodnoceného srovnávacího hodnocení systému detekce sémantických chyb

In this paper, we present the results of two reproduction studies for the human evaluation originally reported by Dušek and Kasner (2020) in which the authors comparatively evaluated outputs produced by a semantic error detection system for data-to-text generation against reference outputs. In the first reproduction, the original evaluators repeat the evaluation, in a test of the repeatability of the original evaluation. In the second study, two new evaluators carry out the evaluation task, in a test of the reproducibility of the original evaluation under otherwise identical conditions. We describe our approach to reproduction, and present and analyse results, finding different degrees of reproducibility depending on result type, data and labelling task. Our resources are available and open-sourced.

V tomto článku prezentujeme výsledky dvou reprodukčních studií lidského hodnocení, které původně reportovali Dušek a Kasner (2020) a ve kterém autoři srovnávali výstupy vytvořené systémem pro detekci sémantických chyb při generování textu z dat s referenčními výstupy. V první reprodukční studii původní hodnotitelé opakují hodnocení v rámci testu opakovatelnosti původního hodnocení. Ve druhé studii dva noví hodnotitelé provádějí úlohu hodnocení v rámci testu reprodukovatelnosti původního hodnocení za jinak stejných podmínek. Popisujeme náš přístup k reprodukci a prezentujeme a analyzujeme výsledky, přičemž zjišťujeme různé stupně reprodukovatelnosti v závislosti na typu výsledku, údajích a úloze označování. Naše zdroje jsou k dispozici a mají otevřený zdrojový kód.

Rudali Huidrom
Ondřej Dušek
Zdeněk Kasner
Thiago Castro Ferreira
Anya Belz


Rudolf Rosa: We have proved that AI is almost advanced enough to write a theater play

Rudolf Rosa: Dokázali jsme, že doba, kdy AI zvládne napsat divadelní hru, je velmi blízko

He is the scientist who introduced artificial intelligence to the stage. Nevertheless, he admits that the machine may not create art because it has no inner need to express anything. Read about how Rudolf Rosa, a researcher at the Institute of Formal and Applied Linguistics, CUNI's MFF, sees the future of AI in art.

Umělou inteligenci dostal na divadelní prkna. Přesto přiznává, že stroj možná nemůže tvořit umění, protože nemá vnitřní potřebu cosi vyjádřit. Přečtěte si, kde vidí budoucnost AI v umění Rudolf Rosa, výzkumný pracovník z Ústavu formální a aplikované lingvistiky MFF UK.


Annotation guidelines for Spanish verbal synonyms in the SynSemClass lexicon

Manual pro anotaci španělských slovních synonym ve slovníku SynSemClass

These guidelines are created as part of the research project Language Understanding: from Syntax to Discourse (LUSyD) and describe the goals, resources and procedure for the addition of a fourth language, Spanish, to the
multilingual synonym verbal lexicon SynSemClass. The
lexicon currently comprises three languages: Czech, English and German, thus allowing a comparison of syntactic-semantic cross-linguistic properties. The lexicon also provides empirical data relevant for ongoing NLP research.

Tyto pokyny jsou vytvořeny v rámci výzkumného projektu Porozumění jazyku: od syntaxe k diskurzu (LUSyD) a popisují cíle, zdroje a postup pro doplnění čtvrtého jazyka, španělštiny, do SynSemClass. Na stránkách lexikon v současné době obsahuje tři jazyky: češtinu, angličtinu a němčinu, což umožňuje porovnání syntakticko-sémantických vlastností napříč jazyky. Lexikon rovněž poskytuje empirická data relevantní pro probíhající výzkum NLP.

Cristina Fernández Alcaina
Eva Fučíková
Zdeňka Urešová


After a good two decades when only a stronghold of very few morphologists defended or even considered the possibility of derivational zeroes (cf. Don 2005), zero-affixation has recently taken the stage of workshops at international conferences again, both past (Iordăchioaia & Melloni, SLE 2020) and to come (Vasile, forthcoming). The discussion aroused by these and other events as well as by recent publications on the issue (e.g. Dahl & Fábregas 2018) has taken the form of revisions, both theory-oriented, e.g. in Gaeta (2013) or ten Hacken (2019), and data-driven, e.g. in Melloni & Iordăchioaia (2020) or Ševčíková (2021), and brings to the fore past controversies and renewed insights on the process and on its most adequate interpretation.

Po dobrých dvou desetiletích, kdy možnost derivačních nul obhajovalo nebo o ní dokonce uvažovalo jen několik málo morfologů (srov. Don 2005), se nulová afixace v poslední době opět dostává na scénu workshopů na mezinárodních konferencích, a to jak minulých (Iordăchioaia & Melloni, SLE 2020), tak budoucích (Vasile, forthcoming). Diskuse vyvolaná těmito a dalšími akcemi i nedávnými publikacemi na toto téma (např. Dahl & Fábregas 2018) má podobu revizí, a to jak teoretických, např. v Gaeta (2013) nebo ten Hacken (2019), tak datových, např. v Melloni & Iordăchioaia (2020) nebo Ševčíková (2021), a přináší do popředí minulé kontroverze i nové pohledy na tento proces a na jeho nejadekvátnější interpretaci.

Cristina Fernández Alcaina
Salvador Valera


How “Tools” Produce “Data”: Searching in a Large Digital Corpus of Audiovisual Holocaust Testimonies

Jak "nástroje" produkují "data": Vyhledávání ve velkém digitálním korpusu audiovizuálních svědectví

The  field  of  Jewish  Studies  is  facing  many  new  challenges  as  a  result  of  ongoing  digitization.  This  chapter  focuses  on  digital  oral  histories  of  the  Hol-ocaust.  Following  the  digital  revolution  in  oral  history,  many  institutions  now  provide access to multiple collections at once. One of the new challenges is thus related  to  the  simultaneous  availability  of  several  archives,  as  well  as  various  search engines which apply different methods to browse their content. The aim of this chapter is to identify and describe participants’ practices for working with a large corpus of audiovisual Holocaust testimonies, especially in terms of locating relevant results within the collection by using three different search systems. We have conducted an empirical study in an experimental setting designed to emulate work  with  various  search  engines.  Three  pairs  of  novice  users  solved  ten  tasks  over  video-conferencing  software,  utilizing  three  different  search  “tools”  (USC  Shoah Foundation’s Visual History Archive, Amalach, and Pixla). Our main find-ings consist of formulating a fundamental structure and elements of participants’ collaborative  work,  composed  of  three  complementary  actions:  testing,  sharing,  and  implementing.  Furthermore,  users  obtained  the  search  results  by  two  main  approaches: aggregation and query refinement. Interestingly, they did not upgrade the searching skills progressively, but rather used the current “best knowledge” for all the tasks and search engines at once. The participants’ emergent competence was  continuously  developed  on  the  basis  of  collaborative  work  with  the  search  engines and the results obtained so far through their work on the previous tasks.

Židovská studia čelí v důsledku probíhající digitalizace mnoha novým výzvám. Tato kapitola se zaměřuje na digitální ústní dějiny holokaustu. Po digitální revoluci v ústní historii poskytuje nyní mnoho institucí přístup k více sbírkám najednou. Jedna z nových výzev tak souvisí se současnou dostupností několika archivů a také různých vyhledávačů, které používají různé metody pro prohlížení jejich obsahu. Cílem této kapitoly je identifikovat a popsat postupy účastníků při práci s velkým korpusem audiovizuálních svědectví o holokaustu, zejména pokud jde o vyhledávání relevantních výsledků v rámci sbírky pomocí tří různých vyhledávacích systémů. Provedli jsme empirickou studii v experimentálním prostředí určeném k emulaci práce s různými vyhledávači. Tři páry začínajících uživatelů vyřešily deset úkolů přes videokonferenční software, přičemž využily tři různé vyhledávací „nástroje“ (archiv vizuální historie nadace USC Shoah Foundation, Amalach a Pixla). Naše hlavní nálezy spočívají ve formulaci základní struktury a prvků spolupráce účastníků, složené ze tří vzájemně se doplňujících akcí: testování, sdílení a implementace. Uživatelé dále získali výsledky vyhledávání pomocí dvou hlavních přístupů: agregace a zušlechťování dotazů. Zajímavé je, že nezvyšovali dovednosti vyhledávání progresivně, ale spíše využívali současné „nejlepší znalosti“ pro všechny úkoly a vyhledávače najednou. Vznikající kompetence účastníků byla průběžně rozvíjena na základě spolupráce s vyhledávači a výsledků, které dosud získali díky své práci na předchozích úkolech.

Jakub Mlynář
Jiří Kocián
Karin Hofmeisterová


An updated version of discourse annotation in the Prague Dependency Treebank data, containing numerous corrections of errors and annotation inconsistencies. The data are published in their native format (PDT-like), as well as newly in the Penn Discourse Treebank 3.0 column format and the PDTB3 sense taxonomy.

Aktualizovaná verze diskurzní anotace v datech Pražského závislostního korpusu obsahující opravu řady chyb a anotačních nekonzistencí. Data jsou publikována ve svém nativním formátu (stejný jako u PDT) a nově rovněž ve sloupcovém formátu Penn Discourse Treebanku 3.0 a s diskurzními typy taxonomie PDTB3.

Pavlína Synková
Magdaléna Rysová
Jiří Mírovský
Lucie Poláková
Veronika Sheller
Jana Zdeňková
Šárka Zikánová
Eva Hajičová


Can we use contextual word embeddings to create word-formational networks?

Lze využít kontextové slovní embeddingy pro tvorbu slovotvorných sítí?

In recent years, research of word embeddings has been focused on contextual embeddings, which, in comparison with static embeddings, naturally provide strong cross-lingual properties and improve empirical results in many downstream tasks. However, most of their uses (named entity recognition, syntactic parsing, translation etc.) benefit from the representation of the context itself, while inherently lexical tasks seem to not benefit as much. In this presentations, I will compare contextual embeddings obtained from XLM-RoBERTa to static word2vec and FastText embeddings and discuss several methods of extracting static representations from the contextual ones.

V posledních letech se výzkum word embeddings zaměřuje na kontextové embeddingy, které v porovnání se statickými embeddingy umožňují snadné rozšíření na více jazyků a dosažení lepších výsledků na úlohách, ve kterých jsou používány. Většina těchto úloh (rozpoznávání pojmenovaných entit, syntaktický větný rozbor, překlad atp.) však těží z reprezentace samotného kontextu, zatímco na lexikálních úlohách kontextové embeddingy přinášejí pouze malé zlepšení. Ve své prezentaci srovnám kontextové embeddingy z XLM-RoBERTa se statickými embeddingy natrénovanými pomocí word2vec a FastText a ukáži několik metod pro extrakci statických reprezentací z kontextových.


Can a robot write a play that reflects the world in the times we live in? Find out at the stage reading of a play created fully by a computer. Follow the story of the married couple Ivan and Nina, whose lives become deeply impacted by incoming war. Permeation is the second play generated by artificial intelligence—a mix of love tragedy, war drama, and espionage thriller.

Může robot napsat hru, která odráží svět v době, ve které žijeme? Zjistěte si to na jevišti při čtení hry vytvořené plně počítačem. Sledujte příběh manželského páru Ivana a Niny, jejichž životy jsou hluboce ovlivněny přicházející válkou. Pronikání je druhá hra vytvořená umělou inteligencí – směs milostné tragédie, válečného dramatu a špionážního thrilleru.

Erwin Maas
2.0 THEaiTRobot
Josef Doležal
Klára Vosecká
David Košťák
Rudolf Rosa
Tomáš Studeník


Artists, scientists and university students in Prague joined their forces for the second time to explore creative collaboration between a man and artificial intelligence. The stage reading, presented at the 2022 Rehearsal for Truth Theater Festival in world premiere, is outcome of two years of work on a unique project supported by The Technology Agency of the Czech Republic (TACR). At the start of this project there was a question whether AI can write a theater play. Using artificial intelligence during creative process and collaboration of a man and AI poses numerous unsettling questions beyond the field of art and invites for wider social debate.

Umělci, vědci a vysokoškolští studenti v Praze již podruhé spojili své síly, aby prozkoumali tvůrčí spolupráci mezi člověkem a umělou inteligencí. Scénografické čtení, prezentované na divadelním festivalu Rehearsal for Truth v roce 2022 ve světové premiéře, je výsledkem dvouleté práce na unikátním projektu podporovaném Technologickou agenturou České republiky (TAČR). Na začátku tohoto projektu byla otázka, zda AI dokáže napsat divadelní hru. Využití umělé inteligence během tvůrčího procesu a spolupráce člověka a AI vyvolává řadu znepokojivých otázek mimo oblast umění a vybízí k širší společenské debatě.


The Interaction of Personal Data, Intellectual Property and Freedom of Expression in the Context of Language Research

Interakce osobních dat, intelektuálního vlastnictví a svobody slova v kontextu jazykového výzkumu

Language researchers are usually aware of intellectual property and personal data (PD) requirements. The problem, however, arises when these two legal regimes have conflicting requirements. For instance, when copyright law requires the acknowledgement of the author, but personal data law enshrines the data mini-misation principle. It is a practical question for a language researcher whether he should name the author of the text used for, e.g., building a language model, or follow the data minimisation principle not to name the author. The access right that a data subject has introduces similar conflicts. The question is what the scope of the access right is. Does it cover only processed personal data, or does it extend to data derived from PD? The interaction of the freedom of expression with PD protection entails several problems. The question is whether researchers can publish their research results containing personal data. The General Data Protection Regulation establishes a general framework that needs to be implemented by EU member states. We analyse different implementations based on examples from several EU countries.

Jazykoví badatelé si obvykle uvědomují požadavky na duševní vlastnictví a osobní údaje (PD). Problém však nastává, když tyto dva právní režimy mají protichůdné požadavky. Například když autorské právo vyžaduje uznání autora, ale zákon o osobních údajích zakotvuje zásadu minimisace údajů. Pro jazykového badatele je praktickou otázkou, zda by měl jmenovat autora textu použitého např. pro vytvoření jazykového modelu, nebo se řídit zásadou minimalizace údajů, aby autora nejmenoval. Přístupové právo, které má subjekt údajů, přináší podobné konflikty. Otázkou je, jaký je rozsah přístupového práva. Vztahuje se pouze na zpracovávané osobní údaje, nebo se vztahuje i na údaje odvozené od PD? Vzájemné působení svobody projevu s ochranou PD přináší několik problémů. Otázkou je, zda mohou badatelé zveřejňovat výsledky svého výzkumu obsahující osobní údaje. Obecné nařízení o ochraně osobních údajů stanoví obecný rámec, který musí členské státy EU zavést. Analyzujeme různé implementace na základě příkladů z několika zemí EU.

Aleksei Kelli
Krister Lindén
Paweł Kamocki
Kadri Vider
Penny Labropoulou
Ramūnas Birštonas
Vadim Mantrov
Vanessa Hannesschläger
Ricardo Del Grata
Age Värv
Gaabriel Tavits
Andres Vutt
Ester Hoorn
Jan Hajič
Arvi Tavast


Word Formation Analyzer for Czech: Automatic Parent Retrieval and Classification of Word Formation Processes

Word Formation Analyzer for Czech: Automatické rozpoznávání základových slov a klasifikace slovotvorných procesů

We present a deep-learning tool called Word Formation Analyzer for Czech, which, given an
input lexeme, automatically retrieves the lemma or lemmas from which the input lexeme was
formed. We call this task parent retrieval. Furthermore, based on the number of words in the
output sequence and its comparison to the input, the input word is classified into one of three
categories: compound, derivative or unmotivated. We call this task word formation classification.
In the task of parent retrieval, Word Formation Analyzer for Czech achieved an accuracy of 71%.
In word formation classification, the tool achieved an accuracy of 87%.

Představujeme nástroj vytvořený na bázi hlubokého učení nazvaný Word Formation Analyzer for Czech, který na základě vstupního lexému vrátí lemma nebo lemmata, jež tvoří jeho základ. Této úloze říkáme rozpoznávání základových slov. Na základě počtu slov ve výstupní sekvenci a jejím srovnání se vstupem lze pak vstup klasifikovat do jedné ze tří kategorií: kompozitum, derivát, nebo nemotivované. Této úloze říkáme slovotvorná klasifikace. V rozpoznávání základových slov dosáhl Word Formation Analyzer for Czech accuracy 71%, v klasifikaci slovotvorných procesů pak 87%.


Assessing clinical utility of Machine Learning and Artificial Intelligence approaches to analyze speech recordings in Multiple Sclerosis: A Pilot Study

Vyhodnocení klinické užitečnosti přístupů na bázi strojového učení a umělé inteligence při analýze nahrávek pacientů s roztroušenou sklerózou: pilotní studie

Background
An early diagnosis together with an accurate disease progression monitoring of multiple sclerosis is an important component of successful disease management. Prior studies have established that multiple sclerosis is correlated with speech discrepancies. Early research using objective acoustic measurements has discovered measurable dysarthria.

Method
The objective was to determine the potential clinical utility of machine learning and deep learning/AI approaches for the aiding of diagnosis, biomarker extraction and progression monitoring of multiple sclerosis using speech recordings. A corpus of 65 MS-positive and 66 healthy individuals reading the same text aloud was used for targeted acoustic feature extraction utilizing automatic phoneme segmentation. A series of binary classification models was trained, tuned, and evaluated regarding their Accuracy and area-under-the-curve.

Results
The Random Forest model performed best, achieving an Accuracy of 0.82 on the validation dataset and an area-under-the-curve of 0.76 across 5 k-fold cycles on the training dataset. 5 out of 7 acoustic features were statistically significant.

Conclusion
Machine learning and artificial intelligence in automatic analyses of voice recordings for aiding multiple sclerosis diagnosis and progression tracking seems promising. Further clinical validation of these methods and their mapping onto multiple sclerosis progression is needed, as well as a validating utility for English-speaking populations.

Pozadí
Včasná diagnóza spolu s přesným sledováním vývoje onemocnění roztroušenou sklerózou je důležitou součástí úspěšného zvládání nemoci. Předchozí studie prokázaly, že roztroušená skleróza souvisí s nesrovnalostmi v řeči. Dřívější výzkumy využívající objektivní akustická měření odhalily měřitelnou dysartrii.

Metoda
Cílem bylo zjistit potenciální klinickou využitelnost technik založených strojového učení a hlubokého učení / umělé inteligence při diagnostice, extrakci biomarkerů a monitorování progrese roztroušené sklerózy pomocí řečových záznamů. Pro cílenou extrakci akustických příznaků s využitím automatické segmentace fonémů byl použit korpus 65 jedinců s RS a 66 zdravých jedinců čtoucích nahlas stejný text. Byla vytrénována, odladěna a vyhodnocena množina binárních klasifikačních modelů co do jejich přesnosti a AUC (Area Under the Curve).

Výsledky
Nejlepším modelem se ukázal být Random Forest, který dosáhl přesnosti 0,82 na souboru validačních dat a AUC 0,76 v 5 k-krát opakovaných cyklech na souboru trénovacích dat. Pět ze sedmi akustických rysů bylo statisticky významných.

Závěr
Využití strojové učení a umělé inteligence v automatických analýze hlasových záznamů pro účely diagnostiky roztroušené sklerózy a sledování její progrese se jeví být slibným. Je zapotřebí dalšího klinického ověření těchto metod a jejich mapování na progresi roztroušené sklerózy, stejně jako validace využití též metody pro anglicky mluvící populaci.

Emil Svoboda
Tomáš Bořil
Jan Rusz
Tereza Tykalová
Dana Horáková
Charles R. G. Guttmann
Krastan B. Blagoev
Hiroto Hatabu
Vladimir I. Valtchinov


AI Technologies for Machine Supervision and Help in a Rehabilitation Scenario

Technologie AI pro strojový dohled a pomoc v rehabilitačním scénáři

We consider, evaluate, and develop methods for home rehabilitation scenarios. We show the required modules for this scenario. Due to the large number of modules, the framework falls into the category of Composite AI. Our work is based on collected videos with high-quality execution and samples of typical errors. They are augmented by sample dialogues about the exercise to be executed and the assumed errors. We study and discuss body pose estimation technology, dialogue systems of different kinds and the emerging constraints of verbal communication. We demonstrate that the optimization of the camera and the body pose allows high-precision recording and requires the following components: (1) optimization needs a 3D representation of the environment, (2) a navigation dialogue to guide the patient to the optimal pose, (3) semantic and instance maps are necessary for verbal instructions about the navigation. We put forth different communication methods, from video-based presentation to chit-chat-like dialogues through rule-based methods. We discuss the methods for different aspects of the challenges that can improve the performance of the individual components. Due to the emerging solutions, we claim that the range of applications will drastically grow in the very near future.

Zvažujeme, hodnotíme a vyvíjíme metody pro scénáře domácí rehabilitace. Uvádíme moduly potřebné pro tento scénář. Vzhledem k velkému počtu modulů spadá rámec do kategorie kompozitní umělé inteligence. Naše práce je založena na shromážděných videích s kvalitním provedením a ukázkami typických chyb. Ty jsou doplněny ukázkovými dialogy o prováděném cvičení a předpokládaných chybách. Studujeme a diskutujeme technologii odhadu polohy těla, dialogové systémy různých druhů a vznikající omezení verbální komunikace. Ukazujeme, že optimalizace kamery a polohy těla umožňuje vysoce přesný záznam a vyžaduje následující komponenty: (1) optimalizace potřebuje 3D reprezentaci prostředí, (2) navigační dialog, který pacienta navede do optimální pozice, (3) pro slovní instrukce o navigaci jsou nezbytné sémantické a instanční mapy. Předkládáme různé metody komunikace, od prezentace založené na videu až po dialogy typu chit-chat prostřednictvím metod založených na pravidlech. Diskutujeme o metodách pro různé aspekty výzev, které mohou zlepšit výkonnost jednotlivých komponent. Díky vznikajícím řešením tvrdíme, že rozsah aplikací se ve velmi blízké budoucnosti drasticky rozšíří.

Gábor Baranyi
Bruno Carlos Dos Santos Melício
Zsófia Gaál
Levente Hajder
András Simonyi
Dániel Sindely
Joul Skaf
Ondřej Dušek
Tomáš Nekvinda
András Lőrincz


Balancing the Style-Content Trade-Off in Sentiment Transfer Using Polarity-Aware Denoising

Balancování stylu a obsahu při přenosu sentimentu pomocí denoisingu s ohledem na polaritu

Text sentiment transfer aims to flip the sentiment polarity of a sentence (positive to negative or vice versa) while preserving its sentiment-independent content. Although current models show good results at changing the sentiment, content preservation in transferred sentences is insufficient. In this paper, we present a sentiment transfer model based on polarity-aware denoising, which accurately controls the sentiment attributes in generated text, preserving the content to a great extent and helping to balance the style-content trade-off. Our proposed model is structured around two key stages in the sentiment transfer process: better representation learning using a shared encoder and sentiment-controlled generation using separate sentiment-specific decoders. Empirical results show that our methods outperforms state-of-the-art baselines in terms of content preservation while staying competitive in terms of style transfer accuracy and fluency. Source code, data, and all other related details are available on Github (https://github.com/SOURO/polarity-denoising-sentiment-transfer).

Cílem přenosu sentimentu textu je změnit polaritu sentimentu věty (pozitivní na negativní nebo naopak) při zachování jejího obsahu nezávislého na sentimentu. Ačkoli současné modely vykazují dobré výsledky při změně sentimentu, zachování obsahu v přenesených větách je nedostatečné. V tomto článku představujeme model přenosu sentimentu založený na denoisingu zohledňujícím polaritu, který přesně kontroluje atributy sentimentu v generovaném textu, do značné míry zachovává obsah a pomáhá vyvážit kompromis mezi stylem a obsahem. Námi navrhovaný model je strukturován kolem dvou klíčových fází procesu přenosu sentimentu: učení lepší reprezentace pomocí sdíleného enkodéru a generování řízené sentimentem pomocí specifických dekodérů  pro každý sentiment. Empirické výsledky ukazují, že naše metody překonávají současné základní metody z hlediska zachování obsahu a zároveň zůstávají konkurenceschopné z hlediska přesnosti a plynulosti přenosu stylu. Zdrojový kód, data a všechny další související podrobnosti jsou k dispozici na Githubu (https://github.com/SOURO/polarity-denoising-sentiment-transfer).

Sourabrata Mukherjee
Zdeněk Kasner
Ondřej Dušek


The recent developments in Universal Anaphora Scorer

Nedávný vývoj v Universal Anaphora Scorer

The Universal Anaphora initiative aims to push forward the state of the art in anaphora and anaphora resolution by expanding the aspects of anaphoric interpretation which are or can be reliably annotated in anaphoric corpora, producing unified standards to annotate and encode these annotations, deliver datasets encoded according to these standards, and developing methods for evaluating models carrying out this type of interpretation. Such expansion of the scope of anaphora resolution requires a comparable expansion of the scope of the scorers used to evaluate this work. Last year, we introduce an extended version of the Reference Coreference Scorer (Pradhan et al., 2014) that can be used to evaluate identity anaphora resolution (including singletons, split-antecedents), bridging reference resolution, non-referring expressions and discourse deixis. The scorer has been used in the two recent CODI-CRAC Shared Tasks on Anaphora Resolution in Dialogues. Recently, an extension of the UA scorer that supports also discontinuous markables has been used by Novák et al (2022) in the CRAC 2022 Shared Task on Multilingual Coreference Resolution. In this talk, we will introduce the details about the scorer on scoring the different aspects of anaphora resolutions and how has it been used in recently shared tasks. In addition, we will also discuss the work in progress for the scorers such as mention overlap ratio, anaphor-decomposable score and the adaptation for CRAFT shared task.

Iniciativa Universal Anaphora si klade za cíl posunout vpřed současný stav v oblasti anafory a rozpoznávání anafory rozšířením aspektů anaforické interpretace, které jsou nebo mohou být spolehlivě anotovány v anaforických korpusech, vytvořením jednotných standardů pro anotaci a kódování těchto anotací, dodáním datových souborů kódovaných podle těchto standardů a vytvořením metod pro hodnocení modelů provádějících tento typ interpretace. Takové rozšíření rozsahu rozlišení anafory vyžaduje srovnatelné rozšíření rozsahu hodnotitelů používaných k hodnocení této práce. V loňském roce jsme představili rozšířenou verzi Reference Coreference Scoreru (Pradhan a kol., 2014), která může být použita k hodnocení rozpoznávání anafory identity (včetně singletonů, split-antecedentů), rozpoznávání bridging anafory, neodkazujících výrazů a diskursu deixis. Skórer byl použit ve dvou nedávných soutěžech CODI-CRAC o rozpoznávání anafory v dialozích. Nedávno bylo rozšíření UA scoreru, které podporuje také nesouvislé zmínky, použito Novákem a kol. (2022) v soutěži CRAC 2022 ve vícejazyčném ropoznávání koreference. V tomto příspěvku představíme podrobnosti o scoreru o vyhodnocení různých aspektů rozlišení anafory a o tom, jak byl použit v nedávných soutěžech. Kromě toho budeme také diskutovat o rozpracované práci pro skórery, jako je skóre překrytí zmínek, skóre delitelné po anaforech a adaptace skóre pro soutěž CRAFT.


CorefUD 1.0: Coreference Meets Universal Dependencies

CorefUD 1.0: Setkání koreference a Universal Dependencies

Recent advances in standardization for annotated language resources have led to successful large scale efforts, such as the Universal Dependencies (UD) project for multilingual syntactically annotated data. By comparison, the important task of coreference resolution, which clusters multiple mentions of entities in a text, has yet to be standardized in terms of data formats or annotation guidelines. In this paper we present CorefUD, a multilingual collection of corpora and a standardized format for coreference resolution, compatible with morphosyntactic annotations in the UD framework and including facilities for related tasks such as named entity recognition, which forms a first step in the direction of convergence for coreference resolution across languages.

Nedávný pokrok ve standardizaci anotovaných jazykových zdrojů vedl k úspěšným velkým projektům jako Universal Dependencies (UD), kde se syntakticky anotují data pro mnoho jazyků. Anotace koreference, která spojuje opakované zmínky téže entity v textu a je pro porozumění jazyku velmi důležitá, je zatím standardizačním úsilím relativně nepoznamenaná. V tomto článku prezentujeme CorefUD, mnohojazyčnou sbírku korpusů a standardizovaný formát pro anotaci koreference, kompatibilní s morfosyntaktickou anotací v UD a rozšiřitelný na příbuzné úlohy, jako je rozpoznávání pojmenovaných entit. Jde o první krok směrem ke konvergenci koreferenčních zdrojů napříč jazyky.

Anna Nedoluzhko
Michal Novák
Martin Popel
Zdeněk Žabokrtský
Amir Zeldes
Daniel Zeman


CorefUD is a collection of previously existing datasets annotated with coreference, which we converted into a common annotation scheme. In total, CorefUD in its current version 0.2 consists of 17 datasets for 11 languages, and compared to the version 0.2, the file format has been reworked and a number of annotation errors have been fixed.

CorefUD je kolekce existujících korpusů s anotací koreference, které jsme převedli na jednotné anotační schéma. Ve své současné verzi 1.0 CorefUD celkem obsahuje 17 korpusů pro 11 jazyků a v porovnání s verzí 0.2 obsahuje přepracovaný formát souborů a opravy řady chyb.

Anna Nedoluzhko
Michal Novák
Martin Popel
Zdeněk Žabokrtský
Amir Zeldes
Daniel Zeman
Peter Bourgonje
Silvie Cinková
Jan Hajič
Christian Hardmeier
Pauline Krielke
Frédéric Landragin
Ekaterina Lapshinova-Koltunski
Antònia Martí Antonín
Marie Mikulová
Maciej Ogrodniczuk
Marta Recasens
Manfred Stede
Milan Straka
Svetlana Toldova
Veronika Vincze
Voldemaras Žitkus


ELITR Minuting Corpus: A Novel Dataset for Automatic Minuting from Multi-Party Meetings in English and Czech

ELITR Minuting Corpus: Nový dataset pro automatické zápisky z vícestranných jednání v angličtině a češtině

Taking minutes is an essential component of every meeting, although the goals, style, and procedure of this activity (“minuting” for
short) can vary. Minuting is a relatively unstructured writing act and is affected by who takes the minutes and for whom the minutes
are intended. With the rise of online meetings, automatic minuting would be an important use-case for the meeting participants and
those who might have missed the meeting. However, automatically generating meeting minutes is a challenging problem due to
various factors, including the quality of automatic speech recognition (ASR), public availability of meeting data, subjective knowledge
of the minuter, etc. In this work, we present the first of its kind dataset on Automatic Minuting. We develop a dataset of English
and Czech technical project meetings, consisting of transcripts generated from ASRs, manually corrected, and minuted by several
annotators. Our dataset, ELITR Minuting Corpus, consists of 120 English and 59 Czech meetings, covering about 180 hours of
meeting content. The corpus is publicly available at http://hdl.handle.net/11234/1-4692 as a set of meeting transcripts
and minutes, excluding the recordings for privacy reasons. A unique feature of our dataset is that most meetings are equipped with
more than one minute, each created independently. Our corpus thus allows studying differences in what people find important while
taking the minutes. We also provide baseline experiments for the community to explore this novel problem further. To the best of our
knowledge, ELITR Minuting Corpus is probably the first resource on minuting in English and also in a language other than English (Czech).

Pořizování zápisků je nezbytnou součástí každé schůze, ačkoli cíle, styl a postup této činnosti ("protokolování", jak se říká "zápisům") jsou velmi odlišné). Zápis je relativně nestrukturovaný písemný úkon a je ovlivněn tím, kdo zápis pořizuje a pro koho je zápis pořizován. S nárůstem online schůzek by automatická tvorba zápisů byla důležitou pomocí pro účastníky schůzek i ty, kteří by mohli schůzku zmeškat. Automatické generování zápisů ze schůzí je však náročný problém, který je způsoben různými faktory včetně kvality automatického rozpoznávání řeči (ASR), veřejné dostupnosti dat o schůzkách, subjektivních znalostí zapisovatele atd. V této práci představujeme první soubor dat svého druhu o automatickém protokolování. Vytváříme datovou sadu anglických a českých technických projektových schůzek, které se skládají z přepisů vygenerovaných ASR, ručně opravených a zaprotokolovaných několika anotátory. Náš dataset, ELITR Minuting Corpus, se skládá ze 120 anglických a 59 českých schůzek, které pokrývají přibližně 180 hodin záznamu. Korpus je veřejně dostupný na adrese http://hdl.handle.net/11234/1-4692 jako soubor přepisů schůzí s výjimkou nahrávek z důvodu ochrany osobních údajů. Unikátní vlastností našeho souboru dat je, že většina schůzí je vybavena
více než jedním zápisem, přičemž každý z nich byl vytvořen nezávisle. Náš korpus tak umožňuje studovat rozdíly v tom, co lidé považují za důležité. Poskytujeme také základní experimenty pro komunitu, která může tento nový problém dále zkoumat. Podle našeho nejlepšího vědomí je korpus ELITR Minuting pravděpodobně prvním zdrojem zápisků v angličtině a také v jiném jazyce než v angličtině (češtině).

Anna Nedoluzhko
Muskaan Singh
Marie Hledíková
Tirthankar Ghosal
Ondřej Bojar


Survey of Low-Resource Machine Translation

Přehled metod strojového překladu s nedostatkem datových zdrojů

We present a survey covering the state of the art in low-resource machine translation. There
are currently around 7000 languages spoken in the world and almost all language pairs lack
significant resources for training machine translation models. There has been increasing interest
in research addressing the challenge of producing useful translation models when very little
translated training data is available. We present a high level summary of this topical field and
provide an overview of best practices.

Předkládáme přehled o stavu výzkumu v oblasti strojového překladu s nízkými zdroji. V současnosti se na světě mluví asi 7 000 jazyky a téměř všem jazykovým párům chybí významné zdroje pro trénování modelů strojového překladu. Vzrůstá zájem o výzkum zabývající se problémem vytváření užitečných překladatelských modelů, když je k dispozici velmi málo přeložených trénovacích dat. Předkládáme shrnutí této aktuální oblasti na vysoké úrovni a poskytujeme přehled osvědčených postupů.

Barry Haddow
Rachel Bawden
Antonio Valerio Miceli Barone
Jindřich Helcl
Alexandra Birch


Continuous Rating as Reliable Human Evaluation of Simultaneous Speech Translation

Continuous Rating jako důvěryhodná metoda lidského hodnocení simultánního strojového překladu řeči

Abstrakt je pouze v angličtině.

Simultaneous speech translation (SST) can be evaluated on simulated online events where human evaluators watch subtitled videos and continuously express their satisfaction by pressing buttons (so called Continuous Rating). Continuous Rating is easy to collect, but little is known about its reliability, or relation to comprehension of foreign language document by SST users. In this paper, we contrast Continuous Rating with factual questionnaires on judges with different levels of source language knowledge. Our results show that Continuous Rating is easy and reliable SST quality assessment if the judges have at least limited knowledge of the source language. Our study indicates users' preferences on subtitle layout and presentation style and, most importantly, provides a significant evidence that users with advanced source language knowledge prefer low latency over fewer re-translations.

Dávid Javorský
Dominik Macháček
Ondřej Bojar


Automatic minuting: A pipeline method for generating minutes from multi-party meeting proceedings

Automatické zápiskování: Sekvenční metoda generování zápisů ze schůzek více osob

Automatically generating meeting minutes
is a challenging yet time-relevant problem
in speech and natural language processing.
Nowadays, meeting minutes seem more cru-
cial than ever due to the manifold rise of on-
line meetings. However, automatic minut-
ing is not straightforward for various reasons:
obtaining transcriptions of sufficient quality,
summarizing long dialogue discourse, retain-
ing topical relevance and coverage, handling
redundancies and small talk, etc. This pa-
per presents our investigations on a pipelined
approach to automatically generate meeting
minutes using a BART model (Bidirectional
and Auto-Regressive Transformers) trained on
multi-party dialogue summarization datasets.
We achieve comparable results with our sim-
ple yet intuitive method with respect to pre-
vious large and computationally heavy state-
of-the-art models. We make our code avail-
able at https://github.com/ELITR/
minuting-pipeline.

Článek představuje základní sekvenční metodu automatického generování zápisků z jednání. Transkript se rozdělí na stejně velké kratší úseky, které sumarizuje model zaločený na BARTu.

Kartik Shinde
Tirthankar Ghosal
Ondřej Bojar


CUNI-Bergamot Submission at WMT22 General Task

We present CUNI-Bergamot submission for WMT22 General translation task. We compete in English → Czech direction. Our submission further explores block backtranslation techniques. In addition to the previous work, we measure performance in terms of COMET score and named entities translation accuracy. We evaluate performance of MBR decoding compared to traditional mixed backtranslation training and we show possible synergy when using both of the techniques simultaneously. The results show that both approaches are effective means of improving translation quality and they yield even better results when combined.

Představujeme systém CUNI-Bergamot pro WMT22 General translation task. Soutěžíme ve směru angličtina → čeština. Naše práce dále zkoumá techniky blokového zpětného překladu. Oproti předchozí práci měříme kvalitu z hlediska skóre COMET a přesnosti překladu pojmenovaných entit. Hodnotíme kvalitu MBR dekódování ve srovnání s tradičním tréninkem smíšeného zpětného překladu a ukazujeme možnou synergii při současném použití obou technik. Výsledky ukazují, že oba přístupy jsou účinným prostředkem ke zlepšení kvality překladu a při jejich kombinaci dosahujeme ještě lepších výsledků.


Contrastive analysis of frequency peaks of written and spoken lexicon

Kontrastivní analýza frekvenčních špiček psaného a mluveného lexika

A set of partial analyses of semantically and formally-grammatically defined groups of lexemes (adverbs, deictics, numerals, proper nouns, diminutives, female gender counterparts, and univerbized forms) belonging to the frequency peak of the spoken or written Czech language. A dataset of 3000 of the most frequent lemmas in the ORAL v1 and ORTOFON v1 corpora, or SYN2015; the differences between the two sets can be seen as a manifestation of diglossia in Czech at the lexical level.

Soubor dílčích analýz sémanticky a formálně-gramaticky vymezených skupin lexémů patřících k frekvenční špičce mluvené, či psané češtiny. Za tu byl stanoven dataset 3000 nejčastějších lemmat v korpusech ORAL v1 a ORTOFON v1, resp. SYN2015; v rozdílech obou množin lze spatřovat projev diglosie v češtině na lexikální úrovni. Blíže analyzovány jsou tyto skupiny slov: adverbia, deiktika, numeralia, propria, deminutiva, přechýlená jména a univerbizáty.

Michal Škrabal
Zuzana Laubeová
Barbora Štěpánková


AARGH! End-to-end Retrieval-Generation for Task-Oriented Dialog

AARGH! Kombinace vyhledání a generování v jednom modelu pro dialog zaměřený na úkoly

We introduce AARGH, an end-to-end task-oriented dialog system combining retrieval and generative approaches in a single model, aiming at improving dialog management and lexical diversity of outputs. The model features a new response selection method based on an action-aware training objective and a simplified single-encoder retrieval architecture which allow us to build an end-to-end retrieval-enhanced generation model where retrieval and generation share most of the parameters. On the MultiWOZ dataset, we show that our approach produces more diverse outputs while maintaining or improving state tracking and context-to-response generation performance, compared to state-of-the-art baselines.

Představujeme AARGH, komplexní dialogový systém orientovaný na úkoly, který kombinuje vyhledávací a generativní přístupy v jediném modelu a jehož cílem je zlepšit řízení dialogu a lexikální rozmanitost výstupů. Model obsahuje novou metodu výběru odpovědí založenou na trénovacím cíli zohledňujícím akce a zjednodušenou architekturu vyhledávání s jedním enkodérem, které nám umožňují vytvořit end-to-end model s generováním obohaceným o vyhledávání, kde vyhledávání a generování sdílí většinu parametrů. Na datové sadě MultiWOZ ukazujeme, že náš přístup produkuje rozmanitější výstupy při zachování nebo zlepšení výkonu sledování stavu a generování odpovědi z kontextu ve srovnání s nejmodernějšími referenčními modely.

Translated with www.DeepL.com/Translator (free version)


I introduced the EU project ELITR, its goals and the current stage, and demoed it in practice.

Představil jsem projekt ELITR, jeho cíle i aktuální stav, a demonstroval jej v praxi.


ELITR Overview at NPFL093: NLP Applications

Přehled o projektu ELITR pro seminář NPFL093

I presented the EU project ELITR at an invited talk of the seminar NPFL093 NLP Applications.

Na zvané přednášce v rámci semináře NPFL093 Aplikace NLP jsem představil EU projekt ELITR.


Introduction to (Neural) Machine Translation

Úvod do (neuronového) strojového překladu

Opening talk of MT Marathon 2022, describing the task, approached and methods of evaluation.

Úvodní přednáška k týdenní letní škole MT Marathon 2022, popis úlohy překladu, přístupů i metod vyhodnocování.


Live Subtitling and First Steps towards Meeting Summarization

Živé titulkování  a první kroky k automatickému dělání zápisků z jednání

I presented the EU project ELITR at an in-house seminar of the "Interinstitutional Task Force on Speech Recognition" of the European Commission.

Na zvaném interním semináři "pracovní skupiny pro rozpoznávání mluvené řeči" Evropské komise jsem představil projekt ELITR.


Machine Translation Usable in Practice, Let's Move to Minuting

Strojový překlad použitelný v praxi, přesuňme se k zápiskování

I introduced the results of EU projects Bergamot and ELITR, and also the task of automatic minuting.

Představil jsem výsledky projektů Bergamot a ELITR a úlohu automatického tvoření zápisků z jednání.


Machine translation and "machine interpreting": state of the art

Strojový překlad a strojové „tlumočenı́“: Co se aktuálně umí

An introduction of the task of machine translation and speech translation, including the current limitations.

Představení úlohy strojového překladu a strojového překladu mluvené řeči, včetně současných omezení.


I presented the results of two EU projects, ELITR and Bergamot: highly multilingual translation and translation on personal computers.

Představil jsem výsledky dvou EU projetků, ELITR a Bergamot, jako dva extrémy v nasazení strojového překladu: Překlad do mnoha jazyků a překlad na osobním počítači.


Prezentace jazykových nástrojů pro Českou spořitelnu.
Rozpoznávání mluvené řeči, strojový překlad v rámci okamžité odpovědi, mezijazyčné vyhledávání informací, odpovídání na otázky, automatické shrnování schůzek.

Presentation of language tools for Česká spořitelna.
Speech Recognition, Immediate Response Machine Translation, Cross-Lingual Information Retrieval, Question Answering, Automatic Summarization of Meetings.

Ondřej Bojar
Jindřich Libovický
Rudolf Rosa
Tomáš Musil
Matúš Žilinec


LUSyD: From Syntax to DiscourseffNotes on Knowledge Representation (preliminary

LUSyD: Od Syntaxe k Diskursu, Reprezentace významu

LuSyd is a project about meaning representation using SynSemClass ontology. Multilingual (English, Czech, German, Spanish so far) classes of synonyms will be used to annotate meaning in the corpus.

LuSyd je projekt o reprezentaci významu s využitím ontologie SynSemClass. Vícejazyčné (zatím angličtina, čeština, němčina, španělština) třídy synonym budou použity k anotaci významu v korpusu.


LINDAT/CLARIAH-CZ: Where We Are and Where We Go

LINDAT/CLARIAH-CZ: Kde jsme a kam míříme

In this chapter we present the main achievements of the Czech large research infrastructure LINDAT/CLARIAH-CZ. We provide a short description of the infrastructure and its history, and a brief account of its scientific, technological and infrastructural scope. We  focus on the technological innovations already implemented in the repository and in the service offerings, and outline some future plans.

V této kapitole uvádíme hlavní úspěchy české velké výzkumné infrastruktury LINDAT/CLARIAH-CZ. Poskytujeme krátký popis infrastruktury a její historii a stručný popis jejího vědeckého, technologického a infrastrukturního rozsahu. Zaměřujeme se na technologické inovace již implementované v úložišti a v nabídkách služeb a nastiňujeme některé budoucí plány.

Jan Hajič
Eva Hajičová
Barbora Hladká
Ondřej Košarko
Jozef Mišutka
Pavel Straňák


Multilingual SynSemClass for the Semantic Web (MSSW)

Vícejazyčný SynSemClass pro sémantický web (MSSW)

LLOD (Linguistic Linked Open Data) is a generic name for a set of mutually connected language resources, using ontological relations. The connections between concepts and between concepts and their expressions in natural language make them suitable for both research and industrial applications in the area of content analysis, natural language understanding, (language- and knowledge-based) inferencing and other tasks. In the presented task, the concrete work will be on converting the SynSemClass project dataset (in part as a result of a previous Humane AI Net microproject called META-O-NLU) into LLOD, connecting it to the huge amount or interlinked data already available. A partner is involved in the Prêt-à-LLOD H2020 project, making this project synergistic in nature and multiplicative in terms of results in previous projects. Partners are also involved in the COST Action “European network for Web-centered linguistic data science” (NexusLinguarum).

LLOD (Linguistic Linked Open Data) je obecný název pro soubor vzájemně propojených jazykových zdrojů, využívajících ontologické vztahy. Propojení mezi pojmy a mezi pojmy a jejich výrazy v přirozeném jazyce je činí vhodnými jak pro výzkumné, tak pro průmyslové aplikace v oblasti analýzy obsahu, porozumění přirozenému jazyku, (na jazyku a znalostech založených) odvozování a dalších úloh. V předloženém úkolu bude konkrétní práce na převedení datového souboru projektu SynSemClass (částečně jako výsledek předchozího mikroprojektu Humane AI Net s názvem META-O-NLU) do LLOD a jeho propojení s obrovským množstvím nebo vzájemně propojenými daty, která jsou již k dispozici. Partner je zapojen do projektu Prêt-à-LLOD H2020, díky čemuž má tento projekt synergický charakter a multiplikativní charakter, pokud jde o výsledky předchozích projektů. Partneři jsou také zapojeni do akce COST „Evropská síť pro Web-centered linguistic data science“ (NexusLinguarum).

Jan Hajič
Zdeňka Urešová
Eva Fučíková
Cristina Fernández-Alcaina
Jana Straková
Thierry Declerck


In this paper examples of synonymy and homonymy in Czech are presented. The sources of   homonymy are exemplified by the morphological, syntactic and lexical means and their combinations in the sentence leading to their surface identity. Synonymy is demonstrated by sentences with different syntactic and morphemic forms expressing the same meaning. Local adverbials with the meaning Where? (LOC) are analyzed here in a more detail. Attention is focused on the analysis of the prepositional constructions with the preposition v(e) + Loc [in] and na + Loc [on] and the differences between the construction including them as well as examples of their interchangeability  are demonstrated. Prepositional constructions with the preposition u + Gen [at/by] are added to the central domain of the local adverbials connected with the answer to the question Where? [LOC]. Criteria for the description of grammatical requirements for their form as well as for their lexicalized forms applied in this domain are proposed as the sources of the relation of homonymy and synonymy. The analysis is, however, limited to the narrow part of local meanings with the aim to present both sides of the language signs from the point of view of their asymmetry demonstrated by means of the transparent part of grammatical description.

V tomto příspěvku jsou uvedeny příklady synonymie a homonymie v češtině. Zdrojem homonymie jsou morfologické, syntaktické a lexikální prostředky a jejich kombinace ve větě vedoucí k jejich povrchové identitě. Synonymii demonstrují věty s různými syntaktickými a morfemickými formami vyjadřujícími stejný význam. Místní příslovce s významem Kde? (LOC) jsou zde analyzovány podrobněji. Pozornost je zaměřena na analýzu předložkových konstrukcí s předložkou v(e) + Loc [in] a na + Loc [on], u + Gen [at/by]. Jsou navržena kritéria pro určování synonymie a gramatických požadavků na formu lokálních určení. Analýza se omezuje na úzkou část lokálních významů s cílem představit obě strany jazykového znaku z hlediska jeho asymetrie.


The SiR 1.0 corpus is a collection of articles published on the iRozhlas server with a manual annotation of citations. The annotators marked and linked citation phrases with citation sources and decided on a type of the source. The corpus consists of 1 718 articles, 589 of them were double- or triple-annotated.

Korpus SiR 1.0 je kolekce článků publikovaných na serveru iRozhlas s ruční anotací citací. Anotátoři označovali a propojovali citační fráze a zdroje a určovali typ zdroje. Korpus obsahuje celkem 1 718 článků, 589 z nich anotovaných dvojitě či trojitě.

Barbora Vidová Hladká
Jiří Mírovský
Matyáš Kopp
Václav Moravec


Towards Universal Segmentations: UniSegments 1.0

K Universal Segmentations: UniSegments 1.0

Our work aims at developing a multilingual data resource for morphological segmentation. We present a survey of 17 existing
data resources relevant for segmentation in 32 languages, and analyze diversity of how individual linguistic phenomena are
captured across them. Inspired by the success of Universal Dependencies, we propose a harmonized scheme for segmentation
representation, and convert the data from the studied resources into this common scheme. Harmonized versions of resources
available under free licenses are published as a collection called UniSegments 1.0.

Náš článek se zaměřuje na vývoj vícejazyčného zdroje dat pro morfologickou segmentaci. Představujeme přehled 17 existujících
datových zdrojů relevantních pro segmentaci ve 32 jazycích a analyzujeme rozmanitost způsobů, jakými jsou v nich jednotlivé jazykové jevy zachyceny. Nechali jsme se inspirovat úspěchem Universal Dependencies a navrhujeme harmonizované schéma pro reprezentaci segmentaci a převádíme data z těchto zdrojů do jednotného schématu. Harmonizované verze zdrojů dostupné pod bezplatnými licencemi jsou publikovány jako kolekce s názvem UniSegments 1.0.

Zdeněk Žabokrtský
Niyati Bafna
Jan Bodnár
Lukáš Kyjánek
Emil Svoboda
Magda Ševčíková
Jonáš Vidra


Universal Segmentations 1.0 (UniSegments 1.0)

Universal Segmentations (UniSegments) is a collection of lexical resources capturing morphological segmentations harmonised into a cross-linguistically consistent annotation scheme for many languages. The annotation scheme consists of simple tab-separated columns that stores a word and its morphological segmentations, including pieces of information about the word and the segmented units, e.g., part-of-speech categories, type of morphs/morphemes etc. The current public version of the collection contains 38 harmonised segmentation datasets covering 30 different languages.

Universal Segmentations (UniSegments) je kolekce lexikálních zdrojů zachycujících morfologické segmentace mnoha jazyků harmonizované do lingvisticky konzistentního anotačního schématu. Anotační schéma je uloženo jednoduchém sloupcovém formátu, přičemž jednotlivé sloupce jsou odděleny tabulátory. K jednotlivým slovům se ukládá jejich morfologická segmentace, včetně různých informací o slovech a segmentovaných jednotkách, např. slovní druhy, typy morfů/morfémů atd. Současná veřejná verze kolekce obsahuje 38 harmonizovaných datových souborů pokrývajících 30 různých jazyků.

Zdeněk Žabokrtský
Niyati Bafna
Jan Bodnár
Lukáš Kyjánek
Emil Svoboda
Magda Ševčíková
Jonáš Vidra
Sachi Angle
Ebrahim Ansari
Timofey Arkhangelskiy
Khuyagbaatar Batsuren
Gábor Bella
Pier Marco Bertinetto
Olivier Bonami
Chiara Celata
Michael Daniel
Alexei Fedorenko
Matea Filko
Fausto Giunchiglia
Hamid Haghdoost
Nabil Hathout
Irina Khomchenkova
Victoria Khurshudyan
Dmitri Levonian
Eleonora Litta
Maria Medvedeva
S. N. Muralikrishna
Fiametta Namer
Mahshid Nikravesh
Sebastian Padó
Marco Passarotti
Vladimir Plungian
Alexey Polyakov
Mihail Potapov
Mishra Pruthwik
Ashwath B. Rao
Sergei Rubakov
Husain Samar
Dipti Misra Sharma
Jan Šnajder
Krešimir Šojat
Vanja Štefanec
Luigi Talamo
Delphine Tribout
Daniil Vodolazsky
Arseniy Vydrin
Aigul Zakirova
Britta Zeller


Findings of the Shared Task on Multilingual Coreference Resolution

Výsledky soutěže ve vícejazyčné automatické analýze koreference

This paper presents an overview of the shared task on multilingual coreference resolution associated with the CRAC 2022 workshop. Shared task participants were supposed to develop trainable systems capable of identifying mentions and of clustering the mentions according to identity coreference. The public edition of CorefUD 1.0, which contains 13 datasets for 10 languages was used as the source of training and evaluation data. The CoNLL score used in previous coreference-oriented shared tasks was used as the main evaluation metric. There were 8 coreference prediction systems submitted by 5 participating teams; in addition, there was a competitive transformer-based baseline system provided by the organizers at the beginning of the shared task. The winner system outperformed the baseline by 12 percent points (in terms of the CoNLL scores averaged across all datasets for individual languages).

Tento článek představuje přehled výsledků soutěže (společné úlohy) ve vícejazyčné automatické analýze koreference, která byla přidružená k workshopu CRAC 2022. Účastníci soutěže měli vyvinout trénovatelné systémy schopné identifikovat zmínky o entitách a shlukovat tyto zmínky na základě identické koreference. Jako zdroj trénovacích a vyhodnocovacích dat byla použita veřejná část CorefUD 1.0, která obsahuje 13 korpusů pro 10 jazyků. Jako hlavní vyhodnocovací metrika bylo použito skóre CoNLL, které se používalo v dřívějších soutěžích zaměřených na koreferenci. 5 účastnických týmů vyvinulo celkem 8 systémů na predikci koreference; kromě toho jsou k dispozici výsledky baseline systému, který je založen na transformerech a byl poskytnut organizátory na začátku soutěže. Vítězný systém překonal baseline o 12 procentních bodů (průměr CoNLL skóre přes korpusy jednotlivých jazyků).

Zdeněk Žabokrtský
Miloslav Konopík
Anna Nedoluzhko
Michal Novák
Maciej Ogrodniczuk
Martin Popel
Ondřej Pražák
Jakub Sido
Daniel Zeman
Yilun Zhu


From a lingustic theory towards an annotated corpus and back

Cesta od lingvistické teorie k anotovanému korpusu a zpátky

A theoretically well-founded annotation of language corpora is a very importatnt component part of such corpora. In our paper, we support this point by the example of the Prague Dependency Treebank  and its annotation scheme. We bring some case studies concerning the information structure of the sentence. At the same time, we also demonstrate that the work with a consistently annotated corpus may lead to some modifications of the original theory.

Dobře teoreticky podložená všestranná anotace  je velmi důležitou součástí jazykových korpusů. Jako příklad ve stati uvádíme Pražský závislostní korpus, který obsahuje anotace na několika jazykových rovinách, a tento přístup ilustrujeme na několika případkových studiích z oblasti aktuálního členění. Zároveň na těchto příkladech dokládáme, že práce s anotovaným korpusem může vést k upřesnění výchozí teorie.


A glimpse at an effort to explain certain regularities as well as (seemingly) irregularities in Czech and other Slavonic languages (first of all in the domain of inflectional and derivational morphology) by means of rules, i.e. to "calculate" these phenomena.

Zamyšlení nad snahou vysvětlit některé pravidelnosti a zdánlivé nepravidelnosti v češtině a jiných slovanských jazycích (především v oblasti deklinační i slovotvorné morfologie) pomocí pravidel, tedy tyto jevy "vypočítat".


Corpus Annotation as a Feasible and Scientifically Beneficial Task

Korpusová anotace jako proveditelný a vědecky prospěšný úkol

The aim of the present chapter is to demonstrate that a well-designed
and theoretically founded corpus annotation contributes significantly to the use of
the corpus for testing a linguistic theory and its further development. The data for
our analyses come from the Prague Dependency Treebank family both monolingual
Czech and parallel English-Czech and concern the underlying syntactic level of
language description and the annotation of discourse structure. In particular, the
case studies concern three research questions, namely (i) the semantic relevance
of information structure of the sentence, (ii) the relation between focus sensitive
particles and discourse connectives with respect to the semantics of discourse
relations, and (iii) the relation between primary and secondary connectives. In the
Appendix, some data on measuring inter-annotator agreement are presented and
discussed.

Cílem této kapitoly je ukázat, že dobře navržená a teoreticky podložená korpusová anotace významně přispívá k využití korpusu pro testování lingvistické teorie a pro její další rozvoj. Data
našich analýz pocházejí z korpusové rodiny Prague Dependency Treebank; jde o  jednojazyčná česká data a o paralelní anglicko-česká data, která
se týkají základní syntaktické úrovně popisu jazyka a anotace struktury diskurzu. Konkrétní případové studie se týkají tří výzkumných otázek, a to (i) sémantické relevance informační struktury věty, (ii) vztahu mezi fokalizátory a diskurzními konektory vzhledem k sémantice diskurzních vztahů a (iii) vztahu mezi primárními a sekundárními spojovacími výrazy. V příloze jsou uvedeny a rozebrány údaje o měření mezianotátorské shody.

Eva Hajičová
Jan Hajič
Barbora Hladká
Jiří Mírovský
Lucie Poláková
Kateřina Rysová
Magdaléna Rysová
Pavel Straňák
Barbora Štěpánková
Šárka Zikánová


Information structure in a formal description of language as reflected in an annotated corpus of Czech

Informační struktura ve formálním popisu jazyka, jak se odráží v anotovaném korpusu češtiny

A brief comparison of the theoretical approach to the information structure in the Meaning-Text Theory (MTT) and in the Functional Generative Description (FGD) is followed by an account of the treatment of the given phenomenon in an annotated corpus of running texts. The FGD approach is documented by several case studies demonstrating how an annotated corpus helps to verify and to define with more precision linguistic hypotheses.

Po krátkém srovnání teoretického přístupu k informační struktuře v Meaning-Text Theory (MTT) a ve Funkčním generativním popisu (FGD) následuje popis zpracování daného jevu v anotovaném korpusu reálných textů. Přístup FGD je dokumentován několika případovými studiemi demonstrujícími, jak anotovaný korpus pomáhá ověřovat a přesněji definovat lingvistické hypotézy.


Advantages of a complex multilayer annotation scheme: The case of the Prague Dependency Treebank

Výhody komplexního více-rovinného anotačního schématu: Případ Pražského závislostního korpusu

Recently, many corpora have been developed that contain multiple annotations of various linguistic phenomena, from morphological categories of words through the syntactic structure of sentences to discourse and coreference relations in texts. Discussions are ongoing on an appropriate annotation scheme for a large amount of diverse information. In our contribution we express our conviction that a multilayer annotation scheme offers to view the language system in its complexity and in the interaction of individual phenomena and there are at least two aspects that support a multilayer annotation scheme:
(i) A multilayer annotation scheme makes it possible to use the annotation of one layer to design the annotation of another layer(s) both conceptually and in a form of a pre-annotation procedure or annotation checking rules.
(ii) A multilayer annotation scheme presents a reliable ground for corpus studies based on features across the layers.
These aspects are demonstrated on the case of the Prague Dependency Treebank. Its multilayer annotation scheme withstood the test of time and serves well also for complex textual annotations, in which earlier morpho-syntactic annotations are advantageously used. In addition to a reference to the previous projects that utilise its annotation scheme, we present several current investigations.

V poslední době bylo vyvinuto mnoho korpusů, které obsahují více anotací různých jazykových jevů, od morfologických kategorií slov přes syntaktickou stavbu vět až po diskurz a koreferenční vztahy v textech. Probíhají diskuse o vhodném anotačním schématu pro velké množství různorodých informací. V našem příspěvku vyjadřujeme přesvědčení, že vícevrstvé anotační schéma nabízí pohled na jazykový systém v jeho komplexnosti a v interakci jednotlivých jevů a že existují minimálně dva aspekty, které vícevrstvé anotační schéma podporují: (i) Vícevrstvé anotační schéma umožňuje použít anotaci jedné vrstvy k návrhu anotace další vrstvy (vrstev) jak koncepčně, tak ve formě předanotačního postupu nebo pravidel kontroly anotace. (ii) Vícevrstvé anotační schéma představuje spolehlivý základ pro korpusové studie založené na vlastnostech napříč vrstvami. Tyto aspekty jsou demonstrovány na případu Pražského závislostního korpusu. Jeho více-rovinné anotační schéma obstálo ve zkoušce času a dobře poslouží i pro složité textové anotace, ve kterých se s výhodou používají dřívější morfosyntaktické anotace. Kromě odkazu na předchozí projekty, které využívají toto anotační schéma, uvádíme několik aktuálních výzkumů.

Eva Hajičová
Marie Mikulová
Barbora Štěpánková
Jiří Mírovský


PDT-Vallex: Valency Lexicon Linked to Czech Corpora

PDT-Vallex: valenční slovník propojený s českými korpusy

The paper is about the project of the PDT-Vallex valence dictionary, which was created together with the PDT annotations and was then further expanded and used to annotate the corpus.

Příspěvek je o projektu valenčního slovníku PDT-Vallex, který vznikal spolu s anotacemi PDT a pak byl dále rozšiřován a používán k anotacím korpusu.


SynSemClass - an Event-type Ontology in Multiple Languages

SynSemClass- ontologie dějů pro více jazyků

SynSemClass is an extension of the bilingual Czech-English dictionary of verbal synonyms including German and Spanish synonyms. It brings together verbal synonyms according to their meanings into classes that contain their semantic and valency characteristics.

Slovník SynSemClass je rozšířením dvojjazyčného česko-anglického slovníku slovesných synonym o německá a španělská synonyma. Sdružuje slovesné synonymní děje podle významu do tříd, které obsahují jejich významovou a valenční charakteristiku.


The SynSemClass synonym verb lexicon version 3.5 investigates, with respect to contextually-based verb synonymy, semantic ‘equivalence’ of Czech, English, and German verb senses and their valency behavior in parallel Czech-English and German-English language resources. SynSemClass4.0 is a multilingual event-type ontology based on classes of synonymous verb senses, complemented with semantic roles and links to existing semantic lexicons. The SynSemClass is not only enriched by an additional number of classes but in the context of content hierarchy, some classes have been merged. Compared to the older version of the lexicon, the novelty is the definitions of classes and the definitions of roles.
Apart from the already used links to PDT-Vallex, EngVallex, CzEngVallex, FrameNet, VerbNet, PropBank, Ontonotes, and English WordNet for Czech and English entries the new links to German language lexical resources are exploited for German verb entries, such as Woxikon, E-VALBU, and GUP. The German part of the lexicon has been created within the project Multilingual Event-Type-Anchored Ontology for Natural Language Understanding (META-O-NLU) by two cooperating teams - the team of the Charles University, Faculty of Mathematics and Physics, Institute of Formal and Applied Linguistics, Prague (ÚFAL), Czech Republic and the team of the German Research Center for Artificial Intelligence (DFKI) Speech and Language Technology, Berlin, Germany.

SynSemClass lexicon 4.0 zkoumá s ohledem na kontextově založenou slovesnou synonymii, sémantickou „ekvivalenci“ českých, anglických a německých sloves a jejich valenční chování v paralelních česko-anglických a německo-anglických jazykových zdrojích. SynSemClass 4.0 je vícejazyčná ontologie typu události založená na třídách synonymních významů sloves, doplněná sémantickými rolemi a odkazy na existující sémantické lexikony. Slovník je nejen obohacen o další množství tříd, ale v rámci hierarchizace obsahu byly některé třídy sloučeny. V porovnání se starou verzí obsahuje slovník nově  definice tříd a definice rolí. Kromě již použitých odkazů na položky PDT-Vallex, EngVallex, CzEngVallex, FrameNet, VerbNet, PropBank, Ontonotes a English WordNet pro české a anglické záznamy jsou nové odkazy na německé jazykové lexikální zdroje, jako je Woxikon, E-VALBU a GUP, využívány pro německé slovesné záznamy. Německá část lexikonu byla vytvořena v rámci projektu Multilingual Event-Type-Anchored Ontology for Natural Language Understanding (META-O-NLU) dvěma spolupracujícími týmy - týmem Univerzity Karlovy, Matematicko-fyzikální fakulty, Ústavu formální a aplikované lingvistiky, Praha (ÚFAL), Česká republika a týmem Německého výzkumného centra pro umělou inteligenci (DFKI) Speech and Language Technology, Berlín, Německo.

Zdeňka Urešová
Peter Bourgonje
Eva Fučíková
Jan Hajič
Eva Hajičová
Kateřina Rysová
Georg Rehm
Karolina Zaczynska


Making a Semantic Event-type Ontology Multilingual

We present an extension of the SynSemClass event-type ontology, originally conceived as a bilingual Czech-English resource. We added German entries to the classes representing the concepts of the ontology. Having a different starting point than the original work (unannotated parallel corpus without links to a valency lexicon and, of course, different existing lexical resources), it was a challenge to adapt the annotation guidelines, the data model and the tools used for the original version. We describe the process and results of working in such a setup. We also show the next steps to adapt the annotation process, data structures and formats and tools necessary to make the addition of a new language in the future more smooth and efficient, and possibly to allow for various teams to work on SynSemClass extensions to many languages concurrently. We also present the latest release which contains the results of adding German, freely available for download as well as for online access.

Představujeme rozšíření ontologie typu události SynSemClass, původně koncipované jako dvojjazyčný česko-anglický zdroj. Do tříd představujících koncepty ontologie jsme přidali německé záznamy. Vzhledem k tomu, že jsme měli jiný výchozí bod než
původní práce (neoznačený paralelní korpus bez odkazů na valenční lexikon a samozřejmě různé existující lexikální zdroje), bylo náročné přizpůsobit pokyny pro anotaci, datový model a nástroje použité pro původní verzi. Popisujeme proces a výsledky práce v takovém nastavení. Dále ukazujeme další kroky k úpravě procesu anotace,
datové struktury a formáty a nástroje nezbytné k tomu, aby přidání nového jazyka v budoucnu bylo plynulejší a efektivnější a případně aby různé týmy mohly pracovat na rozšíření SynSemClass do mnoha jazyků současně.
představujeme nejnovější verzi, která obsahuje výsledky přidání němčiny, volně dostupné ke stažení i pro online přístup.

Zdeňka Urešová
Karolina Zaczynska
Peter Bourgonje
Eva Fučíková
Georg Rehm
Jan Hajič


NomVallex: A Valency Lexicon of Czech Nouns and Adjectives

NomVallex: Valenční slovník českých substantiv a adjektiv

We present NomVallex, a manually annotated valency lexicon of Czech nouns and adjectives. The lexicon is created in the theoretical
framework of the Functional Generative Description and based on corpus data. In total, NomVallex 2.0 is comprised of 1027 lexical
units contained in 570 lexemes, covering the following part-of-speech and derivational categories: deverbal and deadjectival nouns,
and deverbal, denominal, deadjectival and primary adjectives. Valency properties of a lexical unit are captured in a valency frame
which is modeled as a sequence of valency slots, supplemented with a list of morphemic forms. In order to make it possible to study
the relationship between valency behavior of base words and their derivatives, lexical units of nouns and adjectives in NomVallex are
linked to their respective base words, contained either in NomVallex itself or, in case of verbs, in a valency lexicon of Czech verbs
called VALLEX. NomVallex enables a comparison of valency properties of a significant number of Czech nominals with their base
words, both manually and in an automatic way; as such, we can address the theoretical question of argument inheritance, concentrating
on systemic and non-systemic valency behavior.

Představujeme NomVallex, ručně anotovaný valenční slovník českých substantiv a adjektiv. Slovník je vytvořený v teoretickém rámci Funkčního generativního popisu a je založený na korpusových datech. Obsahuje celkem 1027 lexikálních jednotek v celkovém počtu 570 lexémů, přičemž zahrnuje následující slovnědruhové a derivační kategorie: deverbální a deadjektivní substantiva, a deverbální, desubstantivní, deadjektivní a primární adjektiva. Valenční vlastnosti lexikálních jednotek zachycuje v podobě valenčního rámce, který pro každé valenční doplnění uvádí funktor a množinu možných morfematických vyjádření, a dokládá je pomocí příkladů, které se vyskytly v použitých korpusech. NomVallex je koncipován jako lexikografický zdroj umožňující výzkum valence derivačně příbuzných lexikálních jednotek, proto v relevantních případech poskytuje odkaz od určité lexikální jednotky k odpovídající lexikální jednotce jejího základového slova, obsaženého buď v NomVallexu, nebo – v případě sloves – ve slovníku VALLEX, čímž propojuje až tři slovní druhy, konkrétně substantivum – sloveso, adjektivum – sloveso, substantivum – adjektivum nebo substantivum – adjektivum – sloveso. NomVallex umožňuje srovnání valenčního chování velkého počtu českých substantiv a adjektiv s valencí jejich základových slov, což je jeden
z předpokladů ke zkoumání teoretické otázky dědičnosti valence a k popisu systémového a nesystémového valenčního chování.


NomVallex 2.0 is a manually annotated valency lexicon of Czech nouns and adjectives, created in the theoretical framework of the Functional Generative Description and based on corpus data (the SYN series of corpora from the Czech National Corpus and the Araneum Bohemicum Maximum corpus). In total, NomVallex is comprised of 1027 lexical units contained in 570 lexemes, covering the following parts-of-speech and derivational categories: deverbal or deadjectival nouns, and deverbal, denominal, deadjectival or primary adjectives. Valency properties of a lexical unit are captured in a valency frame (modeled as a sequence of valency slots, each supplemented with a list of morphemic forms) and documented by corpus examples. In order to make it possible to study the relationship between valency behavior of base words and their derivatives, lexical units of nouns and adjectives in NomVallex are linked to their respective base lexical units (contained either in NomVallex itself or, in case of verbs, in the VALLEX lexicon), linking up to three parts-of-speech (i.e., noun – verb, adjective – verb, noun – adjective, and noun – adjective – verb).
In order to facilitate comparison, this submission also contains abbreviated entries of the base verbs of these nouns and adjectives from the VALLEX lexicon and simplified entries of the covered nouns and adjectives from the PDT-Vallex lexicon.

NomVallex 2.0 je ručně anotovaný valenční slovník českých substantiv a adjektiv, vytvořený v teoretickém rámci Funkčního generativního popisu a založený na korpusových datech (korpusy řady SYN Českého národního korpusu a korpus Araneum Bohemicum Maximum). Slovník obsahuje celkem 1027 lexikálních jednotek v celkovém počtu 570 lexémů, přičemž zahrnuje následující slovnědruhové a derivační kategorie: (i) deverbální a deadjektivní substantiva, (ii) deverbální, desubstantivní, deadjektivní a primární adjektiva. Valenční vlastnosti lexikálních jednotek zachycuje v podobě valenčního rámce, který pro každé valenční doplnění uvádí funktor a množinu možných morfematických vyjádření, a dokládá je pomocí příkladů, které se vyskytly v použitých korpusech. NomVallex je koncipován jako lexikografický zdroj umožňující výzkum valence derivačně příbuzných lexikálních jednotek, proto v relevantních případech poskytuje odkaz od určité lexikální jednotky k odpovídající lexikální jednotce jejího základového slova, obsaženého buď v NomVallexu, nebo – v případě sloves – ve slovníku VALLEX, čímž propojuje až tři slovní druhy, konkrétně substantivum – sloveso, adjektivum – sloveso, substantivum – adjektivum nebo substantivum – adjektivum – sloveso. Za účelem umožnit srovnání obsahuje toto vydání rovněž zkrácená hesla základových sloves daných substantiv a adjektiv ze slovníku VALLEX a zjednodušená hesla příslušných substantiv a adjektiv ze slovníku PDT-Vallex.

Veronika Kolářová
Anna Vernerová
Jana Klímová


Parsing Old Czech with Modern Czech Models

Parsing staré češtiny s využitím modelů natrénovaných na nové češtině

In the first part of the talk we will present the Universal Dependencies project. In the second part we will focus on parsers trained on the Czech corpora in UD and their usage in building an Old Czech treebank.

V první části přednášky představíme projekt Universal Dependencies. Ve druhé se zaměříme na parsery natrénované na českých korpusech v UD a na jejich využití při budování staročeského treebanku.


Universal Dependencies: Principles and Tools

Universal Dependencies: principy a nástroje

Universal Dependencies is an international community project and a collection of morphosyntactically annotated data sets (“treebanks”) for more than 100 languages. The collection is an invaluable resource for various linguistic studies, ranging from grammatical constructions within one language to language typology, documentation of endangered languages, and historical evolution of language.
In the tutorial, I will first quickly show the main principles of UD, then I will present the actual data and various tools that are available to work with it: parsers, batch processors, search engines and viewers.

Universal Dependencies je mezinárodní komunitní projekt a sbírka morfosyntakticky anotovaných dat (treebanků) pro více než 100 jazyků. Tato sbírka je neocenitelným zdrojem pro různé jazykovědné studie od gramatických konstrukcí v jednom jazyku po jazykovou typologii, dokumentaci ohrožených jazyků a historického vývoje jazyka.
V tomto tutoriálu nejdříve rychle představím hlavní principy UD, potom ukážu vlastní data a různé nástroje, které jsou k dispozici pro práci s nimi: parsery, dávkové procesory, vyhledávače a prohlížeče.


Processing of Old Czech using Modern Czech Models

Zpracování staré češtiny s novočeskými modely


Universal Dependencies is a project that seeks to develop cross-linguistically consistent treebank annotation for many languages, with the goal of facilitating multilingual parser development, cross-lingual learning, and parsing research from a language typology perspective. The annotation scheme is based on (universal) Stanford dependencies (de Marneffe et al., 2006, 2008, 2014), Google universal part-of-speech tags (Petrov et al., 2012), and the Interset interlingua for morphosyntactic tagsets (Zeman, 2008). This is the sixteenth release of UD Treebanks, Version 2.10.

Universal Dependencies je projekt, který vyvíjí mezijazykově konzistentní morfologicko-syntaktickou anotaci mnoha jazyků s cílem usnadnit vývoj jazykově nezávislých parserů, mezijazykové strojové učení a výzkum parsingu z perspektivy jazykové typologie. Anotační schéma je založeno na univerzálních Stanfordských závislostech (de Marneffe et al., 2006, 2008, 2014), univerzálních značkách Google (Petrov et al., 2012) a na Intersetu, tj. interlingvě pro sady morfologických značek (Zeman, 2008). Toto je šestnácté vydání treebanků UD, verze 2.10.

Daniel Zeman
Joakim Nivre
Mitchell Abrams
Elia Ackermann
Noëmi Aepli
Hamid Aghaei
Željko Agić
Amir Ahmadi
Lars Ahrenberg
Chika Kennedy Ajede
Gabrielė Aleksandravičiūtė
Ika Alfina
Avner Algom
Erik Andersen
Lene Antonsen
Katya Aplonova
Angelina Aquino
Carolina Aragon
Glyd Aranes
Maria Jesus Aranzabe
Bilge Nas Arıcan
Þórunn Arnardóttir
Gashaw Arutie
Jessica Naraiswari Arwidarasti
Masayuki Asahara
Deniz Baran Aslan
Cengiz Asmazoğlu
Luma Ateyah
Furkan Atmaca
Mohammed Attia
Aitziber Atutxa
Liesbeth Augustinus
Elena Badmaeva
Keerthana Balasubramani
Miguel Ballesteros
Esha Banerjee
Sebastian Bank
Verginica Barbu Mititelu
Starkaður Barkarson
Rodolfo Basile
Victoria Basmov
Colin Batchelor
John Bauer
Seyyit Talha Bedir
Kepa Bengoetxea
Yifat Ben Moshe
Gözde Berk
Yevgeni Berzak
Irshad Ahmad Bhat
Riyaz Ahmad Bhat
Erica Biagetti
Eckhard Bick
Agnė Bielinskienė
Kristín Bjarnadóttir
Rogier Blokland
Victoria Bobicev
Loïc Boizou
Emanuel Borges Völker
Carl Börstell
Cristina Bosco
Gosse Bouma
Sam Bowman
Adriane Boyd
Anouck Braggaar
Kristina Brokaitė
Aljoscha Burchardt
Marie Candito
Bernard Caron
Gauthier Caron
Lauren Cassidy
Tatiana Cavalcanti
Gülşen Cebiroğlu Eryiğit
Flavio Massimiliano Cecchini
Giuseppe G. A. Celano
Slavomír Čéplö
Neslihan Cesur
Savas Cetin
Özlem Çetinoğlu
Fabricio Chalub
Shweta Chauhan
Ethan Chi
Taishi Chika
Yongseok Cho
Jinho Choi
Jayeol Chun
Juyeon Chung
Alessandra T. Cignarella
Silvie Cinková
Aurélie Collomb
Çağrı Çöltekin
Miriam Connor
Daniela Corbetta
Marine Courtin
Mihaela Cristescu
Philemon Daniel
Elizabeth Davidson
Mathieu Dehouck
Martina de Laurentiis
Marie-Catherine de Marneffe
Valeria de Paiva
Mehmet Oguz Derin
Elvis de Souza
Arantza Diaz de Ilarraza
Carly Dickerson
Arawinda Dinakaramani
Elisa Di Nuovo
Bamba Dione
Peter Dirix
Kaja Dobrovoljc
Timothy Dozat
Kira Droganova
Puneet Dwivedi
Hanne Eckhoff
Sandra Eiche
Marhaba Eli
Ali Elkahky
Binyam Ephrem
Olga Erina
Tomaž Erjavec
Aline Etienne
Wograine Evelyn
Sidney Facundes
Richárd Farkas
Federica Favero
Jannatul Ferdaousi
Marília Fernanda
Hector Fernandez Alcalde
Jennifer Foster
Cláudia Freitas
Kazunori Fujita
Katarína Gajdošová
Daniel Galbraith
Federica Gamba
Marcos Garcia
Moa Gärdenfors
Sebastian Garza
Fabrício Ferraz Gerardi
Kim Gerdes
Filip Ginter
Gustavo Godoy
Iakes Goenaga
Koldo Gojenola
Memduh Gökırmak
Yoav Goldberg
Xavier Gómez Guinovart
Berta González Saavedra
Bernadeta Griciūtė
Matias Grioni
Loïc Grobol
Normunds Grūzītis
Bruno Guillaume
Céline Guillot-Barbance
Tunga Güngör
Nizar Habash
Hinrik Hafsteinsson
Jan Hajič
Jan Hajič, jr.
Mika Hämäläinen
Linh Hà Mỹ
Na-Rae Han
Muhammad Yudistira Hanifmuti
Takahiro Harada
Sam Hardwick
Kim Harris
Dag Haug
Johannes Heinecke
Oliver Hellwig
Felix Hennig
Barbora Hladká
Jaroslava Hlaváčová
Florinel Hociung
Petter Hohle
Jena Hwang
Takumi Ikeda
Anton Karl Ingason
Radu Ion
Elena Irimia
Ọlájídé Ishola
Kaoru Ito
Siratun Jannat
Tomáš Jelínek
Apoorva Jha
Anders Johannsen
Hildur Jónsdóttir
Fredrik Jørgensen
Markus Juutinen
Sarveswaran Kengatharaiyer
Hüner Kaşıkara
Andre Kåsen
Nadezhda Kabaeva
Sylvain Kahane
Hiroshi Kanayama
Jenna Kanerva
Neslihan Kara
Ritván Karahóǧa
Boris Katz
Tolga Kayadelen
Jessica Kenney
Václava Kettnerová
Jesse Kirchner
Elena Klementieva
Elena Klyachko
Arne Köhn
Abdullatif Köksal
Kamil Kopacewicz
Timo Korkiakangas
Mehmet Köse
Natalia Kotsyba
Jolanta Kovalevskaitė
Simon Krek
Parameswari Krishnamurthy
Sandra Kübler
Oğuzhan Kuyrukçu
Aslı Kuzgun
Sookyoung Kwak
Veronika Laippala
Lucia Lam
Lorenzo Lambertino
Tatiana Lando
Septina Dian Larasati
Alexei Lavrentiev
John Lee
Phương Lê Hồng
Alessandro Lenci
Saran Lertpradit
Herman Leung
Maria Levina
Cheuk Ying Li
Josie Li
Keying Li
Yuan Li
KyungTae Lim
Bruna Lima Padovani
Krister Lindén
Nikola Ljubešić
Olga Loginova
Stefano Lusito
Andry Luthfi
Mikko Luukko
Olga Lyashevskaya
Teresa Lynn
Vivien Macketanz
Menel Mahamdi
Jean Maillard
Aibek Makazhanov
Michael Mandl
Christopher Manning
Ruli Manurung
Büşra Marşan
Cătălina Mărănduc
David Mareček
Katrin Marheinecke
Stella Markantonatou
Héctor Martínez Alonso
Lorena Martín Rodríguez
André Martins
Jan Mašek
Hiroshi Matsuda
Yuji Matsumoto
Alessandro Mazzei
Ryan McDonald
Sarah McGuinness
Gustavo Mendonça
Tatiana Merzhevich
Niko Miekka
Karina Mischenkova
Margarita Misirpashayeva
Anna Missilä
Cătălin Mititelu
Maria Mitrofan
Yusuke Miyao
AmirHossein Mojiri Foroushani
Judit Molnár
Amirsaeid Moloodi
Simonetta Montemagni
Amir More
Laura Moreno Romero
Giovanni Moretti
Keiko Sophie Mori
Shinsuke Mori
Tomohiko Morioka
Shigeki Moro
Bjartur Mortensen
Bohdan Moskalevskyi
Kadri Muischnek
Robert Munro
Yugo Murawaki
Kaili Müürisep
Pinkey Nainwani
Mariam Nakhlé
Juan Ignacio Navarro Horñiacek
Anna Nedoluzhko
Gunta Nešpore-Bērzkalne
Manuela Nevaci
Lương Nguyễn Thị
Huyền Nguyễn Thị Minh
Yoshihiro Nikaido
Vitaly Nikolaev
Rattima Nitisaroj
Alireza Nourian
Hanna Nurmi
Stina Ojala
Atul Kr. Ojha
Adédayọ̀ Olúòkun
Mai Omura
Emeka Onwuegbuzia
Noam Ordan
Petya Osenova
Robert Östling
Lilja Øvrelid
Şaziye Betül Özateş
Merve Özçelik
Arzucan Özgür
Balkız Öztürk Başaran
Teresa Paccosi
Alessio Palmero Aprosio
Hyunji Hayley Park
Niko Partanen
Elena Pascual
Marco Passarotti
Agnieszka Patejuk
Guilherme Paulino-Passos
Giulia Pedonese
Angelika Peljak-Łapińska
Siyao Peng
Cenel-Augusto Perez
Natalia Perkova
Guy Perrier
Slav Petrov
Daria Petrova
Andrea Peverelli
Jason Phelan
Jussi Piitulainen
Tommi A Pirinen
Emily Pitler
Barbara Plank
Thierry Poibeau
Larisa Ponomareva
Martin Popel
Lauma Pretkalniņa
Sophie Prévost
Prokopis Prokopidis
Adam Przepiórkowski
Tiina Puolakainen
Sampo Pyysalo
Peng Qi
Andriela Rääbis
Alexandre Rademaker
Mizanur Rahoman
Taraka Rama
Loganathan Ramasamy
Carlos Ramisch
Fam Rashel
Mohammad Sadegh Rasooli
Vinit Ravishankar
Livy Real
Petru Rebeja
Siva Reddy
Mathilde Regnault
Georg Rehm
Ivan Riabov
Michael Rießler
Erika Rimkutė
Larissa Rinaldi
Laura Rituma
Putri Rizqiyah
Luisa Rocha
Eiríkur Rögnvaldsson
Mykhailo Romanenko
Rudolf Rosa
Valentin Roșca
Davide Rovati
Ben Rozonoyer
Olga Rudina
Jack Rueter
Kristján Rúnarsson
Shoval Sadde
Pegah Safari
Benoît Sagot
Aleksi Sahala
Shadi Saleh
Alessio Salomoni
Tanja Samardžić
Stephanie Samson
Manuela Sanguinetti
Ezgi Sanıyar
Dage Särg
Baiba Saulīte
Yanin Sawanakunanon
Shefali Saxena
Kevin Scannell
Salvatore Scarlata
Nathan Schneider
Sebastian Schuster
Lane Schwartz
Djamé Seddah
Wolfgang Seeker
Mojgan Seraji
Syeda Shahzadi
Mo Shen
Atsuko Shimada
Hiroyuki Shirasu
Yana Shishkina
Muh Shohibussirri
Dmitri Sitchinava
Janine Siewert
Einar Freyr Sigurðsson
Aline Silveira
Natalia Silveira
Maria Simi
Radu Simionescu
Katalin Simkó
Mária Šimková
Kiril Simov
Maria Skachedubova
Aaron Smith
Isabela Soares-Bastos
Shafi Sourov
Carolyn Spadine
Rachele Sprugnoli
Vivian Stamou
Steinþór Steingrímsson
Antonio Stella
Milan Straka
Emmett Strickland
Jana Strnadová
Alane Suhr
Yogi Lesmana Sulestio
Umut Sulubacak
Shingo Suzuki
Daniel Swanson
Zsolt Szántó
Chihiro Taguchi
Dima Taji
Yuta Takahashi
Fabio Tamburini
Mary Ann C. Tan
Takaaki Tanaka
Dipta Tanaya
Mirko Tavoni
Samson Tella
Isabelle Tellier
Marinella Testori
Guillaume Thomas
Sara Tonelli
Liisi Torga
Marsida Toska
Trond Trosterud
Anna Trukhina
Reut Tsarfaty
Utku Türk
Francis Tyers
Sumire Uematsu
Roman Untilov
Zdeňka Urešová
Larraitz Uria
Hans Uszkoreit
Andrius Utka
Elena Vagnoni
Sowmya Vajjala
Rob van der Goot
Martine Vanhove
Daniel van Niekerk
Gertjan van Noord
Viktor Varga
Uliana Vedenina
Eric Villemonte de la Clergerie
Veronika Vincze
Natalia Vlasova
Aya Wakasa
Joel C. Wallenberg
Lars Wallin
Abigail Walsh
Jing Xian Wang
Jonathan North Washington
Maximilan Wendt
Paul Widmer
Shira Wigderson
Sri Hartati Wijono
Seyi Williams
Mats Wirén
Christian Wittern
Tsegay Woldemariam
Tak-sum Wong
Alina Wróblewska
Mary Yako
Kayo Yamashita
Naoki Yamazaki
Chunxiao Yan
Koichi Yasuoka
Marat M. Yavrumyan
Arife Betül Yenice
Olcay Taner Yıldız
Zhuoran Yu
Arlisa Yuliawati
Zdeněk Žabokrtský
Shorouq Zahra
Amir Zeldes
He Zhou
Hanzhi Zhu
Anna Zhuravleva
Rayan Ziane