ufal/bilingual-abstracts-corpus huggingface dataset:
Working together towards an ideal infrastructure for language learner corpora
Společná práce na vytvoření ideální infrastruktury pro jazykové korpusy
Year: 2019
Authors: Maarten Janssen, Adriane Boyd, Alexandr Rosen, Elena Volodina, Egon Stemle, Nives Mikelić

Abstract (English):
In this article we provide an overview of first-hand experiences and vantage points for best practices from projects in seven European countries dedicated to learner corpus research (LCR) and the creation of language learner corpora. The corpora and tools involved in LCR are becoming more and more important, as are careful preparation and easy retrieval and reusability of corpora and tools. But the lack of commonly agreed solutions for many aspects of LCR, interoperability between learner corpora and the exchange of data from different learner corpus projects remains a challenge. We show how concepts like metadata, anonymization, error taxonomies and linguistic annotations as well as tools, toolchains and data formats can be individually challenging and how the challenges can be solved.

Abstract (Czech):
V tomto článku poskytujeme přehled zkušeností z první ruky a výhodných bodů pro osvědčené postupy z projektů v sedmi evropských zemích věnovaných výzkumu korpusu studentů (LCR) a vytváření korpusů studentů jazyků. Korpusy a nástroje zapojené do LCR jsou stále důležitější, stejně jako pečlivá příprava a snadné vyhledávání a opětovné použití korpusů a nástrojů. Nedostatek společně dohodnutých řešení pro mnoho aspektů LCR, interoperabilita mezi korpusy studentů a výměna dat z různých korpusových projektů studentů však zůstává výzvou. Ukážeme, jak mohou být koncepty jako metadata, anonymizace, taxonomie chyb a jazykové anotace, jakož i nástroje, řetězce nástrojů a datové formáty individuálně náročné a jak lze výzvy řešit.
AGRR 2019: Corpus for Gapping Resolution in Russian
AGRR 2019: Korpus pro řešení mezera v ruštině
Year: 2019
Authors: Maria Ponomareva, Kira Droganova, Ivan Smurov, Tatiana Shavrina

Abstract (English):
This paper provides a comprehensive overview of the gapping dataset for Russian that consists of 7.5k sentences with gapping (as well as 15k relevant negative sentences) and comprises data from various genres: news, fiction, social media and technical texts. The dataset was prepared for the Automatic Gapping Resolution Shared Task for Russian (AGRR-2019) - a competition aimed at stimulating the development of NLP tools and methods for processing of ellipsis. In this paper, we pay special attention to the gapping resolution methods that were introduced within the shared task as well as an alternative test set that illustrates that our corpus is a diverse and representative subset of Russian language gapping sufficient for effective utilization of machine learning techniques.

Abstract (Czech):
Tento dokument poskytuje komplexní přehled datového souboru mezery pro ruštinu, který se skládá z 7,5k vět s mezerou (stejně jako 15k relevantních negativních vět) a obsahuje údaje z různých žánrů: zprávy, beletrie, sociální média a technické texty. Dataset byl připraven pro automatický sdílený úkol pro řešení rozdílů ruských dat (AGRR-2019) - soutěž zaměřená na stimulaci vývoje nástrojů a metod NLP pro zpracování elipsy. V tomto článku věnujeme zvláštní pozornost metodám rozlišování mezer, které byly zavedeny v rámci sdíleného úkolu, a také alternativní testovací sadě, která ukazuje, že náš korpus je různorodá a reprezentativní podmnožina mezery ruského jazyka dostatečná pro efektivní využití technik strojového učení. .
ÚFAL–Oslo at MRP 2019: Garage Sale Semantic Parsing
ÚFAL–Oslo v MRP 2019: Sémantická analýza ve stylu garage sale
Year: 2019
Authors: Kira Droganova, Andrey Kutuzov, Nikita Mediankin, Daniel Zeman

Abstract (English):
This paper describes the “ÚFAL–Oslo” system submission to the shared task on Cross-Framework Meaning Representation Parsing (MRP, Oepen et al. 2019). The submission is based on several third-party parsers. Within the official shared task results, the submission ranked 12th out of 14 participating systems.

Abstract (Czech):
Tento článek popisuje účastnický systém „ÚFAL–Oslo“ v soutěži Cross-Framework Meaning Representation Parsing (MRP, Oepen et al. 2019). Systém je postaven na několika existujících parserech třetích stran. V rámci oficiálních výsledků soutěže se umístil na 12. místě z celkem 14 účastníků.
Towards Deep Universal Dependencies
Směřování k hlubokým univerzálním závislostem
Year: 2019
Authors: Kira Droganova, Daniel Zeman

Abstract (English):
Many linguistic theories and annotation frameworks contain a deep-syntactic and/or semantic layer. While many of these frameworks have been applied to more than one language, none of them is anywhere near the number of languages that are covered in Universal Dependencies (UD). In this paper, we present a prototype of Deep Universal Dependencies, a two-speed concept where minimal deep annotation can be derived automatically from surface UD trees, while richer annotation can be added for datasets where appropriate resources are available. We release the Deep UD data in Lindat.

Abstract (Czech):
Mnohé lingvistické teorie a anotační schémata obsahují hloubkově-syntaktickou a/nebo sémantickou vrstvu. Ačkoli řada z nich byla aplikována na více než jeden jazyk, žádná se nepřibližuje množství jazyků, které jsou pokryty univerzálními závislostmi (Universal Dependencies, UD). V tomto článku představujeme prototyp hloubkových univerzálních závislostí (Deep Universal Dependencies): dvourychlostního konceptu, ve kterém určitá minimální hloubková anotace je automaticky odvozena z povrchových stromů UD, zatímco bohatší anotaci je možné přidat ručně u korpusů, kde jsou k dispozici potřebné zdroje. Data Deep UD zpřístupňujeme v repozitáři Lindat.
75 Languages, 1 Model: Parsing Universal Dependencies Universally
75 jazyků, 1 model: Závislostní analýza Universal Dependencies univerzálně
Year: 2019
Authors: Daniel Kondratyuk, Milan Straka

Abstract (English):
We present UDify, a multilingual multi-task model capable of accurately predicting universal part-of-speech, morphological features, lemmas, and dependency trees simultaneously for all 124 Universal Dependencies treebanks across 75 languages. By leveraging a multilingual BERT self-attention model pretrained on 104 languages, we found that fine-tuning it on all datasets concatenated together with simple softmax classifiers for each UD task can result in state-of-the-art UPOS, UFeats, Lemmas, UAS, and LAS scores, without requiring any recurrent or language-specific components. We evaluate UDify for multilingual learning, showing that low-resource languages benefit the most from cross-linguistic annotations. We also evaluate for zero-shot learning, with results suggesting that multilingual training provides strong UD predictions even for languages that neither UDify nor BERT have ever been trained on. Code for UDify is available at https://github.com/hyperparticle/udify.

Abstract (Czech):
Představujeme UDify, vícejazyčný víceúlohový model schopný přesně předpovědět univerzální slovní druhy, morfologické rysy, lemmata a závislostní stromy současně pro všech 124 treebanků Universal Dependencies napříč 75 jazyky. Využitím vícejazyčného modelu BERT předcvičeného na 104 jazycích jsme zjistili, že jeho dotrénování na všech zřetězených treebancích spolu s jednoduchými softmax klasifikátory pro každý úkol UD ústí v nejlepší známé výsledky pro UPOS, UFeats, lemmatizaci, UAS a LAS metriky, aniž by vyžadovalo jakékoli rekurentní nebo jazykově specifické komponenty. Hodnocení UDify ukazuje, že vícejazyčné učení nejvíce prospívá jazykům s málo daty. Vícejazykové trénovaní poskytuje kvalitní předpovědi i pro jazyky, které nebyly zastoupeny v trénovacích datech, naznačují, že i pro ně posky vícejazyčné školen. Zdrojový kód UDify je dostupný na https://github.com/hyperparticle/udify.
Replacing Linguists with Dummies: A Serious Need for Trivial Baselinesin Multi-Task Neural Machine Translation
Nahrazení lingvistů za dummy: Závažná potřeba triviálního překladu neuronového stroje s více úlohami Baselinesin
Year: 2019
Authors: Daniel Kondratyuk, Ronald Cardenas, Ondřej Bojar

Abstract (English):
Recent developments in machine translation experiment with the idea that a model can
improve the translation quality by performing multiple tasks, e.g., translating from source to
target and also labeling each source word with syntactic information. The intuition is that the
network would generalize knowledge over the multiple tasks, improving the translation performance, especially in low resource conditions. We devised an experiment that casts doubt on
this intuition. We perform similar experiments in both multi-decoder and interleaving setups
that label each target word either with a syntactic tag or a completely random tag. Surprisingly, we show that the model performs nearly as well on uncorrelated random tags as on true
syntactic tags. We hint some possible explanations of this behavior.
The main message from our article is that experimental results with deep neural networks
should always be complemented with trivial baselines to document that the observed gain is
not due to some unrelated properties of the system or training effects. True confidence in where
the gains come from will probably remain problematic anyway.

Abstract (Czech):
Nedávný vývoj v oblasti strojového překladu experimentuje s myšlenkou, že model může zlepšit kvalitu překladu provedením více úloh, např. překládáním ze zdroje na cíl a také označováním každého zdrojového slova syntaktickými informacemi. Intuice je taková, že síť by zobecňovala znalosti na více úloh a zlepšila tak výkon překladu, zejména v podmínkách nízkých zdrojů. Vymysleli jsme experiment, který tuto intuici zpochybňuje. Podobné experimenty provádíme jak v multidekodérech, tak v prokládacích sestavách, které označují každé cílové slovo buď syntaktickou značkou, nebo úplně náhodnou značkou. Překvapivě ukazujeme, že model si vede skoro stejně dobře na nekorespondovaných náhodných značkách jako na skutečných syntaktických značkách. Naznačujeme některá možná vysvětlení tohoto chování. Hlavním poselstvím našeho článku je, že experimentální výsledky s hlubokými neuronovými sítěmi by měly být vždy doplněny triviálními výchozími hodnotami dokumentujícími, že pozorovaný přírůstek je
ne kvůli některým nesouvisejícím vlastnostem systému nebo tréninkovým efektům. Skutečná důvěra v to, odkud zisky pocházejí, bude pravděpodobně i nadále problematická.
NovaMorf: the end of a long period of convergence and divergence in the processing of Czech morphology
NovaMorf: konec dlouhého období konvergencí a divergencí ve zpracování české morfologie
Year: 2019
Authors: Klára Osolsobě, Jaroslava Hlaváčová

Abstract (English):
In this text, we want to outline the coincidences and differences of the two tagsets used for automatic morphological analysis of Czech. We will show how much the originally unintentional and time-sustained double-knee of the so-called Prague and so-called Brno systems can be overcome in the foreseeable future under the NovaMorf project. We will look at the relationships between the branding of morphological categories and values in the NovaMorf proposal compared to the two older systems. We base our assessment of the Brno system on an article by the Czech Morphological Tagset Revisited. (Jakubíček, Kovář, Šmerk, 2011). We base our knowledge of the Prague system on a description of Prague's position tagset (see http://ufal.mff.cuni.cz/pdt/Morphology_and_Tagging/Doc/hmptagqr.html) and on a monograph by Jan Hajic (Hajic, 1994, 2004). Our goal will be to show how the experience of using both systems has resulted in an effort to inspire positives and avoid failed solutions on both sides (Srv. Osolsoba et al., 2017). For a mutual conversion of the marks of the Prague system to the Brno system, see Pořízka, Schäfer, 2009.

Abstract (Czech):
V tomto textu chceme nastínit shody a rozdíly dvou tagsetů užívaných k automatické morfologické analýze češtiny. Ukážeme, nakolik původně nezáměrná a časem udržovaná dvojkolenost tzv. pražského a tzv. brněnského systému může býti v dohledné době překonána v rámci projektu NovaMorf.  Budeme se zabývat vztahy mezi značkováním morfologických kategorií a hodnot v návrhu NovaMorf v porovnání s oběma staršími systémy. Při posuzování brněnského systému vycházíme z článku Czech Morphological Tagset Revisited. (Jakubíček, Kovář, Šmerk, 2011). Poznatky o pražském systému zakládáme na popisu pražského pozičního tagsetu (viz http://ufal.mff.cuni.cz/pdt/Morphology_and_Tagging/Doc/hmptagqr.html) a na monografii Jana Hajiče (Hajič, 1994, 2004). Naším cílem bude ukázat, kterak zkušenosti s užíváním obou systémů vyústily ve snahu inspirovat se pozitivy a vyhnout se neúspěšným řešením na obou stranách (srv. Osolsobě et al., 2017). Ke vzájemné konverzi značek dosavadního pražského systému na brněnský viz Pořízka, Schäfer, 2009.
Sociological aspects of oral history in the digital age
Sociologické aspekty orální historie v digitálním věku
Year: 2019
Authors: Jakub Mlynář

Abstract (English):
The lecture Sociological Aspects of Oral History in the Digital Age is going to provide theoretical foundations for the follow-up workshop focused on one of the largest digital archives of oral history: the USC Shoah Foundation’s Visual History Archive. This digital database consists of more than 54,500 audio-visual recordings of oral history interviews. The majority of the interviews were collected between 1994 and 2000, mainly in the USA and Europe. Most of the interviews (nearly 50%) are in English, but more than 35 other languages are also represented in the Visual History Archive. Over 150 interviews from the Archive are related to Luxembourg. During the workshop, combining theory and praxis, we will focus on secondary analysis of archival interviews, discussion of their role in contemporary society, as well as interpretive issues in secondary use of archived oral history. In the introductory lecture, we will consider oral history more generally as a social phenomenon, and archived oral history interviews as social semiotic objects.

Abstract (Czech):
Přednáška poskytne teoretické základy pro navazující workshop zaměřený na jeden z největších digitálních archivů ústní historie: Archiv vizuální historie USC Shoah Foundation. Tato digitální databáze se skládá z více než 54 500 audiovizuálních záznamů orálněhistorických rozhovorů. Během workshopu, který kombinuje teorii a praxi, se zaměříme na sekundární analýzu archivních rozhovorů, diskusi o jejich úloze v současné společnosti a také na otázky interpretace při sekundárním využití archivované orální historie. V úvodní přednášce pojednám orální historii obecněji jako společenský fenomén a archivované rozhovory jako sociální sémiotické objekty.
The temporal organization of classroom work with digital oral history
Časová organizace práce s digitální orální historií ve třídě
Year: 2019
Authors: Jakub Mlynář

Abstract (English):
In contemporary society, social justice issues are often related to documentary video clips and their interpretation. Understanding the ways of working with and around video in everyday settings could provide novel perspectives on traditional themes. This paper is based on an ethnomethodological study of videotaped episodes of students’ collaborative work with on-line material constructed from texts, images and video clip fragments of oral history interviews. Students worked with a single computer device and one paper sheet in small groups of two or three. The temporal organization of classroom work with digital oral history in this classroom setting is divided to three phases: (1) preparation for watching the video clip, which requires the establishment of an optimal arrangement of material artifacts and participants’ bodily orientations; (2) watching the video clip, which points to a preference for uninterrupted watching from start to end, as well as limitation of participants’ talk to "running commentary"; (3) reflecting the video clip, which shows orientation to the formulation of required answer and its collaborative writing into the paper sheet, including occasional second watching.

Abstract (Czech):
V současné společnosti se otázky sociální spravedlnosti často týkají dokumentárních videoklipů a jejich interpretace. Pochopení způsobů práce s videem a jeho okolí v každodenním prostředí by mohlo přinést nové pohledy na tradiční témata. Tato práce vychází z etnometodologické studie videonahrávek kolektivní práce studentů s on-line materiály sestavenými z textů, obrázků a fragmentů orálněhistorických rozhovorů. Studenti pracovali s jedním počítačovým zařízením a jedním papírovým listem v malých skupinách po dvou nebo třech. Časová organizace práce v učebně s digitálními ústními dějinami je v tomto uspořádání rozdělena do tří fází: 1) příprava na sledování videoklipu, což vyžaduje vytvoření optimálního uspořádání hmotných artefaktů a tělesné orientace účastníků; 2) sledování videoklipu, během něhož je upřednostňováno nepřerušované sledování od začátku do konce, jakož i omezení hovoru účastníků na "průběžné komentáře"; 3) reflexe videoklipu, během níž se projevuje orientace na formulaci požadované odpovědi a její společné zapsání do papírového listu, včetně případného druhého sledování videoklipu.
Making sense of digital oral history
Dávat smysl digitální orální historii
Year: 2019
Authors: Jakub Mlynář, Jakub Bronec

Abstract (English):
In order to use audiovisual oral history (OH) materials efficiently and meaningfully, it is important to understand how people make sense of such video recordings in social interaction. Fundamental questions thus emerge in regard to secondary analysis and practical utilization of archived audiovisual OH material, such as: What are the features of OH interview as a social object? What makes it meaningful and interpretable? How much do we need to know about the socially situated character of the interview in order to understand it properly? Is there “too little” or “too much” context in relation to OH? How do people make sense of OH interviews in social practice, and relate it to their broader historical knowledge? In the workshop, we will grasp such far-reaching questions from a very empirical and practical perspective. We are reaching out to scholars who are interested in cross-disciplinary approaches and work with interviews, oral history, and digitized or digital qualitative data in general.

Abstract (Czech):
Pro efektivní a smysluplné používání audiovizuálních orálněhistorických materiálů (OH) je důležité pochopit, jak lidé chápou smysl takových videozáznamů v sociální interakci. Vyvstávají tak zásadní otázky týkající se sekundární analýzy a praktického využití archivovaného audiovizuálního materiálu OH, jako například: Jaké jsou rysy OH rozhovoru jako společenského objektu? Co jej činí smysluplným a interpretovatelným? Kolik toho potřebujeme vědět o sociálně situovaném charakteru rozhovoru, abychom ho správně pochopili? Existuje ve vztahu k OH „příliš málo“ nebo „příliš mnoho“ kontextu? Jaký smysl mají rozhovory na OH ve společenské praxi a jaký je jejich vztah k širším historickým znalostem? V rámci workshopu uchopíme tyto dalekosáhlé otázky z velice empirického a praktického hlediska. Oslovujeme akademické pracovníky, kteří se zajímají o mezioborové přístupy a pracují s interview, orální historií a digitalizovanými nebo digitálními kvalitativními daty obecně.
SAO WMT19 Test Suite: Machine Translation of Audit Reports
NKÚ WMT19 Testovací sada: Strojový překlad auditních zpráv
Year: 2019
Authors: Tereza Vojtěchová, Michal Novák, Miloš Klouček, Ondřej Bojar

Abstract (English):
This paper describes a machine translation test set of documents from the auditing domain and its use as one of the “test suites” in the WMT19 News Translation Task for translation directions involving Czech, English and German.

Our evaluation suggests that current MT systems optimized for the general news domain can perform quite well even in the particular domain of audit reports. The detailed manual evaluation however indicates that deep factual knowledge of the domain is necessary. For the naked eye of a non-expert, translations by many systems seem almost perfect and automatic MT evaluation with one reference is practically useless for considering these details.

Furthermore, we show on a sample document from the domain of agreements that even the best systems completely fail in preserving the semantics of the agreement, namely the identity of the parties.

Abstract (Czech):
Tato práce popisuje testovací sadu dokumentů z auditorské domény pro strojový překlad a její použití jako jedné ze „testovacích sad“ v WMT19 News Translation Task pro překladatelské směry zahrnující češtinu, angličtinu a němčinu.

Naše hodnocení naznačuje, že současné MT systémy optimalizované pro oblast všeobecného zpravodajství mohou docela dobře fungovat i v konkrétní oblasti auditních zpráv. Podrobné manuální hodnocení však ukazuje, že hluboká faktická znalost dané oblasti je nezbytná. Pouhým okem neodborníka se překlady mnoha systémů zdají téměř dokonalé a automatické hodnocení MT s jednou referencí je pro zvážení těchto detailů prakticky zbytečné.

Dále na ukázkovém dokumentu z oblasti smluv ukazujeme, že i ty nejlepší systémy zcela selhávají v zachování sémantiky smlouvy, specificky zachování identit stran.
CzeDLex 0.6
CzeDLex 0.6
Year: 2019
Authors: Pavlína Synková, Lucie Poláková, Jiří Mírovský, Magdaléna Rysová

Abstract (English):
CzeDLex 0.6 is the second development version of a lexicon of Czech discourse connectives. The lexicon contains connectives partially automatically extracted from the Prague Discourse Treebank 2.0 (PDiT 2.0), a large corpus annotated manually with discourse relations. The most frequent entries in the lexicon (covering more than 90% of the discourse relations annotated in the PDiT 2.0) have been manually checked, translated to English and supplemented with additional linguistic information.

Abstract (Czech):
CzeDLex 0.6 je druhá vývojová verze slovníku českých diskurzních konektorů. Slovník obsahuje konektory částečně automaticky extrahované z Pražského diskurzního korpusu 2.0 (PDiT 2.0), rozsáhlého korpusu s ručně anotovanými diskurzními vztahy. Nejfrekventovanější slovníková hesla (pokrývající více než 90% diskurzních vztahů anotovaných v PDiT 2.0) byla ručně zkontrolována, přeložena do angličtiny a doplněna dalšími lingvistickými informacemi.
On the Valency of Various Types of Adverbs and Its Lexicographic Description
K valenci různých typů příslovcí a jejich lexikografickému popisu
Year: 2019
Authors: Jakub Sláma, Barbora Štěpánková

Abstract (English):
This paper deals with the neglected issue of the valency of adverbs. After providing a brief theoretical background, a procedure is presented of extracting the list of potentially valent adverbs from two syntactically parsed corpora of Czech, SYN2015 and PDT. Taking note of the methodological and theoretical problems surrounding this task, especially those relating to the fuzzy boundaries of word classes, we outline the types of adverbs identified as having valency properties. Where appropriate, we comment on – and occasionally suggest improvements in – the lexicographic treatment of valent adverbs.

Abstract (Czech):
Tato práce se zabývá opomínejou otázkou valence příslovcí. Po stručném teoretickém úvodu představíme postup při extrahování seznamu potenciálních valenčních příslovcí ze dvou českých syntakticky značkovaných korpusů, SYN2015 a PDT. Dále zmíníme metodologické a teoretické problémy spojené s tímto problémem, zejména ty, které se týkají nejasných hranic slovních druhů, a charakterizujeme typy získaných valenčních příslovcí. Tam, kde je to vhodné, komentujeme lexikografické zpracování valenčních příslovcí a případně navrhujeme jeho úpravu.