ufal/bilingual-abstracts-corpus huggingface dataset:
Inducing Syntactic Trees from BERT Representations
Odvozování syntactických stromů z BERTových reprezentací
Year: 2019
Authors: Rudolf Rosa, David Mareček

Abstract (English):
We use the English model of BERT and explore how a deletion of one word in a sentence changes representations of other words. Our hypothesis is that removing a reducible word (e.g. an adjective) does not affect the representation of other words so much as removing e.g. the main verb, which makes the sentence ungrammatical and of "high surprise" for the language model. We estimate reducibilities of individual words and also of longer continuous phrases (word n-grams), study their syntax-related properties, and then also use them to induce full dependency trees.

Abstract (Czech):
Používáme anglický model BERT a zkoumáme, jak vypuštění jednoho slova ve větě mění reprezentace jiných slov. Naše hypotéza je taková, že odstranění redukovatelného slova (např. přídavného jména) neovlivní reprezentaci jiných slov natolik, jako odstranění např. hlavního slovesa, které činí větu pro jazykový model negramatickou a „velmi překvapivou“. Odhadujeme reducibility jednotlivých slov a také delších souvislých frází (slovních n-gramů), studujeme jejich syntaktické vlastnosti a poté je také použijeme k odvození plných závislostních stromů.
Quick intro to language processing for the THEAITRE project
Rychlokurz počítačového zpracování jazyka pro projekt THEAITRE
Year: 2019
Authors: Rudolf Rosa, Ondřej Dušek, Tomáš Musil, Tom Kocmi

Abstract (English):
Representing text on a computer.
Representation of words (word embeddings).
Generating Sentences I. (n-gram language models).
Basic principles of machine learning.
Generating Sentences II (artificial neural networks).
Reflections on more powerfully managed generation.

Abstract (Czech):
Reprezentace textu v počítači.
Reprezentace slov (slovní embedinky).
Generování vět I. (n-gramové jazykové modely).
Základní principy strojového učení.
Generování vět II. (umělé neuronové sítě).
Úvahy nad silněji řízeným generováním.
Attempting to separate inflection and derivation using vector space representations
Pokus o oddělení flexe a derivace pomocí vektorových reprezentací
Year: 2019
Authors: Rudolf Rosa, Zdeněk Žabokrtský

Abstract (English):
We investigate to what extent inflection can be automatically separated from derivation, just based
on the word forms. We expect pairs of inflected forms of the same lemma to be closer to each other
than pairs of inflected forms of two different lemmas (still derived from a same root, though),
given a proper distance measure. We estimate distances of word forms using edit distance, which
represents character-based similarity, and word embedding similarity, which serves as a proxy
to meaning similarity. Specifically, we explore Levenshtein and Jaro-Winkler edit distances, and
cosine similarity of FastText word embeddings. We evaluate the separability of inflection and
derivation on a sample from DeriNet, a database of word formation relations in Czech. We
investigate the word distance measures directly, as well as embedded in a clustering setup. Best
results are achieved by using a combination of Jaro-Winkler edit distance and word embedding
cosine similarity, outperforming each of the individual measures. Further analysis shows that the
method works better for some classes of inflections and derivations than for others, revealing some
limitations of the method, but also supporting the idea of replacing a binary inflection-derivation
dichotomy with a continuous scale.

Abstract (Czech):
Zkoumáme, do jaké míry lze flexi automaticky oddělit od derivace, jen na základě slovních forem. Očekáváme, že při použití vhodné míry vzdálenosti budou páry vyskloňovaných tvarů stejného lemmatu k sobě blíže než páry vyskloňovaných forem dvou různých lemmat (stále odvozených od stejného kořene). Vzdálenosti slovních tvarů odhadujeme pomocí editační vzdálenosti, která představuje podobnost založenou na znacích, a pomocí podobnosti slovních embedinků, která slouží jako proxy k významové podobnosti. Konkrétně zkoumáme Levenshteinovu a Jarovu-Winklerovu editační vzdálenost a kosinovou podobnost FastTextových slovních embedinků. Vyhodnocujeme oddělitelnost flexe a derivace na vzorku z databáze DeriNet, což je databáze slovotvorných vztahů v češtině. Zkoumáme míry vzdálenosti slov jednak přímo a jednak a jako složku shlukovacího postupu. Nejlepších výsledků je dosaženo kombinací Jarovy-Winklerovy editační vzdálenosti a kosionové podobnosti slovních embedinků, která překonává míry použité samostatně. Další analýza ukazuje, že metoda funguje lépe pro některé třídy flexí a derivací než pro jiné, což ukazuje některá omezení metody, ale také podporuje myšlenku nahrazení binární dichotomie flexe-derivace kontinuální škálou.
Unsupervised Lemmatization as Embeddings-Based Word Clustering
Neřízená lematizace jako shlukování slov založené na embedinkách
Year: 2019
Authors: Rudolf Rosa, Zdeněk Žabokrtský

Abstract (English):
We focus on the task of unsupervised lemmatization, i.e. grouping together inflected forms of one word under one label (a lemma) without the use of annotated training data. We propose to perform agglomerative clustering of word forms with a novel distance measure. Our distance measure is based on the observation that inflections of the same word tend to be similar both string-wise and in meaning. We therefore combine word embedding cosine similarity, serving as a proxy to the meaning similarity, with Jaro-Winkler edit distance. Our experiments on 23 languages show our approach to be promising, surpassing the baseline on 23 of the 28 evaluation datasets.

Abstract (Czech):
Zaměřujeme se na úlohu neřízené lemmatizace, tj. seskupení vyskloňovaných forem jednoho slova pod jeden štítek (lemma) bez použití anotovaných trénovacích dat. Navrhujeme provádět aglomerativní shlukování slovních forem s novou mírou vzdálenosti. Naše míra vzdálenosti je založena na pozorování, že flexe jednoho slova mají tendenci být podobné řetězcově i významově. Proto kombinujeme kosinovou podobnost slovních embedinků, která slouží jako proxy k významové podobnosti, s editační vzdáleností Jaro-Winklera. Naše experimenty na 23 jazycích ukazují, že náš přístup je slibný a překonal baseline pro 23 z 28 testovacích sad.
Coherence Evaluation in Czech: Utilization of Large Unlabeled data
Hodnocení koherence v češtině: využití velkých neanotovaných dat
Year: 2019
Authors: Michal Novák, Jiří Mírovský, Kateřina Rysová, Magdaléna Rysová

Abstract (English):
Introduction of the research of automatic coherence evaluation in Czech using unlabeled large data.

Abstract (Czech):
Představení výzkumu automatického vyhodnocování koherence v češtině s pomocí naanotovaných velkých dat.
Exploiting Large Unlabeled Data in Automatic Evaluation of Coherence in Czech
Využití velkých neanotovaných dat v automatickém hodnocení koherence v češtině
Year: 2019
Authors: Michal Novák, Jiří Mírovský, Kateřina Rysová, Magdaléna Rysová

Abstract (English):
We use large unlabeled data (n-gram model, density estimates of features) to improve quality of surface coherence evaluation in Czech texts. Along with new features across layers of language description, the additions significantly improve the performance of the system.

Abstract (Czech):
Využíváme velkých neanotovaných dat (n-gramový model, odhady hustoty featur) ke zlepšení kvality automatického hodnocení koherence textů v češtině. Spolu s novými featurami z různých jazykových rovin přispělo využití neanotovaných dat k signifikantnímu zlepšení výsledků systému.
EVALD 4.0 for Beginners – Evaluator of Discourse
EVALD 4.0 pro začátečníky – Evaluátor diskurzu
Year: 2019
Authors: Michal Novák, Jiří Mírovský, Kateřina Rysová, Magdaléna Rysová, Eva Hajičová

Abstract (English):
Evaluator of Discourse for Beginners (EVALD 4.0 for Beginners) is a software that serves for automatic evaluation of surface coherence (cohesion) in Czech texts written by non-native speakers of Czech. Software evaluates the level of the given text from the perspective of its surface coherence (i.e. it takes into consideration, e.g., the frequency and diversity of connectives, richness of vocabulary, coreference realations, topic-focus articulation, readability etc.), and reports whether the text reaches the basic A1 level.

Abstract (Czech):
Počítačový nástroj Evaluátor diskurzu pro začátečníky (EVALD 4.0 pro začátečníky) slouží k automatickému hodnocení povrchové koherence (koheze) textů v češtině psaných začínajícími nerodilými mluvčími češtiny. Software hodnotí úroveň předloženého textu z hlediska jeho povrchové výstavby (zohledňuje např. frekvenci a rozmanitost užitých spojovacích prostředků, bohatost slovní zásoby, koreferenční vztahy, aktuální členění, obtížnost čtení apod.) a vyhodnocuje, zda text dostahuje alespoň základní úrovně A1.
EVALD 4.0 for Foreigners – Evaluator of Discourse
EVALD 4.0 pro cizince – Evaluátor diskurzu
Year: 2019
Authors: Michal Novák, Jiří Mírovský, Kateřina Rysová, Magdaléna Rysová, Eva Hajičová

Abstract (English):
Evaluator of Discourse for Foreigners (EVALD 4.0 for Foreigners) is a software that serves for automatic evaluation of surface coherence (cohesion) in Czech texts written by non-native speakers of Czech. Software evaluates the level of the given text from the perspective of its surface coherence (i.e. it takes into consideration, e.g., the frequency and diversity of connectives, richness of vocabulary, coreference relations, topic-focus articulation etc.). The new version (4.0) adds a set of features related to readability of the text and also newly uses large unlabeled data.

Abstract (Czech):
Počítačový nástroj Evaluátor diskurzu pro cizince (EVALD 4.0 pro cizince) slouží k automatickému hodnocení povrchové koherence (koheze) textů v češtině psaných nerodilými mluvčími češtiny. Software hodnotí úroveň předloženého textu z hlediska jeho povrchové výstavby (zohledňuje např. frekvenci a rozmanitost užitých spojovacích prostředků, bohatost slovní zásoby, koreferenční vztahy, aktuální členění apod.). Nová verze (4.0) přidává množinu rysů zaměřených především na obtížnost čtení textu a nově také využívá velká neanotovaná data.
EVALD 4.0 – Evaluator of Discourse
EVALD 4.0 – Evaluátor diskurzu
Year: 2019
Authors: Michal Novák, Jiří Mírovský, Kateřina Rysová, Magdaléna Rysová, Eva Hajičová

Abstract (English):
Evaluator of Discourse (EVALD 4.0) is a software that serves for automatic evaluation of surface coherence (cohesion) in Czech texts written by native speakers of Czech. Software evaluates the level of the given text from the perspective of its surface coherence (i.e. it takes into consideration, e.g., the frequency and diversity of connectives, richness of vocabulary, coreference relations, topic-focus articulation etc.). The new version (4.0) adds a set of features related to readability of the text and also newly uses large unlabeled data.

Abstract (Czech):
Počítačový nástroj Evaluátor diskurzu (EVALD 4.0) slouží k automatickému hodnocení povrchové koherence (koheze) textů v češtině psaných rodilými mluvčími češtiny. Software tedy hodnotí (známkuje) úroveň předloženého textu z hlediska jeho povrchové výstavby (zohledňuje např. frekvenci a rozmanitost spojovacích prostředků, bohatost slovní zásoby, koreferenční vztahy, aktuální členění apod.). Nová verze (4.0) přidává množinu rysů zaměřených především na obtížnost čtení textu a nově také využívá velká neanotovaná data.
CUNI System for the Building Educational Applications 2019 Shared Task: Grammatical Error Correction
CUNI systém pro Building Educational Applications 2019 Shared Task v automatické opravě gramatiky
Year: 2019
Authors: Jakub Náplava, Milan Straka

Abstract (English):
In this paper, we describe our systems submitted to the Building Educational Applications (BEA) 2019 Shared Task (Bryant et al., 2019). We participated in all three tracks. Our models are NMT systems based on the Transformer model, which we improve by incorporating several enhancements: applying dropout to whole source and target words, weighting target subwords, averaging model checkpoints, and using the trained model iteratively for correcting the intermediate translations. The system in the Restricted Track is trained on the provided corpora with oversampled "cleaner" sentences and reaches 59.39 F0.5 score on the test set. The system in the Low-Resource Track is trained from Wikipedia revision histories and reaches 44.13 F0.5 score. Finally, we finetune the system from the Low-Resource Track on restricted data and achieve 64.55 F0.5 score, placing third in the Unrestricted Track.

Abstract (Czech):
V tomto článku popisujeme naše systémy předložené v rámci soutěže Building Educational Applications (BEA) 2019 Shared Task (Bryant a kol., 2019). Zúčastnili jsme se všech tří variant. Naše modely jsou systémy NMT založené na architektuře Transformer, který vylepšujeme začleněním několika vylepšení: dropout celých zdrojových a cílových slov, vážení cílových podslov, průměrování modelu a použití trénovaného modelu iterativním způsobem. Systém v Restricted Track je trénován na poskytnutých korpusech s nadměrně zesílenými "čistšími" větami a na testovací sadě dosahuje skóre 59,39 F0,5. Systém v režimu nízkých zdrojů je trénován z historie revizí Wikipedie a dosahuje skóre 44,13 F0,5. V neomezeném režimu jsme dotrénováním systému z režimu nízkých zdrojů dosáhli 64.55 F0.5 skóre a obsadili tak třetí místo.
Grammatical Error Correction in Low-Resource Scenarios
Automatická oprava gramatiky při malém množství trénovacích dat
Year: 2019
Authors: Jakub Náplava, Milan Straka

Abstract (English):
Grammatical error correction in English is a long studied problem with many existing systems and datasets. However, there has been only a limited research on error correction of other languages. In this paper, we present a new dataset AKCES-GEC on grammatical error correction for Czech. We then make experiments on Czech, German and Russian and show that when utilizing synthetic parallel corpus, Transformer neural machine translation model can reach new state-of-the-art results on these datasets. AKCES-GEC is published under CC BY-NC-SA 4.0 license at https://hdl.handle.net/11234/1-3057 and the source code of the GEC model is available at https://github.com/ufal/low-resource-gec-wnut2019.

Abstract (Czech):
Automatická oprava gramatiky v angličtině je dlouho studovaný problém s mnoha existujícími systémy a datovými zdroji. Výzkum oprav chyb v jiných jazycích je však pouze omezený. V této práci představujeme nový dataset AKCES-GEC pro gramatickou korekci chyb pro češtinu. Dále provádíme experimenty na češtině, němčině a ruštině a ukazujeme, že při využití syntetického paralelního korpusu může model neuronového strojového překladu Transformer dosáhnout na těchto datasetech nejlepších známých výsledků. AKCES-GEC vychází pod licencí CC BY-NC-SA 4.0 na adrese https://hdl.handle.net/11234/1-3057 a zdrojový kód modelu GEC je k dispozici na adrese https://github.com/ufal/low-resource-gec-wnut2019.
Overview of the 6th Workshop on Asian Translation
Přehled 6. workshopu o překladu do asijských jazyků
Year: 2019
Authors: Toshiaki Nakazawa, Nobushige Doi, Shohei Higashiyama, Chenchen Ding, Raj Dabre, Hideya Mino, Isao Goto, Win Pa Pa, Anoop Kunchukuttan, Shantipriya Parida, Ondřej Bojar, Sadao Kurohashi

Abstract (English):
This paper presents the results of the
shared tasks from the 6th workshop on
Asian translation (WAT2019) including
Ja↔En, Ja↔Zh scientific paper translation subtasks, Ja↔En, Ja↔Ko, Ja↔En
patent translation subtasks, Hi↔En,
My↔En, Km↔En, Ta↔En mixed domain
subtasks, Ru↔Ja news commentary
translation task, and En→Hi multi-modal
translation task. For the WAT2019, 25
teams participated in the shared tasks.
We also received 10 research paper submissions out of which 71 were accepted.
About 400 translation results were submitted to the automatic evaluation server,
and selected submissions were manually
evaluated.

Abstract (Czech):
Tento článek představuje výsledky sdílených úkolů z 6. workshopu o asijském překladu (WAT2019), včetně dílčích úkolů Ja↔En, Ja↔Zh pro překlad vědeckých článků, Ja↔En, Ja↔Ko, Ja↔En pro překlad patentů, Hi↔En, My↔En, Km↔En, Ta↔En pro překlad smíšených doménových dílčích úkolů, Ru↔Ja komentář pro překlad zpráv a En pro multimodální překlad. V rámci programu WAT2019 se sdílených úkolů účastnilo 25 týmů.
Obdrželi jsme také 10 písemných podání k výzkumu, z nichž 71 bylo přijato. Automatickému hodnotícímu serveru bylo předloženo asi 400 výsledků překladu a vybraná podání byla ručně vyhodnocena.
Fuzzy Boundaries in the Different Functions and Translations of the Discourse Marker and
Nejasné hranice v různých funkcích a překladech diskurzního markeru AND
Year: 2019
Authors: Giedre Valunaite Oleskeviciene, Sigita Rackevičienė, Jolita Šliogerienė, Nijolė Burkšaitienė, Viktorija Mažeikienė, Liudmila Mockienė, Péter Furkó, Ágnes Abuczki, Šárka Zikánová

Abstract (English):
The present research focuses on the multiple functions performed by the discourse marker "and" in annotated spoken-like texts of TED Talks in English and Lithuanian. The annotation of TED Talks in Lithuanian has started only recently, which results in the limitation regarding the quantity of annotated texts. The research findings show that and and its Lithuanian counterparts perform multiple fuzzy functions, including the function of addition, discourse management and structuring discourse.
It was also established that the most frequent variants of translation of the discourse marker and are those provided by bilingual English–Lithuanian dictionaries and that translators choose paraphrases to convey the pragmatics of the spoken-like texts.

Abstract (Czech):
Tento výzkum se zaměřuje na různé funkce diskurzního konektivu "a" v anotovaných zapsaných mluvených textech TED Talks v angličtině a litevštině. Anotace litevských textů bylo zahájena teprve nedávno, proto tvoří litevské texty ve srovnání prozatím menší vzorek. Výsledky výzkumu ukazují, že výraz "and" a jeho ekvivalenty v litevštině vyjadřují řadu vágních významů, včetně prostého přidávání, řízení a strukturace diskurzu
Efficiency Metrics for Data-Driven Models: A Text Summarization Case Study
Metriky účinnosti pro datově řízené modely: případová studie sumarizace textu
Year: 2019
Authors: Erion Çano, Ondřej Bojar

Abstract (English):
Using data-driven models for solving text summarization or similar tasks has become very common in the last years. Yet most of the studies report basic accuracy scores only, and nothing is known about the ability of the proposed models to improve when trained on more data. In this paper, we define and propose three data efficiency metrics: data score efficiency, data time deficiency and overall data efficiency. We also propose a simple scheme that uses those metrics and apply it for a more comprehensive evaluation of popular methods on text summarization and title generation tasks. For the latter task, we process and release a huge collection of 35 million abstract-title pairs from scientific articles. Our results reveal that among the tested models, the Transformer is the most efficient on both tasks.

Abstract (Czech):
Využití modelů řízených daty pro sumarizaci textu nebo podobné úlohy se v posledních letech stává velmi běžným. Zatímco většina studií hlásí pouze základní přesnost, není nic známo o schopnosti zmíněných modelů se zlepšit, jsou-li trénovány na větších datech. V tomto příspěvku definujeme a navrhujeme tři metriky efektivity dat: efektivita úspěšnosti dat, časové nedostatečnosti dat a celkové účinnosti dat. Navrhujeme také jednoduché schema využívající těchto metod a využívající je pro ucelenější hodnocení populárních metod sumarizace textů a generování nadpisů. Pro druhou z úloh zpracováváme a uvol%nujeme rozsáhlou kolekci 35 miliónů párů abstrakt-název vědeckých článků. Naše výsledky odhalují, že mezi tetovanými metodami je Transformer nejúčinnější pro obě úlohy.
Keyphrase Generation: A Multi-Aspect Survey
Generování klíčových slov: Přehled víceaspektových metod
Year: 2019
Authors: Erion Çano, Ondřej Bojar

Abstract (English):
Extractive keyphrase generation research has been around since the nineties, but the more advanced abstractive approach based on the encoder-decoder framework and sequence-to-sequence learning has been explored only recently. In fact, more than a dozen of abstractive methods have been proposed in the last three years, producing meaningful keyphrases and achieving state-of-the-art scores. In this survey, we examine various aspects of the extractive keyphrase generation methods and focus mostly on the more recent abstractive methods that are based on neural networks. We pay particular attention to the mechanisms that have driven the perfection of the later. A huge collection of scientific article metadata and the corresponding keyphrases is created and released for the research community. We also present various keyphrase generation and text summarization research patterns and trends of the last two decades.

Abstract (Czech):
Výzkum získávání klíčových slov probíhá od devadesátých let, ale pokročilé přístupy jako kodér-dekodér a učení z posloupností byly objeveny až v poslední době. Více než tucet abstrakčních metod poskytujících smysluplná klíčová slova a dosahujících aktuálních výsledků bylo navrženo v posledních třech letech. Testujeme zde různé aspekty metod generování klíčových slov.
Soustředíme se zejména na metody z poslední doby založené na neuronových sítích. Zvláštní důraz klademe na mechanismy řízení přesnosti těch posledně jmenovaných. Byla vytvořena velmi rozsáhlá kolekce metadat o vědeckých článcích a uvolněna vědecké komunitě. Také jsme prezentovali různé vzory výzkumu generování klíčových slov a sumarizace textu a trendy posledních dvou dekád.
Keyphrase Generation: A Text Summarization Struggle
Generování klíčových slov: Náročná sumarizace textu
Year: 2019
Authors: Erion Çano, Ondřej Bojar

Abstract (English):
Authors' keyphrases assigned to scientific articles are essential for recognizing content and topic aspects. Most of the proposed supervised and unsupervised methods for keyphrase generation are unable to produce terms that are valuable but do not appear in the text. In this paper, we explore the possibility of considering the keyphrase string as an abstractive summary of the title and the abstract. First, we collect, process and release a large dataset of scientific paper metadata that contains 2.2 million records. Then we experiment with popular text summarization neural architectures. Despite using advanced deep learning models, large quantities of training data and many days of computation, our systematic evaluation on four test datasets reveals that the explored text summarization methods could not produce better keyphrases than the much simpler unsupervised methods or the existing supervised ones.

Abstract (Czech):
Klíčová slova, která svým vědeckým článkům přiřadili jejich autoři jsou nepostradatelná pro rozpoznání obsahu a témat dané článku. Většina
řízených i neřízených metod generování klíčových slov není schopna přiřazovat termíny, které to dobře vystihují, ale nevyskytují se v textu. V tomto příspěvku zkoumáme možnost klíčových slov coby shrnutím názvu práce a abstraktu. Nejdříve sesbíráme, zpracujme a vydáme velkou sadu metadat vědeckých článků čítajících 2,2 milionu záznamů. Pak vyzkoušíme populární neurální architektury pro sumarizaci textů. Na rozdíl od pokročilých metod hlubokého učení, velkých objemů dat a mnoha
dní výpočtů naše systematické vyhodnocování na čtyřech testovacích sadách dat ukázalo, že zkoumané metody sumarizace textu nemohou vytvořit
lepší klíčová slova než jednoduché neřízené či řízené metody.