Evaluation of taggers for 19th-century fiction
Evaluace taggerů pro beletrii z 19. století
Year: 2019
Authors: Silvie Cinková, Tomaž Erjavec, Cláudia Freitas, Ioana Maracescu Galleron, Péter Horváth, Indig Balász, Pavel Smrž

Abstract (English):
We  evaluate  a  selection  of  currently  available  taggers  on  fiction  texts  from  the  19th century. The texts belong to the ELTeC collection created and maintained by the WG1 team of the COST project CA16204 "Distant Reading for European Literary History". It is  a  multilingual  collection  of  19th-century  fiction  in  the  following  languages:  Czech, English,  French,  German,  Hungarian,  Italian,  Norwegian  (both  varieties),  Portuguese, Serbian, and Slovene (with new languages being added). Each language is represented by at least 20 novels in the TEI format.We have evaluated the taggers for the following languages:Czech,  English,  French,  We evaluate a selection of currently available taggers on fiction texts from the 19th century. The texts belong to the ELTeC collection created and maintained by the WG1 team of the COST project CA16204 "Distant Reading for European Literary History". It is a multilingual collection of 19th-century fiction in the following languages: Czech, English, French, German, Hungarian, Italian, Norwegian (both varieties), Portuguese, Serbian, and Slovene (with new languages being added). Each language is represented by at least 20 novels in the TEI format.
We have evaluated the taggers for the following languages:
Czech, English, French, German, Hungarian, Norwegian-Nynorsk, Portuguese, and Slovene. We have tagged them all with the UD-Pipe tagger. On top of that, Hungarian was also tagged with e-magyar. We have selected UD-Pipe because of the appealing cross-lingual markup and uniform model building for all languages. It was known before that the Hungarian model is very small and that the Hungarian tagging is poor. Therefore we have also evaluated e-magyar, the best tagger currently available for Hungarian
The annotation scheme of UD-Pipe
The UD-Pipe tagger and parser draws on Universal Dependencies (universaldependencies.org), henceforth UD. UD is a cross-lingual annotation scheme for morphology and syntax. At the moment, more than 70 languages have their own UD treebank to train a parser on. The categories that UD-Pipe annotates are: lemma, coarse part of speech (e.g. VERB), universal features (e.g. Plural, Past Tense), and syntactic dependency relations (e.g. Subject, Predicate).
The procedure
We have selected a random sample for a manual tagging correction in each language. Each sample comprised approximately 5,000 tokens in entire sentences. The sentences had been extracted from ELTeC across all documents in each language and tagged in the CONLL-u format: one token per line, columns: token, lemma, universal POS, universal features. The annotators performed the annotation in a spreadsheet, in four additional columns for tokenization, lemma, POS, and features, respectively. In the first three columns, they were to indicate the corresponding error type(s) with an "F". In the fourth column, the annotators were to type the number of incorrectly recognized linguistic features.
Hence, the annotation captures four different error types for each token. The number of feature errors measures only the precision, not the recall, of the tagger. This is because the morphological annotation is rather complex and it would have been too time- and resource-consuming to train a fully competent morphological annotator for each language, who would have been able to correct the automatical tagger output to a new gold standard.
We have produced descriptive and explorative statistics and visualizations for each language to compare the performance of UD-Pipe among languages and to analyze the errors. As a second step, we have compared the vocabulary of the individual samples to the vocabulary of the referential treebanks of the respective languages to find out how much the domain of the 19th-century fiction differs from the domain of the referential treebank. We have manually classified the tokens specific to the 19-century samples into the following categories: Foreign word/heavy dialect, archaic spelling/morphology, morphological ambiguity, archaic tokenization, typo, proper noun. The annotator was allowed to leave a cell blank when none of the labels matched. The category labels could also be deliberately combined.
Based on both annotations, we are able to tell, for each language, where the tagger has most problems (POS, lemmatization? Tokenization? Features?) and with which words (how much is archaic spelling associated with lemmatization performance?). The ability of the tagger to "guess" unknown words differs in each language. With this double annotation, we are able to start a collaboration with UD-Pipe developers on a possible domain adaptation for selected languages and build reliable models to tag 19-th century fiction.
This work was funded by LTC18020.

Abstract (Czech):
Vyhodnocujeme výběr aktuálně dostupných značkovačů na beletristických textech z 19. století. Texty patří do sbírky ELTeC vytvořené a udržované týmem WG1 projektu COST CA16204 „Vzdálené čtení pro evropskou literární historii“. Jedná se o mnohojazyčnou sbírku beletrie 19. století v následujících jazycích: čeština, angličtina, francouzština, němčina, maďarština, italština, norština (obě odrůdy), portugalština, srbština a slovinština (s novými jazyky). Každý jazyk je zastoupen nejméně 20 romány ve formátu TEI.
Hodnotili jsme značkovače pro následující jazyky:
Česky, anglicky, francouzsky, německy, maďarsky, norsky-nynorsk, portugalsky a slovinsky. Všechny jsme označili štítkem UD-Pipe. Kromě toho byla maďarština označena také e-magyar. UD-Pipe jsme vybrali kvůli přitažlivé křížové jazykové značce a jednotné tvorbě modelů pro všechny jazyky. Již dříve bylo známo, že maďarský model je velmi malý a že maďarské značkování je špatné. Proto jsme také vyhodnotili e-magyar, nejlepší značkovač v současnosti dostupný pro maďarštinu
Schéma anotací UD-Pipe
Značkovač a analyzátor UD-Pipe čerpá z Universal Dependencies (universaldependencies.org), dále od UD. UD je schéma vícejazyčných anotací pro morfologii a syntaxi. V současné době má více než 70 jazyků vlastní UD stromovou banku, na které lze trénovat syntaktický analyzátor. Kategorie, které anotují UD-Pipe, jsou: lemma, hrubá část řeči (např. VERB), univerzální rysy (např. Množné číslo, minulé napětí) a vztahy syntaktické závislosti (např. Předmět, predikát).
Postup
Vybrali jsme náhodný vzorek pro ruční opravu značkování v každém jazyce. Každý vzorek obsahoval přibližně 5 000 žetonů v celých větách. Věty byly extrahovány z ELTeC napříč všemi dokumenty v každém jazyce a označeny ve formátu CONLL-u: jeden token na řádek, sloupce: token, lemma, univerzální POS, univerzální funkce. Anotace provedla anotaci v tabulce ve čtyřech dalších sloupcích pro tokenizaci, lemma, POS a funkce. V prvních třech sloupcích měly označovat odpovídající typ chyby s písmenem „F“. Ve čtvrtém sloupci měli anotátoři zadat počet nesprávně rozpoznaných jazykových prvků.
Proto anotace zachycuje čtyři různé typy chyb pro každý token. Počet chyb funkcí měří pouze přesnost, nikoli stažení, značkovače. Je to proto, že morfologická anotace je poněkud složitá a bylo by příliš náročné na čas a zdroje na to, aby bylo možné vyškolit plně kompetentního morfologického anotátora pro každý jazyk, který by byl schopen korigovat výstup automatického značkovače na nový zlatý standard.
Pro každý jazyk jsme vytvořili popisné a explorativní statistiky a vizualizace, abychom porovnali výkon UD-Pipe mezi jazyky a analyzovali chyby. Jako druhý krok jsme porovnali slovní zásobu jednotlivých vzorků se slovní zásobou referenčních stromů příslušných jazyků, abychom zjistili, do jaké míry se doména beletrie 19. století liší od domény referenční stromové struktury. Ručně jsme rozdělili tokeny specifické pro vzorky z 19. století do následujících kategorií: Cizí slovo / těžký dialekt, archaické hláskování / morfologie, morfologická dvojznačnost, archaické tokenizace, typo, vlastní jméno. Když anotátor nechal žádnou buňku prázdnou, když se žádný ze štítků neshodoval. Štítky kategorií lze také úmyslně kombinovat.
Na základě obou anotací jsme schopni pro každý jazyk říct, kde má tagger největší problémy (POS, lemmatizace? Tokenizace? Funkce?) As jakými slovy (kolik archaického pravopisu souvisí s výkonem lemmatizace?). Schopnost značkovače „hádat“ neznámá slova se v každém jazyce liší. Díky této dvojité anotaci jsme schopni zahájit spolupráci s vývojáři UD-Pipe na možné adaptaci domény pro vybrané jazyky a vytvářet spolehlivé modely pro označování fikce 19. století.
Tato práce byla financována z LTC18020.
Odeslat zpětnou vazbu