Individual language understanding as a challenge for computational linguistics
Individuální porozumění jazyku jako výzva pro počítačovou lingvistiku
Year: 2023
Authors: Šárka Zikánová

Abstract (English):
Currently, we are witnessing a sharp increase in the number of available digital language resources, the marking of which focuses on various linguistic phenomena (lemmatization, morphology, syntax, named entities, error types, rhetorical text structure, etc.). Although part of the tagging processes is performed automatically, human interpretation is also an essential component of tagging, e.g. to check the automatic processes.
Until now, when creating manual tagging, it has been usual in computer linguistics to strive for the so-called gold standard, i.e. to create one tagging concept that is perceived as basic based on several tagging variants from several people. This gold standard then serves as reference data for further text processing. Unity in tagging (the so-called inter-annotator agreement rate) is also understood as a reflection of data quality – the more annotators agree, the better the tagging is considered to be.

However, in specific marking tasks, especially at higher language levels, it is becoming more and more difficult to achieve high inter-annotator agreement. One of the causes of these difficulties is the individual understanding of the language by individual annotators. The variability of possible—and fully justified—interpretations makes it difficult to establish a gold standard, which has substantial methodological implications for a number of tasks in computational linguistics. This opens up a space for re-evaluating the concept of standard data; important impulses for computational linguistics in this context are provided by psycholinguistics.

Abstract (Czech):
V současné době jsme svědky prudkého nárůstu množství dostupných digitálních jazykových zdrojů, jejichž značkování se zaměřuje na nejrůznější jazykové jevy (lemmatizace, morfologie, syntax, pojmenované entity, typy chyb, rétorická struktura textu ad.). I když se část značkovacích procesů provádí automaticky, je podstatnou složkou značkování také interpretace prováděná lidmi, např. pro kontrolu automatických procesů.
Při vytváření ručního značkování bylo dosud v počítačové lingvistice obvyklé usilovat o tzv. zlatý standard, tedy vytvořit na základě několika variant značkování od více lidí jeden značkovací koncept, který je vnímán jako základní. Tento zlatý standard pak slouží jako referenční data pro další zpracování textů. Jednota ve značkování (tzv. míra mezianotátorské shody) se také pojímá jako odraz kvality dat – čím více se anotátoři shodují, tím se značkování považuje za lepší.

V konkrétních značkovacích úkolech zejména na vyšších jazykových rovinách se však čím dál častěji ukazuje, že je obtížné dosáhnout vysoké mezianotátorské shody. Jednou z příčin těchto obtíží je individuální porozumění jazyku u jednotlivých anotátorů. Variabilita možných – a plně oprávněných – interpretací znesnadňuje stanovení zlatého standardu, což má podstatné metodologické důsledky pro řadu úkolů počítačové lingvistiky. Otevírá se tu prostor pro přehodnocení konceptu standardních dat; důležité impulsy pro počítačovou lingvistiku v tomto kontextu pak přináší psycholingvistika.