IceBATS - The Icelandic Bigger Analogy Test Set

IceBATS is an Icelandic adaptation of the Bigger Analogy Test Set (BATS). BATS is intended to evaluate word embeddings based on word analogy tasks. This extensive set demonstrates a language model’s ability to recognize various linguistic relations with the use of the vector offset method. In its simplest form, a word analogy consists of two word pairs, (a:b) and (c:d), where the relationship between a and b is considered to be analogous to the relationship between c and d. A famous example is (man:woman) and (king:queen). If word embeddings have been suitably trained, their offset between the word vectors b and a should be equivalent to that between c and d. In other words, d = c - a + b, or in our example, queen = king - man + woman, the linguistic relation is captured as a distance in the vector space.The test set contains 98,000 analogy questions that cover inflectional and derivational morphology as well as lexicographic and encyclopedic semantics. Each category is divided into 10 subcategories and each of them has 50 unique word pairs. The morphological categories are sampled to reduce homonymy so that words that can belong to more than one word category are avoided (e.g. run : runs which could either be nouns or verbs). Additionally, the semantic categories include multiple correct answers where applicable, something that becomes especially important when testing relations such as homonyms and hypernyms. IceBATS follows the original set structurally, making minor changes where applicable. Changes are usually due to varying morphological characteristics and important syntactical parts of the language in question. ____IceBATS er islensk utgafa BATS eða Bigger Analogy Test Set. Tilgangur BATS er að meta gaeði orðgreypinga með notkun hlutfallsjafna (analogiu) sem sýna fram a getu orðgreypingalikans til að fanga ýmiskonar merkingarfraeðileg og orðhlutafraeðileg tengsl orðapara með notkun vigrafjarlaegðaraðferðar. Hlutfallsjafna i þessu samhengi felur i ser að tvo orðapor, (a:b) og (c:d), eru alitin hafa samskonar tengingu. Fraegt daemi um slika tengingu er (maður:kona) og (kongur:drottning). Ef orðgreypingarnar hafa verið þjalfaðar a rettan hatt aetti vigrafjarlaegðin a milli A og B að vera jofn fjarlaegðinni a milli C og D. Með oðrum orðum er d = c - a + b, eða eins og i daeminu her fyrir ofan, drottning = kongur - maður + kona. Fjarlaegðin i vigurrýminu fangar merkingarfraeðilegu tengslin.Profunarsettið inniheldur 98.000 hlutfallsjofnur sem taka a fjorum meginþattum: hvað orðhlutafraeði snertir eru beygingarfraeði og afleiðsla/samsetning tekin fyrir en hvað merkingarfraeði varðar eru það orðabokartengsl og alfraeðileg tengsl. Hverjum meginflokki er skipt upp i 10 undirflokka og hver þeirra inniheldur 50 orðapor. Orðaporunum i orðhlutafraeðilegu flokkunum var safnað með það i huga að minnka tviraeðni eins og kostur er a svo orð sem geta verið af fleiri en einum orðflokki er sleppt (t.d. ganga sem getur hvort tveggja verið nafnorð og sagnorð). Merkingarfraeðilegu flokkarnir innihalda fleiri en eitt rett svar þar sem það a við en það er til daemis mikilvaegt þegar um yfirheiti og undirheiti er að raeða. Uppsetning IceBATS er eins og i upprunalega settinu með smavaegilegum breytingum þar sem það a við. Breytingarnar eru venjulega vegna þess hve enska og islenska eru olik tungumal i uppbyggingu.