Icelandic Multi-SimLex

MSL, short for Multi-SimLex, is an evaluation protocol and associated dataset for lexical semantics. The original English-language MSL builds on several older, well-known datasets, most notably SimLex-999, and has already been released in a dozen languages.A fully processed MSL dataset consists of 1,888 unordered word pairs, where each pair is tagged with grammatical categories and marked with a numerical score that indicates the words' semantic similarity. A small number of pairs in our set consist of multiword phrases, when no suitable monolexical translation was available.It should be noted that MSL is, by design, not intended to measure semantic relatedness. For example, antonyms, although certainly related in a linguistic sense, are not similar in meaning. The words black and white may thus be strongly related, both being colors, but are notionally dissimilar and would likely receive a low score as an MSL pair.This similarity score is derived from a team of annotators who, working separately, give each pair in the set a grade between 0 and 6 (inclusive) according to how semantically similar they are, with 0 being the lowest possible level of similarity and 6 the highest. The raw sets of annotator scores are then evaluated and filtered through repeated calculation of average pairwise inter-annotator (APIAA) and average mean inter-annotator (AMIAA), with full sets being removed until a maximum level, or a minimum number of annotators, is reached.Scores of 0.600 and higher indicate strong agreement for both APIAA and AMIAA. The average overall APIAA for hereto published MSL sets is 0.631, while the Icelandic MSL set has a score of 0.690. Likewise, the average overall AMIAA is 0.740, while the Icelandic set scores 0.799.Each line represents a single pair and contains four tab-separated entries: The first word in the pair; the second word in the pair; the average annotator score from the final APIAA-filtered set of scores; and the same score normalized to a 0-to-1 range. Multiword phrases have their constituent words separated by a single space.__MSL, sem er skammstofun fyrir Multi-SimLex, er matsaðferðafraeði og samsvarandi gagnasafn sem maelir merkingarfraeðileg likindi orða. MSL i sinni upprunalegu mynd byggir a ýmsum vel þekktum eldri gagnasofnum, ser i lagi SimLex-999, og hefur þegar verið gefið ut fyrir fjolda annarra tungumala.Lokautfaersla MSL hverju sinni samanstendur af lista 1.888 innbyrðis oraðaðra orðapara, þar sem hverju orðapari fylgir orðflokkamerking og rauntolueinkunn sem gefur til kynna hversu merkingarfraeðilega lik orðin eru. Einstaka por i gagnasafninu okkar samanstanda af fjolyrtum faerslum, i þeim tilvikum þegar engin fullnaegjandi einyrt þýðing stoð til boða.Hafa ber i huga að MSL er ekki aetlað að maela tengsl orða. Sem daemi ma nefna að andheiti eru sannarlega tengd a malfraeðilegan hatt en merking þeirra er gjorolik. Með oðrum orðum eru orð eins og „svart“ og „hvitt“ natengd, enda visa þau baeði til lita, en merking þeirra er olik og myndu þau þvi fa laga einkunn sem MSL orðapar.Teymi einkunnagjafa akvarðar likindaeinkunnina an þess að raðfaera sig hver við annan. Einkunnagjafarnir gefa hverju pari einkunn a bilinu 0 til 6 eftir þvi hversu merkingarfraeðilega lik orðin eru, þar sem 0 taknar laegstu mogulegu likindi þeirra a milli og 6 þau haestu. Ounnin einkunnasofn eru svo metin og siuð ut fra þvi hversu samkvaem þau eru hvort oðru að meðaltali, gegnum svokallaða APIAA (average pairwise inter-annotator agreement) og AMIAA (average mean inter-annotator agreement) stuðla. I þvi ferli eru einkunnasofn fra stokum einkunnagjofum fjarlaegð i heild sinni, þangað til að annað hvort hamarks samkvaemni eða lagmarksfjolda einkunnasafna er nað.Samkvaemniseinkunnir upp a 0,600 og haerra gefa til kynna „sterka samkvaemni“ fyrir baeði APIAA og AMIAA. Meðaltal APIAA einkunna fyrir fyrri MSL sofn a oðrum tungumalum er 0,631 en hið islenska MSL safn faer einkunnina 0,690. Að sama skapi er meðaltal fyrri AMIAA einkunna 0,740 en islenska MSL safnið faer 0,799.Hver lina safnsins samsvarar einu stoku pari ur MSL og inniheldur fjorar faerslur sem aðskildar eru með linuhliðrun („tab“). I lesroð eru þaer: Fyrra orð parsins; seinna orð parsins; meðaltal þeirra einkunna sem eftir stoðu i einkunnasafni eftir APIAA siun; og hið sama meðaltal staðlað a 0-til-1 span. I fjolyrtum faerslum eru stok orð aðskilin með einu bili.