Relevanssi
Tiedonhaun tavoitteena on löytää hakijalle relevanttia eli oleellista tietoa, useimmiten relevanttien dokumenttien muodossa. Jotta haun onnistumista voidaan mitata, pitää määritellä, mitkä tulosjoukon dokumenteista ovat relevantteja. Relevanssi voidaan siis määrittää kyselyn suhteena haun tuloksena syntyviin tietolähteisiin. Relevanssi on yksi tiedonhaun ja informaatiotutkimuksen keskeisistä käsitteistä, jonka määrittelystä käydään edelleen aktiivista keskustelua.
Relevanssi voidaan nähdä suhteena kahden osatekijöistä muodostuvan ryhmän välillä.
Relevanssi voidaan jakaa aihe- ja käyttäjärelevanssiin. Aiherelevanssi on enemmän järjestelmä- ja algoritmikeskeinen, kun taas käyttäjärelevanssi keskittyy enemmän relevanssin arviointiin käyttäjän näkökulmasta. Informaatiotutkimuksen päähuomio on nykyisin siirtynyt aiherelevanssista käyttäjärelevanssia kohti. Tiedonhakijan esittämä kysely ei ole sama asia kuin tiedonhakijan tiedontarve. Tämän vuoksi relevanssia tulisi pikemminkin verrata tiedonhakijan tiedontarpeeseen kuin hänen kyselyynsä.
Relevanssin määritelmästä on ollut kiistanalaisuutta. Tutkijat ovat kuitenkin löytäneet neljä olennaista piirrettä, jotka tulisi ottaa huomioon:
Tutkija Mizzaro jakaa relevanssin tutkimushistorian kolmeen ajanjaksoon.
On ehdotettu, että relevanssi oli ajankohtainen kysymys jo silloin kun perustettiin ensimmäisiä kirjastoja – kirjastojen käyttäjät halusivat löytää relevanttia informaatiota. Vaikka monet tutkijat olivat käsitelleet tutkimuksissaan kysymystä, oliko tiedonhaussa löydetty tieto relevanttia, ennen vuotta 1958 ei termiä ”relevanssi” oltu varsinaisesti määritelty eikä se ollut yleisessä käytössä.”
Vuonna 1958, tutkija Vickery esitti International Conference for Scientific Information -tilaisuuden väittelyosuudessa käsitteen ”relevanssi”, tästä tuli myöhemmin merkittävä virstanpylväs relevanssin tutkimushistoriassa. Vickery erotti aiherelevanssin ja käyttäjärelevanssin toisistaan jo tässä vaiheessa..
Vuonna 1960, tutkijat Maron ja Kuhns päätyivät siihen tulokseen, että dokumentin relevanssisuhde tehtyyn tiedonhakuun on eri asia, kuin dokumentin relevanssisuhde hakijan tiedontarpeeseen. Kolme vuotta myöhemmin, tutkija Fairthorne esitti väitteen, jonka mukaan relevanssia tulisi ainoastaan mitata aiherelevanssin näkökulmasta. Hänen mukaansa mikäli hakijan yksilöllisyys otettiin huomioon, tällöin mikä tahansa teksti olisi relevantti mille tahansa haulle jostain näkökulmasta katsottuna.
Tällä aikavälillä monet tutkijat täydensivät relevanssin määritelmää erottamalla relevanssiin liittyviä ominaisuuksia, kuten ajankohtaisuus ja käytettävyys, sekä relevanssiin vaikuttavia tekijöitä, kuten dokumentin ominaisuudet. Vuonna 1971 julkaistussa tutkimuksessa, tutkija Cooper sovelsi matemaattisen logiikan käsitteitä määrittämään relevanssia. Hän esitti relevanssia kuvaavan yhtälön, jossa hän kuvaili dokumenttia lauseiden joukkona ja huomioi lauseiden väliset relevanssisuhteet.
Tutkimuksen painotus siirtyi määritelmästä perustavanlaatuisiin kysymyksiin. Tutkijat alkoivat tarkastella relevanssin suhdetta muihin tieteenaloihin, matemaattista logiikkaa käyttäen monet tutkijat loivat uusia malleja relevanssille ja relevanssia alettiin soveltamaan yhdestä dokumentista dokumenttikokonaisuuksiin. Yhtenä esimerkkinä relevanssin mallintamisesta voidaan pitää tutkija van Rijsbergenin esittämää teoriaa: jos dokumenttia ja hakua edustavat d ja q, niin dokumentti on relevantti haulle mikäli olettamus d → q on tosi.
90-luvulla käyttäjän rooli tiedonhaussa nähtiin aiempaa tärkeämpänä, mikä toi uuden näkökulman tutkimukseen: käytettävyys ja käyttäjäkeskeisyys sekä kognitiivinen ulottuvuus. Esimerkiksi tutkija Su esitti 20 arviointikriteeriä, joita voitiin soveltaa tiedonhakujärjestelmiin ja jotka jakautuivat seuraaviin ryhmiin: relevanssi, tehokkuus, käytettävyys ja käyttäjätyytyväisyys. Näiden lisäksi, hän loi ylimääräisen kriteerin, joka mittaa haun onnistuneisuutta käyttäjän näkökulmasta.
Aiherelevanssissa tarkastellaan sitä, käsitteleekö dokumentti tiedonhaun määrittelemää aihetta. Dokumentin aiherelevanssin voi arvioida muun muassa asiantuntijoiden muodostama raati, joka vertaa tiedonhaussa saatuja dokumentteja hakupyyntöön.Aiherelevanssia käytetään lähinnä, kun halutaan mitata hakujen onnistumisastetta eri tiedonhakujärjestelmissä. Aiherelevanssi ei ota juuri huomioon itse tiedonhakijaa. Lähtökohtana on, että relevanssi on etsittävän dokumentin ominaisuus, eikä riipu tiedonhakijasta.
Aiherelevanssin näkökulma on luonteeltaan tekninen ja sitä käytetään tehokkaampien tiedonhakujärjestelmien luomiseksi. Tutkimusasetelmat voidaan kirjata tarkasti ylös ja ne ovat toistettavissa. Tämä helpottaa eri tiedonhakujärjestelmien vertailua.
Käyttäjälle eli tiedonhakijalle informaation relevanssiin vaikuttaa useammat tekijät kuin pelkästään hakukysymyksen ja löydettyjen dokumenttien kuvauksen välinen täsmäävyys.
Tiedonhakijalle dokumentin relevanssi vaihtelee suuresti, koska hänen tietomääränsä haetusta aiheesta lisääntyy ongelmanratkaisun edetessä. Käyttäjärelevanssi on dynaaminen näkökulma, koska kyse on tiedontarpeen ja löydetyn informaation suhteesta tietyllä ajanhetkellä.
Käyttäjälle merkittäviä tekijöitä dokumentin relevanssia arvioitaessa ovat dokumentin informaatiosisältö, dokumentin saatavuus ja pituus. Käyttäjä arvioi dokumentin relevanssia tiedonlähteen ja dokumentin tekijän perusteella. Relevanssin kokemukseen vaikuttaa käyttäjän oma tilanne, kuten käytettävissä oleva aika, käyttäjän aiemmat kokemukset aiheesta ja henkilökohtaiset mieltymykset.
Tefko Sarasevic on kehittänyt mallissaan relevanssin määritelmää aihe- ja käyttäjärelevanssia hienojakoisemmaksi. Hänen subjektiivisen relevanssin luokittelussa otetaan kattavasti huomioon tiedonhaun vuorovaikutteinen puoli. Usein käyttäjän suorittama relevanssiarvio tapahtuu intuitiivisesti yhdistäen käyttäjän aikaisempaa tietämystä, tilanteeseen ja työtehtävään liittyvää senhetkistä tarvetta sekä affektiivisia ominaisuuksia joita käyttäjällä on haun kohdetta kohtaan. Sarasevicin malli kuvaa viisi relevanssin luokkaa, joissa myös subjektiivisuus on otettu huomioon.Järjestelmärelevanssi on järjestelmän suorittamaa relevanssin arviointia joko algoritmin tai aiheen näkökulmasta.
Hakujärjestelmät käyttävät erilaisia algoritmeja tehdäkseen hakuja tietokantoihin. Algoritmisessa järjestelmärelevanssin arvioinnissa haut suoritetaan testitietokantaan, josta tiedetään kuinka monta relevanttia ja ei-relevanttia dokumenttia se sisältää. Tarkoitus on arvioida ja verrata erilaisten algoritmien suoriutumista hakutehtävistä.
Testitietokannassa olevien dokumenttien relevanssin arviointi on asiantuntijoiden suorittama, tällöin saadaan varma tieto relevanttien dokumenttien määrästä. Näin voidaan tutkia millä algoritmilla saadaan parhaat tulokset relevanssin näkökulmasta. Tavallisempaa nykyään on kuitenkin arvioida suurten testitietokantojen (esim. TREC-hankkeet) relevanttien dokumenttien määrä yhdistelemällä eri kokeissa saatuja tuloksia. Tällä tavoin voidaan arvioida relevanttien dokumenttien määrä koko testitietokannassa. TREC-hankkeiden ongelmana on, että tutkijat joutuvat tukeutumaan hankkeissa mukana olleisiin tutkimuskysymyksiin. Ratkaisuna tähän on esitetty relevanssiarvioin teettämistä joukkoistamisen voimin. Joukkoistamalla hyvinkin laajojen arviointitehtävien suoritus voidaan toteuttaa lyhyessä ajassa, sillä työntekijöitä eri palveluissa on valtavasti ja useasta eri maasta. Joukkoistamista on kuitenkin kritisoitu siitä, että tehtäviä suorittavien ihmisten koulutus ja tausta voivat vaihdella, eivätkä tulokset ole täten yhteismitallisia.
Järjestelmäkeskeinen relevanssiarviointi voidaan käsittää myös itse hakutuloksen relevanssin arvioinniksi, jonka hakujärjestelmä tekee. Tämä voidaan jakaa kahteen luokkaan aiherelevanssiksi ja algoritmirelevanssiksi. Hakujärjestelmillä on tapoja parantaa hakua tutkimalla automaattisesti haun tuloksia ja pisteyttämällä niitä eri kriteereillä. Käytännössä tämä onnistuu esimerkiksi relevanssipalautteen ja relevanssiarvioinnin keinoin.
Relevanssipalaute on hakujärjestelmien mekanismi, jonka avulla hakujärjestelmä hakee käyttäjälle uusia relevantteja dokumentteja. Mekanismi toimii automaattisesti tai käyttäjän antaman palautteen avulla. Automaattinen relevanssipalaute tutkii tuloslistauksen kärkitulokset ja hakee niitä käyttämällä uusia dokumentteja. Vaihtoehtoisesti käyttäjä voi itse määritellä relevantit dokumentit tuloslistasta joiden avulla tehdään uusi hakukierros. Relevanssipalautetta käyttää esimerkiksi Google-hakukoneen "Similar pages" -toiminto, joka hakee käyttäjälle hakutuloksen kanssa samankaltaisia sivuja.
Relevanssilajittelussa järjestelmän hakutuloksille lasketaan vertailuluku, joka pohjautuu internetin sananhakupalveluissa monesti verkkosivujen keskinäiseen linkkirakenteeseen. Googlen osalta tässä puhutaan pagerankin laskemisesta. Lajittelun tarkoituksena on tarjota kaikkein relevanteimmat hakutulokset heti listan kärkeen. Relevanssilajittelussa hakutulos lajitellaan dokumenttien vertailulukujen perustella laskevaan järjestykseen. Näin kyselyä parhaiten vastaavat dokumentit tulevat hakutuloksen ensimmäisiksi. Usein nämä dokumentit ovat myös muutenkin arvioituina sisällöltään keskimääräisesti relevantimpia kuin tuloksessa myöhemmin esiintyvät.