Relevanssi

Tiedonhaun tavoitteena on löytää hakijalle relevanttia eli oleellista tietoa, useimmiten relevanttien dokumenttien muodossa. Jotta haun onnistumista voidaan mitata, pitää määritellä, mitkä tulosjoukon dokumenteista ovat relevantteja. Relevanssi voidaan siis määrittää kyselyn suhteena haun tuloksena syntyviin tietolähteisiin. Relevanssi on yksi tiedonhaun ja informaatiotutkimuksen keskeisistä käsitteistä, jonka määrittelystä käydään edelleen aktiivista keskustelua.

Tutkimushistoria

Tutkija Mizzaro jakaa relevanssin tutkimushistorian kolmeen ajanjaksoon.

Ennen vuotta 1958

On ehdotettu, että relevanssi oli ajankohtainen kysymys jo silloin kun perustettiin ensimmäisiä kirjastoja – kirjastojen käyttäjät halusivat löytää relevanttia informaatiota. Vaikka monet tutkijat olivat käsitelleet tutkimuksissaan kysymystä, oliko tiedonhaussa löydetty tieto relevanttia, ennen vuotta 1958 ei termiä ”relevanssi” oltu varsinaisesti määritelty eikä se ollut yleisessä käytössä.”
Vuonna 1958, tutkija Vickery esitti International Conference for Scientific Information -tilaisuuden väittelyosuudessa käsitteen ”relevanssi”, tästä tuli myöhemmin merkittävä virstanpylväs relevanssin tutkimushistoriassa. Vickery erotti aiherelevanssin ja käyttäjärelevanssin toisistaan jo tässä vaiheessa..

Vuodet 1959 – 1976

Vuonna 1960, tutkijat Maron ja Kuhns päätyivät siihen tulokseen, että dokumentin relevanssisuhde tehtyyn tiedonhakuun on eri asia, kuin dokumentin relevanssisuhde hakijan tiedontarpeeseen. Kolme vuotta myöhemmin, tutkija Fairthorne esitti väitteen, jonka mukaan relevanssia tulisi ainoastaan mitata aiherelevanssin näkökulmasta. Hänen mukaansa mikäli hakijan yksilöllisyys otettiin huomioon, tällöin mikä tahansa teksti olisi relevantti mille tahansa haulle jostain näkökulmasta katsottuna.
Tällä aikavälillä monet tutkijat täydensivät relevanssin määritelmää erottamalla relevanssiin liittyviä ominaisuuksia, kuten ajankohtaisuus ja käytettävyys, sekä relevanssiin vaikuttavia tekijöitä, kuten dokumentin ominaisuudet. Vuonna 1971 julkaistussa tutkimuksessa, tutkija Cooper sovelsi matemaattisen logiikan käsitteitä määrittämään relevanssia. Hän esitti relevanssia kuvaavan yhtälön, jossa hän kuvaili dokumenttia lauseiden joukkona ja huomioi lauseiden väliset relevanssisuhteet.

Vuoden 1977 jälkeen

Tutkimuksen painotus siirtyi määritelmästä perustavanlaatuisiin kysymyksiin. Tutkijat alkoivat tarkastella relevanssin suhdetta muihin tieteenaloihin, matemaattista logiikkaa käyttäen monet tutkijat loivat uusia malleja relevanssille ja relevanssia alettiin soveltamaan yhdestä dokumentista dokumenttikokonaisuuksiin. Yhtenä esimerkkinä relevanssin mallintamisesta voidaan pitää tutkija van Rijsbergenin esittämää teoriaa: jos dokumenttia ja hakua edustavat d ja q, niin dokumentti on relevantti haulle mikäli olettamus d → q on tosi.
90-luvulla käyttäjän rooli tiedonhaussa nähtiin aiempaa tärkeämpänä, mikä toi uuden näkökulman tutkimukseen: käytettävyys ja käyttäjäkeskeisyys sekä kognitiivinen ulottuvuus. Esimerkiksi tutkija Su esitti 20 arviointikriteeriä, joita voitiin soveltaa tiedonhakujärjestelmiin ja jotka jakautuivat seuraaviin ryhmiin: relevanssi, tehokkuus, käytettävyys ja käyttäjätyytyväisyys. Näiden lisäksi, hän loi ylimääräisen kriteerin, joka mittaa haun onnistuneisuutta käyttäjän näkökulmasta.

Aiherelevanssi

Aiherelevanssissa tarkastellaan sitä, käsitteleekö dokumentti tiedonhaun määrittelemää aihetta. Dokumentin aiherelevanssin voi arvioida muun muassa asiantuntijoiden muodostama raati, joka vertaa tiedonhaussa saatuja dokumentteja hakupyyntöön.Aiherelevanssia käytetään lähinnä, kun halutaan mitata hakujen onnistumisastetta eri tiedonhakujärjestelmissä. Aiherelevanssi ei ota juuri huomioon itse tiedonhakijaa. Lähtökohtana on, että relevanssi on etsittävän dokumentin ominaisuus, eikä riipu tiedonhakijasta.
Aiherelevanssin näkökulma on luonteeltaan tekninen ja sitä käytetään tehokkaampien tiedonhakujärjestelmien luomiseksi. Tutkimusasetelmat voidaan kirjata tarkasti ylös ja ne ovat toistettavissa. Tämä helpottaa eri tiedonhakujärjestelmien vertailua.

Käyttäjärelevanssi

Käyttäjälle eli tiedonhakijalle informaation relevanssiin vaikuttaa useammat tekijät kuin pelkästään hakukysymyksen ja löydettyjen dokumenttien kuvauksen välinen täsmäävyys.
Tiedonhakijalle dokumentin relevanssi vaihtelee suuresti, koska hänen tietomääränsä haetusta aiheesta lisääntyy ongelmanratkaisun edetessä. Käyttäjärelevanssi on dynaaminen näkökulma, koska kyse on tiedontarpeen ja löydetyn informaation suhteesta tietyllä ajanhetkellä. 
Käyttäjälle merkittäviä tekijöitä dokumentin relevanssia arvioitaessa ovat dokumentin informaatiosisältö, dokumentin saatavuus ja pituus. Käyttäjä arvioi dokumentin relevanssia tiedonlähteen ja dokumentin tekijän perusteella. Relevanssin kokemukseen vaikuttaa käyttäjän oma tilanne, kuten käytettävissä oleva aika, käyttäjän aiemmat kokemukset aiheesta ja henkilökohtaiset mieltymykset.

Käytännönsovellutuksia relevanssin arvioinnille

Hakujärjestelmillä on tapoja parantaa hakua tutkimalla automaattisesti haun tuloksia ja pisteyttämällä niitä eri kriteereillä. Käytännössä tämä onnistuu esimerkiksi relevanssipalautteen ja relevanssiarvioinnin keinoin.
Relevanssipalaute on hakujärjestelmien mekanismi, jonka avulla hakujärjestelmä hakee käyttäjälle uusia relevantteja dokumentteja. Mekanismi toimii automaattisesti tai käyttäjän antaman palautteen avulla. Automaattinen relevanssipalaute tutkii tuloslistauksen kärkitulokset ja hakee niitä käyttämällä uusia dokumentteja. Vaihtoehtoisesti käyttäjä voi itse määritellä relevantit dokumentit tuloslistasta joiden avulla tehdään uusi hakukierros. Relevanssipalautetta käyttää esimerkiksi Google-hakukoneen "Similar pages" -toiminto, joka hakee käyttäjälle hakutuloksen kanssa samankaltaisia sivuja.
Relevanssilajittelussa järjestelmän hakutuloksille lasketaan vertailuluku, joka pohjautuu internetin sananhakupalveluissa monesti verkkosivujen keskinäiseen linkkirakenteeseen. Googlen osalta tässä puhutaan pagerankin laskemisesta. Lajittelun tarkoituksena on tarjota kaikkein relevanteimmat hakutulokset heti listan kärkeen. Relevanssilajittelussa hakutulos lajitellaan dokumenttien vertailulukujen perustella laskevaan järjestykseen. Näin kyselyä parhaiten vastaavat dokumentit tulevat hakutuloksen ensimmäisiksi. Usein nämä dokumentit ovat myös muuten arvioituina sisällöltään keskimääräisesti relevantimpia kuin tuloksessa myöhemmin esiintyvät.