Käytettävyyden arviointi etämenetelmin

Aika ennen etämenetelmiä

Aikaisemmin käytettävyyttä arvioitiin haastatteluiden avulla. Haastatteluissa on muutamia huonoja puolia, kuten ajan kulutus, mielipiteisiin vaikuttamisen mahdollisuus ja ne vaativat huomattavasti työtä. [Lister, 2001].
Nykyinen metodi tutkimuksen tekemiseen on suorittaa käytettävyystutkimuksia käytettävyyslaboratoriossa . Kuten haastattelututkimuksessakin, koehenkilöiden on tultava paikalle ja testien suorittajilta vaaditaan huomattavaa määrää työtä testien suorittamiseen ja niiden analysoimiseen. [Thompson et al., 2004].

Etätestaus menetelmänä

Etätestaus on menetelmänä hyvin samankaltainen kuin perinteinen käytettävyystestauskin. Koehenkilö istuu omalla koneellaan ja suorittaa valvojan antamia, ennalta laadittuja tehtäviä. Koehenkilön kuva, selaimen kuva ja kommunikaatioyhteys ovat pakollisia ominaisuuksia. Kuten perinteisissäkin käytettävyystestausmenetelmissä, myös koehenkilön äänen olisi hyvä välittyä testin valvojalle, jotta tämä kuulee koehenkilön ääneen ajattelun. Testitilanteesta saa myös kerättyä enemmän tietoa jos käytössä on jokin ohjelma, joka lähettää koehenkilön ohjelmassa tekemistä toiminnoista dataa suoraan valvojalle.

Työkalut

Testien tekemisen helpottamiseksi on suunniteltu erilaisia ohjelmia, jotka pystyvät analysoimaan käyttäjien tekemiä asioita testitilanteen aikana. Tullis et al. [2005] mainitsevatkin, että etätyökalujen avulla tehtyjen käytettävyystutkimusten tulokset osoittavat joissakin tapauksissa käyttäjien löytävän enemmän käytettävyysongelmia tällä tavoin ja vastaavan kuitenkin laadultaan nykyisiä metodeja. Tämä saattaa selittyä sillä, että etätestaus mahdollistaa sekä useiden erilaisten käyttäjäryhmien että suurempien käyttäjämäärien testaamisen [Tullis et al., 2002]. Tällaisten työkalujen ansiosta testaus ei ole enää sidottu aikaan eikä paikkaan, vaan käyttäjät pystyvät tekemään testinsä omalta koneeltaan.
Lister [2001] kuvaa tapaa testien tekemiseen, jossa käyttäjä istuu omalla koneellaan varusteinaan web-kamera ja testin tekemiseen muunnettu selainohjelma. Selainohjelma nauhoittaa käyttäjän selaimen välityksellä tekemät toimet kuten osoittimen liikuttamisen sekä linkkien, painikkeiden ja valikoiden käytön. Myös käyttäjän ääni ja kuva välittyy web-kameran avulla, joten on mahdollista nauhoittaa myös käyttäjän reaktiot hämmentävissä tilanteissa.
Thompson et al. [2004] ovat testanneet erilaisia tarjolla olevia www-ohjelmistoja, jotka tarjosivat mahdollisuuksia sivustojen etätestaamiseen. Ominaisuuksiltaan ohjelmat tarjoavat mahdollisuudet jaetun näytön käyttöön, testitilanteen ja siinä tapahtuvien tilanteiden nauhoittaminen, jaettuun tilaan kommunikoinnille (esimerkiksi whiteboard) ja selaimen etähallintaan.

Hyviä ja huonoja puolia

Tällaiset etätestausmenetelmät tuovat mukanaan sekä huonoja että hyviä ominaisuuksia. Hyviä ominaisuuksia ovat käyttömahdollisuudet paikasta ja ajasta riippumatta, järjestelyiden minimaalisuus sekä kerättävän tiedon automaattinen siirtäminen normaalien tiedonsiirtoprotokollien avulla. Videotallenne on myös helppo jakaa sellaisenaan eteenpäin asiakkaille.
Huonoina puolina tällaisissa testitilanteissa voi olla testien kontrolloimattomuus. Esimerkiksi laitteiden ja ohjelmien asennus voivat aiheuttaa ongelmia tavallisille ihmisille. Testejä ei myöskään pystytä valvomaan niin tehokkaasti kuin laboratorio-olosuhteissa, esimerkiksi käyttäjän opastaminen mahdollisissa ongelmatilanteissa tai ääneen ajattelusta muistuttaminen ovat huomattavasti vaikeampia. Lister [2001] kuitenkin esittää tämän asian hyötynä siten, että testihenkilöiden mielipiteisiin on vaikea vaikuttaa.
Useat etätestaamiseen soveltuvat ohjelmat kuitenkin ovat todella kalliita, koska kaikille käyttäjille tarvitsisi hankkia lisenssi. Thompson et al. [2004] havaitsivat tekemissään testeissä muun muassa seuraavanlaisia ongelmia: hiiren napin painallukset eivät tallentuneet ennen kuin www-sivu oli kokonaan latautunut, kaikki ohjelmistot eivät suostuneet toimimaan palomuurien kanssa, jotkut ohjelmista eivät tukeneet useampaa kuin kahta yhtaikaista käyttäjää ja muutamilla ohjelmistoilla oli ongelmia eri käyttöjärjestelmissä toimimisen kanssa.