Source: http://docplayer.fi/87358-Opas-toimintakyvyn-mittarin-arviointiin-toimia-verkostossa-1-0-1-6-2014.html
Timestamp: 2018-06-19 18:23:50+00:00
Document Index: 21136947

Matched Legal Cases: ['kko ', 'kko ', 'kko ', 'kko ', 'kko ', 'kko ', 'kko ', 'kko ', 'kko ', 'kko ', 'kko ', 'kko ', 'kko ', 'kko ', 'kko ']

Opas toimintakyvyn mittarin arviointiin TOIMIA-verkostossa (1.0) - PDF
Download "Opas toimintakyvyn mittarin arviointiin TOIMIA-verkostossa (1.0) 1.6.2014"
1 Opas toimintakyvyn mittarin arviointiin TOIMIA-verkostossa (1.0) Kirjoittajat: Heli Valkeinen, Erikoistutkija, TtT, Terveyden ja hyvinvoinninlaitos Heidi Anttila, Erikoistutkija, TtT, Terveyden ja hyvinvoinninlaitos Jaana Paltamaa, Erikoissuunnittelija, TtT, Jyväskylän Ammattikorkeakoulu
2 SISÄLLYS 1 OHJEISTUKSEN TAUSTA JOHDATUS PSYKOMETRIIKAN ARVIOIMISEEN VALIDITEETIN ELI PÄTEVYYDEN OSA-ALUEET Ilmivaliditeetti (face validity) Sisältövaliditeetti (content validity) Kriteerivaliditeetti (criterion validity) Samanaikainen validiteetti (concurrent validity) Ennustevaliditeetti (predictive validity) Rakennevaliditeetti (construct validity) Mittarin rakenteen validiteetti (structural validity) Hypoteesien testaus Kulttuurien välinen validiteetti (cross-cultural validity) RELIABILITEETIN OSA-ALUEET Toistomittausten toistettavuus ja mittausvirhe Relatiivisen toistettavuuden tilastolliset menetelmät/tunnusluvut Absoluuttisen toistettavuuden tilastolliset menetelmät/tunnusluvut Sisäinen yhtenevyys MUUTOSHERKKYYS (responsiveness) Suositeltavia tilastollisia menetelmiä muutosherkkyyden mittaamiseen Ei-suositeltavia tilastollisia menetelmiä muutosherkkyyden mittaamiseen, mutta suositeltavia muutoksen määrän tulkintaan TULOSTEN TULKITTAVUUS (interpretability) Poikkileikkaustulosten tulkinta Muutostulosten tulkinta Pienin havaittava muutos (Smallest/Minimal Detectable Change, SDC/MDC) Pienin merkittävä muutos (Minimal Important Change, MIC; Minimal Clinically Important Difference, MCID) KÄYTTÖKELPOISUUS LÄHTEET...29 LIITTEET...32 [2]
3 1 OHJEISTUKSEN TAUSTA Opas toimintakyvyn mittarin arviointiin TOIMIA-verkostossa on tehty helpottamaan toimintakyvyn mittareiden arviointityötä. Perustiedot mittareista kerätään Mittarin perustiedot -lomakkeelle (liite 1), mutta tämä opas on tarkoitettu erityisesti Mittarin psykometriset tiedot -lomakkeen (liite 2) täyttämistä ajatellen. Mittarin psykometrisilla ominaisuuksilla tarkoitetaan tietoja mittarin validiteetista (pätevyys), reliabiliteetista (toistettavuus tai luotettavuus) ja muutosherkkyydestä. Tässä oppaassa käytetään termiä psykometriset ominaisuudet tai psykometriikka, kun tarkoitetaan näitä edellä mainittuja tietoja. Lisäksi mittarin arvioinnissa tarkastellaan mittarin käyttökelpoisuutta. TOIMIA-verkostossa mittarien arviointi tehdään resurssien säästämiseksi usein vain tiettyihin käyttötarkoituksiin. Siksi mittarin psykometrisiä ominaisuuksia ja käyttökelpoisuutta ei ole tarkoitus arvioida kaikissa mahdollisissa yhteyksissä tai tilanteissa, vaan nämä tiedot tulee koota ja arvioida siitä käyttötarkoituksesta käsin, joka on tarkastelun kohteena. Mittariarvion tekemistä ohjaa siten aina se, millaisessa käyttötarkoituksessa mittaria on tarkoitus käyttää. Kappaleessa 2 johdatellaan lyhyesti psykometriikan teorioihin ja yleisiin peruskäsitteisiin. Kappaleessa 3 esitellään validiteetin ja kappaleessa 4 reliabiliteetin osa-alueet. Kappaleessa 5 käydään läpi muutosherkkyyden mittaaminen ja kappaleessa 6 tulosten tulkinta. Tulosten tulkinnassa painopiste on muutostulosten tulkinnassa, jotka liittyvät läheisesti mittarin muutosherkkyyden analysointiin. Kappaleessa 7 kuvataan lyhyesti kuinka mittarin käyttökelpoisuutta voidaan arvioida. Psykometriikkatietojen poimiminen tutkimusartikkeleista mittarin arviointia varten saattaa olla aikaa vievää salapoliisityötä. Valitettavan usein on niin, että tutkimusartikkelit ovat hieman vaikealukuisia ja tärkeiden tietojen löytäminen saattaa olla joskus haastavaa. Oppaan loppuun on sen vuoksi tehty tarkistuslistoja, jotka voivat olla avuksi mittariarvioita tekeville. Liitteinä (liitteet 3 6) olevat listat eivät kuitenkaan ole kattavia, vaan suuntaa antavia helpottamaan eri asioiden etsimistä ja muistamista. [3]
4 2 JOHDATUS PSYKOMETRIIKAN ARVIOIMISEEN Mittareiden psykometrisilla (psychometrics) ominaisuuksilla tarkoitetaan tietoja mittarin pätevyydestä, toistettavuudesta ja muutosherkkyydestä. Lisäksi samassa yhteydessä arvioidaan myös käyttökelpoisuutta. Psykometriikan juuret ovat psykologisessa tutkimuksessa, jossa on kehitetty erilaisia mittaamisen teorioita, esimerkiksi classical test theory, item response theory (Streiner ja Norman 2008). Eräissä yhteyksissä käytetään myös termiä klinimetria (clinimetrics), joka tarkoittaa käytännössä samaa kuin psykometriikka. TOIMIA:ssa on sovittu käytettäväksi termiä psykometria puhuttaessa mittareiden pätevyys-, toistettavuus- ja muutosherkkyysominaisuuksista. Tämä psykometristen ominaisuuksien jaottelu perustuu kansainvälisen COSMIN-tutkijaryhmän laatimaan jaotteluun (www.cosmin.nl) (kuva 1) (de Vet ym. 2011, 4). KUVA 1. Psykometristen ominaisuuksien jaottelu COSMIN mukaan. *Testi uusintatesti, mittaajien välinen ja mittaajan sisäinen. (Mukaeltu Mokkink ym. 2010a) Diagnostiset- vs. seuranta- vs. ennustemittarit: Eri mittarit on kehitetty mittaamaan tiettyä ihmisen terveyteen liittyvää konstruktiota (ominaisuutta). Näitä konstruktioita on tarpeen mitata erilaisissa yhteyksissä, kuten eroteltaessa sairauksia tai sairauden asteita (diagnostiset mittarit), seurattaessa hoidon tai kuntoutuksen vaikutuksia (seurantamittarit) tai haluttaessa ennustaa esimerkiksi jonkin sairauden tai toiminnanvajauden ilmaantumista (ennustemittarit). Jotkin mittarit voivat toimia kaikissa edellä mainituissa tilanteissa. Huomioitavaa on, että nykyisin käytetään usein ennustemalleja tai ennustesääntöjä (prediction rules) määrittelemään muuttujia, jotka parhaiten kuvaavat sairauden kulkua. Näitä ei tulisi kutsua mittareiksi, sillä ennustemalleissa ja -säännöissä voi olla mukana useita eri konstruktioita ja muuttujia (Steyerberg 2009). [4]
5 Mitattava konstruktio vs. mittari: Mittarin suunniteltu käyttötarkoitus vaikuttaa oleellisesti mittarin kehittämiseen. Siksi mitattavaksi valittu konstruktio on yleensä purettava käsitteisiin mittarin kehittämisvaiheessa. Samalla voidaan tarkastella kattaako mittari kaikki oleelliset mitattavat asiat kyseessä olevasta konstruktiosta. Toimintakykyyn ja toimintarajoitteisiin liittyviä käsitteitä löytyy kattavasti kansainvälisestä ICF-luokituksesta (International Classification of Functional, Disability and Health). Kuvassa 2 on kuvattu ICF-luokituksen osa-alueet ja niiden väliset vuorovaikutussuhteet (WHO 2004, 18). Lääketieteellinen terveydentila Ruumiin/kehon rakenteet ja toiminnot Suoritukset Osallistuminen Ympäristötekijät Yksilötekijät KUVA 2. ICF-luokituksen osa-alueiden vuorovaikutussuhteet (mukaeltu WHO 2004, 18). Ruumiin/kehon rakenteiden ja toimintojen alueella (kuvan 2 vasen osa) tarvitaan diagnostisia mittareita sairauksien määrittämiseksi, kun suoritusten ja osallistumisen alueella (kuvan 2 oikea osa) tarvitaan seurantamittareita sairauden tai hoidon vaikutusten selvittämiseksi. Ammattilaisten käyttämiä mittareita pidetään usein ns. objektiivisina mittareina ja potilaiden/asiakkaiden itse täyttämiä kyselyitä subjektiivisina mittareina (ns. itsearviointimittarit). Monien objektiivisten mittareiden tulosten tulkinnassa tarvitaan kuitenkin ammattilaisten taitoja ja tietoja. Siten myös objektiivisten mittareiden käyttöön liittyy subjektiivisia piirteitä. Ruumiin/kehon rakenteiden ja toimintojen alueella voidaan käyttää enemmän yksiulotteisia mittareita, mutta suoritusten ja osallistumisen arviointiin ja mittaamiseen tarvitaan huomattavasti moniulotteisempia mittareita. Ruumiin/kehon rakenteiden ja toimintojen alueella mitattavat ominaisuudet ovat tavallisesti havaittavia, mutta osallistumisen alueella mitattavat ominaisuudet ovat usein abstrakteja ja moniulotteisia, esimerkiksi koettu terveys. Yksiulotteinen vs. moniulotteinen mittari: Mittaamisen kohteena oleva konstruktio voi olla esimerkiksi yksittäinen fysiologinen toiminta, kuten käden puristusvoima. Tällöin puristusvoimamittari on yksiulotteinen mittari, koska sillä ei voida mitata mitään muuta ominaisuutta kuin käden puristusvoimaa. Samoin esimerkiksi muistia mittaava testi tai kävelynopeuden mittaaminen on yksiulotteinen mittari. Jos halutaan kuitenkin arvioida alaraajojen toimintaa, niin tällaisen mittarin tulisi sisältää laajasti alaraajojen toimintaa käsittäviä [5]
6 testejä, kuten kävelynopeus, porrasnousu, lihasvoima, nivelliikkuvuus jne. Tällöin kyseessä olisi moniulotteinen mittari, koska kaikki eri osa-alueet kuvaisivat jollain tavalla alaraajojen toimintaa. Vaikeasti havaittavia ja mitattavissa olevia asioita, kuten koettu terveys, arvioidaan usein erilaisilla kyselylomakkeilla. Tällöin useilla kysymyksillä pyritään saamaan tietoa yhdestä mitattavasta konstruktiosta (yksiulotteinen mittari). Vaikeasti havaittavissa olevat abstraktit asiat ovat usein niin moniulotteisia, että mittarilla on kartoitettava useita eri osa-alueita, joiden ajatellaan jollain tavoin kuvaavan itse mitattavaa konstruktiota (moniulotteinen mittari). Esimerkiksi elämänlaatua on arvioitava kysymällä kysymyksiä niin terveydestä, ihmissuhteista, fyysisestä liikkumiskyvystä kuin muistamisesta ja omasta itsestä huolehtimisestakin. Geneerinen vs. spesifi mittari: Geneeriset mittarit mittaavat asioita yleisesti ja kokonaisvaltaisesti, esimerkiksi geneeriset elämänlaadun mittarit. Spesifit mittarit ovat taas kehitetty tiettyä sairautta tai tilannetta varten ja näitä ovat esimerkiksi sairauskohtaiset mittarit. [6]
7 3 VALIDITEETIN ELI PÄTEVYYDEN OSA-ALUEET Pätevyydellä eli validiteetilla (validity) tarkoitetaan sitä, mittaako mittari juuri sitä tutkittavan ilmiön konstruktiota, mitä sen on tarkoitus mitata (de Vet ym. 2011, 203). Validiteettia tutkittaessa mittauksia tehdään yleensä poikkileikkausasetelmassa (yksi mittauskerta), mutta joissakin tapauksissa, esimerkiksi kriteerivaliditeettia tutkittaessa, voidaan tarvita pitkittäisasetelmaa. Kun mittaukset tehdään kahdesti ja mitattavassa ominaisuudessa oletetaan tapahtuvan tällä aikavälillä muutosta, on kyseessä muutosherkkyyden tarkastelu. Muutosherkkyys on yksi validiteetin itsenäinen osa-alue, jota tarkastellaan myöhemmin (ks. kappale 5 Muutosherkkyys) (de Vet ym. 2011, 4). Validiteetin selvittäminen alkaa mittarin sisällön validoinnilla. Ensin tulee tarkastella yleisesti mittarin ilmivaliditeettia ja sen jälkeen tarkemmin sisältövaliditeettia, esimerkiksi moniulotteisen mittarin kysymysten relevanttiutta ja riittävää laajuutta. Muiden mittareiden osalta tulee tarkastella yleisesti mittarin erityisominaisuuksia, esimerkiksi MRI-kuvantamisessa tulisi selvittää miten hyvin kuvissa näkyvät erilaiset kudokset. Kriteerivalidointia käytetään silloin, kun mittarille on olemassa kultainen standardi (golden standard). Tällöin määritellään mittarin yhtenevyys kultaiseen standardiin ja tehdään johtopäätökset, jotka on saatu verrattaessa saatuja tuloksia etukäteen asetettuihin kriteereihin. Tarkoituksena on selvittää onko saatu yhtenevyys riittävä siinä käyttötarkoituksessa, jossa mittaria on tutkittu. Jos mittarille ei ole olemassa kultaista standardia, näyttöä tulee etsiä rakennevalidoinnilla. Tällöin edellytyksenä on, että mittarin konstruktio on selkeästi määritelty teorian tai mallin pohjalta. Rakennevalidointia voidaan tehdä yhdistelemällä useampia validointitutkimuksia, joissa kerätään näyttöä tarkoista hypoteeseista. Harkittujen ja tarkkojen hypoteesin vahvistuminen validointitutkimuksessa tuottaa enemmän näyttöä kuin heikosti muotoillut hypoteesit. Kun testataan suurta määrää haastavia hypoteeseja, rakennevaliditeettitutkimuksesta tulee vahva työkalu mittarin validoinnissa. Rakennevalidoinnin erityistapauksia ovat rakenteen validointi ja kulttuurien välinen validointi. Rakenteen validointia käytetään usein moniulotteisten mittareiden validoinnissa. Kun mittarin rakenne tunnetaan, sen taustalla oleva teoria tiedetään ja halutaan testata onko mittari sen mukainen, käytetään konfirmatorista faktorianalyysiä. Eksploratiivista faktorianalyysiä voidaan käyttää, kun taustalla oleva teoria ei ole tunnettu/tiedossa. Molempien faktorianalyysien ja osiovaste-mallien (item response models; IRT-mallit) avulla voidaan tehdä johtopäätöksiä siitä, toimivatko osiot kuten on suunniteltu. Kulttuurien välistä validointia tarvitaan, kun mittareita käännetään toiselle kielelle. Validointi on siis jatkuva prosessi. Mittarin validiteettitietoa kerääntyy asteittain ja mittarin validiteetti riippuu siitä millaista tietoa on saatu kerättyä ja miten tuloksia voidaan hyödyntää. Tämä on harvoin täydellinen prosessi. Mittarin validiteettia on aina tutkittava suunnitellussa käyttötarkoituksessa ja niillä tutkittavilla, joilla sitä on tarkoitus käyttää. (Fitzpatrick ym. 1998, Finch ym. 2002, Streiner ja Norman 2008, de Vet ym. 2011). [7]
8 Validointiin liittyviä keskeisiä asioita ovat (Strauss & Smith, 2009; de Vet ym. 2011): Tieto mitattavasta konstruktiosta Konstruktion monimuotoisuus (complexity) Tilannesidonnaisuus Validoidaan tuloksia, ei mittausvälineitä Tarkkojen hypoteesien muodostaminen 3. 1 Ilmivaliditeetti (face validity) Ilmivaliditeetti on tärkeä ensisilmäys pätevyyden arvioinnissa. Jos mittari ei näytä sopivalta aiottuun tarkoitukseen, ei sitä kannata ryhtyä validoimaan. Alkuarviota suoritettaessa voidaan esittää kysymys: näyttääkö mittari mittaavan sitä, mitä sen on tarkoitus mitata?. Esimerkki alkuarviosta voisi olla seuraava: jos mittari on alaraajojen toimintakykymittari, niin mittaria tarkasteltaessa odottaa osioiden sisältävän kävelyä, juoksemista, seisomista, porraskävelyä jne. eli alaraajojen toimintakykyä kuvaavia asioita. Jos mittarissa olisi myös yläraajojen toimintaa arvioiva osio tai elämänlaatukysymyksiä, mittarin ilmivaliditeetti olisi kyseenalainen (Finch ym. 2002, Streiner ja Norman 2008, de Vet ym. 2011). Ilmivaliditeettia arvioitaessa ei käytetä tilastollisia menetelmiä. TOIMIA:n mittariarviointeja tehtäessä ilmivaliditeettia tulee miettiä erityisesti siinä tapauksessa, kun mittaria arvioidaan johonkin muuhun käyttötarkoitukseen kuin alkuperäiseen tarkoitukseen. Esimerkiksi jos mittaria aiotaan käyttää jollain toisella potilasryhmällä tai moniulotteista mittaria aiotaan käyttää eri konstruktion arvioimiseen. 3.2 Sisältövaliditeetti (content validity) Sisältövaliditeetilla tarkoitetaan sitä, missä määrin mittarin sisältö on tarkka vastine mitattavasta konstruktiosta (Streiner ja Norman 2008, de Vet ym. 2011). Jos esimerkiksi tavoitteena on mitata alaraajojen toimintakykyä, mittarin osioiden tulisi mitata niitä kaikkia erilaisia toimintoja, joissa alaraajoja käytetään. Jos siis mittarissa on vain 2 osiota: a) asiakkaan 2 min kävelymatka ja b) kyky nousta ylös portaita, se ei ole kokonainen alaraajojen toimintakyvyn mittari, vaan vain osa sitä. Tällöin mittarin sisältövaliditeetti ei ole kunnossa (Finch ym. 2002). Mittarin sisältövaliditeettia arvioitaessa asiantuntijoiden on oltava selvillä mitattavasta konstruktiosta, mittarin käyttötarkoituksesta ja mittarin rakenteesta ja sen kehittämisprosessista (Streiner ja Norman 2008, de Vet ym. 2011). Mittareiden kehittämisprosessissa mittarin varsinaiset kehittäjät saattavat sokeutua omalle asialleen ja sen vuoksi mittareiden kehittelyssä tulisi käyttää riippumatonta asiantuntijapaneelia, joka on perehtynyt kyseiseen alueeseen syvällisesti ja voi siten arvioida mittaako mittari koko konstruktiota. Esimerkiksi radiologian asiantuntijat ovat päteviä arvioimaan radiologiaan kehitettäviä mittareita, mutta asiakkaan/potilaan itse täytettävien kyselyiden (ns. itsearviointimittarit eli patient-reported outcomes; PRO-mittarit) arvioinnissa parhaita asiantuntijoita ovat potilaat/asiakkaat itse. Sisältövaliditeettia selvitettäessä on arvioitava myös sisällön laajuus ja asiaan kuuluvuus suhteessa [8]
9 konstruktioon ja kohderyhmään. Tässä arvioinnin apuna voi käyttää esimerkiksi ICF-luokitusta ja verrata mittarin sisältöä ja kattavuutta siihen (de Vet ym. 2011). Esimerkkinä sisällön validoinnista voidaan mainita WHODAS 2.0., joka on moniulotteinen, useita asteikkoja sisältävä mittari (Üstün ym. 2010). Se on kehitetty aiempien toimintakykymittareiden ja ICF-luokituksen suoritusten ja osallistumisen osa-alueiden pohjalta arvioimaan terveydentilasta johtuvia vaikeuksia, joita ihminen kokee päivittäisessä elämässään. 3.3 Kriteerivaliditeetti (criterion validity) Kriteerivaliditeetti jaetaan samanaikaiseen - ja ennustevaliditeettiin ja se tarkoittaa, missä määrin mittarilla saadut tulokset ovat yhtäpitäviä kultaisen standardin kanssa (Finch ym. 2002, de Vet ym. 2011). Kultainen standardi on ulkoinen kriteeri, joka viittaa kunkin aihealueen parhaaseen mahdolliseen käytettävissä olevaan arviointimenetelmään ja joka antaa tarkimman ja luotettavimman tuloksen. Kriteerivaliditeetin mittaamiseksi käytettävän tilastollisen menetelmän valintaan vaikuttaa kultaisen standardin ja tarkasteltavan mittarin muuttujien ominaisuudet (dikotominen, ordinaalinen, jatkuva) sekä mittareiden mittayksiköt (taulukko 1). Taulukko 1. Käytettävät tilastolliset menetelmät kriteerivaliditeetin määrittämiseksi (mukaellen de Vet ym. 2011, 163). Mitta-asteikko Sama mittayksikkö Tilastollinen menetelmä Kultainen standardi Tutkittava mittari Dikotominen Dikotominen Kyllä Herkkyys ja tarkkuus Ordinaalinen Ei merkitystä ROC Jatkuva Ei merkitystä ROC, logistinen regressioanalyysi Ordinaalinen Ordinaalinen Kyllä Painotettu kappa Ei Spearmanin r / muu korrelaatio Jatkuva Ei merkitystä ROC; Spearmanin r; regressioanalyysi Jatkuva Jatkuva Kyllä Bland-Altmanin piirros; ICC Ei Spearmanin r; Pearsonin r ROC = Receiver Operating Characteristics curve; ICC = Intraclass Correlation Coefficient Samanaikainen validiteetti (concurrent validity) Samanaikaisella validiteetilla tarkoitetaan tilannetta, jossa tutkittavaa mittaria verrataan lähes samanaikaisesti kultaiseen standardiin. Esimerkiksi manuaalisesti toteutetun lihasvoimatestin tulosta verrataan dynamometrillä mitattuun tulokseen, jota voidaan tässä tapauksessa pitää kultaisena standardina. Samanaikaista validiteettia tarvitaan validoitaessa erottelevia mittareita ja [9]
10 seurantamittareita. Samanaikaista validiteettia arvioitaessa käytetään eri tilastomenetelmiä sen mukaan millainen mitta-asteikko ja mittayksikkö ovat tutkittavassa mittarissa ja kultaisessa standardissa (taulukko 1). Koska kaikkiin mittauksiin sisältyy jonkin verran mittausvirhettä, on mahdollista, että samaa ilmiötä mittaavien mittareiden välinen korrelaatio jää keskinkertaiseksi. Kovin alhainen korrelaatio voi tarkoittaa, että jommankumman vertailtavan mittarin reliabiliteetti on todennäköisesti liian heikko tai että mittarit mittaavat eri ilmiöitä (Streiner ja Norman 2008) Ennustevaliditeetti (predictive validity) Ennustevaliditeetilla tarkoitetaan mittarin kykyä ennustaa jokin tuleva tapahtuma. Ennustavia mittareita käytetään laajasti erityisesti diagnostiikassa, kun halutaan arvioida/ennustaa tuleva tapahtuma. Ennustevaliditeettia arvioidaan samoin menetelmin kuin samanaikaista validiteettia, mutta kriteeritapahtuma on tiedossa vasta muutaman päivän tai vuoden päästä. Dikotomisten tulosten tarkastelussa käytetään ristiintaulukointia ja jatkuvia muuttujia arvioidaan vertaamalla niiden välistä korrelaatiota (taulukko 1). Ennustevaliditeettia tutkittaessa on vältettävä aiemman mittauksen tietojen sekoittumista kriteeritapahtuman tulosten arviointiin (criterion contamination), jossa mittausten välille rakentuu keinotekoinen korrelaatio. Ennustevaliditeetti olisi aina testattava toisella otoksella kuin millä mittari on kehitetty (Streiner ja Norman 2008). Esimerkiksi Bergin tasapainoasteikko ennustaa kaatumista kuuden viikon aikana. Kriteeritapahtumana tässä esimerkissä on vastaus kysymykseen: kaatuiko asiakas seuraavan kuuden viikon aikana. Tällaisessa tutkimuksessa on siis mitattu ensin asiakkaan tasapaino käyttäen Bergin tasapainoasteikkoa. Tämän jälkeen on selvitetty kyselyllä, puhelinhaastattelulla tai asiakirjoista kuuden viikon kuluttua, onko asiakas kaatunut vai ei. Verrattaessa varsinaisia tasapainotuloksia ja myöhemmin raportoituja kaatumistietoja saadaan tietoa mittarin kyvystä ennustaa kaatuminen (Finch ym. 2002). 3.4 Rakennevaliditeetti (construct validity) Rakennevaliditeetti tarkoittaa sitä, missä määrin mittarin tulokset ovat yhtäpitäviä/johdonmukaisia mitattavan konstruktion kanssa. Rakennevalidointia tarvitaan erityisesti silloin, kun konstruktiolle (esimerkiksi kipu tai elämänlaatu) ei ole olemassa selkeitä kriteereitä tai kultaista standardia. Tällöin tarvitaan teoria tai malli kiinnostuksen kohteena olevasta konstruktiosta ja tutkitaan missä määrin mittari on yhtenevä tämän teorian tai mallin konstruktion kanssa. Jotta yhtenevyyttä voidaan testata, on ensin määriteltävä tarkat hypoteesit oletetusta yhtenevyydestä (ks ) (Mokkink ym. 2010b, de Vet ym. 2011). Rakennevalidointia voi tehdä kolmesta näkökulmasta: rakenteen validiteetti, hypoteesien testaus (konvergentti validiteetti, erotteleva validiteetti ja kyky erotella ryhmiä) ja kulttuurien välinen validiteetti. [10]
11 3.4.1 Mittarin rakenteen validiteetti (structural validity) Rakenteen validiteetti tarkoittaa sitä, missä määrin mittarin tulokset ovat tarkka vastine mitattavan konstruktion ulottuvuuksista (de Vet ym. 2011). Rakenteen validiteettia arvioidaan erityisesti silloin, kun mittari on moniulotteinen. Tavallisimmin rakenteen validiteettia tutkitaan konfirmatorisella faktorianalyysillä tai IRT-malleilla, koska mitattavan konstruktion rakenne on jo etukäteen tiedossa perustuen joko aiempiin tutkimuksiin ja/tai hyvin perusteltuun kehittämisprosessiin. Faktorianalyysin avulla voidaan tehdä johtopäätöksiä toimivatko mittarin osiot odotetusti. Jos mittarin ulottuvuudet eivät kuitenkaan ole tiedossa etukäteen, rakenteen validiteettia voidaan tutkia eksploratiivisella faktorianalyysillä. Esimerkiksi WHODAS 2.0 -mittarin rakennetta on validoitu faktorianalyysillä (kuva 3) (Üstün ym. 2010). Se osoitti, että mittari mittaa yleisesti toimintakyvyn ongelmia (general disability factor) ja että sen osiot jakautuivat kuuteen aiheeseen: ymmärtäminen ja kommunikointi; liikkuminen; itsestä huolehtiminen; ihmissuhteet; arjen toiminnot (kotitaloustehtävät sekä työ/opiskelu); ja yhteisöllinen osallistuminen. Tulokset saadaan siis sekä yksiulotteisesti kaikkien osioiden summapisteinä että moniulotteisesti osa-alueittain, jonka avulla voidaan tarkastella kaikkien asteikkojen muodostamaa profiilia. KUVA 3. WHODAS 2.0 mittarin faktorirakenne (Üstün ym. 2010). [11]
12 3.4.2 Hypoteesien testaus Mittareiden validoinnissa yksi keskeinen asia on selvittää kuinka hyvin mittarin tulokset vastaavat toisella mittarilla mitattuja tuloksia samasta konstruktiosta (convergent validity) tai miten mittari eroaa muita konstruktiota mittaavista mittareista (discriminant validity). Lisäksi on oleellista tietää pystyykö mittari erottelemaan esim. sairauden asteeltaan erilaisia ryhmiä toisistaan (known group validity). Näitä kaikkia kolmea eri validiteetin osa-aluetta tutkitaan hypoteesien testauksella. Ennen varsinaisia mittauksia tutkijan on siis laadittava hypoteesit siitä, miten hän olettaa tutkittavan mittarin vastaavan ja/tai eroavan muista mittareista ja miten hyvin hän olettaa tutkittavan mittarin kykenevän erottelemaan ryhmiä. Arvioitaessa hypoteesien testaukseen liittyviä validiteetin osa-alueita, tieteellisistä artikkeleista on etsittävä kuvaus validoinnin kohteena olevan mittarin rakenteesta ja sen teoriataustasta (jos tämä on kuvattu artikkelissa). Artikkelissa tulisi olla tarkat tutkimushypoteesit siitä, miten mittarin oletetaan vastaavan tai ei oleteta vastaavan mitattavaa tai jotain muuta konstruktiota; miten tulosten oletetaan eroavan eri ryhmien välillä; ja mitkä oletetaan olevan vastaavuuksien ja/tai erojen suunta ja suuruus. Jotta nämä vertailut voidaan tehdä hyvin, on artikkelissa oltava kuvattuna vertailussa käytetyt mittarit, niiden konstruktiot ja mittausominaisuudet sekä eroteltavat alaryhmät. Artikkelissa on kuvattava tietojen keräys ja tulosten analysointi sekä tuloksissa on arvioitava tulosten yhtäpitävyys artikkelin alussa esitettyihin hypoteeseihin nähden. Lisäksi tutkimuksessa tulisi olla tietoa siitä, missä määrin havaittuja tuloksia saattaa selittää jokin muu teoria tai vaihtoehdot (de Vet ym. 2011). Hypoteesien testauksessa on kolme erilaista pätevyyden aluetta: a) Rinnakkaisvaliditeetti (convergent validity) (yhtäpitävyys validiteetti; samanaikaisvaliditeetti) Tämä validiteetin osa-alue arvioi sitä, missä määrin mittarin tulokset ovat yhtäpitäviä toisen mittarin kanssa, jonka uskotaan mittaavan samaa ilmiötä. Esimerkiksi poikittaisasetelmassa käytetyn mittarin tulosten pitäisi korreloida kohtalaisesti tai vahvasti toisen mittarin kanssa, joka on aiemmin validoitu samaan käyttötarkoitukseen. Vastaavasti pitkittäisasetelmassa käytetyllä mittarilla mitatun muutoksen tulokset pitäisi korreloida kohtalaisesti tai vahvasti toisella aiemmin samaan käyttötarkoitukseen validoidulla mittarilla saatuihin tuloksiin. Rinnakkaisvaliditeetin määrittämiseksi käytetään korrelaatiokertoimia (Finch ym. 2002, de Vet ym. 2011). Rinnakkaisvaliditeetin tutkimuksessa käytetään myös Multi Trait Multi Method (MTMM) -menetelmää, joka teknisesti on eräänlainen konfirmatorinen faktorianalyysi ja perustuu korrelaatioihin, kuten kaikki faktorianalyysimallit (Campbell ja Fiske 1959). b) Erotteleva validiteetti (discriminant validity) Erotteleva validiteetti arvioi sitä, missä määrin mittari eroaa muita ilmiöitä mittaavista mittareista. Esimerkiksi alaraajojen toimintakykyä mittaavan mittarin tulokset (tai pitkittäisasetelmassa muutostulokset) korreloivat paremmin geneerisen mittarin fyysisen toimintakykyosan tulosten (tai muutostulosten) kanssa kuin tunne-elämää mittaavan osan tulosten kanssa. Mittarin erottelukykyä tutkitaan korrelaatiokertoimilla (Finch ym. 2002, de Vet ym. 2011). [12]
13 c) Kyky erottaa ryhmiä toisistaan (known group validity) Erityisesti erottelevaa mittaria validoitaessa arvioidaan sen kykyä erotella kaksi tai useampi ryhmä toisistaan. Ryhmät määritellään hypoteesien asettamisvaiheessa edustamaan eri vaikeustasoja esim. akuutit ja krooniset selkäkipupotilaat. Mittarin tulisi erotella nämä ryhmät toisistaan siten, että mittarin tulokset eroavat selvästi kahdella eri sairauden vaikeustasolla toisistaan. Ryhmien erottelussa usein käytettyjä testejä ovat mm. t-testi ja varianssianalyysit (analysis of variance, ANOVA; analysis of covariance, ANCOVA) (Finch ym. 2002, de Vet ym. 2011) Kulttuurien välinen validiteetti (cross-cultural validity) Kulttuurien välistä validiteettia tutkitaan tavallisesti silloin, kun käännetään kysely- ym. lomakkeita toiselle kielelle. Kulttuurien välistä validiteettia tutkittaessa asetetaan ensin hypoteesit, joilla voidaan tutkia esimerkiksi sitä korreloivatko eri kieliversioiden rakenteet tai erottelevatko eri kieliversiot yhtä hyvin relevantteja ryhmiä (de Vet ym. 2011). Nämä ovat kuitenkin voimakkaasti otosriippuvaisia. Sen vuoksi parempi tapa on tutkia mittarin muuttumattomuutta tai vastaavuutta (measurement invariance) eli sitä toimiiko mittari, asteikko tai osio täsmälleen samalla tavalla eri populaatioissa. Tällöin mittarilla ei ole havaittavissa eri osioiden välistä erilaista toimintaa (differential item functioning; DIF). Jos eri osioiden välillä havaitaan eroja, on selvitettävä löytyykö niille käytännön selitys. Usein erot jäävät selittymättä ja silloin osiot voidaan muokata uudelleen tai poistaa. Muokkauksen tai poistojen jälkeen mittaria on tutkittava uudelleen keräämällä uusi data tutkittavasta kohdepopulaatiosta. Kulttuurien välistä validiteettia voidaan tutkia useilla menetelmillä, esimerkiksi konfirmatorisella faktorianalyysilla, logistisella regressioanalyysilla ja IRT-malleilla. Faktori- ja IRT-analyysien etu on se, että mallia voidaan muokata, kun taas logistisessa regressioanalyysissä tätä mahdollisuutta ei ole. Mittarin kääntämiseksi toiseen kulttuuriin tarvitaan standardoitu kääntämisprosessi, jossa otetaan huomioon kieli, kulttuuri ja maantieteelliset olosuhteet (Beaton ym. 2000). Tämän prosessin tulisi edetä seuraavalla tavalla: a) käännös kohdekielelle, jonka suorittaa kaksi kohdekielistä kääntäjää b) kääntäjät tekevät synteesin ja ulkopuolinen havainnoitsija ratkaisee erilaisuudet c) takaisinkäännös, jonka tekee kaksi alkuperäiskielistä kääntäjää d) käännösten yhtäpitävyyden tarkastelu, alustavan versio laatiminen (4 kääntäjää, havainnoitsija, menetelmäosaaja, sosiaali- ja terveydenhuollon ammattilaiset, kielen osaaja) e) alustavan version testaaminen (kohderyhmä n=15 30) f) arvio ja hyväksyntä (alkuperäismittarin kehittäjät) g) käännetyn mittarin validointi kohdemaassa voi alkaa Osa tutkijoista pitää mittarin laadukasta adaptointi- eli soveltamisprosessia tärkeämpänä kuin tarkkaa kääntämistä (Sweine-Verdier ym. 2004), jotta mittari toimisi kohdemaan sosiaalisessa ympäristössä. He ehdottavat takaisinkääntämisprosessin sijaan kahden paneelin menetelmää. Ensimmäinen paneeli koostuu mahdollisimman tavallisista kääntäjistä, jotka osaavat hyvin sekä alkuperäiskielen että kohdekielen. He kääntävät mittarin kohdemaan kielelle. Toiseen paneeliin [13]
14 kootaan 5 7 kohderyhmän edustajaa, eli maallikkoja erilaisilla sosiaali-, sukupuoli- ja koulutustaustoilla. He tarkastelevat pelkästään käännettyä versiota ja arvioivat sen sanamuotoja ja kertovat, mitä ymmärtävät kullakin kysymyksellä. Lisäksi tarvitaan koordinaattori, joka varmistaa tiedonkulun ryhmien välillä, prosessin monitoroinnin ja sen, että pysytään mittarin konstruktiossa ja käyttötarkoituksessa. Tämän jälkeen adaptoidun mittarin validointi kohdemaassa voi alkaa. Arvioitaessa kulttuurien välistä validiteettia artikkeleista tulisi etsiä käännösprosessin kuvaus ja arvioida, miten hyvin prosessi vastaa jompaakumpaa edellä kuvattua menetelmää. Lisäksi tulisi kuvata, mitä vertailutietoa alkuperäiseen mittariin on saatavilla. [14]
15 4 RELIABILITEETIN OSA-ALUEET Mittaukset sisältävät usein kahdenlaisia virheitä: systemaattisia virheitä ja satunnaisvirheitä. Systemaattinen virhe syntyy, kun käytetty mittari on esimerkiksi kalibroitu väärin tai mittaustilanne on suunniteltu huonosti. Tällöin mittaukset ovat systemaattisesti virheellisiä, vaikka ne voivatkin olla tarkkoja (kuva 4). Satunnaiset virheet voivat taas johtua monista eri tekijöistä, esimerkiksi olosuhteiden ja vastaajan mielialan ym. satunnaisvirheiden vaikutuksesta. Niitä voidaan yrittää ehkäistä, mutta kokonaan niitä ei voida poistaa. KUVA 4. Mittauksien virheettömyyden/virheellisyyden ja tarkkuuden/epätarkkuuden eri mahdollisuudet. Reliabiliteetti (reliability) ilmaisee, miten luotettavasti ja toistettavasti käytetty mittaus- tai tutkimusmenetelmä mittaa haluttua ilmiötä. Reliabiliteetti-käsite kuuluu yleensä määrälliseen, kvantitatiiviseen tutkimukseen, jossa mittauksen reliabiliteetti tarkoittaa mittaustuloksen toistettavuutta, ei-sattumanvaraisuutta. Kvalitatiivisessa tutkimuksessa reliabiliteetilla tarkoitetaan aineiston käsittelyn ja analyysin luotettavuutta (Golafshani 2003). Reliabiliteetista on ollut käytössä useita termejä kuten, objectivity, repeatability, reproducibility, stability, agreement, association, sensitivity ja precision (de Vet ym. 2011). Suomeksi on käytetty termejä tarkkuus, luotettavuus, käyttövarmuus, toimintavarmuus ja johdonmukaisuus. Vain [15]
16 harvalla näistä termeistä on selkeä määritelmä, joten niiden erot ovat epämääräisiä. Repeatability voidaan kuitenkin määritellä samoissa olosuhteissa suoritettujen toistettujen mittausten vaihtelua kuvaavaksi suureeksi. Reproducibility on taas eri olosuhteissa suoritettujen toistettujen mittausten vaihtelua kuvaava suure. Sillä mitataan esim. eri reagenssien, olosuhteiden, määrityslaitteiden ja laboratorioiden välistä vaihtelua. Hyvä toistettavuus samoissa olosuhteissa on tärkeä edellytys toistettavuudelle eri olosuhteissa. Ilmiön pysyvyyttä tarkoitettaessa käytetään termiä stability (Metsämuuronen 2000, de Vet ym. 2011). Kvalitatiivisessa tutkimuksessa reliabiliteettia vastaavina termeinä on käytetty muun muassa seuraavia termejä: trustworthiness, credibility, neutrality, confirmability, consistency, dependability, applicability ja transferability (Golafshani 2003). De Vet ym. (2011, 97) mukaisesti TOIMIA:ssa käytetään reliabiliteetin kriteereinä toistettavuutta ja mittausvirhettä sekä mittarin sisäistä yhtenevyyttä (internal consistency). Samalla reliabiliteetin käsitteellä on siis määritelty kaksi varsin erilaista mittarin ominaisuutta: mittarin tai menetelmän pysyvyys ajassa (toistettavuus ja mittausvirhe, ks. 4.1) ja mittarin sisäinen yhteneväisyys (ks. 4.2). Vaikka mittari olisi sekä toistettava että sisäisesti yhtenevä, se ei riitä. Mittari voi nimittäin mitata väärääkin asiaa hyvin johdonmukaisesti. Mittarin on siis oltava myös validi. Reliabiliteetti asettaa myös mittarin validiteetille ylimmän mahdollisen rajan siten, että mitä korkeampi reliabiliteetti, sitä korkeampi mahdollinen maksimivaliditeetti mittarilla on (Streiner & Norman 2008). 4.1 Toistomittausten toistettavuus ja mittausvirhe Toistettavuus on erityisen tärkeä silloin, kun halutaan seurata samaa ilmiötä useamman kerran (seurannassa). Toistettavuus ei ole yksi yksittäinen ominaisuus, vaan se täytyy tutkia erikseen kussakin käyttötarkoituksessa, esimerkiksi eri diagnoosien yhteydessä (Metsämuuronen 2000, de Vet ym. 2011). Ei siis ole olemassa toistettavuutta sinänsä, vaan vain testin toistettavuustuloksia erilaisista käyttötilanteista. Kun eri tutkimukset antavat erilaisia tuloksia mittaajien välisistä tai mittauskertojen välisistä toistettavuuksista, on mahdotonta sanoa johtuuko se erilaisista mittausvirheistä eri tilanteissa vai otosten välisistä eroista (Streiner ja Norman 2008). Toistettavuutta tutkitaan toistomittausten yhtäpitävyydellä. Tällöin pyritään eri tavoin varmistamaan, että mitattava ilmiö ei ole oikeasti muuttunut mittausten välillä. Tutkimusasetelmana on yli ajan tapahtuva testi-uusinta testi -asetelma (test-retest), jossa mittaus uusitaan samoille tutkittaville. Testi-uusinta testi -asetelmasta voidaan käyttää myös termiä intrarater, jolloin testataan saman mittaajan tekemien testien toistettavuutta. Toistettavuutta tutkitaan myös eri mittaajien välisenä, jolloin kaikki mittaajat käyttävät samaa mittaria (interrater). Toistettavuutta voidaan tarkastella relatiivisena (ks ) tai absoluuttisena (ks ). Suositeltavan tunnusluvun käyttö riippuu muuttujasta (taulukko 2). Streinerin ja Normanin (2008) mukaan Bland-Altmanin -menetelmä (ks. kuva 5) on analoginen ICC:n (Intraclass Correlation Coefficient) mittausvirheen laskemisen kanssa. Bland-Altmanin lisäetuna on, että arvot raportoidaan suoraan ja kuviosta voidaan samalla nähdä muita systemaattisia eroja. Myös kappakertoimet ja ICC tuottavat identtisiä tuloksia. [16]
17 Taulukko 2. Erityyppisten muuttujien toistettavuuden ja mittausvirheen laskemisessa käytettäviä keskeisiä tilastollisia menetelmiä (de Vet ym. 2011, 120). Jatkuva muuttuja Luokitteluasteikollinen muuttuja Nominaaliasteikollinen muuttuja Toistettavuus ICC ICC; painotettu Cohenin kappa Painottamaton Cohenin kappa Mittausvirhe / Yhtäpitävyys SEM; LOA % LOA % LOA ICC = Intraclass Correlaton Coefficient; SEM = Standard Error of Measurement; LOA = Limits of Agreement - yhtäpitävyysrajat, jotka lasketaan Bland-Altmanin menetelmällä. Jos mittaus on toistettava, samat henkilöt saavat samalla mittarilla samanlaisia tuloksia. Ongelmana voi kuitenkin olla se, että itse tutkittava ilmiö voi muuttua mittausten välillä. Myös ihmisillä on taipumus vastata samalla tavalla usealla eri kerralla. Peukalosääntönä voitaisiin sanoa, että aikavälin mittausten välillä tulisi olla noin kaksi viikkoa (Nunnally 1978, Metsämuuronen 2000). Mikäli testi-uusinta testi -asetelman aika on mittausten välillä liian pitkä, testi mittaa todennäköisesti enemmänkin ilmiön stabiiliutta (pysyvyyttä) kuin reliabiliteettia (Metsämuuronen 2000, de Vet ym. 2011, Kottner ym. 2011). Jos se taas on liian lyhyt, ensimmäisen mittauksen vastausten muistaminen voi vääristää uusintamittauksen vastauksia ja tuloksia. Parhaiten toistettavuutta voidaan selvittää fysikaalisista mittauksista, joissa mittausten ero eri ajanhetkinä voi aiheutua ainoastaan mittausvirheestä. Esimerkkinä voidaan ajatella kehon painoa. Jos kahden mittauksen välillä ei ole niin pitkää väliä, että paino ehtisi aidosti nousta tai laskea, on kyseessä selvästi mittausvirhe. Jos mittaus ei ole fysikaalinen, vaan esim. jokin kyselylomake, joudutaan olettamaan, että mittaus mahdollisesti vaikuttaa mitattavaan kohteeseen. On esimerkiksi mahdollista, että ihminen muistaa mitä on vastannut aikaisemmin, oppii testin tekemistä jne. Siksi tämän tyyppisissä mittareissa on toiston avulla vaikeampi selvittää sitä, kuinka tarkka mittari on ja kuinka paljon mittaustulokset sisältävät mittausvirhettä Relatiivisen toistettavuuden tilastolliset menetelmät/tunnusluvut Kun tutkitaan sitä miten hyvin toistomittauksissa kukin tutkittava säilyttää asemansa tutkimusjoukossa suhteessa toisiin, käytetään nimitystä relatiivinen reliabiliteetti. Tämän laskemiseen käytetään useimmin Intraclass Correlation Coefficient- (ICC) ja Cohenin kappa - menetelmiä (taulukko 2) (Lohr 2002, de Vet ym. 2011, Kottner ym. 2011). Intraclass Correlation Coefficient (ICC): Jatkuvien muuttujien toistettavuuden laskemiseen käytetään ICC:tä. ICC:n laskemiseen on olemassa useita laskentakaavoja, jotka kaikki perustuvat varianssiin. ICC voi saada arvon, joka vaihtelee välillä 0 1. Tulkinta koostuu ICC:n saamasta arvosta, luottamusvälistä ja tilastollisesta merkitsevyydestä (Shrout ja Fleiss 1979). ICC-tulosten tulkintaan on olemassa useita ohjearvoja, mutta niitä käytettäessä on huomioitava, että nekin on saatu tutkimuksen tuloksena tietyllä [17]
18 otoksella. Sen vuoksi arvioitaessa eri tutkimuksissa saatuja ICC-tuloksia on ensin ymmärrettävä mikä on tutkimuksen tarkoitus, millä ja millaisella otoksella tulokset on saatu ja mitä tarkasti ottaen mitattiin. Vasta tämän jälkeen saatuja tuloksia tulisi tarkastella suhteessa ohjearvoihin, mutta pitäen aina mielessä, että kaikki ICC-tulokset ovat riippuvaisia siitä kontekstista, jossa ne on mitattu. Yllä olevaan viitaten ICC:n tulkintaan on olemassa useita ohjearvoja, joissa tulkinnan rajat vaihtelevat. Yhteistä kaikissa ohjearvoissa on kuitenkin se, että korkean/hyvän ICC:n tulisi olla >0.9 (Vincent 1994, Atkinson ja Nevill 1998, Finch ym. 2002, de Vet ym. 2011). Muut arvot ovat hieman erilaisia lähteistä riippuen, mutta karkeasti voitaisiin todeta, että ICC:n ollessa se on keskinkertainen ja alle 0.7 olevat arvot heikkoja, joihin tulisi suhtautua varoen (Nunnally ja Bernstein 1994, de Vet ym. 2011). Jos mittari on tarkoitettu kliiniseen käyttöön, ICC:n tulisi olla vähintään 0.9. Tutkimuskäytössä olevan mittarin ICC ei saa olla alle 0.8 (Atkinson ja Nevill 1998, Finch ym. 2002, de Vet ym. 2011). Cohenin kappa (κ) tai painotettu Cohenin kappa: Cohenin kappa on luokkamuuttujien välinen yhdenmukaisuuden mitta kahden tai useamman arvioitsijan tai diagnostisen tavan välillä. Cohenin kappa mittaa sitä, kuinka paljon todettu yhtäpitävyys (p 0 ) poikkeaa pelkän sattuman perusteella odotettavissa olevasta yhtäpitävyydestä (p e ). Tuloksissa suositellaan ristiintaulukoinnin esittämistä. Teoreettisesti on mahdollista saada kapalle negatiivinen arvo, mutta käytännössä kappa vaihtelee kuitenkin välillä 0 1. Mitä suurempi kapan arvo on, sitä yhteneväisempiä arvioinnit ovat (Sarna 2007, de Vet ym. 2011). Myös kapan arvon tulkintaan tulee suhtautua varoen (ks. yllä ICC:n tulkinta). Jos kapan arvo on alle 0.40, sen voidaan tulkita olevan heikko. Kohtalainen/hyvä kapan arvo on ja erittäin hyvä kapan arvo on (Landis ja Koch 1977) Absoluuttisen toistettavuuden tilastolliset menetelmät/tunnusluvut Absoluuttista toistettavuutta tutkittaessa tutkitaan toistettujen mittausten tulosten vaihtelua. Tämän laskemiseen käytetään useimmin mittauksen keskivirhettä, yhtäpitävyysrajoja ja variaatiokerrointa (Lohr 2002, de Vet ym. 2011, Kottner ym. 2011) (Taulukko 2). Absoluuttisen toistettavuuden tulokset ilmoitetaan joko mittarin todellisissa yksiköissä (esimerkiksi kg) tai prosenttiosuutena mitatuista arvoista. Mittauksen keskivirhe (Standard Error of Measurement; SEM): SEM ilmoittaa sen, kuinka paljon pelkät mittausvirheet vaikuttavat vaihteluun saaduissa testipistemäärissä (toistettujen mittausten välinen ero). SEM määritellään varianssin ja reliabiliteetin tulona (reliabiliteetin arvona käytetään esim. ICC:tä). Mitä suurempi on varianssi ja mitä pienempi on reliabiliteetti, sitä suurempi on mittauksen keskivirhe. Keskivirheen laskemiseen on olemassa useita tapoja, kuten esimerkiksi: SEM = SD x 1- ICC. Mittauksen keskivirheen yksikkö on sama kuin mittarin yksikkö ja se antaa tietoa siitä, missä rajoissa tutkittavan suoritus vaihtelee pelkän mittausvirheen vaikutuksesta. Mittauksen keskivirheen tulkintaan ei voida antaa yleisiä rajoja. Mitä parempi on reliabiliteetti, sitä pienempi on SEM (de Vet ym. 2011). Siten pienemmät erot mittausten välillä ovat osoitus todellisista eroista mitattavassa ilmiössä. [18]
19 Yhtäpitävyysrajat (Limits of agreement, LOA) Bland-Altmanin piirroksen avulla (Bland-Altman s plot): Bland-Altmanin piirros on kahden menetelmän tai mittauskerran yhtäpitävyyden (agreement) arvioimiseksi käytetty graafinen menetelmä (Bland ja Altman 1986) (Kuva 5). Piirroksessa x- akselilla on kahdella mittauskerralla saatujen tulosten (x ja y) keskiarvo (x+y)/2 ja y-akselilla niiden erotus d=x-y. Piirroksessa esitetään keskiarvoa kuvaava viiva ja normaalijakaumaan perustuvat nk. yhtäpitävyysrajat (LOA). Yhtäpitävyysrajat määritellään: d±1,96 SD, missä SD on erotusmuuttujan keskihajonta. Jos keskiarvo = 0 ja LOA = ± 8.3, mittauksessa ei ole systemaattista virhettä. Tuloksen tulkintaa helpottaa se, että tulos esitetään mittarin yksikköinä. Jos kahden menetelmän tai eri mittauskertojen välinen tulos on yhtäpitävyysrajojen sisäpuolella, tulos on tulkittava mittausvirheeksi (merkitsevyystaso on p>0.05). Jos taas tulos on yhtäpitävyysrajojen ulkopuolella, tulos on tällöin merkitsevä (p<0.05) (Atkinson ja Nevill 1998, Finch ym. 2002, de Vet ym. 2011). KUVA 5. Bland-Altmanin kuvio. Variaatiokerroin (Coefficient of Variation; CV): Variaatiokerroin sopii vain jatkuville suhdeasteikkomuuttujille (eli muuttuja ei saa saada negatiivisia arvoja). Variaatiokertoimen tulkinta helpottuu, jos otos on normaalijakautunut, mutta se ei ole ehdoton edellytys. Variaatiokerroin voidaan laskea seuraavilla tavoilla: CV = (SD / kahden mittauksen keskiarvo) CV = (SD / kahden mittauksen keskiarvo) x 100 Molemmissa kaavoissa SD tarkoittaa keskihajontaa. Variaatiokerroin ilmaistaan ilman yksikköä (esim. 0.14) tai prosentteina (esim. 14 %). Mitä suurempi variaatiokerroin on, sitä suurempaa on tulosten vaihtelu (Atkinson ja Nevill 1998, Finch ym. 2002, de Vet ym. 2011). [19]
20 4.2 Sisäinen yhtenevyys Sisäinen yhtenevyys (konsistenssi) määrittelee miten samanlaisia yksittäiset testikysymykset tai tehtävät ovat keskenään, mittaavatko ne samaa konstruktiota samalla tavalla ja voiko ne loogisesti ryhmittää yhteen. Tutkittaessa sisäistä yhtenevyyttä tutkittavalle ryhmälle tehdään yksi mittauskerta samalla mittarilla, saadut tulokset jaetaan keinotekoisesti kahteen osaan ja sopivalla tilastollisella menetelmällä (esim. Cronbachin alfa, split halves tai Kuder-Richardson) analysoidaan tulokset. Nämä testit tuottavat samankaltaisia tuloksia ja kertoimet saadaan helposti, koska analyysiin tarvitaan vain yksi mittauskerta. Poikkileikkausasetelma ei kuitenkaan ota huomioon eri ajankohtien tai eri mittaajien aiheuttamaa vaihtelua (Streiner ja Norman 2008). Toinen mahdollinen analyysitapa on faktorianalyysi, jonka avulla etsitään faktorirakenteen luotettavuusmittaa tätä jälkimmäistä ei kuitenkaan käytetä kovin usein (Metsämuuronen 2000, Finch ym. 2002). Cronbachin alfa mittaa sisäistä yhdenmukaisuutta (konsistenssia) mm. testeissä, jotka muodostuvat useista eri osioista (items). Alfan arvoja, jotka jäävät alle 0.60, ei pitäisi hyväksyä. Yleisesti hyväksytyt Cronbachin alfa-arvot vaihtelevat 0.70 ja 0.90 välillä ja lisäksi on esitettävä alfan luottamusväli. Korkea alfan arvo, esim. arvo 0.98 ilmaisee, että mittarissa saattaa olla liian paljon samantyyppisiä kysymyksiä. Alfan tulkinnassa on huomioitava esim. osiot, jotka ovat varianssiltaan lähellä nollaa, sillä ne eivät erottele tutkittavia toisistaan riittävästi ja laskevat siten mittarin reliabiliteettia. Lisäksi suppea mittarin skaala (esimerkiksi kolmiluokkainen Likert-asteikko) aiheuttaa arvoihin niin vähän vaihtelua, että reliabiliteetti jää matalaksi. Myös osioiden määrä vaikuttaa, sillä pitkä mittari aiheuttaa suurta vaihtelua kokonaismittariin ja se heijastuu reliabiliteetin kasvamisena (Metsämuuronen 2000, de Vet ym. 2011). Jos mittari on moniulotteinen, tai sen sisältämät osiot korreloivat toisiinsa, alfa voi olla negatiivinen, mikä on merkki siitä, että mittarin rakenteessa tai pisteytyksessä on jotain vialla (Streiner ja Norman 2008). Cronbachin alfaa käytetään paljon rutiinimaisesti analysoitaessa moniulotteisten mittareiden sisäistä yhtenäisyyttä. Tilalle on myös esitetty käytettäväksi uutta Tarkkosen menetelmää (Vehkalahti 2000). Sisällön validoinnilla ja sisäisellä yhtenevyydellä on yhteys. Esimerkiksi, jos tavoitteena on mitata tiettyä piirrettä, vaikeutta tai käyttäytymistä, joka on heterogeeninen, on ymmärrettävää, että mittarilla on heikko sisäinen yhtenevyys. Tällainen tilanne voi olla esimerkiksi joidenkin oirekyselyiden kohdalla, sillä monissa sairauksissa oireet voivat olla kovin erilaisia eikä tällöin ole välttämättä mahdollista rakentaa sisäisesti yhdenmukaista kyselyä. Erilaiset oireet ovat kuitenkin tärkeitä ja oleellisia, joten kyselyn sisäinen validiteetti on tällöin tärkeämpi kuin sisäinen yhtenevyys. Tästä jatkuu!!! [20]
21 5 MUUTOSHERKKYYS (responsiveness) Muutosherkkyys on kohtalaisen uusi käsite, jolla ei ole ollut vakiintunutta tarkastelutapaa. Muutosherkkyydestä on käytetty muun muassa käsitteitä sensitivity to change ja responsiveness (Finch ym. 2002), joista ainakin jälkimmäinen on vakiintunut käyttöön (de Vet ym. 2011). Muutosherkkyys on tärkeä mittarin psykometrinen ominaisuus erityisesti silloin, kun mittarilla arvioidaan muutosta. Muutosherkkyyttä on pidetty sekä itsenäisenä psykometrisenä ominaisuutena (Kirsner ja Guyatt 1985) että osana validiteettia (Hays ja Hadorn 1992). Tässä yhteydessä noudatamme De Vetin ym. (2011) esittämää COSMIN-taksonomiaa, jossa muutosherkkyys ymmärretään osaksi validiteettia. Kuitenkin muutosherkkyyden tärkeyden vuoksi se on kuvattu tässä erikseen omassa kappaleessaan. Muutosherkkyys on siis osa mittarin validiteettia, koska määrittelyn mukaan muutosherkkyys on mittarin kyky havaita tarkasteltavassa ominaisuudessa ajassa tapahtuvia muutoksia (vrt. validiteetin määritelmä) (de Vet ym. 2011, 202). Keskeisin ero validiteetin ja muutosherkkyyden tarkastelussa on siten se, että validiteettia tarkasteltaessa kohteena ovat yhden mittauskerran tulokset (single score), mutta muutosherkkyyttä tarkasteltaessa kohteena on kahden mittauskerran tulosten muutos (change score). Siten muutosherkkyyden voidaan ajatella olevan myös pitkittäisvaliditeetti. Muitakin määritelmiä on ollut käytössä perustuen muunlaisiin näkökulmiin, joista tässä on esillä kaksi. Ensinnäkin mittarin muutosherkkyys on määritelty yleiseksi kyvyksi havaita muutos (the ability to detect change in genera ). De Vetin ym. (2011, 204) mukaan tämä määritelmä on liian lavea, sillä mittarin kyky havaita mitä tahansa muutosta ei ole keskeistä, vaan se miten mittari havaitsee muutoksen juuri mitattavassa konstruktiossa. Toinen erilainen tapa määritellä mittarin muutosherkkyys on määritellä se kyvyksi havaita kliinisesti tärkeä muutos (the ability to detect clinically important change). De Vetin ym. (2011, 204) mukaan tämä vaatii määritelmän siitä, mikä on kliinisesti tärkeä muutos. Heidän mielestään tämä on siis enemmän tulosten tulkintaa (ks. kappale 6) kuin puhtaasti mittarin muutosherkkyyttä. Tästä syystä tärkeys ei kuulu COSMINpaneelin määritelmään muutosherkkyydestä. Muutosherkkyyden tutkiminen edellyttää ainakin kahden ryhmän vertailua (stabiili vs. muutos) pitkittäisasetelmassa, jossa on toteutettu vähintään kaksi mittauskertaa (Finch ym. 2002, Lohr 2002, Haley ja Fragala-Pinkham 2006). Aikaväli mittausten välillä voi olla joko lyhyt (muutama viikko) tai pitkä (kuukausia). Aikavälillä ei itsessään ole merkitystä, vaan ainoastaan sillä, onko oletettavaa, että kyseisellä aikavälillä mitattavassa suureessa on mahdollista tapahtua ainakin osalla tutkittavista joko paranemista tai heikkenemistä. Tarkoituksena siis on, että tarkasteltavan mittarin olisi kyettävä havaitsemaan tämä mahdollinen muutos. [21]
22 5.1 Suositeltavia tilastollisia menetelmiä muutosherkkyyden mittaamiseen Muutosherkkyyttä tutkitaan hyvin samalla tavoin kuin validiteettia, koska sitä tarkastellaan joko kriteeri- (criterion) tai rakenne (construct) -näkökulmasta (vrt. kappaleet 3.3 ja 3.4). Muutosherkkyyden kriteerinäkökulma vaatii samanaikaista mittausta tutkittavalla mittarilla ja kultaisella standardilla. Ainoa ero kriteerivaliditeetin mittaamiseen on se, että mittarin muutosherkkyyttä tutkittaessa tarkastellaan kahden eri mittauskerran välistä muutosta, ei yksittäisen mittauksen tuloksia. Mittaukset on tehtävä samanaikaisesti sekä tutkittavalla mittarilla että kultaisella standardilla ja huomioitavaa on, että kultaisena standardina käytettävän mittarin muutosherkkyys on oltava tiedossa. Muutosherkkyyden tilastollinen tarkastelu tapahtuu käyttäen samoja tilastollisia menetelmiä kuin tutkittaessa kriteerivaliditeettia (ks. taulukko 1), esim. ROCkäyrä. Käytettäessä ROC-käyrää (kuva 6; ks. myös kpl 6.2.2) muutosherkkyyden tarkastelussa on huomioitava, että tutkittavien joukossa olisi oltava osa sellaisia, joilla tapahtui mittauksien välillä muutos sekä sellaisia, joilla muutosta ei tapahtunut. KUVA 6. ROC-käyrä (receiver operating characteristics curve). Jos kultaista standardia ei ole käytettävissä, mittarin muutosherkkyyttä tutkitaan samoilla periaatteilla kuin rakennevaliditeettiakin, ts. asettamalla ennalta laadittuja hypoteeseja mittareiden ja/tai ryhmien välisille tuloksille. Hypoteesien tulisi sisältää tulosten odotettu suunta ja suuruus (absoluuttisesti tai suhteellisesti ilmoitettuna). Tuloksien tarkastelussa (esim. korrelaatioissa) ei tulisi nojautua p-arvoihin, koska muutosherkkyyttä arvioitaessa ei ole oleellista määrittää sitä, eroavatko saadut korrelaatiot merkitsevästi nollasta vai eivät. Sen sijaan tulisi keskittyä siihen, ovatko mitatun konstruktion havaittujen korrelaatioiden suunta ja suuruus hypoteeseissa oletettujen korrelaatioiden suuntainen. Tilanne on aivan sama arvioitaessa mittarin kykyä erotella ryhmiä. Muutosherkkyyttä tarkasteltaessa ei ole niin oleellista eroavatko ryhmät tilastollisesti merkitsevästi toisistaan, vaan ovatko havaitut erot suurempia/pienempiä kuin [22]