Harha (tutkimus)
Arviointi

Harhan arviointiin tutkimuksissa on kehitetty erilaisia työkaluja. Terveystieteissä havainnoivan toimenpidetutkimuksen harhan arviointiin voidaan käyttää esimerkiksi ROBINS-I -työkalua, joka suosittelee arvioimaan harhaa seuraavalla tavalla:
Arviointiin tulisi osallistua sekä menetelmä- että aiheasiantuntijoita. Myös tutkittavien toimenpiteiden käyttäjiä on hyödyllistä haastatella oleellisten muuttujien ja näiden syy-seuraussuhteiden tunnistamiseksi. Oleellisia muuttujia ovat erityisesti sekoittavat tekijät, rinnakkaistoimenpiteet ja toimenpiteen ennustetekijät mutta myös vaikutuksen välittäjät ja muovaajat ja yhteiset vasteet.
Tutkimuskysymys määritellään kohdekokeena (engl. target trial), eli kuvailemalla samankaltainen satunnaistettu vertailukoe (kuten kliininen koe), joka vastaisi haluttuun kysymykseen pienellä harhalla.
Vasteet ja vaikutussuureet määritellään täsmällisesti.
Sekoittuneisuuden riski ja mahdollinen suunta arvioidaan selvittämällä...
Ovatko yhteydet yhteisiin syihin voimakkaita ja kuinka hyvin mahdolliset sekoittavat tekijät ovat ylipäätään tiedossa?
Ovatko negatiiviset kontrollit yhteydessä oleellisiin muuttujiin?
Mikä on aikariippuvaisen sekoittuneisuuden riski: Verrataanko analyysissä seuranta-aikoja ja onko toimenpidevaihdosten yhteys vasteeseen voimakas?
Onko oleelliset muuttujat mitattu tarkasti ja otettu asianmukaisesti huomioon analyysissä? Soveltuuko menetelmä aikariippuvaisen sekoittuneisuuden hallintaan (g-menetelmä)?
Onko vakiointijoukossa (engl. adjustment set) mukana vaikutuksen välittäjiä tai yhteisiä vasteita?
Valintaharhan riski ja mahdollinen suunta arvioidaan selvittämällä...
Vaikuttavatko toimenpiteen aloituksen jälkeiset tekijät siihen, miten havaintoyksikköjä tai havaintoja valitaan tutkimukseen tai analyysiin? Ovatko näiden tekijöiden yhteydet toimenpiteeseen ja vasteeseen voimakkaita?
Alkaako toimenpide ja seuranta samaan aikaan?
Onko oleelliset muuttujat mitattu tarkasti ja otettu asianmukaisesti huomioon analyysissä? Onko menetelmä soveltuva valintaharhan korjaamiseen?
Toimenpiteen mittaus- ja myöntyvyysharhan riski ja mahdollinen suunta arvioidaan selvittämällä...
Onko toimenpideryhmät määritelty täsmällisesti?
Onko määrittelyyn tarvittava tieto mitattu ennen toimenpiteen alkua?
Voivatko vaste tai tämän ennustetekijät vaikuttaa toimenpideryhmän määritykseen?
Ovatko poikkeamat suunnitellusta toimenpiteestä suurempia kuin tavallisissa käytännön olosuhteissa (terveydenhuollossa)?
Jakautuvatko poikkeamat ja rinnakkaistoimenpiteet tasaisesti toimenpideryhmien kesken?
Kuinka paljon poikkeamat ja rinnakkaistoimenpiteet vaikuttavat vasteeseen?
Toteutuuko toimenpide suunnitellusti suurella osalla väestöstä?
Onko oleelliset muuttujat mitattu tarkasti ja otettu asianmukaisesti huomioon analyysissä? Soveltuuko menetelmä kyseisen harhan korjaamiseen (esim. IP-painotus, instrumenttimuuttuja-analyysi)?
Puuttuvan tiedon aiheuttaman harhan riski ja mahdollinen suunta arvioidaan selvittämällä...
Kuinka suuri osuus havainnoista puuttuu kaikissa oleellisissa muuttujissa?
Jätettiinkö havaintoja ulos analyysistä puuttuvan tiedon vuoksi?
Ovatko puuttuvien havaintojen osuudet ja syyt samankaltaisia toimenpideryhmittäin?
Ovatko puuttuvien havaintojen herkkyysanalyysien tulokset samankaltaisia?
Ovatko puuttuvan tiedon korjaamiseen käytettyjen menetelmien oletukset uskottavia?
Vasteen mittausharhan riski ja mahdollinen suunta arvioidaan selvittämällä...
Kuinka paljon tieto toimenpiteestä voi vaikuttaa vasteen mittaamiseen?
Olivatko vasteen mittaajat tietoisia toimenpiteen arvosta?
Mitattiinko vaste samalla tavalla eri toimenpideryhmissä?
Ovatko mittausvirheet yhteydessä toimenpiteeseen tai sekoittaviin tekijöihin?
Raportointiharhan riski ja mahdollinen suunta arvioidaan selvittämällä...
Onko tulos voitu raportoida usean samankaltaisen vasten joukosta?
Onko tulos voitu raportoida usean erilaisen analyysin joukosta?
Onko tulos voitu raportoida usean erilaisen osajoukkoanalyysin joukosta?
Onko kokonaisharhan suunta ennustettavissa?
Tutkimuksen kokonaisharha luokitellaan matalaksi, kohtalaiseksi, vakavaksi tai kriittiseksi (tai tuntemattomaksi). Matalan riskin tutkimus vastaa laadukasta satunnaistettua vertailukoetta. Laadukkaassa havainnoivassa tutkimuksessa on yleensä vähintään kohtalainen harhan riski, usein tätä korkeampia.