Moni-imputointi

Moni-imputointi on menetelmä, jonka avulla voidaan paikata puuttuvaa tietoa. Tiedon puuttuminen on suhteellisen yleistä, koska esimerkiksi kyselytutkimuksissa vastauksia ei saada jokaiselta otoksen tilastoyksiköltä tai kaikki vastanneet eivät vastaa tutkimuksen jokaiseen kysymykseen. Datan analysoinnin kannalta tällainen puuttuva tieto voi olla ongelmallista, koska vastaamattomuus saattaa olla satunnaisen puuttumisen sijaan systemaattista.
Tulokset voivat olla harhaisia, sillä kyselyyn vastanneet saattavat poiketa niistä, jotka eivät ole jostain syystä vastanneet. Puuttuvaa tietoa voidaan kuitenkin imputoida sen sijaan, että käytettäisiin pelkästään havaittuja arvoja tai vain täydellisiä havaintorivejä. Moni-imputointi kannattaa, koska se on yleensä tehokkaampi menetelmä kuin täydellisten havaintorivien käyttö.
Imputointi.
Tilastotieteessä imputointi on puuttuvien havaintojen paikkaamista. Ns. kunnollinen imputointi mahdollistaa aineiston pohjalta tehtävän validin tilastollisen päättelyn. Imputointi ei kuitenkaan ole ennustamista. Lähtökohtana on epätäydellinen data, josta saadaan monta uutta imputoitua dataa, joissa puuttuvat arvot on korvattu joillakin datan suhteen uskottavilla arvoilla, mutta havaitut arvot pysyvät ennallaan. Usein esimerkiksi viisi uutta dataa riittää.
Kiinnostavat parametrit estimoidaan sitten jokaisesta imputoimalla saadusta täydellisestä datasta. Jokaista saatua uutta aineistoa käsitellään kuten täydellistä dataa. Imputointiin liittyy kuitenkin epävarmuutta, jonka vuoksi tulokset poikkeavat toisistaan joka datassa, ja siten ne eroavat myös alkuperäisestä täydellisestä datasta. Lopuksi imputoitujen aineistojen parametrien estimaatit poolataan yhdeksi estimaatiksi. Myös varianssi estimoidaan. Moni-imputointikeskiarvon ja sen varianssin voi laskea ns. Rubinin kaavoilla.
Imputointi on kannattaa tehdä jotakin ohjelmistoa, kuten R, SAS, Stata tai SPSS, käyttäen. R:ssä imputoinnin voi tehdä esimerkiksi mice-paketin avulla.
Rubinin kaavat.
Moni-imputoitujen aineistojen tulokset voidaan yhdistää kaavoja käyttäen:
Moni-imputointikeskiarvo:
formula_1,
jossa formula_2 on kiinnostuksen kohteena olevan parametrin piste-estimaatti ja formula_3 imputoitujen aineistojen lukumäärä.
Varianssi moni-imputointikeskiarvolle:
formula_4,
jossa formula_5 varianssi imputoidussa otoksessa.
Imputointi keskiarvon avulla.
Puuttuvat havainnot voi korvata esimerkiksi aineiston keskiarvolla, mutta tätä tulisi välttää. Keskiarvoimputointi toiminee vain hätäapuna tapauksissa, joissa ainoastaan muutama havainto puuttuu. Imputoiminen keskiarvolla aliestimoi varianssia, vääristää muuttujien suhdetta, ja aiheuttaa estimaattien harhaa puuttuvuuden ollessa täysin satunnaista (MCAR). Moni-imputointiin keskiarvoimputointia ei voi käyttää, koska jokainen imputoitu aineisto olisi kuitenkin samanlainen.
Imputointi regressiota käyttäen.
Regressioimputointi tuottaa harhattomia estimaatteja keskiarvolle, mikäli puuttuvuus on täysin satunnaista (MCAR). Aluksi havaitusta datasta rakennetaan malli, jonka sovitteesta lasketut ennusteet korvaavat puuttuvat havainnot. Stokastinen regressioimputointi on hienostuneempi versio regressioimputoinnista.
Numeerinen esimerkki.
Oletetaan, että formula_6 ja formula_7 ovat satunnaisotoksia populaatiosta, mutta osa formula_7:n havainnoista puuttuu. Tavoitteena on estimoida formula_9.
formula_7:n puuttuvat havainnot voidaan imputoida esimerkiksi ottamalla huomioon kaksi lähintä arvoa. Tässä arvot 10 ja 14 ovat lähimpänä ensimmäistä puuttuvaa havaintoa ja arvot 14 ja 16 lähimpänä toista puuttuvaa havaintoa. Nyt formula_7:n ensimmäisen puuttuvan arvon tilalle arvotaan jompi kumpi näistä kahdesta havaituista arvosta. Tässä yksinkertaisessa tekaistussa esimerkissä imputointi tehdään vain kaksi kertaa.
Oletetaan, että ensimmäisellä imputointikerralla ensimmäisen puuttuvan havainnon arvoksi saadaan 10 ja toisella kerralla 14. Toiselle puuttuvalle havainnolle arvonta suoritetaan vastaavasti, ja saadaan arvot 16 ja 14. Ensimmäinen imputoitu aineisto on siten:
Toisen imputoidun aineiston ollessa:
Nyt ensimmäisen imputoidun aineiston formula_12=14.5 ja toisen aineiston formula_12=14.7.
Estimaatti (engl. ) saadaan laskettua kaavalla formula_14. Oletetaan nyt, että populaatiokeskiarvo formula_15 tunnetaan, ja se on 12. Aivan ensimmäisenä imputoidun aineiston estimaatiksi saadaan siten (12*14.5)/13=13.38, toisen vastaavasti (12*14.7)/13 =13.57.
Piste-estimaatin varianssi lasketaan kaavalla formula_16, jossa
formula_17.
Tässä esimerkissä otoskoko n on 10. Nyt ensimmäisen imputoidun datan piste-estimaatin varianssiksi saadaan siis 2.96 ja toisen 3.19.
R:llä piste-estimaatin varianssin voi laskea esimerkiksi seuraavalla tavalla:
y &lt;- c(10,10,14,16,16,15,20,4,18,22)
x &lt;- c(8,9,11,13,16,18,6,4,20,25)
n &lt;- length(x)
sum(((y-x*mean(y)/mean(x))^2/(n-1)))/n
Imputoiduista datoista saadut tulokset voidaan nyt yhdistää Rubinin kaavoilla:
D &lt;-2
Moni-imputointikeskiarvo:
theta &lt;-1/D*(13.38+13.57)
ja sen varianssi:
1/D*(2.96+3.19)+((D+1)/(D*(D-1)))*((13.38-theta)^2+(13.57-theta)^2)
Moni-imputointikeskiarvoksi saadaan siten 13.48 ja sen varianssiksi 3.10.
Laskimella saman voi laskea seuraavasti:
Piste-estimaatin varianssi ensimmäiselle imputoidulle aineistolle:
(((10-8*(14.5/13))^2 + (10-9*(14.5/13))^2 + (14-11*(14.5/13))^2 +
(16-13*(14.5/13))^2 + (16-16*(14.5/13))^2 +(15-18*(14.5/13))^2 +
(20-6*(14.5/13))^2 + (4-4*(14.5/13))^2 + (18-20*(14.5/13))^2 +
(22-25*(14.5/13))^2)/9)/10.
Moni-imputointikeskiarvo:
0.5*(13.38+13.57)
ja sen varianssi:
0.5*(2.96+3.19)+(3/2)*((13.38-14.6)^2+(13.57-14.6)^2)