Estimointi

Estimoinnilla (engl. "estimation") tarkoitetaan, että etsitään parasta arviota perusjoukon parametrin oikealle arvolle otokseen perustuen. Estimaattorilla ("estimator") tarkoitetaan estimoinnissa käytettävää otossuuretta. Estimaatti ("estimate") taas on havaintoaineistosta laskettava estimaattorin arvo. Hyvänä muistisääntönä voidaan sanoa, että estimaattori on estimointikaava, jolla laskettu luku on estimaatti. Estimaatti on siis kiinteä luku, jolla ei ole satunnaisjakaumaa.
Estimaattori.
Estimaattori on satunnaismuuttuja, jolla siten on oma todennäköisyysjakauma eli otosjaukauma. Estimaattori on harhaton, jos estimaattori osuu keskimäärin oikeaan, eli sen otosjakauman odotusarvo on estimoitavan parametrin arvo. Harha ("bias") on estimaattorin odotusarvon poikkeama estimoitavan parametrin arvosta. 
Merkitään nyt tuntematonta parametria formula_1:lla ja sen estimaattoria formula_2:llä. formula_2:n harha on:
formula_4.
Yleensä vaaditaan asymptoottinen harhattomuus, jossa siis harha lähestyy nollaa, kun otoskoko kasvaa. Systemaattinen virhe johtuu estimaattorin harhaisuudeesta ja satunnaisvirhe taas otantavirheestä, mikä aiheutuu perusjoukon vaihtelusta.
Estimaattori on tarkentuva ("consistent"), jos se on asymptoottisesti harhaton ja lisäksi estimaattorin varianssi lähestyy asymptoottisesti nollaa. Tällöin otoskoon kasvaessa estimaattorin arvot keskittyvät yhä tiiviimmin parametrin todellisen arvon ympärille. Estimaattori on taas tehokas ("efficient"), jos se on asymptoottisesti harhaton ja sillä on pienin mahdollinen varianssi.
Estimointi.
Estimointimenetelmät perustuvat erilaisiin optimointikriteereihin, joista saadaan erilaisia estimaattoreita. Estimointiyhtälö tulee valita valitun optimointikriteerin mukaan, josta saadaan ratkaisuna estimaattori. Parametrien estimointivaiheita voidaan ajatella olevan kaksi suurempaa kokonaisuutta, kun tehdään tutkimusaineiston analyysiä:
Estimointimenetelmiä.
Momenttimenetelmä.
Momenttimenetelmä ("method of moments") on vanhin estimointimenetelmä, jossa otosmomentit asetetaan vastaamaan jakauman momentteja. Näistä saadaan yhtälöitä, joiden avulla ratkaistaan ja estimoidaan parametrit. Menetelmä ei kuitenkaan ole kovin tehokas.
Pienimmän neliösumman menetelmä.
Pienimmän neliösumman menetelmä ("least squares, LS") on yleisin optimointikriteeri ja hyvin käyttökelpoinen. Menetelmä on asymptoottisesti tehokas, koska sen tuottamat estimaattorit noudattavat asymptoottisesti normaalijakaumaa, kunhan otoskoko on riittävän suuri. Menetelmässä estimaattori minimoi keskineliöpoikkeaman ("mean squared error")
formula_5.
Tämä voidaan ilmaista myös varianssin ja harhan avulla seuraavasti:
formula_6.
Suurimman uskottavuuden estimointi.
Suurimman uskottovuuden estimointi on tilastotieteessä hyvin tärkeä estimointimenetelmä. Menetelmässä luodaan uskottavuusfunktio, joka maksimoidaan mallin parametrien suhteen.
Bayesin menetelmät.
Katso: Bayesilainen tilastotiede
Bayesilaisessa tilastotieteessä ajatellaan, että tarkasteltavalla parametrilla on myös satunnaisjakauma, eli se on satunnaismuuttuja. Tämä jakauma on a priori-jakauma.
A priori-jakauman tietoon yhdistetään havaintoaineiston tuoma uusi tieto, josta saadaan parametrille uusi jakauma, eli posteriori-jakauma. Posteriori-jakauman odotusarvo on Bayesin estimaatti.
Yllä kuvatut menetelmät ovat piste-estimointia. Voidaan myös estimoida optimaalinen väli, jolle estimoitava parametri kuuluu tietyllä todennäköisyydellä, jos estimaattorin jakauma ja keskivirhe on tiedossa. Luottamusväli on tavallisesti käytetty tilastollisessa päättelyssä. Luottamusvälit ovat satunnaisvälejä, jotka kertovat, millä tietyllä valitulla todennäköisyydellä estimoitava parametri kuuluu välille. Tavallisesti käytetään 95 %:n luottamusväliä, jossa lasketuista luottamusväleistä keskimäärin 95 % sisältää todellisen parametrin arvon.
Luottamusväli kuvaa siis estimoinnin tarkkuutta, eli mitä lyhyempi luottamusväli on, sitä tarkempi parametrin estimointi on ollut.