Tilastollisen hypoteesin testaus

Tilastotieteelliseen tutkimukseen kuuluu hypoteesien tekeminen, ja tätä kautta tilastollisen hypoteesin testaus.
Tilastollinen hypoteesi on perusjoukkoa koskeva väite, jonka todenperäisyyttä arvioidaan todennäköisyyksien avulla. Tilastollisen testin lähtökohtana on muodostaa nollahypoteesi ja vastahypoteesi. Nollahypoteesi H₀ yleensä vastaa tilannetta että verrattavien perusjoukkojen välillä ei ole mitään eroja ja kaikki havaitut poikkeamat näiden välillä on vain sattumaa. Yleensä nollahypoteesi on muotoa ”ei vaikutusta” tai ”ei eroa”. Nollahypoteesin vastahypoteesi H₁ on H₀:n antiteesi. Yleensä vastahypoteesi on muotoa ”on vaikutusta” tai ”on eroa”. Tutkittavaa ilmiötä mallinnetaan nollahypoteesin mukaisesti ja katsotaan ovatko tämän seuraukset mielekkäitä.
Yleensä nollahypoteesi halutaan kumota, koska ”ei eroavuutta” ei pidetä kiinnostavana tuloksena. H₀:aa pidetään työhypoteesina, joka valitaan testaamisen lähtökohdaksi teknisen helppoutensa takia. Mikä kuvaa, että verrattavilla perusjoukoilla ei ole mitään eroa ja kaikkien havaintojen oletetaan olevan samasta jakaumasta, mikä on teoreettisesti yksinkertaista.  Jos lähtökohta johtaa epäuskottaviin tuloksiin, niin tulee epäilys nollahypoteesin mielekkyydestä ja vastahypoteesi saa tukea.
Nollahypoteesin uskottavuutta mitataan testin havaitulla merkitsevyystasolla eli p-arvolla. Perinteisesti testeissä on etukäteen asetettu ”riskitaso” α jota pienemmät P-arvot johtavat H₀:n hylkäämiseen. Empiirisessä tutkimuksessa yleensä käytetty raja on 5%. Nollahypoteesin kumoavaa havaintoa kutsutaan tilastollisesti merkitseväksi.

Hypoteesin valinta

Hypoteesit aina viittaavat johonkin populaatioihin tai malleihin, eikä tiettyyn tulokseen, siksi H₀ ja H₁ täytyy aina esittää perusjoukon parametreina.
H₁ esittää vaikutusta mihin etsitään näyttöä, siksi tämä usein valitaan ensin, H₀ sen sijaan kuvaa, että haluttua vaikutusta ei tapahdu. H₁:n valinta on usein vaikeampi tehtävä, sillä ei ole aina varmaa eroavatko parametrit nollahypoteesin arvosta tiettyyn suuntaan vai molempiin, eli kuuluuko vastahypoteesin olla yksi- vai kaksisuuntainen. Kuitenkin joidenkin tilastotieteilijöiden mielestä tulisi aina käyttää kaksisuuntaista vaihtoehtoa.
Vastahypoteesi ilmaisee toiveita tai epäilyjä joita viedään aineistoon. Havaittu aineisto ei saa vaikuttaa testattavien hypoteesien tai vastahypoteesien asettamiseen, vaan hypoteesit on kiinnitettävä ennen datan katselua. Näkyvän poikkeavuuden poimiminen testattavaksi rikkoo riippumattomuusperiaatetta.

Monitestaus

Suurissa aineistoissa voidaan haluta tutkia miljoonia hypoteeseja. Yksi vaihtoehto monitestaukseen on virheellisten löydösten osuus (FDR).

Bayes-tilastotiede

Bayes-tilastotieteessä bayes-tekijän käyttö on bayesilainen vaihtoehto frekventistisen (klassisen) tilastotieteen hypoteesin testaukselle.
H₀ ja H₁ ovat hypoteesit, joita testataan.
Prioritodennäköisyyksillä määritellään priorivedonlyöntisuhde
Tämä kuvaa kuinka paljon uskotaan hypoteesiin H₀ suhteessa H₁ a priori.
Posterioritodennäköisyyksillä määritellään posteriorivedonlyöntisuhde 
Tämä kuvaa kuinka paljon uskotaan hypoteesiin H₀ suhteessa H₁ havainnon y jälkeen.
Bayes-tekijäksi sanotaan suhdetta
B on vedonlyöntisuhde H₀:n puolesta H₁:tä vastaan johtuen datasta y.
Kun B>1, niin H₀ saa enemmän tukea, jos taas B<1 niin H₁ saa tukea.