Logistinen regressio

Logistinen regressio (engl. logistic regression) on tilastollinen malli, joka on erityistyyppi tavanomaisesta regressiomallista. Logistisessa regressiomallissa selitettävä muuttuja on dikotominen eli kaksiluokkainen muuttuja. Selitettävä muuttuja saa arvon 0 tai 1 siten, että se muuttujan luokka, jota halutaan ennustaa, saa arvon 1. Logistinen regressiomalli on siis yleistetty lineaarinen malli, jonka linkkifunktio on formula_1. Selittävät muuttujat voivat olla suhdeasteikollisia, järjestysasteikollisia tai luokiteltuja.
Logistisella regressioanalyysillä mallinnetaan vastemuuttujan ja selittävien muuttujien suhdetta. Toisin kuin tavanomaisessa regressiomallissa, vasteen odotusarvo on riski (eng. odds). Riski on todennäköisyys, että jokin tapahtuma tapahtuu suhteessa siihen, että se ei tapahdu; formula_2 
Malli.
Oletetaan, että käytössä on formula_3 kappaletta selittäviä muuttujia. Merkitään vasteen odotusarvoa formula_4. 
Tehdään vasteen odotusarvolle logistinen muunnos 
formula_5 , missä
formula_6 . 
Silloin logistinen regressiomalli on formula_7 , josta ratkaisemalla formula_8 saadaan 
formula_9
formula_10
formula_11.
Mallin sovittaminen.
Yleiselle lineaariselle mallille, jolle vastemuuttuja on jatkuva, mallin sovitus voidaan tehdä pienimmän neliösumman menetelmällä (PNS). Koska logistisella regressiomallilla on dikotominen vaste, menetelmällä estimoitavilla parametreillä formula_12 ei ole tiettyjä ominaisuuksia. Mallin sovitus tehdään Suurimman uskottavuuden menetelmällä (SU), joka on yleistys PNS-menetelmästä. 
Sitä varten muodostetaan mallille uskottavuusfunktio: oletetaan, että käytössä on usean selittäjän malli. Oletetaan myös, että yksittäinen formula_13 noudattaa Bernoulli-jakaumaa formula_14 ja että vasteet ovat riippumattomia. Silloin niiden summa formula_15 noudattaa jakaumaa formula_16. Uskottavuusfunktio on
formula_17 numeerisesti. 
Devianssi.
Devianssin avulla voidaan tutkia, kuinka hyviä valitun mallin ennusteet ovat. 
Devianssi määritellään
formula_18
jossa saturoitu malli tarkoittaa mallia, joka sisältää yhtä monta parametria, kuin havaintoja on, ja sopii siten aineistoon täydellisesti (virhetemit ovat nollia).
Devianssilla verrataan siis, kuinka hyvin sovitetun mallin arvot eroavat saturoidusta mallista (verrattavissa lineaarisen regressiomallin jäännösneliösummien vertailuun). Mitä pienempi devianssi on, sitä paremmin malli sopii aineistoon.
Devianssin avulla voidaan laskea uskottavuusosamäärän testi, jolla selvitetään, ovatko mallin parametrit formula_19
merkitseviä, eli selittävätkö ne todella vasteen vaihtelua. 
Esimerkki.
Halutaan tutkia, miten ikä vaikuttaa riskiin sairastua sepelvaltimotautiin. Aineisto sisältää muuttujat 
formula_20= koehenkilön tunniste (koehenkilölle formula_21) 
formula_22= koehenkilön ikä
formula_23= tieto siitä, onko henkilö sairastunut sepelvaltimotautiin vai ei. Jos henkilö on sairastunut, CHD=1 ja jos henkilö ei ole sairastunut, CHD=0.
Malli on 
formula_24
eli formula_25
Suurimman uskottavuuden estimoinnilla saadaan formula_26, joka on mallin vakiotermi ja formula_27, joka on kulmakerroin muuttujalle formula_28. 
Malli on siis formula_29. 
Tulkinta: Kun verrataan kahta henkilöä, joista toinen on vuoden verran vanhempi, kuin toinen, vanhemmalla henkilöllä on formula_30-kertainen todennäköisyys sairastua sepelvaltimotautiin (suhteessa siihen, että ei sairastu), kuin nuoremmalla henkilöllä.