Suurimman uskottavuuden estimointi

Suurimman uskottavuuden estimointi on tilastotieteellinen menetelmä, jota käytetään tilastollisen mallin parametrien estimointiin. Suurimman uskottavuuden menetelmä maksimoi uskottavuusfunktion mallin parametrien suhteen.
Historia.
Suurimman uskottavuuden estimointi on alun perin Ronald Fisherin vuosina 1912–1922 esittelemä ja nimeämä menetelmä. Alkuperäistä teoriaa ovat sittemmin paikkailleet niin Fisher kuin myös Abraham Wald ja Harald Cramér, jotka molemmat tekivät lisärajoituksia teorian oletuksiin.
Suurimman uskottavuuden historian voidaan kuitenkin katsoa alkavan jo paljon aikaisemmin. Joseph-Louis Lagrange päätteli jo vuonna 1769, että halutun keskiarvon todennäköisin arvo on havaintojen aritmeettinen keskiarvo. Myös muun muassa Jakob Bernoullin (1769, 1778) ja Pierre-Simon Laplacen (1774) voidaan katsoa käyttäneen menetelmää. Carl Friedrich Gauss esitteli vuonna 1809 pienimmän neliösumman menetelmän, jonka tuottamat estimaatit ovat myös suurimman uskottavuuden estimaatteja silloin, kun satunnaisvirheet ovat normaalijakautuneita. Karl Pearson ja L.N.G Filon käsittelivät vuonna 1898 yleisen tason estimointiongelmaa, jossa on joukko moniulotteisia havaintoja, joiden jakauma riippuu tuntemattomista parametreista.
Karl Pearson kritisoi Fisheriä ja suurimman uskottavuuden menetelmää siitä, ettei menetelmä uusi, vaan vain muunnos Gaussin esittämästä menetelmästä. Arthur Bowley vertasi suurimman uskottavuuden menetelmää Francis Ysidro Edgeworthin vuosina 1908-1909 tekemään työhön.
Määritelmä.
Suurimman uskottavuuden menetelmän käyttämiseksi tarvitaan uskottavuusfunktio.
Olkoon
Uskottavuusfunktio voidaan nyt määritellä seuraavasti
formula_5
Menetelmä etsii formula_1:lle sellaisen estimaatin, joka maksimoi uskottavuusfunktion "L"(θ) arvon. Suurimman uskottavuuden estimaattori määritellään siis seuraavasti:
formula_7
Usein oletetaan, että havainnot ovat toisistaan riippumattomia ja samoin jakautuneita. Tällöin voidaan lauseke kirjoittaa muotoon
formula_8
Koska lineaarisen ja logaritmisen funktion ääriarvot löytyvät samoista pisteistä, voidaan sama esittää myös logaritmifunktioiden avulla, jolloin kertolaskun sijaan voidaan käyttää log-uskottavuutta, eli summaa
 formula_9
Suurimman uskottavuuden menetelmä estimoi "θ"0:n etsimällä sellaisen "θ":n arvon, joka maksimoi uskottavuusfunktion. Tämä estimointimenetelmä määrää "θ"0:n suurimman uskottavuuden estimaatin
 formula_10
mikäli sellainen on olemassa. Suurimman uskottavuuden estimaatti on sama riippumatta siitä, maksimoidaanko uskottavuus- vai log-uskottavuusfunktiota, sillä logaritmi on monotonisesti kasvava funktio.
Ominaisuuksia.
Suurimman uskottavuuden estimaattoreilla ei ole optimaalisia ominaisuuksia äärellisillä otoksilla. Suurimman uskottavuuden estimointimenetelmä kuitenkin omaa useita haluttuja ominaisuuksia: Otoskoon kasvaessa kohti ääretöntä suurimman uskottavuuden estimaattoreilla on seuraavat ominaisuudet:
Esimerkkejä.
Jatkuva jakauma, jatkuva parametriavaruus.
Normaalijakaumalla formula_11 on tiheysfunktio
formula_12
jolloin yhteistiheysfunktio "n":n kokoiselle otokselle riippumattomia ja identtisesti jakautuneita normaalisia satunnaismuuttujia on
formula_13
eli
formula_14
missä formula_15 on otoksen keskiarvo.
Tällä jakaumaperheellä on kaksi parametria "θ" = ("μ", "σ"), joten maksimoimme uskottavuuden, formula_16, molempien parametrien suhteen.
Nyt voidaan laskujen helpottamiseksi käyttää log-uskottavuutta, sillä sen maksimoivat samat parametrien arvot jotka maksimoivat uskottavuuden.
formula_17
josta saadaan ratkaisu formula_18:n estimaatiksi
formula_19
Joka on funktion maksimi formula_18:lle, sillä se on funktion ainoa käännepiste ja funktion toinen derivaatta on pienempi kuin nolla. Koska formula_21:n odotusarvo on annetun jakauman parametrin formula_18 arvo,
formula_23
niin suurimman uskottavuuden estimaattori formula_24 on harhaton.
Vastaavasti derivoidaan log-uskottavuus σ:n suhteen ja asetetaan tulos nollaksi:
formula_25
jonka ratkaisu on
formula_26
ja sijoittamalla formula_24 saadaan
formula_28
Nyt odotusarvo voidaan laskea merkitsemällä formula_29, jolloin saadaan estimaatiksi
formula_30
ja hyödyntämällä tietoa formula_31 ja formula_32, saadaan
formula_33
Tämä tarkoittaa sitä, että formula_34 on harhainen. Mutta formula_34 on kuitenkin tarkentuva.
Formaalisti sanotaan, että formula_36 :n suurimman uskottavuuden estimaattori on:
formula_37
Riippuvat muuttujat.
Moniulotteista normaalijakaumaa noudattavat satunnaismuuttujat "X" ja "Y" ovat riippumattomia vain, mikäli niiden yhteistiheysfunktio on niiden tiheysfunktioiden tulo, eli
formula_38
Olkoon nyt kokoa n oleva vektori satunnaismuuttujia formula_39, jossa jokaisella muuttujalla on keskiarvo formula_40. merkitään lisäksi kovarianssimatriisi formula_41:lla.
Tällöin näiden n:n satunnaismuuttujan yhteistiheysfunktio on
formula_42
Kahden muuttujan tapauksessa yhteistiheysfunktioksi saadaan
formula_43
Tällaisissa tapauksissa, joissa yhteistiheysfunktio on olemassa uskottavuusfunktio määritellään, kuten yllä määritelmässä.