Suurima tõepära meetod

Suurima tõepära meetod on statistikas laialt kasutatav meetod hinnangute leidmiseks. Suurima tõepära meetod on üldjuhul efektiivsem kui muud levinud meetodid. Olgu antud valim x 1 , x 2 , . . . , x n {\displaystyle x_{1},x_{2},...,x_{n}} jaotusest F ( x ; θ ) {\displaystyle F(x;\theta )} , mis võib olla kas pidev või diskreetne. Tõepärafunktsiooniks nimetame avaldist L ( θ ) = { f ( x 1 ; θ ) ⋅ f ( x 2 ; θ ) ⋅ . . . ⋅ f ( x n ; θ ) , pideval juhul, p ( x 1 ; θ ) ⋅ p ( x 2 ; θ ) ⋅ . . . ⋅ p ( x n ; θ ) , diskreetsel juhul, {\displaystyle L(\theta )=\left\{{\begin{array}{c}f(x_{1};\theta )\cdot f(x_{2};\theta )\cdot ...\cdot f(x_{n};\theta ),{\text{pideval juhul,}}\\p(x_{1};\theta )\cdot p(x_{2};\theta )\cdot ...\cdot p(x_{n};\theta ),{\text{diskreetsel juhul,}}\end{array}}\right.} kus f ( x ; θ ) {\displaystyle f(x;\theta )} tähistab jaotuse F {\displaystyle F} tihedusfunktsiooni (pideval juhul) ja p ( x ; θ ) {\displaystyle p(x;\theta )} tähistab F {\displaystyle F} tõenäosusfunktsiooni (diskreetsel juhul), θ ∈ A {\displaystyle \theta \in A} . Olgu X = ( X 1 , X 2 , . . . , X n ) , X i {\displaystyle X=(X_{1},X_{2},...,X_{n}),X_{i}} sõltumatud suurused ja X i ∼ F ( x ; θ ) {\displaystyle X_{i}\sim F(x;\theta )} , siis L ( θ ) {\displaystyle L(\theta )} on valimi x = ( x 1 , x 2 , . . . , x n ) {\displaystyle x=(x_{1},x_{2},...,x_{n})} saamise tõenäosus (diskreetsel juhul) või juhusliku vektori X {\displaystyle X} tihedusfunktsiooni väärtus punktis x {\displaystyle x} (pideval juhul) antud θ {\displaystyle \theta } korral. Realiseerunud valimi x {\displaystyle x} korral on suurused x 1 , x 2 , . . . , x n {\displaystyle x_{1},x_{2},...,x_{n}} teadaolevad arvud ja L ( θ ) {\displaystyle L(\theta )} on üksnes parameetri θ {\displaystyle \theta } funktsioon. Eesmärgiks on leida niisugune θ {\displaystyle \theta } väärtus parameeterruumist A {\displaystyle A} , et L ( θ ) {\displaystyle L(\theta )} oleks maksimaalne. Ütleme, et vastav θ {\displaystyle \theta } väärtus on kõige tõepärasem vaadeldava valimi jaoks (st ka vastav üldkogumi jaotus on kõige tõepärasem vaadeldava valimi jaoks). Suurima tõepära printsiip – kõige tõepärasema üldkogumijaotuse määramine antud valimi jaoks. Väärtust θ ^ {\displaystyle {\hat {\theta }}} , mida maksimeeritakse parameeterruumis A {\displaystyle A} ( L ( θ ) {\displaystyle L(\theta )} saavutab maksimaalse väärtuse), nimetatakse parameetri θ {\displaystyle \theta } suurima tõepära hinnanguks: L ( θ ^ ) = max θ ∈ A   L ( θ ) . {\displaystyle L({\hat {\theta }})={\underset {\theta \in A}{\operatorname {max} }}\ L(\theta ).} Kui tahta leida suurima tõepära hinnangut praktiliselt, on tihti lihtsam kasutada tõepärafunktsiooni logaritmi. Logaritmi monotoonsuse tõttu saavutavad L ( θ ) {\displaystyle L(\theta )} ja ln ⁡ L ( θ ) {\displaystyle \ln L(\theta )} maksimumi samas punktis, st määravad sama suurima tõepära hinnangu. Logaritmiline tõepärafunktsioon on l ( θ ; x ) = ln ⁡ L ( θ ; x ) { ∑ i = 1 n ln ⁡ f ( x i ; θ ) , pideval juhul, ∑ i = 1 n ln ⁡ p ( x i ; θ ) , diskreetsel juhul, {\displaystyle l(\theta \,;x)=\ln L(\theta \,;x)\left\{{\begin{array}{c}\sum _{i=1}^{n}\ln f(x_{i};\theta ),{\text{pideval juhul,}}\\\sum _{i=1}^{n}\ln p(x_{i};\theta ),{\text{diskreetsel juhul,}}\end{array}}\right.} Näide 1: Mündivise. Üldkogumijaotuseks on mündi visketulemuse (vapp, kiri) jaotus, kus vapi tulemise tõenäosuseks on p {\displaystyle p} ja kirja tulemise tõenäosuseks 1 − p {\displaystyle 1-p} . Olgu eelnevalt teada, et p ∈ { 1 2 ; 1 4 } {\displaystyle p\in {\Big \{}{\frac {1}{2}};{\frac {1}{4}}{\Big \}}} Olgu meil kaks vaatlust: x 1 {\displaystyle x_{1}} = vapp ja x 2 {\displaystyle x_{2}} = vapp. Kumb on tõepärasem hinnang parameetrile p, kas 1 2 {\displaystyle {\frac {1}{2}}} või 1 4 {\displaystyle {\frac {1}{4}}} Kirjutame välja tõepärafunktsiooni: L ( p ) = P ( X = x 1 ) ⋅ P ( X = x 2 ) = p 2 , {\displaystyle L(p)=P(X=x_{1})\cdot P(X=x_{2})=p^{2},} millest saame, et L ( 1 2 ) = 1 4 , L ( 1 4 ) = 1 16 {\displaystyle L({\frac {1}{2}})={\frac {1}{4}},L({\frac {1}{4}})={\frac {1}{16}}} . Kuna L ( 1 2 ) > L ( 1 4 ) {\displaystyle L({\frac {1}{2}})>L({\frac {1}{4}})} , siis p ^ = 1 2 {\displaystyle {\hat {p}}={\frac {1}{2}}} on suurima tõepära hinnang p {\displaystyle p} -le. Näide 2: Olgu üldkogumijaotus eksponentjaotusest E x p ( λ ) {\displaystyle Exp(\lambda )} parameetriga λ = 1 θ {\displaystyle \lambda ={\frac {1}{\theta }}} . Jaotusele vastav tihedusfunktsioon on f ( x ; θ ) = 1 θ e − x θ , x ≥ 0. {\displaystyle f(x;\theta )={\frac {1}{\theta }}e^{-{\frac {x}{\theta }}},x\geq 0.} Olgu parameeter θ {\displaystyle \theta } tundmatu. Pole raske näidata, et θ {\displaystyle \theta } on antud jaotuse keskväärtus. Olgu meil n = 4 {\displaystyle n=4} vaatlust jaotusest: 0.322 , 0.879 , 0.222 , 0.012. {\displaystyle 0.322,0.879,0.222,0.012.} Leiame tõepärafunktsiooni L ( θ ) = ∏ i = 1 n f ( x i ; θ ) = 1 θ n e − ∑ i = 1 n θ = 1 θ 4 e − 1.435 θ {\displaystyle L(\theta )=\prod _{i=1}^{n}f(x_{i};\theta )={\frac {1}{\theta ^{n}}}e^{-{\frac {\sum _{i=1}^{n}}{\theta }}}={\frac {1}{\theta ^{4}}}e^{\frac {-1.435}{\theta }}} ja logaritmilise tõepärafunktsiooni: l ( θ ) = ln ⁡ L ( θ ) = − 4 ln ⁡ θ − 1.435 θ {\displaystyle l(\theta )=\ln L(\theta )=-4\ln \theta -{\frac {1.435}{\theta }}} Paneme tähele, et tõepärafunktsioonid on θ {\displaystyle \theta } funktsioonid. Mõlemad funktsioonid saavutavad maksimumi samal kohal, kuna logaritmfunktsioon on monotoonselt kasvav. Maksimumi leidmiseks leiame tuletise, d d θ l ( θ ) = − 4 θ + 1.435 θ 2 . {\displaystyle {\frac {d}{d\theta }}l(\theta )=-{\frac {4}{\theta }}+{\frac {1.435}{\theta ^{2}}}.} Tuletise võrdsustamisel nulliga saame logaritmilise tõepärafunktsiooni maksimumpunkti, mis on ühtlasi parameetri θ {\displaystyle \theta } suurima tõepära hinnanguks, θ ^ = 0.358 {\displaystyle {\hat {\theta }}=0.358} . Logistilise regressiooni korral avaldub suurima tõepära hinnang järgmiselt: L F = ∏ i = 1 n { P i Y i ∗ ( 1 − P i ) 1 − Y i } , {\displaystyle LF=\prod _{i=1}^{n}\{P_{i}^{Y_{i}}*(1-P_{i})^{1-Y_{i}}\},} kus L F {\displaystyle LF} on tõepära hinnang, Y i {\displaystyle Y_{i}} on vaadeldav väärtus i {\displaystyle i} -l juhul ja P i {\displaystyle P_{i}} on ennustatud tõenäosus i {\displaystyle i} -l juhul. P i {\displaystyle P_{i}} väärtused tulevad logistilise regressiooni mudelist ja valemist P i = 1 / ( 1 + e − L i ) {\displaystyle P_{i}=1/(1+e^{-L_{i}})} , kus L i {\displaystyle L_{i}} on log-šansid, mis on määratud vabaliikme ja parameetri väärtuste β {\displaystyle \beta } poolt. Eesmärk on leida β {\displaystyle \beta } väärtused, mille tulemusel saadakse L i {\displaystyle L_{i}} ja P i {\displaystyle P_{i}} väärtused, mis maksimeerivad L F {\displaystyle LF} -i. Lepik, Natalja. (2017). Tõenäosusteooria ja statistika II. Loengukonspekt. Kasutatud 19.03.2018. Pampel F. C. (2000). Logistic Regression. Aprimer. CA Sage: Thousand Oaks.