Multinomiaalne logistiline regressioon

Multinomiaalne logistiline regressioon (ingl multinomial logistic regression) on klassifitseerimismeetod enam kui kahe võimaliku diskreetse tulemuse jaoks. See on binaarse logistilise regressiooni üldistus, kus olemasolevate andmete põhjal luuakse mudel selleks, et hinnata erinevatesse võimalikesse klassidesse kuulumise tõenäosust. Multinoomjaotus on binoomjaotuse üldistus, kus igas üksikus katses on enam kui kaks võimalikku katsetulemust. Olgu võimalikud katsetulemused 1 , … , k {\displaystyle 1,\ldots ,k} ning nende esinemise tõenäosused vastavalt π = ( π 1 , … , π k ) {\displaystyle \mathbf {\pi } =\left(\pi _{1},\ldots ,\pi _{k}\right)} , kusjuures π 1 + … + π k = 1 {\displaystyle \pi _{1}+\ldots +\pi _{k}=1} ja ∀ i ∈ { 1 , … , k } π i ∈ [ 0 , 1 ] {\displaystyle \forall i\in \{1,\ldots ,k\}\quad \pi _{i}\in [0,1]} . Tõenäosus, et n {\displaystyle n} sõltumatus katses sündmused 1 , … , k {\displaystyle 1,\ldots ,k} toimuvad vastavalt y T = ( y 1 , … , y k ) {\displaystyle \mathbf {y} ^{T}=(y_{1},\ldots ,y_{k})} korda, avaldub valemiga P n ( y 1 , y 2 , … , y k ) = n ! y 1 !   y 2 !   …   y k ! π 1 y 1   π 2 y 2   …   π k y k {\displaystyle P_{n}\left(y_{1},y_{2},\ldots ,y_{k}\right)={\frac {n!}{y_{1}!\ y_{2}!\ \ldots \ y_{k}!}}\pi _{1}^{y_{1}}\ \pi _{2}^{y_{2}}\ \ldots \ \pi _{k}^{y_{k}}} Kuna ∑ i = 1 k y i = n {\displaystyle \sum _{i=1}^{k}y_{i}=n} , siis on ühe sündmuse toimumiste arv avaldatav teiste kaudu ning kasutusele saab võtta lühema vektori y T = ( y 1 , … , y k − 1 ) {\displaystyle \mathbf {y} ^{T}=(y_{1},\ldots ,y_{k-1})} . Siis avaldub tõenäosusfunktsioon valemiga P n ( y 1 , … , y k − 1 ) = n ! y 1 !   …   y k − 1 ! ( n − y 1 − … − y k − 1 ) ! π 1 y 1   …   π k − 1 y k − 1 ⋅ ( 1 − π 1 − … − π k − 1 ) n − y 1 − … − y k − 1 . {\displaystyle P_{n}\left(y_{1},\ldots ,y_{k-1}\right)={\frac {n!}{y_{1}!\ \ldots \ y_{k-1}!\left(n-y_{1}-\ldots -y_{k-1}\right)!}}\pi _{1}^{y_{1}}\ \ldots \ \pi _{k-1}^{y_{k-1}}\cdot (1-\pi _{1}-\ldots -\pi _{k-1})^{n-y_{1}-\ldots -y_{k-1}}.} Multinoomjaotuse liikmete y T = ( y 1 , … , y k − 1 ) {\displaystyle \mathbf {y} ^{T}=(y_{1},\ldots ,y_{k-1})} keskväärtus ja dispersioon avalduvad vastavalt E ( y i ) = n π i {\displaystyle E(y_{i})=n\pi _{i}} ja D ( y i ) = n π i ( 1 − π i ) {\displaystyle D(y_{i})=n\pi _{i}(1-\pi _{i})} iga i = 1 , … , k − 1 {\displaystyle i=1,\ldots ,k-1} korral. Olgu võimalikud katsetulemused 1 , … , k {\displaystyle 1,\ldots ,k} ning seletavate tunnuste arv m {\displaystyle m} . Binaarse logit-mudeli korral hinnatakse uuritava sündmuse toimumise ja vastandsündmuse toimumise šansi logaritmi ln ⁡ ( P ( Y = 1 ) P ( Y = 0 ) ) = β 0 + β 1 x 1 + … + β m x m . {\displaystyle \ln {\left({\frac {P(Y=1)}{P(Y=0)}}\right)}=\beta _{0}+\beta _{1}x_{1}+\ldots +\beta _{m}x_{m}.} Multinomiaalse mudeli korral vaadeldakse k − 1 {\displaystyle k-1} logit-mudelit, kus igas mudelis hinnatakse sündmuse toimumise ehk mingile kindlale tasemele kuulumise ja baastasemele kuulumise šansi logaritmi. Valides baastasemeks taseme k {\displaystyle k} , avaldub r {\displaystyle r} -ndale tasemele vastav logit-mudel järgmiselt ln ⁡ ( P ( Y = r ) P ( Y = k ) ) = β r 0 + β r 1 x 1 + … + β r m x m , {\displaystyle \ln {\left({\frac {P(Y=r)}{P(Y=k)}}\right)}=\beta _{r_{0}}+\beta _{r_{1}}x_{1}+\ldots +\beta _{r_{m}}x_{m},} kus r = 1 , … , k − 1 {\displaystyle r=1,\ldots ,k-1} . Siinkohal tasub tähele panna, et parameetrid β r 0 , … , β r m {\displaystyle \beta _{r_{0}},\ldots ,\beta _{r_{m}}} sõltuvad tasemest r {\displaystyle r} ning baastaseme k {\displaystyle k} võib valida vabalt tasemete 1 , … , k {\displaystyle 1,\ldots ,k} hulgast. Olgu N {\displaystyle N} kõikide võimalike populatsioonide arv nii et n i {\displaystyle n_{i}} on vaatluste arv i {\displaystyle i} -ndas populatsioonis ja ∑ i = 1 N n i = n {\displaystyle \sum _{i=1}^{N}n_{i}=n} , kus n {\displaystyle n} on kõigi vaatluste arv. Suurus π i r {\displaystyle \pi _{ir}} tähistab siis iga i {\displaystyle i} -nda populatsiooni vaatluse tõenäosust kuuluda tasemele r {\displaystyle r} . Multinomiaalsest logit-funktsioonist saame siis ln ⁡ ( π i r π i k ) = β r 0 + β r 1 x i 1 + … + β r m x i m . {\displaystyle \ln \left({\frac {\pi _{ir}}{\pi _{ik}}}\right)=\beta _{r0}+\beta _{r1}x_{i1}+\ldots +\beta _{rm}x_{im}.} Avaldades eelnevast π i r {\displaystyle \pi _{ir}} ning võttes, et iga i = 1 , … , N {\displaystyle i=1,\ldots ,N} korral x i 0 = 1 {\displaystyle x_{i0}=1} , saame π i r = e ∑ j = 0 m β r j x i j 1 + ∑ r = 1 k − 1 e ∑ j = 0 m β r j x i j , {\displaystyle \pi _{ir}={\frac {e^{\sum _{j=0}^{m}\beta _{rj}x_{ij}}}{1+\sum _{r=1}^{k-1}e^{\sum _{j=0}^{m}\beta _{rj}x_{ij}}}},} kus r = 1 , … , k − 1 {\displaystyle r=1,\ldots ,k-1} ja π i k = 1 − π i 1 − … π i ( k − 1 ) = 1 1 + ∑ r = 1 k − 1 e ∑ j = 0 m β r j x i j . {\displaystyle \pi _{ik}=1-\pi _{i1}-\ldots \pi _{i(k-1)}={\frac {1}{1+\sum _{r=1}^{k-1}e^{\sum _{j=0}^{m}\beta _{rj}x_{ij}}}}.} Olgu y i T = ( y i 1 , … , y i q ) ∼ M ( n i , π i ) , i = 1 , … , N {\displaystyle \mathbf {y} _{i}^{T}=(y_{i1},\ldots ,y_{iq})\sim M(n_{i},\mathbf {\pi } _{i}),\quad i=1,\ldots ,N} multinoomjaotusest, mille võimalike tasemete arv on k = q + 1 {\displaystyle k=q+1} . P n i ( y i ) = n i ! y i 1 !   …   y i q ! ( n i − y i 1 − … − y i q ) ! π i 1 y i 1   …   π i q y i q ⋅ ( 1 − π i 1 − … − π i q ) n i − y i 1 − … − y i q . {\displaystyle P_{n_{i}}\left(\mathbf {y_{i}} \right)={\frac {n_{i}!}{y_{i1}!\ \ldots \ y_{iq}!\left(n_{i}-y_{i1}-\ldots -y_{iq}\right)!}}\pi _{i1}^{y_{i1}}\ \ldots \ \pi _{iq}^{y_{iq}}\cdot (1-\pi _{i1}-\ldots -\pi _{iq})^{n_{i}-y_{i1}-\ldots -y_{iq}}.} Kuna jagatises n i ! y i 1 !   …   y i q ! ( n i − y i 1 − … − y i q ) ! {\displaystyle {\frac {n_{i}!}{y_{i1}!\ \ldots \ y_{iq}!\left(n_{i}-y_{i1}-\ldots -y_{iq}\right)!}}} ei ole hinnatavaid tõenäosusi π i r {\displaystyle \pi _{ir}} , siis võib seda vaadelda konstandina ja suurima tõepära funktsioon on L ( β ) ≃ ∏ i = 1 N π i 1 y i 1   …   π i q y i q ( 1 − π i 1 − … − π i q ) n i − y i 1 − … − y i q = ∏ i = 1 N ∏ r = 1 q ( π i r π i k ) y i r ⋅ π i k n i . {\displaystyle L(\mathbf {\beta } )\simeq \prod _{i=1}^{N}\pi _{i1}^{y_{i1}}\ \ldots \ \pi _{iq}^{y_{iq}}(1-\pi _{i1}-\ldots -\pi _{iq})^{n_{i}-y_{i1}-\ldots -y_{iq}}=\prod _{i=1}^{N}\prod _{r=1}^{q}\left({\frac {\pi _{ir}}{\pi _{ik}}}\right)^{y_{ir}}\cdot \pi _{ik}^{n_{i}}.} Asendades π i r {\displaystyle \pi _{ir}} ja π i k {\displaystyle \pi _{ik}} , saame ∏ i = 1 N ∏ r = 1 q e y i r ∑ j = 0 m β r j x i j ⋅ ( 1 + ∑ r = 1 q e ∑ j = 0 m β r j x i j ) . {\displaystyle \prod _{i=1}^{N}\prod _{r=1}^{q}e^{y_{ir}\sum _{j=0}^{m}\beta _{rj}x_{ij}}\cdot \left(1+\sum _{r=1}^{q}e^{\sum _{j=0}^{m}\beta _{rj}x_{ij}}\right).} Suurima tõepära hinnangute leidmiseks on vaja eelnev funktsioon maksimeerida. Kuna logaritm on monotoonne funktsioon, siis piisab selleks leida log-tõepära funktsiooni maksimumkohad. Suurima tõepära funktsioonist naturaallogaritmi võtmisel saame log-tõepära funktsiooni l ( β ) = ∑ i = 1 N ∑ r = 1 q ( y i r ∑ j = 0 m β r j x i j ) − n i ln ⁡ ( 1 + ∑ r = 1 q e ∑ j = 0 m β r j x i j ) . {\displaystyle l({\boldsymbol {\beta }})=\sum _{i=1}^{N}\sum _{r=1}^{q}\left(y_{ir}\sum _{j=0}^{m}\beta _{rj}x_{ij}\right)-n_{i}\ln \left(1+\sum _{r=1}^{q}e^{\sum _{j=0}^{m}\beta _{rj}x_{ij}}\right).} Funktsiooni maksimeerimiseks β {\displaystyle {\boldsymbol {\beta }}} suhtes, piisab meil leida funktsiooni osatuletised ∂ l ( β ) ∂ β r j {\displaystyle {\frac {\partial l({\boldsymbol {\beta }})}{\partial \beta _{rj}}}} ning iga β r j {\displaystyle \beta _{rj}} jaoks nullkohad. Alan Agresti (2002). Categorical Data Analysis. New Jersey: Wiley. Lk 267. ISBN 0-471-36093-7. Gerhard Tutz (2012). Regression for Categorical Data. Cambridge: Cambridge University Press. Lk 209–210. ISBN 9780511842061. Kalev Pärna (2013). Tõenäosusteooria algkursus. Tartu: Tartu Ülikooli Kirjastus. Lk 49. ISBN 978-9949-32-218-3. Scott A. Czepiel (2002). "Maximum Likelihood Estimation of Logistic Regression Models: Theory and Implementation" (PDF). Vaadatud 11.04.2018.