**Multinomiaalne logistiline regressioon** (ingl *multinomial logistic regression*) on klassifitseerimismeetod enam kui kahe võimaliku diskreetse tulemuse jaoks. See on binaarse logistilise regressiooni üldistus, kus olemasolevate andmete põhjal luuakse mudel selleks, et hinnata erinevatesse võimalikesse klassidesse kuulumise tõenäosust.

Multinoomjaotus
---------------

Multinoomjaotus on binoomjaotuse üldistus, kus igas üksikus katses on enam kui kaks võimalikku katsetulemust. Olgu võimalikud katsetulemused {\displaystyle 1,\ldots ,k} ning nende esinemise tõenäosused vastavalt {\displaystyle \mathbf {\pi } =\left(\pi \_{1},\ldots ,\pi \_{k}\right)}, kusjuures {\displaystyle \pi \_{1}+\ldots +\pi \_{k}=1} ja {\displaystyle \forall i\in \{1,\ldots ,k\}\quad \pi \_{i}\in [0,1]}. Tõenäosus, et {\displaystyle n} sõltumatus katses sündmused {\displaystyle 1,\ldots ,k} toimuvad vastavalt {\displaystyle \mathbf {y} ^{T}=(y\_{1},\ldots ,y\_{k})} korda, avaldub valemiga

{\displaystyle P\_{n}\left(y\_{1},y\_{2},\ldots ,y\_{k}\right)={\frac {n!}{y\_{1}!\ y\_{2}!\ \ldots \ y\_{k}!}}\pi \_{1}^{y\_{1}}\ \pi \_{2}^{y\_{2}}\ \ldots \ \pi \_{k}^{y\_{k}}}
Kuna {\displaystyle \sum \_{i=1}^{k}y\_{i}=n}, siis on ühe sündmuse toimumiste arv avaldatav teiste kaudu ning kasutusele saab võtta lühema vektori {\displaystyle \mathbf {y} ^{T}=(y\_{1},\ldots ,y\_{k-1})}. Siis avaldub tõenäosusfunktsioon valemiga

{\displaystyle P\_{n}\left(y\_{1},\ldots ,y\_{k-1}\right)={\frac {n!}{y\_{1}!\ \ldots \ y\_{k-1}!\left(n-y\_{1}-\ldots -y\_{k-1}\right)!}}\pi \_{1}^{y\_{1}}\ \ldots \ \pi \_{k-1}^{y\_{k-1}}\cdot (1-\pi \_{1}-\ldots -\pi \_{k-1})^{n-y\_{1}-\ldots -y\_{k-1}}.}
Multinoomjaotuse liikmete {\displaystyle \mathbf {y} ^{T}=(y\_{1},\ldots ,y\_{k-1})} keskväärtus ja dispersioon avalduvad vastavalt {\displaystyle E(y\_{i})=n\pi \_{i}} ja {\displaystyle D(y\_{i})=n\pi \_{i}(1-\pi \_{i})} iga {\displaystyle i=1,\ldots ,k-1} korral.

Multinomiaalne logit mudel
--------------------------

Olgu võimalikud katsetulemused {\displaystyle 1,\ldots ,k} ning seletavate tunnuste arv {\displaystyle m}. Binaarse *logit-*mudeli korral hinnatakse uuritava sündmuse toimumise ja vastandsündmuse toimumise šansi logaritmi

{\displaystyle \ln {\left({\frac {P(Y=1)}{P(Y=0)}}\right)}=\beta \_{0}+\beta \_{1}x\_{1}+\ldots +\beta \_{m}x\_{m}.}
Multinomiaalse mudeli korral vaadeldakse {\displaystyle k-1} *logit-*mudelit, kus igas mudelis hinnatakse sündmuse toimumise ehk mingile kindlale tasemele kuulumise ja baastasemele kuulumise šansi logaritmi.

Valides baastasemeks taseme {\displaystyle k}, avaldub {\displaystyle r}-ndale tasemele vastav *logit-*mudel järgmiselt

{\displaystyle \ln {\left({\frac {P(Y=r)}{P(Y=k)}}\right)}=\beta \_{r\_{0}}+\beta \_{r\_{1}}x\_{1}+\ldots +\beta \_{r\_{m}}x\_{m},}
kus {\displaystyle r=1,\ldots ,k-1}. Siinkohal tasub tähele panna, et parameetrid {\displaystyle \beta \_{r\_{0}},\ldots ,\beta \_{r\_{m}}} sõltuvad tasemest {\displaystyle r} ning baastaseme {\displaystyle k} võib valida vabalt tasemete {\displaystyle 1,\ldots ,k} hulgast. 

Olgu N kõikide võimalike populatsioonide arv nii et {\displaystyle n\_{i}} on vaatluste arv {\displaystyle i}-ndas populatsioonis ja {\displaystyle \sum \_{i=1}^{N}n\_{i}=n}, kus {\displaystyle n} on kõigi vaatluste arv. Suurus {\displaystyle \pi \_{ir}} tähistab siis iga {\displaystyle i}-nda populatsiooni vaatluse tõenäosust kuuluda tasemele {\displaystyle r}. Multinomiaalsest logit-funktsioonist saame siis

{\displaystyle \ln \left({\frac {\pi \_{ir}}{\pi \_{ik}}}\right)=\beta \_{r0}+\beta \_{r1}x\_{i1}+\ldots +\beta \_{rm}x\_{im}.}
Avaldades eelnevast {\displaystyle \pi \_{ir}} ning võttes, et iga {\displaystyle i=1,\ldots ,N} korral {\displaystyle x\_{i0}=1}, saame

{\displaystyle \pi \_{ir}={\frac {e^{\sum \_{j=0}^{m}\beta \_{rj}x\_{ij}}}{1+\sum \_{r=1}^{k-1}e^{\sum \_{j=0}^{m}\beta \_{rj}x\_{ij}}}},}
kus {\displaystyle r=1,\ldots ,k-1} ja 

{\displaystyle \pi \_{ik}=1-\pi \_{i1}-\ldots \pi \_{i(k-1)}={\frac {1}{1+\sum \_{r=1}^{k-1}e^{\sum \_{j=0}^{m}\beta \_{rj}x\_{ij}}}}.}

Parameetrite hindamine suurima tõepära meetodil
-----------------------------------------------

Olgu {\displaystyle \mathbf {y} \_{i}^{T}=(y\_{i1},\ldots ,y\_{iq})\sim M(n\_{i},\mathbf {\pi } \_{i}),\quad i=1,\ldots ,N} multinoomjaotusest, mille võimalike tasemete arv on {\displaystyle k=q+1}.

{\displaystyle P\_{n\_{i}}\left(\mathbf {y\_{i}} \right)={\frac {n\_{i}!}{y\_{i1}!\ \ldots \ y\_{iq}!\left(n\_{i}-y\_{i1}-\ldots -y\_{iq}\right)!}}\pi \_{i1}^{y\_{i1}}\ \ldots \ \pi \_{iq}^{y\_{iq}}\cdot (1-\pi \_{i1}-\ldots -\pi \_{iq})^{n\_{i}-y\_{i1}-\ldots -y\_{iq}}.}
Kuna jagatises {\displaystyle {\frac {n\_{i}!}{y\_{i1}!\ \ldots \ y\_{iq}!\left(n\_{i}-y\_{i1}-\ldots -y\_{iq}\right)!}}} ei ole hinnatavaid tõenäosusi {\displaystyle \pi \_{ir}}, siis võib seda vaadelda konstandina ja suurima tõepära funktsioon on

{\displaystyle L(\mathbf {\beta } )\simeq \prod \_{i=1}^{N}\pi \_{i1}^{y\_{i1}}\ \ldots \ \pi \_{iq}^{y\_{iq}}(1-\pi \_{i1}-\ldots -\pi \_{iq})^{n\_{i}-y\_{i1}-\ldots -y\_{iq}}=\prod \_{i=1}^{N}\prod \_{r=1}^{q}\left({\frac {\pi \_{ir}}{\pi \_{ik}}}\right)^{y\_{ir}}\cdot \pi \_{ik}^{n\_{i}}.}
Asendades {\displaystyle \pi \_{ir}} ja {\displaystyle \pi \_{ik}}, saame

{\displaystyle \prod \_{i=1}^{N}\prod \_{r=1}^{q}e^{y\_{ir}\sum \_{j=0}^{m}\beta \_{rj}x\_{ij}}\cdot \left(1+\sum \_{r=1}^{q}e^{\sum \_{j=0}^{m}\beta \_{rj}x\_{ij}}\right).}
Suurima tõepära hinnangute leidmiseks on vaja eelnev funktsioon maksimeerida. Kuna logaritm on monotoonne funktsioon, siis piisab selleks leida log-tõepära funktsiooni maksimumkohad. Suurima tõepära funktsioonist naturaallogaritmi võtmisel saame log-tõepära funktsiooni

{\displaystyle l({\boldsymbol {\beta }})=\sum \_{i=1}^{N}\sum \_{r=1}^{q}\left(y\_{ir}\sum \_{j=0}^{m}\beta \_{rj}x\_{ij}\right)-n\_{i}\ln \left(1+\sum \_{r=1}^{q}e^{\sum \_{j=0}^{m}\beta \_{rj}x\_{ij}}\right).}
Funktsiooni maksimeerimiseks {\displaystyle {\boldsymbol {\beta }}} suhtes, piisab meil leida funktsiooni osatuletised {\displaystyle {\frac {\partial l({\boldsymbol {\beta }})}{\partial \beta \_{rj}}}} ning iga {\displaystyle \beta \_{rj}} jaoks nullkohad.

Viited
------

1. ↑  Alan Agresti (2002). *Categorical Data Analysis*. New Jersey: Wiley. Lk 267. ISBN 0-471-36093-7.
2. 1 2  Gerhard Tutz (2012). *Regression for Categorical Data*. Cambridge: Cambridge University Press. Lk 209–210. ISBN 9780511842061.
3. ↑  Kalev Pärna (2013). *Tõenäosusteooria algkursus*. Tartu: Tartu Ülikooli Kirjastus. Lk 49. ISBN 978-9949-32-218-3.
4. 1 2  Scott A. Czepiel (2002). "Maximum Likelihood Estimation of Logistic Regression Models: Theory and Implementation" (PDF). Vaadatud 11.04.2018.