Multinomiaalne logistiline regressioon

**Multinomiaalne logistiline regressioon** (ingl *multinomial logistic regression*) on klassifitseerimismeetod enam kui kahe võimaliku diskreetse tulemuse jaoks. See on binaarse logistilise regressiooni üldistus, kus olemasolevate andmete põhjal luuakse mudel selleks, et hinnata erinevatesse võimalikesse klassidesse kuulumise tõenäosust.

## Multinoomjaotus
Multinoomjaotus on binoomjaotuse üldistus, kus igas üksikus katses on enam kui kaks võimalikku katsetulemust. Olgu võimalikud katsetulemused 1, \ldots, k ning nende esinemise tõenäosused vastavalt \mathbf{\pi}=\left( \pi_1, \ldots, \pi_k \right), kusjuures \pi_1 + \ldots + \pi_k = 1 ja \forall i \in \{1, \ldots, k\} \quad \pi_i \in [0,1]. Tõenäosus, et n sõltumatus katses sündmused 1, \ldots, k toimuvad vastavalt \mathbf{y}^T=(y_1, \ldots, y_k) korda, avaldub valemiga
: P_n\left(y_1, y_2, \ldots, y_k \right) = \frac{n!}{y_1!\ y_2!\ \ldots \ y_k!} \pi_1^{y_1} \ \pi_2^{y_2} \ \ldots  \ \pi_k^{y_k}
Kuna \sum_{i=1}^k y_i = n, siis on ühe sündmuse toimumiste arv avaldatav teiste kaudu ning kasutusele saab võtta lühema vektori \mathbf{y}^T = (y_1, \ldots, y_{k-1}). Siis avaldub tõenäosusfunktsioon valemiga
:  P_n\left(y_1, \ldots, y_{k-1} \right) = \frac{n!}{y_1!\ \ldots \ y_{k-1}! \left( n-y_1 -\ldots - y_{k-1} \right)!}
 \pi_1^{y_1} \ \ldots  \ \pi_{k-1}^{y_{k-1}}
 \cdot (1-\pi_1 - \ldots - \pi_{k-1})^{n-y_1 - \ldots - y_{k-1}}. 
Multinoomjaotuse liikmete \mathbf{y}^T=(y_1, \ldots, y_{k-1}) keskväärtus ja dispersioon avalduvad vastavalt E(y_i) = n \pi_i ja D(y_i) = n \pi_i (1-\pi_i) iga i=1, \ldots, k-1 korral.

## Multinomiaalne logit mudel

Olgu võimalikud katsetulemused 1, \ldots, k ning seletavate tunnuste arv m. Binaarse *logit-*mudeli korral hinnatakse uuritava sündmuse toimumise ja vastandsündmuse toimumise šansi logaritmi
: \ln{\left( \frac{P(Y=1)}{P(Y=0)} \right)} = \beta_0 + \beta_1x_1 + \ldots + \beta_mx_m.
Multinomiaalse mudeli korral vaadeldakse k-1 *logit-*mudelit, kus igas mudelis hinnatakse sündmuse toimumise ehk mingile kindlale tasemele kuulumise ja baastasemele kuulumise šansi logaritmi.

Valides baastasemeks taseme k, avaldub r-ndale tasemele vastav *logit-*mudel järgmiselt
: \ln{\left(\frac{P(Y=r)}{P(Y=k)} \right)} = \beta_{r_0} + \beta_{r_1}x_1 + \ldots + \beta_{r_m}x_m,
kus r = 1, \ldots, k-1. Siinkohal tasub tähele panna, et parameetrid \beta_{r_0}, \ldots, \beta_{r_m} sõltuvad tasemest r ning baastaseme k võib valida vabalt tasemete 1, \ldots, k hulgast. 

Olgu N kõikide võimalike populatsioonide arv nii et n_i on vaatluste arv i-ndas populatsioonis ja \sum_{i=1}^N n_i = n, kus n on kõigi vaatluste arv. Suurus \pi_{ir} tähistab siis iga i-nda populatsiooni vaatluse tõenäosust kuuluda tasemele r. Multinomiaalsest logit-funktsioonist saame siis
:  \ln \left( \frac{\pi_{ir}}{\pi_{ik}} \right) = \beta_{r0} + \beta_{r1}x_{i1} + \ldots + \beta_{rm}x_{im}.
Avaldades eelnevast \pi_{ir} ning võttes, et iga i = 1, \ldots, N korral x_{i0} = 1, saame
: \pi_{ir} = \frac{e^{\sum_{j=0}^m \beta_{rj}x_{ij}}}{1+\sum_{r=1}^{k-1}e^{\sum_{j=0}^m \beta_{rj}x_{ij}}}, 
kus r=1, \ldots, k-1 ja 
: \pi_{ik} = 1- \pi_{i1} - \ldots \pi_{i(k-1)} =  \frac{1}{1+\sum_{r=1}^{k-1}e^{\sum_{j=0}^m \beta_{rj}x_{ij}}}. 

## Parameetrite hindamine suurima tõepära meetodil

Olgu \mathbf{y}_i^T = (y_{i1}, \ldots, y_{iq}) \sim M(n_i, \mathbf{\pi}_i), \quad i=1, \ldots, N multinoomjaotusest, mille võimalike tasemete arv on k=q+1.
:  P_{n_i}\left(\mathbf{y_i}\right) = \frac{n_i!}{y_{i1}!\ \ldots \ y_{iq}! \left( n_i-y_{i1} -\ldots - y_{iq} \right)!}
 \pi_{i1}^{y_{i1}} \ \ldots  \ \pi_{iq}^{y_{iq}} \cdot (1-\pi_{i1} - \ldots - \pi_{iq})^{n_i-y_{i1} - \ldots - y_{iq}}. 
Kuna jagatises \frac{n_i!}{y_{i1}!\ \ldots \ y_{iq}! \left( n_i-y_{i1} -\ldots - y_{iq} \right)!} ei ole hinnatavaid tõenäosusi \pi_{ir}, siis võib seda vaadelda konstandina ja suurima tõepära funktsioon on
:  L(\mathbf{\beta}) \simeq \prod_{i=1}^{N} \pi_{i1}^{y_{i1}} \ \ldots  \ \pi_{iq}^{y_{iq}} 
 (1-\pi_{i1} - \ldots - \pi_{iq})^{n_i-y_{i1} - \ldots - y_{iq}} = \prod_{i=1}^{N} \prod_{r=1}^{q} \left( \frac{\pi_{ir}}{\pi_{ik}} \right)^{y_{ir}} \cdot \pi_{ik}^{n_i}.
Asendades \pi_{ir} ja \pi_{ik}, saame
:  \prod_{i=1}^{N} \prod_{r=1}^{q} e^{y_{ir} \sum_{j=0}^m \beta_{rj}x_{ij}} \cdot \left( 1+ \sum_{r=1}^q e^{\sum_{j=0}^m \beta_{rj}x_{ij}} \right).
Suurima tõepära hinnangute leidmiseks on vaja eelnev funktsioon maksimeerida. Kuna logaritm on monotoonne funktsioon, siis piisab selleks leida log-tõepära funktsiooni maksimumkohad. Suurima tõepära funktsioonist naturaallogaritmi  võtmisel saame log-tõepära funktsiooni
:  l(\boldsymbol{\beta}) = \sum_{i=1}^N \sum_{r=1}^q \left( y_{ir}\sum_{j=0}^m \beta_{rj}x_{ij} \right) - n_i \ln \left( 1+ \sum_{r=1}^q e^{\sum_{j=0}^m \beta_{rj}x_{ij}} \right). 
Funktsiooni maksimeerimiseks \boldsymbol{\beta} suhtes, piisab meil leida funktsiooni osatuletised \frac{\partial l(\boldsymbol{\beta})}{\partial \beta_{rj}} ning iga \beta_{rj} jaoks nullkohad.

## Viited