Aldagai anitzeko banaketa normal

Probabilitatean eta estatistikan, **aldagai anitzeko banaketa normala** — **aldagai anitzeko banaketa gaussarra** ere deitua— dimentsio bakarreko banaketa normalaren dimentsio handiagoetara orokortzea da.

## Definizioa 
### Notazioa 
X = [X_1, \dots, X_n]^T dimentsioko ausazko bektore bat baldin bada n aldagai anitzeko banaketa normal normalarekin, orduan idazten dugu:

: X\ \sim \mathcal{N}(\mu, \Sigma)

edo X n dimentsioaren bektorea dela esan nahi badugu, orduan, erabiliko dugu:

: X\sim \mathcal{N}_n(\mu, \Sigma)
:
Ausazko bektorea, X = [X_1, \dots, X_n]^T, aldagai anitzeko banaketa normalari jarraitzen dio baldintza baliokide hauek betetzen baditu:

* Edozein konbinazio lineal Y = a_1 X_1 + \cdots + a_n X_n normal banatuta dago.
* Ausazko bektore bat dago, Z = [Z_1, \dots, Z_m]^T, eta bere osagaiak estandar normalaren arabera banatutako ausazko aldagai independenteak dira, bektore bat, \mu = [\mu_1, \dots, \mu_n]^T, eta matrize bat, n \times m A, hala nola X = A Z + \mu .
* Bektore bat dago, \mu, eta matrize erdidefinitu positibo simetriko bat, \Sigma; beraz, funtzio ezaugarria X da

: 
\phi_X\left(u;\mu,\Sigma\right)
=
\exp
\left(
 i \mu^\top u - \frac{1}{2} u^\top \Sigma u
\right).

\Sigma matrize ez-singular bat bada, orduan, banaketa dentsitate-funtzio honen bidez deskriba daiteke:

: 
f_X(x_1, \dots, x_n)
=
\frac
 {1}
 {(2\pi)^{n/2}|\Sigma|^{1/2}}
\exp
\left(
 -\frac{1}{2}
 ( \bold x - \bold \mu)^\top \Sigma^{-1} (\bold x - \bold \mu)
\right)

non \left| \Sigma \right|-k \Sigma matrizearen determinantea adierazten duen. Kontuan har nola goiko ekuazioa banaketa normalera murrizten den baldin eta \Sigma eskalar bat bada (hau da, 1x1 matrizea).

Bektorea, \mu egoera hauetan, X-ren  itxaropena da, eta \Sigma = A A^T matrizea X_j osagaien kobariantza matrizea da.

Kobariantza matrizea singularra izan daitekeela ulertzea garrantzitsua da (nahiz eta goiko formulak horrela deskribatzen ez duen, zeinarentzat \Sigma^{-1} definituta dagoen).

Egoera hori maiz agertzen da estatistiketan; adibidez, erregresio linealeko problema arruntetan hondar bektorearen banaketan. Kontuan har, oro har, *X**i-*ak *ez* direla, orokorrean, independenteak, Z aldagai arrunten bilduma batera A transformazio lineala aplikatzearen emaitza gisa ikus baitaiteke.

### Banaketa funtzioa 
Banaketa funtzioa F(x) definitzen da ausazko Xbektore baten balio guztiak x-ri dagozkion bektorearenak baino txikiagoak edo berdinak izateko probabilitatea bezala. Hala ere, F-k formularik ez badu ere, zenbakizko zenbatespena ahalbidetzen duten algoritmo batzuk daude.

### Kontrako adibide bat 
Izan ere, bi ausazko aldagaik, X eta Y, bakoitzak banaketa normal bat jarraitu arren, ez du esan nahi bikoteak (*X* , *Y*) banaketa normal bateratua jarraitzen duenik. Adibide sinple bat ematen da X Normala (0,1), Y=X |X|bada >1 eta Y=-X |X|bada . Hori ausazko bi aldagai baino gehiagotan ere egia da.

### Normalki banatua eta independentzia 
X eta Y normal banatuta eta independenteak badira, haien banaketa bateratua ere normal banatuta dago; hau da, bikoteak (*X* , *Y* ) aldagai biko banaketa bat izan behar du. Nolanahi ere, normal banatutako ausazko aldagai pare bat ez du zertan independentea izan behar elkarrekin kontuan hartzerakoan.

## Aldagai biko egoera 
Bi dimentsioen egoera partikularrean, dentsitate-funtzioa (0, 0 batebestekoarekin) da:

: 
f(x,y) = \frac{1}{2 \pi \sigma_x \sigma_y \sqrt{1-\rho^2}}
\exp
\left(
 -\frac{1}{2 (1-\rho^2)}
 \left(
 \frac{x^2}{\sigma_x^2} +
 \frac{y^2}{\sigma_y^2} -
 \frac{2 \rho x y}{ (\sigma_x \sigma_y)}
 \right)
\right)

non X eta Y arteko korrelazio-koefizientea \rho den.  Egoera honetan:

: 
\Sigma =
\begin{bmatrix}
\sigma_x^2       & \rho \sigma_x \sigma_y \\
\rho \sigma_x \sigma_y & \sigma_y^2
\end{bmatrix}.

## Eraldaketa afina 
Y = c + B X \,, izan ere, X\ \sim \mathcal{N}(\mu, \Sigma),-ren eraldaketa afina bada. non c\, M \times 1 konstanteen bektorea den eta B\, den M \times N matrizea, orduan, Y\,-k aldagai anitzeko banaketa normala du c + B \mu \,itxaropenarekin eta B \Sigma B^T \,bariantzarekin, hau da, Y \sim \mathcal{N} \left(c + B \mu, B \Sigma B^T\right). Bereziki, X_i\,-renedozein azpimultzok banaketa marjinal bat du, aldagai anitzeko normala ere badena.

Hori ikusteko, kontuan har honako adibide hau:  (X_1, X_2, X_4)^T \,azpimultzoa ateratzeko, erabili

: 
B =
\begin{bmatrix}
 1 & 0 & 0 & 0 & 0 & \ldots & 0 \\
 0 & 1 & 0 & 0 & 0 & \ldots & 0 \\
 0 & 0 & 0 & 1 & 0 & \ldots & 0
\end{bmatrix}

nahi diren elementuak zuzenean ateratzen dituena.

Z=b\cdot X banaketaren beste ondorio bat izango litzateke b bektorea X-ren luzera berekoa dela, eta puntuak biderketa bektoriala adierazten du, eta dimentsio bakarreko banaketa gaussarra izango litzateke Z\sim\mathcal{N}\left(b\cdot\mu, b^T\Sigma b\right)rekin. Emaitza hau erabiliz lortzen da:

: 
B=\begin{bmatrix}
b_1  & b_2  & \ldots & b_n  \\
0   & 0   & \ldots & 0   \\
\vdots & \vdots & \ddots & \vdots \\
0   & 0   & \ldots & 0
\end{bmatrix}

eta produktuaren lehen osagaia soilik kontuan hartuta (B-ren lehen lerroa b bektorea da). Kontuan har nola \Sigma-ren definizio positiboak gurutzatutako produktuaren bariantza positiboa izan behar dela esan nahi duen.

## Interpretazio geometrikoa 
Aldagai anitzeko banaketa normal baten ekidensitate-kurbak elipsoideak dira (hau da, hiperesferen transformazio linealak) batezbestekoan zentratuta. Elipsoideen ardatz nagusien norabideak \Sigma kobariantza matrizearen bektore propioek ematen dituzte. Ardatz nagusien karratuen luzera erlatiboak dagozkien bektore propioek ematen dituzte.

\Sigma=U\Lambda U^T=U\Lambda^{1/2}(U\Lambda^{1/2})^T deskonposizio espektral bat bada, non U-ren zutabeak unitate-bektore propioak diren eta \Lambda balio propioen matrize diagonal bat den, orduan, dugu:

:: X\ \sim N(\mu, \Sigma) \iff X\ \sim \mu+U\Lambda^{1/2}N(0, I) \iff X\ \sim \mu+UN(0, \Lambda).

Era berean, *U* biraketa-matrize bat izan dadin hauta daiteke N(0, \Lambda)-n ardatz bat alderantziz egiteak eraginik izango ez duena baina, zutabe bat irauliz, *U*' -ren determinatzailearen zeinua aldatuko duena. N(\mu, \Sigma) banaketa da, hain zuzen, N(0, I) \Lambda^{1/2}-tik eskalatua, *U-*rekin biratua eta \mu-tik itzulia.

Alderantziz, \mu-ren edozein aukerak *U* maila osoko matrizea, eta \Lambda_i balio diagonal positiboak bide ematen dio banaketa normal ez singular bati. Edozein \Lambda_i zero bada eta *U* karratua bada, U\Lambda U^T-ren kobariantza matrizea singularra da. Geometrikoki, horrek esan nahi du kurba elipsoide bakoitza infinitu mehea dela eta bolumen nulua duela *n* dimentsioko espazioan, betiere, gutxienez ardatz nagusietako batek luzera nulua badu.

## Korrelazioak eta independentzia 
Oro har, ausazko aldagaiak korrelaziorik gabekoak izan daitezke, baina oso menpekoak izan daitezke. Baina, ausazko bektore batek aldagai anitzeko banaketa normala badu, korrelaziorik gabeko bere osagaietako bi edo gehiago independenteak dira.

Baina **ez** da egia (bereizita, marjinalki) normal banatuta eta korrelaziorik gabeko bi ausazko aldagai independenteak direnik. Normalki banatuta dauden bi ausazko aldagai baliteke elkarrekin ez egotea. Erlazionatu gabe baina independenteak *ez* diren banatzen diren bi aldagairen adibide bat ikusteko, ikus: Normalki banatuak eta korrelazionatuak ez dira independentzia suposatzen .

## Momentu gorenak 
*X* -ren k-*garren* ordenako momentu estandarra honela definitzen da

: 
\mu _{1,\dots,N}(X)\ \stackrel{\mathrm{def}}{=}\ \mu _{r_{1},\dots,r_{N}}(X)\ \stackrel{\mathrm{def}}{=}\ E\left[
\prod\limits_{j=1}^{N}X_j^{r_{j}}\right]

non r_1 +r_2 + \cdots + r_N =k.

*k* ordenako momentu zentralak honela ematen dira:

(a) *k* bakoitia bada, \mu _{1,\dots,N}(X-\mu )=0.

(b) *k* bikoitia bada, *k-*rekin, orduan, k=2\lambda

: 
\mu _{1,\dots,2\lambda }(X-\mu )=\sum \left( \sigma _{ij}\sigma _{k\ell}\cdots\sigma _{XZ}\right)

non batura multzoen xedapen guztien gainean hartzen den \left\{ 1,\dots,2\lambda
\right\} \lambda bikotetan (ordenatu gabeak). Hau da, *k*-garren bat badugu ({}=2\lambda=6) une nagusia \lambda=3 kobariantzaren produktuak gehituko ditugu (-\mu notazioa irakurgarritasunagatik alde batera utzi da):

: \begin{align}
& {} E[X_1 X_2 X_3 X_4 X_5 X_6] \\
&{} = E[X_1 X_2 ]E[X_3 X_4 ]E[X_5 X_6 ] + E[X_1 X_2 ]E[X_3 X_5 ]E[X_4 X_6] + E[X_1 X_2 ]E[X_3 X_6 ]E[X_4 X_5] \\
&{} + E[X_1 X_3 ]E[X_2 X_4 ]E[X_5 X_6 ] + E[X_1 X_3 ]E[X_2 X_5 ]E[X_4 X_6 ] + E[X_1 X_3]E[X_2 X_6]E[X_4 X_5] \\
&+ E[X_1 X_4]E[X_2 X_3]E[X_5 X_6]+E[X_1 X_4]E[X_2 X_5]E[X_3 X_6]+E[X_1 X_4]E[X_2 X_6]E[X_3 X_5] \\
& + E[X_1 X_5]E[X_2 X_3]E[X_4 X_6]+E[X_1 X_5]E[X_2 X_4]E[X_3 X_6]+E[X_1 X_5]E[X_2 X_6]E[X_3 X_4] \\
& + E[X_1 X_6]E[X_2 X_3]E[X_4 X_5 ] + E[X_1 X_6]E[X_2 X_4 ]E[X_3 X_5] + E[X_1 X_6]E[X_2 X_5]E[X_3 X_4].
\end{align}

Horrek sorrarazten du (2\lambda -1)!/(2^{\lambda -1}(\lambda -1)!) terminoak baturan (15 goiko kasuan), bakoitzaren produktua \lambda (3 kasu honetan) kobariantza izanik. Laugarren ordenako mementuetarako (lau aldagai), hiru termino daude. Seigarren ordenako momentuetarako, 3 × 5 = 15 termino daude, eta zortzigarren ordenako momentuetarako 3 × 5 × 7 = 105 termino dira.

Ondoren, kobariantzak \left[ 1,\dots,2\lambda \right] zerrendako terminoak, izan ere, batzuk r_1zerrendari dagozkion terminoekin ordezkatuz zehazten dira, orduan r_2 biak, etab... Hau argitzeko, kontuan har hurrengo laugarren ordenako momentu zentralaren kasua:

: E\left[ X_i^4\right] = 3\sigma _{ii}^2
: E\left[ X_i^3 X_j\right] = 3\sigma _{ii} \sigma _{ij}
: E\left[ X_i^2 X_j^2\right] = \sigma _{ii}\sigma_{jj}+2\left( \sigma _{ij}\right) ^2
: E\left[ X_i^2X_jX_k\right] = \sigma _{ii}\sigma _{jk}+2\sigma _{ij}\sigma _{ik}
: E\left[ X_i X_j X_k X_n\right] = \sigma _{ij}\sigma _{kn}+\sigma _{ik}\sigma _{jn}+\sigma _{in}\sigma _{jk}.

non  \sigma_{ij}   X_i  Y  X_j-ren kobariantza den. Goiko metodoaren ideia da lehen kasu orokorra aurkitzen dugula da k-garrena mementorako, non k aldagai desberdinak X - E\left[ X_i X_j X_k X_n\right] dauden, eta, gero, modu egokian sinplifikatu daitezke. E\left[ X_i^2 X_k X_n\right] baduzu, gero, X_i = X_j izan dadila, eta hortik \sigma_{ii}=\sigma_i^2 dator.

## Banaketa baldintzatuak 
\mu eta \Sigma honela banatzen badira:

: 
\mu =
\begin{bmatrix}
 \mu_1 \\
 \mu_2
\end{bmatrix}
\quad \begin{bmatrix} q \times 1 \\ (N-q) \times 1 \end{bmatrix}neurriekin

: 
\Sigma =
\begin{bmatrix}
 \Sigma_{11} & \Sigma_{12} \\
 \Sigma_{21} & \Sigma_{22}
\end{bmatrix}
\quad neurriekin \begin{bmatrix} q \times q & q \times (N-q) \\ (N-q) \times q & (N-q) \times (N-q) \end{bmatrix}

orduan, x_1-ren banaketa x_2=a baldintzatuta, aldagai anitzeko normala da (X_1|X_2=a) \sim N(\bar{\mu}, \overline{\Sigma}) non

: 
\bar{\mu}
=
\mu_1 + \Sigma_{12} \Sigma_{22}^{-1}
\left(
 a - \mu_2
\right)

eta kobariantza matrizea

: 
\overline{\Sigma}
=
\Sigma_{11} - \Sigma_{12} \Sigma_{22}^{-1} \Sigma_{21}.

Matrize hori {\mathbf\Sigma_{22}}-ren Schur-en osagarria da {\mathbf\Sigma}-en. Horrek esan nahi du baldintzapeko kobariantza-matrizea kalkulatzeko kobariantza-matrize globala alderantzikatu egiten dela, baldintzatzen den aldagaiei dagozkien errenkadak eta zutabeak alde batera uzten direla eta, ondoren, berriro alderantzikatzen dela baldintzapeko kobariantza-matrizea lortzeko.

Kontuan har jakina dela x_2=a bariantza aldatzen duela, nahiz eta bariantza berria ez den a balio zehatzaren araberakoa; agian, harrigarriagoa dena, batezbestekoa \Sigma_{12} \Sigma_{22}^{-1} \left(a - \mu_2 \right)-tik aldatzen da; Konparatu hori ezagutzen ez den a balioaren egoerarekin; kasu horretan, x_1-ek banaketa gisaizango luke: 

N_q \left(\mu_1, \Sigma_{11} \right)

\Sigma_{12} \Sigma_{22}^{-1} matrizea erregresio-koefizienteen matrize bezala ezagutzen da.

### Baldintzazko itxaropena aldagai bikoa 
Bada

\begin{pmatrix}
 X_1 \\
 X_2
\end{pmatrix} \sim \mathcal{N} \left( \begin{pmatrix}
 0 \\
 0
\end{pmatrix}, \begin{pmatrix}
 1 & \rho \\
 \rho & 1 
\end{pmatrix} \right)

gero

E(X_1 | X_2 > z) = \rho { \phi(z) \over \Phi(-z) }

non azken ratio horri alderantzizko Mills ratioa deitu ohi zaio.

## Fisher-en informazio matrizea 
Fisher Information Matrix-ek (FIM) formulazio berezi bat hartzen du banaketa normal baterako. FMI-ren elementua (m,n)  X \sim N(\mu(\theta), \Sigma(\theta))-rentzako da:

: 
\mathcal{I}_{m,n}
=
\frac{\partial \mu}{\partial \theta_m}
\Sigma^{-1}
\frac{\partial \mu^\top}{\partial \theta_n}
+
\frac{1}{2}
\mathrm{tr}
\left(
 \Sigma^{-1}
 \frac{\partial \Sigma}{\partial \theta_m}
 \Sigma^{-1}
 \frac{\partial \Sigma}{\partial \theta_n}
\right)

non

* 
\frac{\partial \mu}{\partial \theta_m}
=
\begin{bmatrix}
 \frac{\partial \mu_1}{\partial \theta_m} &
 \frac{\partial \mu_2}{\partial \theta_m} &
 \cdots &
 \frac{\partial \mu_N}{\partial \theta_m} &
\end{bmatrix}

* 
\frac{\partial \mu^\top}{\partial \theta_m}
=
\left(
 \frac{\partial \mu}{\partial \theta_m}
\right)^\top
=
\begin{bmatrix}
 \frac{\partial \mu_1}{\partial \theta_m} \\ \\
 \frac{\partial \mu_2}{\partial \theta_m} \\ \\
 \vdots \\ \\
 \frac{\partial \mu_N}{\partial \theta_m} \\ \\
\end{bmatrix}

* 
\frac{\partial \Sigma}{\partial \theta_m}
=
\begin{bmatrix}
 \frac{\partial \Sigma_{1,1}}{\partial \theta_m} &
 \frac{\partial \Sigma_{1,2}}{\partial \theta_m} &
 \cdots &
 \frac{\partial \Sigma_{1,N}}{\partial \theta_m} \\ \\
 \frac{\partial \Sigma_{2,1}}{\partial \theta_m} &
 \frac{\partial \Sigma_{2,2}}{\partial \theta_m} &
 \cdots &
 \frac{\partial \Sigma_{2,N}}{\partial \theta_m} \\ \\
 \vdots & \vdots & \ddots & \vdots \\ \\
 \frac{\partial \Sigma_{N,1}}{\partial \theta_m} &
 \frac{\partial \Sigma_{N,2}}{\partial \theta_m} &
 \cdots &
 \frac{\partial \Sigma_{N,N}}{\partial \theta_m}
\end{bmatrix}

* \mathrm{tr} matrize baten aztarna funtzioa da.

## Kullback-Leibler dibergentzia 
Kullback-Leiblerren dibergentzia N0_N(\mu_0, \Sigma_0) a N1_N(\mu_1, \Sigma_1) da:

: 
D_\text{KL}(N0 \| N1) = { 1 \over 2 } \left( \log_e \left( { \det \Sigma_1 \over \det \Sigma_0 } \right) + \mathrm{tr} \left( \Sigma_1^{-1} \Sigma_0 \right) + \left( \mu_1 - \mu_0\right)^\top \Sigma_1^{-1} ( \mu_1 - \mu_0 ) - N \right).

Logaritmoa *e* oinarriarekin hartu behar da bi terminoetan (logaritmo neperiarrak); logaritmoari jarraituz, dentsitate-funtzioaren faktore biak diren adierazpenen logaritmo naturalak daude, edo, bestela, modu naturalean sortzen dira. Goiko dibergentzia nat-etan neurtzen da. Goiko adierazpena log*e*  2 artean zatituz biten dibergentziari bide ematen zaio.

## Parametroen estimazioa 
Aldagai anitzeko banaketa normal baten kobariantza matrizearen probabilitate maximoaren estimatzailearen deribazioa da, agian harrigarriro, sotila eta dotorea. *Ikus kobariantza matrizeen estimazioa*.

Laburbilduz, *N* dimentsioko aldagai anitzeko normal  baten probabilitate-dentsitate-funtzioa da:

: f(x)=(2 \pi)^{-N/2} \det(\Sigma)^{-1/2} \exp\left(-{1 \over 2} (x-\mu)^T \Sigma^{-1} (x-\mu)\right)

eta kobariantza matrizearen MV estimatzailea *n* behaketetako lagin baterako da:

: \widehat\Sigma = {1 \over n}\sum_{i=1}^n (X_i-\overline{X})(X_i-\overline{X})^T

laginaren kobariantza matrizea besterik ez dena. Hau Itxaropena duen estimatzaile alboratuarena da:

: E[\widehat\Sigma] = {n-1 \over n}\Sigma.

Laginaren kobariantza alboragabea da:

: \widehat\Sigma = {1 \over n-1}\sum_{i=1}^n (X_i-\overline{X})(X_i-\overline{X})^T.

## Entropia 
Aldagai anitzeko banaketa normalaren entropia diferentziala da:

: 
\begin{align}
h\left(f\right) & = -\int_{-\infty}^\infty \int_{-\infty}^\infty \cdots\int_{-\infty}^\infty f(x) \ln f(x)\,dx \\
& = \frac12 \left(N+N\ln\left(2\pi\right) + \ln\left| \Sigma \right|\right) \\
& =\frac{1}{2}\ln\{(2\pi e)^N \left| \Sigma \right|\}
\end{align}

non \left| \Sigma \right| den \Sigma kobariantza matrizearen determinatzailea.

## Aldagai anitzeko normaltasun-probak 
Aldagai anitzeko normaltasun probek datu multzo jakin batek aldagai anitzeko banaketa normalarekin duen antzekotasuna egiaztatzen du. Hipotesi nulua da datu multzoa banaketa normalaren antzekoa dela, beraz, p-balio nahiko txiki batek datu ez-normalak adierazten ditu. Aldagai anitzeko normaltasun proben artean, Cox-Small proba eta Smith eta Jain-en Friedman-Rafsky probaren egokitzapena daude.

## Banaketa-balioak simulatzea 
Ausazko bektore bat simulatzeko oso erabilia den metodoa X aldagai anitzeko banaketa normaletik N -dimentsioa batez besteko bektorearekin \mu eta kobariantza matrizea \Sigma (simetrikoa eta definitu positiboa izateko eskatua) honela funtzionatzen du:

# \Sigma-ren Choleskyren deskonposizioa kalkulatzen da; hau da, beheko matrize triangeluar bakarra  A hala nola A\,A^T = \Sigma  aurkitzen dugu. Kontuan har beste edozein A matrize baldintza hori betetzen duena, hau da, \Sigma-ren erro karratua dela, erabil liteke, baina, askotan, halako matrize bat aurkitzea, Cholesky-ren deskonposizioaz gain, dezente zailagoa izango litzateke konputazionalki.
# Dela Z=(z_1,\dots,z_N)^T osagaiak dituen bektorea N aldagai normalak eta independenteak aldatzen direnak (sor daitezkeenak, adibidez, Box-Muller metodoa erabiliz.
# Dela X = \,\mu + AZ \,.

## Erreferentziak 
## Kanpo estekak