Distribución normal multivariante

{{Modelo de distribución de probabilidade
|nome       = Normal multivariante
|tipo       =multivariante
|pdf_image  =325px
|cdf_image  =
|parámetros =\mu = [\mu_1, \dots, \mu_n]^T (vector real)\Sigma matriz de covarianza (matriz real definida positiva de dimensión n\times n )
|soporte= x \in\mathbb{R}^n\!
|pdf =f_X(x_1, \dots, x_n)=\frac {1} {(2\pi)^{n/2} \left|\Sigma\right|^{1/2}}
                 \exp\left( -\frac{1}{2}( x - \mu)^\top \Sigma^{-1} (x - \mu)\right)
|cdf =Sen expresión analítica
|media =\mu \,\!
|mediana=\mu \,\!
|moda=\mu \,\!
| varianza=\sigma^2 \,\!
|asimetría =0\,
|curtose   =0\,
|entropía =\ln\left(\sqrt{(2\,\pi\,e)^n \left| \Sigma \right|}\right)\!
|mgf =M_X(t)= \exp\left( \mu^\top t + \frac{1}{2} t^\top \Sigma t\right)
|char=\phi_X(t;\mu,\Sigma)=\exp\left( i \mu^\top t - \frac{1}{2} t^\top \Sigma t\right)
|}}
En probabilidade e estatística, unha **distribución normal multivariante**, tamén chamada **distribución gaussiana multivariante**, é unha xeneralización da distribución normal unidimensional a dimensións superiores.

## Caso xeral 
Un vector aleatorio \ X = [X_1, \dots, X_n]^T segue unha distribución normal multivariante se satisfai as seguintes condicións equivalentes:

*Toda combinación linear \ Y = a_1 X_1 + \cdots + a_n X_n está normalmente distribuída.
*Hai un vector aleatorio \ Z = [Z_1, \dots, Z_m]^T, con compoñentes que son variables aleatorias independentes distribuídas segundo a normal estándar, un vector \ \mu = [\mu_1, \dots, \mu_n]^T e unha matriz n \times m \ A tal que \ X = A Z + \mu. 
*Hai un vector \mu e unha matriz semidefinida positiva simétrica \ \Sigma tal que a función característica de *X* es
{{ecuación|
:
\phi_X\left(u;\mu,\Sigma\right)
=
\exp
\left(
 i \mu^\top u - \frac{1}{2} u^\top \Sigma u
\right).

||left}}
Se \ \Sigma é unha matriz non singular, entón a distribución pode describirse pola seguinte función de densidade:
{{ecuación|

f_X(x_1, \dots, x_n)
=
\frac
 {1}
 {(2\pi)^{n/2}|\Sigma|^{1/2}}
\exp
\left(
 -\frac{1}{2}
 ( \mathbf x - \mathbf \mu)^\top \Sigma^{-1} (\mathbf x - \mathbf \mu)
\right)

||left}}
onde \ \left| \Sigma \right| é o determinante de \ \Sigma. A ecuación redúcese á distribución normal se \ \Sigma é un escalar (é dicir, unha matriz 1x1).

O vector μ nestas circunstancias é a esperanza de *X* e a matriz \ \Sigma = A A^T é a matriz de covarianza das compoñentes *X**i*.

É importante comprender que a matriz de covarianza pode ser singular (aínda que non estea así descrita pola fórmula de arriba, para a que \ \Sigma^{-1} está definida).

Este caso aparece con frecuencia en estatística; por exemplo, na distribución do vector de residuos en problemas ordinarios de regresión linear. Ademais, os *X**i* son en xeral *non* independentes; poden verse como o resultado de aplicar a transformación linear *A* a unha colección de variables normais *Z*.

Esta distribución dun vector aleatorio *X* que segue unha distribución normal multivariante pode ser descrita coa seguinte notación:
{{ecuación|
X\ \sim \mathcal{N}(\mu, \Sigma),
||left}}
ou facer explícito que *X* é *n*-dimensional,
{{ecuación|
X\ \sim \mathcal{N}_N(\mu, \Sigma).
||left}}

### Función de distribución 
A función de distribución F(x) defínese como a probabilidade de que todos os valores dun vector aleatorio X sexan menores ou iguais que os valores correspondentes dun vector x. Aínda que F non teña unha fórmula, hai unha serie de algoritmos que permiten estimala numericamente.

### Contraexemplo 
O feito de que dúas variables aleatorias *X* e *Y* sigan unha distribución normal, cada unha, non implica que o par (*X*,&nbsp;*Y*) siga unha distribución normal conxunta. Un exemplo simple dáse con *X*  Normal(0,1), *Y* = *X* se |*X*| > 1 e *Y* = −*X* se |*X*| 
f(x,y) = \frac{1}{2 \pi \sigma_x \sigma_y \sqrt{1-\rho^2}}
\exp
\left(
 -\frac{1}{2 (1-\rho^2)}
 \left(
  \frac{x^2}{\sigma_x^2} +
  \frac{y^2}{\sigma_y^2} -
  \frac{2 \rho x y}{ (\sigma_x \sigma_y)}
 \right)
\right)

onde \rho é o coeficiente de correlación entre X e Y. Neste caso,

:
\Sigma =
\begin{bmatrix}
\sigma_x^2              & \rho \sigma_x \sigma_y \\
\rho \sigma_x \sigma_y  & \sigma_y^2
\end{bmatrix}.

## Transformación afín 
Se Y = c + B X \, é unha transformación afín de X\ \sim \mathcal{N}(\mu, \Sigma), onde c\, é un vector de constantes M \times 1 e B\, unha matriz M \times N, entón Y\, ten unha distribución normal multivariante con esperanza c + B \mu \, e varianza B \Sigma B^T \, é dicir, Y \sim \mathcal{N} \left(c + B \mu, B \Sigma B^T\right). En particular, calquera subconxunto dos X_i\, ten unha distribución marxinal que é tamén unha normal multivariante.

Para ver isto, pode considerarse o seguinte exemplo: para extraer o subconxunto (X_1, X_2, X_4)^T \,, emprégase

:
B =
\begin{bmatrix}
 1 & 0 & 0 & 0 & 0 & \ldots & 0 \\
 0 & 1 & 0 & 0 & 0 & \ldots & 0 \\
 0 & 0 & 0 & 1 & 0 & \ldots & 0
\end{bmatrix}

o que extrae directamente os elementos desexados.

Outro corolario sería que a distribución de Z=b\cdot X, onde b é un vector da mesma lonxitude que X e o punto indica un produto vectorial, é unha distribución gaussiana unidimensional con Z\sim\mathcal{N}\left(b\cdot\mu, b^T\Sigma b\right). Este resultado obtense empregando

:
B=\begin{bmatrix}
b_1    & b_2    & \ldots & b_n    \\
0      & 0      & \ldots & 0      \\
\vdots & \vdots & \ddots & \vdots \\
0      & 0      & \ldots & 0
\end{bmatrix}

e considerando só a primeira compoñente do produto (a primeira fila de B é o vector b). A definición positiva de \Sigma implica que a varianza do produto vectorial debería ser positiva.

## Interpretación xeométrica 
As curvas de equidensidade dunha distribución normal multivariante son elipsoides (é dicir, transformacións lineares de hiperesferas) centrados na media. as direccións dos eixes principais dos elipsoides veñen dadas polos vectores propios da matriz de covarianza \Sigma. As lonxitudes relativas dos cadrados dos eixes principais veñen dadas polos correspondentes vectores propios.

Se \Sigma=U\Lambda U^T=U\Lambda^{1/2}(U\Lambda^{1/2})^T é unha descomposición espectral onde as columnas de U son vectores propios unitarios e \Lambda é unha matriz diagonal de valores propios, entón temos

::X\ \sim N(\mu, \Sigma) \iff X\ \sim \mu+U\Lambda^{1/2}N(0, I) \iff X\ \sim \mu+UN(0, \Lambda).

Ademais, *U* pode escollerse de tal modo que sexa unha matriz de rotación, tal que invertendo un eixe non teña ningún efecto en N(0, \Lambda), pero invertendo unha columna, cambie o signo do determinante de *U*'. A distribución N(\mu, \Sigma) é en efecto N(0, I) escalada por \Lambda^{1/2}, rotada por *U* e trasladada por \mu.

Reciprocamente, calquera escolla de \mu, matriz de rango completo *U*, e valores diagonais positivos \Lambda_i cede o paso a unha distribución normal non singular multivariante. Se calquera \Lambda_i é cero e *U* é cadrada, a matriz de covarianza U\Lambda U^T é singular. Xeometricamente isto significa que cada curva elipsoide é infinitamente delgada e ten volume cero nun espazo *n*-dimensional, así como, polo menos, un dos principais eixes ten lonxitude cero.

## Correlacións e independencia 
En xeral, as variables aleatorias poden ser incorreladas, pero altamente dependentes, mais se un vector aleatorio ten unha distribución normal multivariante, entón calquera dúas ou máis das súas compoñentes que sexan incorreladas, son independentes.

Porén, non é certo que dúas variables aleatorias que están (separadamente, marxinalmente) normalmente distribuídas e incorreladas sexan independentes. Dúas variables aleatorias que están normalmente distribuídas poden que non o estean conxuntamente.

## Momentos máis altos 
O momento estándar de *k*-ésima orde de *X* defínese como

:
\mu _{1,\dots,N}(X)\ \stackrel{\mathrm{def}}{=}\  \mu _{r_{1},\dots,r_{N}}(X)\ \stackrel{\mathrm{def}}{=}\  E\left[
\prod\limits_{j=1}^{N}X_j^{r_{j}}\right]

onde r_1 +r_2 + \cdots + r_N =k.

Os momentos centrais de orde *k* veñen dados como segue:

(a) Se *k* é impar, \mu _{1,\dots,N}(X-\mu )=0.

(b) Se *k* é par, con k=2\lambda, entón

:
\mu _{1,\dots,2\lambda }(X-\mu )=\sum \left( \sigma _{ij}\sigma _{k\ell}\cdots\sigma _{XZ}\right)

onda a suma se toma sobre todas as disposicións de conxuntos \left\{ 1,\dots,2\lambda
\right\} en \lambda pares (non ordenados). É dicir, se se ten un *k*-ésimo ({}=2\lambda=6) momento central, estaranse a sumar os produtos de \lambda=3 covarianzas (a notación -\mu suprimiuse para facilitar a lectura):

:\begin{align}
& {} E[X_1 X_2 X_3 X_4 X_5 X_6] \\
&{} = E[X_1 X_2 ]E[X_3 X_4 ]E[X_5 X_6 ] + E[X_1 X_2 ]E[X_3 X_5 ]E[X_4 X_6] + E[X_1 X_2 ]E[X_3 X_6 ]E[X_4 X_5] \\
&{} + E[X_1 X_3 ]E[X_2 X_4 ]E[X_5 X_6 ] + E[X_1 X_3 ]E[X_2 X_5 ]E[X_4 X_6 ] + E[X_1 X_3]E[X_2 X_6]E[X_4 X_5] \\
&+ E[X_1 X_4]E[X_2 X_3]E[X_5 X_6]+E[X_1 X_4]E[X_2 X_5]E[X_3 X_6]+E[X_1 X_4]E[X_2 X_6]E[X_3 X_5] \\
& + E[X_1 X_5]E[X_2 X_3]E[X_4 X_6]+E[X_1 X_5]E[X_2 X_4]E[X_3 X_6]+E[X_1 X_5]E[X_2 X_6]E[X_3 X_4] \\
& + E[X_1 X_6]E[X_2 X_3]E[X_4 X_5 ] + E[X_1 X_6]E[X_2 X_4 ]E[X_3 X_5] + E[X_1 X_6]E[X_2 X_5]E[X_3 X_4].
\end{align}

Isto dá lugar a (2\lambda -1)!/(2^{\lambda -1}(\lambda -1)!) termos na suma (15 no caso superior), nos que cada un é o produto de \lambda (3 neste caso) covarianzas. Para momentos de orde cuarta (catro variables) hai tres termos. Para momentos de orde sexta hai 3&nbsp;×&nbsp;5 = 15 termos, e para momentos de orde oitava hai 3&nbsp;×&nbsp;5&nbsp;×&nbsp;7 = 105 termos.

As covarianzas son entón determinadas mediante a substitución dos termos da lista \left[ 1,\dots,2\lambda \right] polos termos correspondentes da lista que consiste en r_1 uns, logo r_2 douses etc... Para ilustrar isto, pode examinarse o seguinte caso de momento central de orde cuarta:

:E\left[ X_i^4\right] = 3\sigma _{ii}^2
:E\left[ X_i^3 X_j\right] = 3\sigma _{ii} \sigma _{ij}
:E\left[ X_i^2 X_j^2\right] = \sigma _{ii}\sigma_{jj}+2\left( \sigma _{ij}\right) ^2
:E\left[ X_i^2X_jX_k\right] = \sigma _{ii}\sigma _{jk}+2\sigma _{ij}\sigma _{ik}
:E\left[ X_i X_j X_k X_n\right] = \sigma _{ij}\sigma _{kn}+\sigma _{ik}\sigma _{jn}+\sigma _{in}\sigma _{jk}.

onde  \sigma_{ij}  é a covarianza de  X_i  e  X_j. A idea do método descrito é que primeiro se atopa o caso xeral para o momento k-ésimo, onde se teñen k diferentes variables X - E\left[ X_i X_j X_k X_n\right] e entón pódense simplificar apropiadamente. Se se ten E\left[ X_i^2 X_k X_n\right] entón, simplemente se considera X_i = X_j e dedúcese que \sigma_{ii}=\sigma_i^2.

## Distribucións condicionais 
Se \mu y \Sigma se dividen como segue:

:
\mu =
\begin{bmatrix}
 \mu_1 \\
 \mu_2
\end{bmatrix}
\quad con tamaños \begin{bmatrix} q \times 1 \\ (N-q) \times 1 \end{bmatrix}

:
\Sigma =
\begin{bmatrix}
 \Sigma_{11} & \Sigma_{12} \\
 \Sigma_{21} & \Sigma_{22}
\end{bmatrix}
\quad con tamaños \begin{bmatrix} q \times q & q \times (N-q) \\ (N-q) \times q & (N-q) \times (N-q) \end{bmatrix}

entón a distribución de x_1 condicionada a x_2=a é unha normal multivariante (X_1|X_2=a) \sim N(\bar{\mu}, \overline{\Sigma}) onde

:
\bar{\mu}
=
\mu_1 + \Sigma_{12} \Sigma_{22}^{-1}
\left(
 a - \mu_2
\right)

e matriz de covarianza

:
\overline{\Sigma}
=
\Sigma_{11} - \Sigma_{12} \Sigma_{22}^{-1} \Sigma_{21}.

Esta matriz é o complemento de Schur de {\mathbf\Sigma_{22}} en {\mathbf\Sigma}. Isto significa que para calcular a matriz condicional de covarianza se inverte a matriz global de covarianza, desprézanse as filas e as columnas correspondentes ás variables baixo as que está condicionada e entón invértese de novo para conseguir a matriz condicional de covarianza.

Sábese que x_2=a altera a varianza, aínda que a nova varianza non dependa do valor específico de a; quizais resulta máis sorprendente que a media se cambia por \Sigma_{12} \Sigma_{22}^{-1} \left(a - \mu_2 \right); pode compararse isto coa situación na que non se coñece o valor de a, caso no que x_1 tería como distribución

N_q \left(\mu_1, \Sigma_{11} \right).

A matriz \Sigma_{12} \Sigma_{22}^{-1} coñécese como a matriz de coeficientes de regresión.

### Esperanza condicional bivariante 
No caso

\begin{pmatrix}
 X_1 \\
 X_2
\end{pmatrix}  \sim \mathcal{N} \left( \begin{pmatrix}
 0 \\
 0
\end{pmatrix} , \begin{pmatrix}
 1 & \rho \\
 \rho & 1 
\end{pmatrix} \right)

entón

E(X_1 | X_2 > z) = \rho { \phi(z) \over \Phi(-z) }

onde esta última razón adoita chamarse razón inversa de Mills.

## Matriz de información de Fisher 
A matriz de información de Fisher (MIF) para unha distribución normal toma unha formulación especial. O elemento (m,n) da MIF para X \sim N(\mu(\theta), \Sigma(\theta)) é

:
\mathcal{I}_{m,n}
=
\frac{\partial \mu}{\partial \theta_m}
\Sigma^{-1}
\frac{\partial \mu^\top}{\partial \theta_n}
+
\frac{1}{2}
\mathrm{tr}
\left(
 \Sigma^{-1}
 \frac{\partial \Sigma}{\partial \theta_m}
 \Sigma^{-1}
 \frac{\partial \Sigma}{\partial \theta_n}
\right)

onde
*
\frac{\partial \mu}{\partial \theta_m}
=
\begin{bmatrix}
 \frac{\partial \mu_1}{\partial \theta_m} &
 \frac{\partial \mu_2}{\partial \theta_m} &
 \cdots &
 \frac{\partial \mu_N}{\partial \theta_m} &
\end{bmatrix}

*
\frac{\partial \mu^\top}{\partial \theta_m}
=
\left(
 \frac{\partial \mu}{\partial \theta_m}
\right)^\top
=
\begin{bmatrix}
 \frac{\partial \mu_1}{\partial \theta_m} \\  \\
 \frac{\partial \mu_2}{\partial \theta_m} \\  \\
 \vdots \\  \\
 \frac{\partial \mu_N}{\partial \theta_m} \\  \\
\end{bmatrix}

*
\frac{\partial \Sigma}{\partial \theta_m}
=
\begin{bmatrix}
 \frac{\partial \Sigma_{1,1}}{\partial \theta_m} &
 \frac{\partial \Sigma_{1,2}}{\partial \theta_m} &
 \cdots &
 \frac{\partial \Sigma_{1,N}}{\partial \theta_m} \\  \\
 \frac{\partial \Sigma_{2,1}}{\partial \theta_m} &
 \frac{\partial \Sigma_{2,2}}{\partial \theta_m} &
 \cdots &
 \frac{\partial \Sigma_{2,N}}{\partial \theta_m} \\  \\
 \vdots & \vdots & \ddots & \vdots \\  \\
 \frac{\partial \Sigma_{N,1}}{\partial \theta_m} &
 \frac{\partial \Sigma_{N,2}}{\partial \theta_m} &
 \cdots &
 \frac{\partial \Sigma_{N,N}}{\partial \theta_m}
\end{bmatrix}

*\mathrm{tr} é a función traza dunha matriz.

## Diverxencia de Kullback-Leibler 
A diverxencia de Kullback-Leibler de N0_N(\mu_0, \Sigma_0) a N1_N(\mu_1, \Sigma_1) é:

:
D_\text{KL}(N0 \| N1) = { 1 \over 2 } \left( \log_e \left( { \det \Sigma_1 \over \det \Sigma_0 } \right) + \mathrm{tr} \left( \Sigma_1^{-1} \Sigma_0 \right) + \left( \mu_1 - \mu_0\right)^\top \Sigma_1^{-1} ( \mu_1 - \mu_0 ) - N \right).

O logaritmo debe tomarse con base *e* nos dous termos (logaritmos neperianos); seguindo o logaritmo están os logaritmos neperianos das expresións que son ambos os factores da función de densidade ou se non, xorden naturalmente. A diverxencia de arriba mídese en nats. Dividindo a expresión de arriba por log*e*&nbsp;2 dáse paso a a diverxencia en bits.

## Estimación de parámetros 
A función de densidade de probabilidade dunha normal multivariante *N*-dimensional é

:f(x)=(2 \pi)^{-N/2} \det(\Sigma)^{-1/2} \exp\left(-{1 \over 2} (x-\mu)^T \Sigma^{-1} (x-\mu)\right)

e o estimador de máxima verosimilitude da matriz de covarianza para unha mostra de *n* observacións é

:\widehat\Sigma = {1 \over n}\sum_{i=1}^n (X_i-\overline{X})(X_i-\overline{X})^T

o que é, simplemente, a matriz da mostra de covarianza. Este é un estimador con nesgo que ten como esperanza

:E[\widehat\Sigma] = {n-1 \over n}\Sigma.

Unha covarianza da mostra sen nesgo é

:\widehat\Sigma = {1 \over n-1}\sum_{i=1}^n (X_i-\overline{X})(X_i-\overline{X})^T.

## Entropía 
A entropía diferencial da distribución normal multivariante é

:
\begin{align}
h\left(f\right) & = -\int_{-\infty}^\infty \int_{-\infty}^\infty \cdots\int_{-\infty}^\infty f(x) \ln f(x)\,dx \\
& = \frac12 \left(N+N\ln\left(2\pi\right) + \ln\left| \Sigma \right|\right) \\
& =\frac{1}{2}\ln\{(2\pi e)^N \left| \Sigma \right|\}
\end{align}

onde \left| \Sigma \right| é o determinante da matriz de covarianza \Sigma.

## Tests de normalidade multivariante 
Os tests de normalidade multivariante comproban a similitude dun conxunto dado de datos coa distribución normal multivariante. A hipótese nula é que o conxunto de datos é similar á distribución normal e polo tanto un p-valor suficientemente pequeno indica datos non normais. Os tests de normalidade multivariante inclúen o test de Cox-Small e a adaptación de Smith y Jain
 do test de Friedman-Rafsky.

## Simulando valores da distribución 
Un método amplamente empregado para simular un vector aleatorio X da distribución normal multivariada  N-dimensional con vector de medias \mu e matriz de covarianza \Sigma (requirida para que sexa simétrica e definida positiva) funciona como segue:

# Calcúlase a descomposición de Cholesky de \Sigma, é dicir, atópase a única matriz triangular inferior A tal que A\,A^T = \Sigma. Podería empregarse calquera outra matriz A que satisfaga esta condición, ou sexa, que é un a raíz cadrada de \Sigma, mais habitualmente atopar esa matriz, distinta da da descomposición de Cholesky, sería bastante máis custoso en termos de computación.
# Sexa Z=(z_1,\dots,z_N)^T un vector con compoñentes N normais e independentes que varían e que pode xerarse, por exemplo, empregando o método de Box-Muller.
# Sexa X = \, \mu + AZ \,.

## Notas