Distribución normal multivariante

\exp\left( -\frac{1}{2}( x - \mu)^\top \Sigma^{-1} (x - \mu)\right)
|cdf = Ensin espresión analítica |media =
 \mu \,\!
|mediana = \mu \,\!
|moda = \mu \,\!
|varianza = \sigma^2 \,\!
|simetría = 0
|curtosis = 0
|entropía = \ln\left(\sqrt{(2\,\pi\,y)^n \left| \Sigma \right|}\right)\!
|mgf = M_X(t)= \exp\left( \mu^\top t + \frac{1}{2} t^\top \Sigma t\right)
|car = \phi_X(t;\mu,\Sigma)=\exp\left( i \mu^\top t - \frac{1}{2} t^\top \Sigma t\right)
}}

En probabilidá y estadística, una **distribución normal multivariante**, tamién llamada **distribución gaussiana multivariante**, ye una xeneralización de la distribución normal unidimensional a dimensiones cimeres.

## Casu xeneral
Un vector aleatoriu \ X = [X_1, \dots, X_n]^T sigue una distribución normal multivariante si satisfai les siguientes condiciones equivalentes:

*Toa combinación llinial \ Y = a_1 X_1 + \cdots + a_n X_n ta de normal distribuyida.
*Hai un vector aleatoriu \ Z = [Z_1, \dots, Z_m]^T, que les sos componentes son variables aleatories independientes distribuyíes según la normal estándar, un vector \ \mu = [\mu_1, \dots, \mu_n]^T y una matriz n \times m \ A tal que \ X = A Z + \mu. 
*Hai un vector \mu y una matriz semidefinida positiva simétrica \ \Sigma tal que la función carauterística de *X* ye 
Si \ \Sigma ye una matriz non singular, entós la distribución puede describise pola siguiente función de densidá:

\exp
\left(
 -\frac{1}{2}
 ( \bold x - \bold \mu)^\top \Sigma^{-1} (\bold x - \bold \mu)
\right)

||left}}
onde \ \left| \Sigma \right| ye'l determinante de \ \Sigma. Nótese como la ecuación de riba amenórgase a la distribución normal si \ \Sigma ye un escalar (esto ye, una matriz 1x1).

El vector μ nestes circunstancies ye la esperanza de *X* y la matriz \ \Sigma = A A^T ye la matriz de covarianza de les componentes *X**i*. 

Ye importante entender que la matriz de covarianza puede ser singular (anque nun tea asina descrita pola fórmula de riba, pa la cual \ \Sigma^{-1} ta definida). 

Esti casu apaez con frecuencia en estadística; por casu, na distribución del vector de residuos en problemes ordinarios de regresión llinial. Nótese tamién que los *X**i* son polo xeneral *non* independientes; pueden trate como la resultancia d'aplicar el tresformamientu llinial *A* a una coleición de variables normales *Z*.

Esta distribución d'un vector aleatoriu *X* que sigue una distribución normal multivariante pue ser descrita cola siguiente notación:

o faer esplícitu que *X* ye *n*-dimensional, 
### Función de distribución
La función de distribución F(x) defínese como la probabilidá de que tolos valores d'un vector aleatoriu X sían menores o iguales que los valores correspondientes d'un vector x. Anque F nun tenga una fórmula, hai una serie d'algoritmos que dexen envalorala numbéricamente.

### Un contraejemplo
El fechu de que dos variables aleatories *X* y *Y* sigan una distribución normal, caúna, nun implica que'l par (*X*,&nbsp;*Y*) siga una distribución normal conxunta. Un exemplu simple dar con *X* Normal(0,1), *Y* = *X* si |*X*| > 1 y *Y* = −*X* si |*X*| 
f(x,y) = \frac{1}{2 \pi \sigma_x \sigma_y \sqrt{1-\rho^2}}
\exp
\left(
 -\frac{1}{2 (1-\rho^2)}
 \left(
 \frac{x^2}{\sigma_x^2} +
 \frac{y^2}{\sigma_y^2} -
 \frac{2 \rho x y}{ (\sigma_x \sigma_y)}
 \right)
\right)


onde \rho ye'l coeficiente de correllación ente X y Y. Nesti casu,

:
\Sigma =
\begin{bmatrix}
\sigma_x^2 & \rho \sigma_x \sigma_y \\
\rho \sigma_x \sigma_y & \sigma_y^2
\end{bmatrix}.


## Tresformamientu allegáu

Si Y = c + B X \, ye una tresformamientu allegáu de X\ \sim \mathcal{N}(\mu, \Sigma), onde c\, ye un M \times 1 vector de constantes y B\, una M \times N matriz, entós Y\, tien una distribución normal multivariante con esperanza c + B \mu \, y varianza B \Sigma B^T \, esto ye, Y \sim \mathcal{N} \left(c + B \mu, B \Sigma B^T\right). En particular, cualquier subconxuntu de les X_i\, tien una distribución marxinal que ye tamién una normal multivariante.

Pa ver esto, considérese'l siguiente exemplu: pa estrayer el subconxuntu (X_1, X_2, X_4)^T \,, úsese

:
B =
\begin{bmatrix}
 1 & 0 & 0 & 0 & 0 & \ldots & 0 \\
 0 & 1 & 0 & 0 & 0 & \ldots & 0 \\
 0 & 0 & 0 & 1 & 0 & \ldots & 0
\end{bmatrix}


lo qu'estrayi direutamente los elementos deseyaos.

Otru corolariu sería que la distribución de Z=b\cdot X, onde b ye un vector del mesmu llargor que X y el puntu indica un productu vectorial, sería una distribución gaussiana unidimensional con Z\sim\mathcal{N}\left(b\cdot\mu, b^T\Sigma b\right). Esta resultancia llógrase usando 

:
B=\begin{bmatrix}
b_1 & b_2 & \ldots & b_n \\
0 & 0 & \ldots & 0 \\
\vdots & \vdots & \ddots & \vdots \\
0 & 0 & \ldots & 0
\end{bmatrix}


y considerando namái la primer componente del productu (la primer fila de B ye'l vector b). Reparar cómo la definición positiva de \Sigma implica que la varianza del productu vectorial tendría de ser positiva.

## Interpretación xeométrica

Les curves de equidensidad d'una distribución normal multivariante son elipsoides (esto ye, tresformamientos lliniales d'hiperesferes) centraos na media. Les direiciones de les exes principales de los elipsoides vienen daos polos vectores propios de la matriz de covarianza \Sigma. Los llargores relativos de los cuadraos de les exes principales vienen daos polos correspondientes vectores propios.

Si \Sigma=O\Lambda O^T=O\Lambda^{1/2}(O\Lambda^{1/2})^T ye una descomposición espectral  onde les columnes d'O son vectores propios unitarios y \Lambda ye una matriz diagonal de valores propios, entós tenemos

::X\ \sim N(\mu, \Sigma) \iff X\ \sim \mu+O\Lambda^{1/2}N(0, I) \iff X\ \sim \mu+UN(0, \Lambda).

Amás, *O* puede escoyese talmente que seya una matriz de rotación, tal qu'invirtiendo una exa nun tenga nengún efeutu en N(0, \Lambda), pero invirtiendo una columna, camude'l signu del determinante de *O*'. La distribución N(\mu, \Sigma) ye n'efeutu N(0, I) esguilada por \Lambda^{1/2}, rotada por *O* y treslladada por \mu.

Recíprocamente, cualquier eleición de \mu, matriz de rangu completu *O*, y valores diagonales positivos \Lambda_i dexa'l pasu a una distribución normal non singular multivariante. Si cualesquier \Lambda_i ye cero y *O* ye cuadrada, la matriz de covarianza O\Lambda O^T ye una singular. Geométricamente esto significa que cada curva elipsoide ye infinitamente delgada y tien volume cero nun espaciu *n*-dimensional, según, siquier, unu de les principales exes tien longitud cero.

## Correllaciones ya independencia

Polo xeneral, les variables aleatories pueden ser incorreladas, pero altamente dependientes. Pero si un vector aleatoriu tien una distribución normal multivariante, entós cualesquier dos o más de los sos componentes que sían incorreladas, son independientes. 

Pero **non** ye ciertu que dos variables aleatories que tán (xebradamente, marginalmente) de normal distribuyíes y incorreladas sían independientes. Dos variables aleatories que tán de normal distribuyíes pueden que nun lo tean conxuntamente. Pa un exemplu de dos variables de normal distribuyíes que sían incorreladas pero *non* independientes, vease de normal distribuyíes y incorreladas nun implica independencia.

## Momentos más altos
El momentu estándar de *k*-ésimo orde de *X* defínese como

:
\mu _{1,\dots,N}(X)\ \stackrel{\mathrm{def}}{=}\ \mu _{r_{1},\dots,r_{N}}(X)\ \stackrel{\mathrm{def}}{=}\ Y\left[
\prod\limits_{j=1}^{N}X_j^{r_{j}}\right]


onde r_1 +r_2 + \cdots + r_N =k.

Los momentos centrales d'orde *k* vien daos como sigue:

(a) Si *k* ye impar, \mu _{1,\dots,N}(X-\mu )=0.

(b) Si *k* ye par, con k=2\lambda, entós

:
\mu _{1,\dots,2\lambda }(X-\mu )=\sum \left( \sigma _{ij}\sigma _{k\ell}\cdots\sigma _{XZ}\right)


onde la suma toma sobre toles disposiciones de conxuntos \left\{ 1,\dots,2\lambda \right\}
en \lambda pareyes (non ordenar). Esto ye, si tiense un *k*-ésimo ({}=2\lambda=6) momentu central, tarán sumándose los productos de \lambda=3 covarianzas (la notación -\mu desprecióse pa facilitar la llectura):

:\begin{align}
& {} Y[X_1 X_2 X_3 X_4 X_5 X_6] \\
&{} = Y[X_1 X_2 ]Y[X_3 X_4 ]Y[X_5 X_6 ] + Y[X_1 X_2 ]Y[X_3 X_5 ]Y[X_4 X_6] + Y[X_1 X_2 ]Y[X_3 X_6 ]Y[X_4 X_5] \\
&{} + Y[X_1 X_3 ]Y[X_2 X_4 ]Y[X_5 X_6 ] + Y[X_1 X_3 ]Y[X_2 X_5 ]Y[X_4 X_6 ] + Y[X_1 X_3]Y[X_2 X_6]Y[X_4 X_5] \\
&+ Y[X_1 X_4]Y[X_2 X_3]Y[X_5 X_6]+Y[X_1 X_4]Y[X_2 X_5]Y[X_3 X_6]+Y[X_1 X_4]Y[X_2 X_6]Y[X_3 X_5] \\
& + Y[X_1 X_5]Y[X_2 X_3]Y[X_4 X_6]+Y[X_1 X_5]Y[X_2 X_4]Y[X_3 X_6]+Y[X_1 X_5]Y[X_2 X_6]Y[X_3 X_4] \\
& + Y[X_1 X_6]Y[X_2 X_3]Y[X_4 X_5 ] + Y[X_1 X_6]Y[X_2 X_4 ]Y[X_3 X_5] + Y[X_1 X_6]Y[X_2 X_5]Y[X_3 X_4].
\end{align}

Esto da llugar a (2\lambda -1)!/(2^{\lambda -1}(\lambda -1)!) términos na suma (15 nel casu de riba), caúnu siendo'l productu de \lambda (3 nesti casu) covarianzas. Pa momentos de cuartu orde (cuatro variables) hai tres términos. Pa momentos de sestu orde hai 3&nbsp;×&nbsp;5 = 15 términos, y pa momentos d'octavu orde hai 3&nbsp;×&nbsp;5&nbsp;×&nbsp;7 = 105 términos.

Les covarianzas son entós determinaes por aciu el reemplazu de los términos de la llista \left[ 1,\dots,2\lambda \right] polos términos correspondientes de la llista que consiste en r_1 unos, entós r_2 doses, etc... Pa ilustrar esto, esamínese'l siguiente casu pel momento central de cuartu orde:

:Y\left[ X_i^4\right] = 3\sigma _{ii}^2
:Y\left[ X_i^3 X_j\right] = 3\sigma _{ii} \sigma _{ij}
:Y\left[ X_i^2 X_j^2\right] = \sigma _{ii}\sigma_{jj}+2\left( \sigma _{ij}\right) ^2
:Y\left[ X_i^2X_jX_k\right] = \sigma _{ii}\sigma _{jk}+2\sigma _{ij}\sigma _{ik}
:Y\left[ X_i X_j X_k X_n\right] = \sigma _{ij}\sigma _{kn}+\sigma _{ik}\sigma _{jn}+\sigma _{in}\sigma _{jk}.


onde  \sigma_{ij}  ye la covarianza de  X_i  y  X_j. La idea del métodu de riba ye que primero s'atopa'l casu xeneral pal momentu k-ésimo, onde se tien k distintos variables X - Y\left[ X_i X_j X_k X_n\right] y entós pueden simplificase apropiadamente. Si tiense Y\left[ X_i^2 X_k X_n\right] entós, a cencielles seya X_i = X_j y síguese que \sigma_{ii}=\sigma_i^2.

## Distribuciones condicionales

Si \mu y \Sigma son estremaes como sigue:

:
\mu =
\begin{bmatrix}
 \mu_1 \\
 \mu_2
\end{bmatrix}
\quad con tamaños \begin{bmatrix} q \times 1 \\ (N-q) \times 1 \end{bmatrix}

:
\Sigma =
\begin{bmatrix}
 \Sigma_{11} & \Sigma_{12} \\
 \Sigma_{21} & \Sigma_{22}
\end{bmatrix}
\quad con tamaños \begin{bmatrix} q \times q & q \times (N-q) \\ (N-q) \times q & (N-q) \times (N-q) \end{bmatrix}

entós la distribución de x_1 condicionada a x_2=a ye una normal multivariante (X_1|X_2=a) \sim N(\bar{\mu}, \overline{\Sigma}) onde

:
\bar{\mu}
=
\mu_1 + \Sigma_{12} \Sigma_{22}^{-1}
\left(
 a - \mu_2
\right)


y matriz de covarianza

:
\overline{\Sigma}
=
\Sigma_{11} - \Sigma_{12} \Sigma_{22}^{-1} \Sigma_{21}.


Esta matriz ye'l complementu de Schur de {\mathbf\Sigma_{22}} en {\mathbf\Sigma}. Esto significa que pa calcular la matriz condicional de covarianza, inviértese la matriz global de covarianza, despréciense les files y columnes correspondientes a les variables so les cualos ta condicionada y entós inviértese de nuevu pa consiguir la matriz condicional de covarianza.

Nótese que se sabe que x_2=a alteria la varianza, anque la nueva varianza nun dependa del valor específicu de a; quiciabes más sorprendentemente, la media camudar por \Sigma_{12} \Sigma_{22}^{-1} \left(a - \mu_2 \right); compárese esto cola situación na que nun se conoz el valor de a, y nesi casu x_1 tendría como distribución

N_q \left(\mu_1, \Sigma_{11} \right).

La matriz \Sigma_{12} \Sigma_{22}^{-1} conozse como la matriz de coeficientes de regresión.

### Esperanza condicional bivariante

Nel casu


\begin{pmatrix}
 X_1 \\
 X_2
\end{pmatrix} \sim \mathcal{N} \left( \begin{pmatrix}
 0 \\
 0
\end{pmatrix} , \begin{pmatrix}
 1 & \rho \\
 \rho & 1 
\end{pmatrix} \right)


entós


Y(X_1 | X_2 > z) = \rho { \phi(z) \over \Phi(-z) }


onde esta última razón llámase de cutiu razón inversa de Mills.

## Matriz d'información de Fisher

La matriz d'información de Fisher (MIF) pa una distribución normal toma una formulación especial. L'elementu (m,n) de la MIF pa X \sim N(\mu(\theta), \Sigma(\theta)) ye

:
\mathcal{I}_{m,n}
=
\frac{\partial \mu}{\partial \theta_m}
\Sigma^{-1}
\frac{\partial \mu^\top}{\partial \theta_n}
+
\frac{1}{2}
\mathrm{tr}
\left(
 \Sigma^{-1}
 \frac{\partial \Sigma}{\partial \theta_m}
 \Sigma^{-1}
 \frac{\partial \Sigma}{\partial \theta_n}
\right)


onde *

\frac{\partial \mu}{\partial \theta_m}
=
\begin{bmatrix}
 \frac{\partial \mu_1}{\partial \theta_m} &
 \frac{\partial \mu_2}{\partial \theta_m} &
 \cdots &
 \frac{\partial \mu_N}{\partial \theta_m} &
\end{bmatrix}

*
\frac{\partial \mu^\top}{\partial \theta_m}
=
\left(
 \frac{\partial \mu}{\partial \theta_m}
\right)^\top
=
\begin{bmatrix}
 \frac{\partial \mu_1}{\partial \theta_m} \\ \\
 \frac{\partial \mu_2}{\partial \theta_m} \\ \\
 \vdots \\ \\
 \frac{\partial \mu_N}{\partial \theta_m} \\ \\
\end{bmatrix}

*
\frac{\partial \Sigma}{\partial \theta_m}
=
\begin{bmatrix}
 \frac{\partial \Sigma_{1,1}}{\partial \theta_m} &
 \frac{\partial \Sigma_{1,2}}{\partial \theta_m} &
 \cdots &
 \frac{\partial \Sigma_{1,N}}{\partial \theta_m} \\ \\
 \frac{\partial \Sigma_{2,1}}{\partial \theta_m} &
 \frac{\partial \Sigma_{2,2}}{\partial \theta_m} &
 \cdots &
 \frac{\partial \Sigma_{2,N}}{\partial \theta_m} \\ \\
 \vdots & \vdots & \ddots & \vdots \\ \\
 \frac{\partial \Sigma_{N,1}}{\partial \theta_m} &
 \frac{\partial \Sigma_{N,2}}{\partial \theta_m} &
 \cdots &
 \frac{\partial \Sigma_{N,N}}{\partial \theta_m}
\end{bmatrix}

*\mathrm{tr} ye la función traza d'una matriz.

## Diverxencia de Kullback-Leibler

La diverxencia de Kullback-Leibler de N0_N(\mu_0, \Sigma_0) a N1_N(\mu_1, \Sigma_1) ye:

:
D_\text{KL}(N0 \| N1) = { 1 \over 2 } \left( \log_y \left( { \det \Sigma_1 \over \det \Sigma_0 } \right) + \mathrm{tr} \left( \Sigma_1^{-1} \Sigma_0 \right) + \left( \mu_1 - \mu_0\right)^\top \Sigma_1^{-1} ( \mu_1 - \mu_0 ) - N \right).


El llogaritmu tien de tomase con base *[[Númberu e|e]]* nos dos términos (llogaritmos neperianos), siguiendo'l llogaritmu tán los llogaritmos neperianos de les espresiones que son dambos factores de la función de densidá o si non, surden naturalmente. La diverxencia de riba mídese en nats. Estremando la espresión de riba por log*y*&nbsp;2 dase pasu a la diverxencia en bits.

## Estimación de parámetros
La derivación del estimador de máxima verosimilitud de la matriz de covarianza d'una distribución normal multivariante ye, quiciabes sorprendentemente, sutil y elegante. *Vease [[estimación de matrices de covarianza]]*.

En poques pallabres, la función de densidá de probabilidá d'una normal multivariante *N*-dimensional ye

:f(x)=(2 \pi)^{-N/2} \det(\Sigma)^{-1/2} \exp\left(-{1 \over 2} (x-\mu)^T \Sigma^{-1} (x-\mu)\right)

y el estimador MV de la matriz de covarianza pa una muestra de *n* observaciones ye

:\widehat\Sigma = {1 \over n}\sum_{i=1}^n (X_i-\overline{X})(X_i-\overline{X})^T

lo cual ye, a cencielles, la matriz muestral de covarianza. Este ye un estimador sesgado que la so esperanza ye

:Y[\widehat\Sigma] = {n-1 \over n}\Sigma.

Una covarianza muestral insesgada ye

:\widehat\Sigma = {1 \over n-1}\sum_{i=1}^n (X_i-\overline{X})(X_i-\overline{X})^T.

## Entropía
La entropía diferencial de la distribución normal multivariante ye 

:
\begin{align}
h\left(f\right) & = -\int_{-\infty}^\infty \int_{-\infty}^\infty \cdots\int_{-\infty}^\infty f(x) \ln f(x)\,dx \\
& = \frac12 \left(N+N\ln\left(2\pi\right) + \ln\left| \Sigma \right|\right) \\
& =\frac{1}{2}\ln\{(2\pi y)^N \left| \Sigma \right|\}
\end{align}


onde \left| \Sigma \right| ye'l determinante de la matriz de covarianza \Sigma.

## Tests de normalidá multivariante
Los tests de normalidá multivariante comprueben la semeyanza d'un conxuntu dau de datos cola distribución normal multivariante. La hipótesis nula ye que'l conxuntu de datos ye similar a la distribución normal, por consiguiente un p-valor abondo pequeñu indica datos non normales. Los tests de normalidá multivariante inclúin el test de Cox-Small y l'adaptación de Smith y Jain
 del test de Friedman-Rafsky.

## Asemeyando valores de la distribución
Un métodu llargamente usáu p'asemeyar un vector aleatoriu X de la distribución normal multivariada N-dimensional con vector de medies \mu y matriz de covarianza \Sigma (riquida pa ser simétrica y definida positiva) funciona como sigue:

# Calcúlase la descomposición de Cholesky de \Sigma, esto ye, atópase la única matriz triangular inferior A tal que A\,A^T = \Sigma. Nótese que cualesquier otra matriz A que satisfaiga esta condición, esto ye, que ye unu la raigañu cuadráu de \Sigma, podría usase, pero de cutiu atopar tal matriz, distinta de la de la descomposición de Cholesky, sería abondo más costosu en términos de computación.
# Sía Z=(z_1,\dots,z_N)^T un vector que les sos componentes N normales ya independientes varien (lo cual puede xenerase, por casu, usando'l métodu de Box-Muller.
# Sía X = \, \mu + AZ \,.

## Referencies