Çokdeğişirli normal dağılım

\exp\left( -\frac{1}{2}( x - \mu)^\top \Sigma^{-1} (x - \mu)\right)|
  YDF        =|
  ortalama   =\mu|
  medyan     =\mu|
  mod        =\mu|
  varyans   =\Sigma (kovaryans matrisi)|
  çarpıklık   =0|
  basıklık   =0|
  entropi    =\ln\left(\sqrt{(2\,\pi\,e)^N \left| \Sigma \right|}\right)\!|
  mf        =M_X(t)= \exp\left( \mu^\top t + \frac{1}{2} t^\top \Sigma t\right)|
  kf      =\phi_X(t;\mu,\Sigma)=\exp\left( i \mu^\top t - \frac{1}{2} t^\top \Sigma t\right)|
}}
Olasılık kuramı ve istatistik bilim kollarında, **çokdeğişirli normal dağılım**
veya **çokdeğişirli Gauss-tipi dağılım**, tek değişirli bir dağılım olan normal dağılımın (veya Gauss-tipi dağılımın) çoklu değişirli hallere genelleştirilmesidir.

## Genel hal

### Yığmalı dağılım fonksiyonu
Genel bir tanımla, F(X) olarak ifade edilen yığmalı dağılım fonksiyonu, bir rassal vektörun, x vektörüne eşit veya bu vektör değerlerden daha az olduğu zaman karşıtı olarak bulunan bütün olasılıkların toplamını ifade eden bir fonksiyondur. Çokdeğişirli normal dağılım için bir cebirsel kapalı eşitlik şeklinde bir F ifadesi bulunmamaktadır. Ancak bu fonksiyonun sayısal değerlerini tahmin etmek için birkaç algoritma bulunmaktadır. Bu algoritma kullanışına bir örnek için verilen referanslarda MVNDST adlı algoritmaya bakınız. (  veya
).

### Bir karşıt örneğin
İki rassal değişken olan *X* ve *Y* tek tek normal dağılım gösterseler bile bu iki rassal değişkenin bileşik olarak (*X*, *Y*) bir çoklunormal dağılım göstereceği anlamına gelmez. Buna basit bir örnekte eğer |*X*| > 1 ise *Y*=*X* olması ve eğer |*X*| 
f(x,y)
=
\frac{1}{2 \pi \sigma_x \sigma_y \sqrt{1-\rho^2}}
\exp
\left(
 -\frac{1}{2 (1-\rho^2)}
 \left(
  \frac{x^2}{\sigma_x^2} +
  \frac{y^2}{\sigma_y^2} -
  \frac{2 \rho x y}{ (\sigma_x \sigma_y)}
 \right)
\right)


Burada \rho terimi X ve Y arasındaki korelasyonu gösterir ve şu ifade kovaryans matrisi olur:

:
\Sigma =
\begin{bmatrix}
\sigma_x^2              & \rho \sigma_x \sigma_y \\
\rho \sigma_x \sigma_y  & \sigma_y^2
\end{bmatrix}
.

## Afin dönüşümü

## Geometrik açıklama
Bir singuler olmayan çokdeğişirli normal dağılım için aynı yoğunluk gösteren kontur eğrileri elipsoitlerdir; yani ortalamada merkezleşmiş çok-boyutlu-kürelerin doğrusal dönüşümleridir. Bu elipsoitlerin 
esas eksenlerinin yönleri kovaryans matrisinin özvektörleri (eigenvector) olarak verilmiştir. Esas eksenlerin orantılı uzunluklarının karesi bunlara karşıt olan özdeğerler (eigenvalues) olurlar. Bu 
halde şu ifade ortaya çıkar:

::X\ \sim N(\mu, \Sigma) \iff X\ \sim \mu+U\Lambda^{1/2}N(0, I) \iff X\ \sim \mu+UN(0, \Lambda).

Bunun yanında, *U* bir rotasyon matrisi olarak seçilebilir; çünkü bu eksenin tersini alınca 
N(0, \Lambda) hiç etkilenmemektedir; buna karşıt olarak bir matris sütûnunun tersi alınırsa *u*nun determinantının işaretleri değişir. N(\mu, \Sigma)  ile özetlenen dağılım böylelikle N(0, I)  ifadesinin \Lambda^{1/2} ile ölçeğinin değiştirilmesi, *u* ile rotasyon yapılması ve \mu ile çevrilmesi ile ortaya çıkar.

Bunun aksine bakılırsa, \mu ve tam ranklı *U* matrisi ve pozitif çapraz girdiler  olan \Lambda_i değerleri için yapılan herhangi bir seçim, bir singuler olmayan çokdeğişirli normal dağılım ortaya çıkartır. Eğer herhangi bir \Lambda_i sıfıra eşitse ve *u* kare matris ise, bunun sonucunda ortaya çıkan U\Lambda U^T kovaryans matrisi bir singuler matris olur. Geometrik olarak bunun açıklaması her kontur elipsoitin sonsuz olarak inceleşmesi ve *n*-boyutlu bir uzayda *0* bir hacim kapsamasıdır, çünkü en aşağı bir tane esas eksenin uzunluğu sıfır olmaktadır.

## Korelasyonlar ve bağımsızlık
Genel olarak, rassal değişkenler birbirleriyle çok yüksek derecede bağımlı olabilirler ama hiç korelasyon göstermeyebilirler. Ama, eğer bir rassal vektör çokdeğişirli normal dağılım gösterirse o halde aralarında hiç korelasyon göstermeyen  iki veya daha fazla sayıda vektör parçası istatistiksel olarak birbirinden bağımsızdır. Bundan da şu sonuc çıkartılabilir: eğer vektörün herhangi iki veya daha fazla parçası ikişer ikişer bağımsızlık gösteriyorsa, bu parçalar birbirinden bağımsızdırlar.

Fakat ayrı ayrı olarak ve marjinal olarak, iki rassal değişken normal dağılım gösterirlerse ve aralarında hiç korelasyon bulunmazsa, o halde bu iki değişkenler birbirinden bağımsızdır. Normal dağılım gösteren iki rassal değişken, ortaklaşa normal dağılım göstermeyebilirler; yani bir parçası oldukları vektör bir çokdeğişkenli normal dağılım göstermeyebilir. İki korelasyon göstermeyen ama normal dağılım gösteren fakat bağımsız olmayan rassal değişken için örneğin normal dağılım gösterip hiç korelasyon göstermemek bağımsız olmak demek değildir maddesine bakınız.

## Daha yüksek momentler
Genel olarak *X* için *k*inci derecede momentler şöyle tanımlanmaktadır:

:
\mu _{1,\dots,N}(X)\ \stackrel{\mathrm{def}}{=}\  \mu _{r_{1},\dots,r_{N}}(X)\ \stackrel{\mathrm{def}}{=}\  E\left[
\prod\limits_{j=1}^{N}X_j^{r_{j}}\right]


Burada r_{1}+r_{2}+\cdots+r_{N}=k.

Merkezsel kinci derecede momentler şöyle verilir:

(a)Eger k tek ise \mu _{1,\dots,N}(X-\mu )=0 olur.
(b)Eger k cift ise ve k=2\lambda, o halde

:
\mu _{1,\dots,2\lambda }(X-\mu )=\sum \left( \sigma _{ij}\sigma _{kl}\cdots\sigma _{XZ}\right)


Burada toplam \left\{ 1,\dots,2\lambda\right\} setinin \lambda (sıralanmamış) çiftler üzerine tahsis edilmelerinin hepsi birlikte alınmasıdır. Bu işlem sonucunda toplam içinde (2\lambda -1)!/(2^{\lambda -1}(\lambda -1)!)  sayıda terim bulunur, Her bir terim \lambda tane kovaryansın çarpımıdır.

Özellikle, 4-üncü derecedeki momentler şöyle verilirler:

:E\left[ X_{i}^{4}\right] = 3( \sigma _{ii}) ^{2}
:E\left[ X_{i}^{3}X_{j}\right] = 3\sigma _{ii}\sigma _{ij}
:E\left[ X_{i}^{2}X_{j}^{2}\right] = \sigma _{ii}\sigma _{jj}+2\left( \sigma _{ij}\right) ^{2}
:E\left[ X_{i}^{2}X_{j}X_{k}\right] = \sigma _{ii}\sigma _{jk}+2\sigma _{ij}\sigma _{ik}
:E\left[ X_{i}X_{j}X_{k}X_{n}\right] = \sigma _{ij}\sigma _{kn}+\sigma _{ik}\sigma _{jn}+\sigma _{in}\sigma _{jk}.


Dört değişken halindeki dördüncü derece moment içinde üç tane terim bulunur.

Altıncı-derecede moment içinde  (3 × 5 =) 15 terim; sekizinci derecede momentler arasında (3 × 5 × 7) = 105 terim bulunur. Altıncı-derecedeki moment için ifade şöyle genişletilebilir:

:\begin{align}
& {} E[X_{1}X_{2}X_{3}X_{4}X_{5}X_{6}] \\
&{} = E[X_{1}X_{2}]E[X_{3}X_{4}]E[X_{5}X_{6}]+E[X_{1}X_{2}]E[X_{3}X_{5}]E[X_{4}X_{6}]+E[X_{1}X_{2}]E[X_{3}X_{6}]E[X_{4}X_{5}] \\
&{} + E[X_{1}X_{3}]E[X_{2}X_{4}]E[X_{5}X_{6}]+E[X_{1}X_{3}]E[X_{2}X_{5}]E[X_{4}X_{6}]+E[X_{1}X_{3}]E[X_{2}X_{6}]E[X_{4}X_{5}] \\
&+ E[X_{1}X_{4}]E[X_{2}X_{3}]E[X_{5}X_{6}]+E[X_{1}X_{4}]E[X_{2}X_{5}]E[X_{3}X_{6}]+E[X_{1}X_{4}]E[X_{2}X_{6}]E[X_{3}X_{5}] \\
& + E[X_{1}X_{5}]E[X_{2}X_{3}]E[X_{4}X_{6}]+E[X_{1}X_{5}]E[X_{2}X_{4}]E[X_{3}X_{6}]+E[X_{1}X_{5}]E[X_{2}X_{6}]E[X_{3}X_{4}] \\
&+E[X_{1}X_{6}]E[X_{2}X_{3}]E[X_{4}X_{5}]+E[X_{1}X_{6}]E[X_{2}X_{4}]E[X_{3}X_{5}]+E[X_{1}X_{6}]E[X_{2}X_{5}]E[X_{3}X_{4}].
\end{align}

## Koşullu dağılımlar
Eğer \mu ve \Sigma şu şekilde kısımlara ayrılırlarsa:

:
\mu
=
\begin{bmatrix}
 \mu_1 \\
 \mu_2
\end{bmatrix}
\quad Büyüklüğü şu olur; \begin{bmatrix} q \times 1 \\ (N-q) \times 1 \end{bmatrix}

:
\Sigma
=
\begin{bmatrix}
 \Sigma_{11} & \Sigma_{12} \\
 \Sigma_{21} & \Sigma_{22}
\end{bmatrix}
\quad Büyüklüğü şu olur: \begin{bmatrix} q \times q & q \times (N-q) \\ (N-q) \times q & (N-q) \times (N-q) \end{bmatrix}

Bu halde x_2=a ifadesiyle koşullu olan x_1 şöyle özetlenen çokdeğişirli normal dağılım gösterir:

:(X_1|X_2=a) \sim N(\bar{\mu}, \overline{\Sigma}) 
Burada

:
\bar{\mu}
=
\mu_1 + \Sigma_{12} \Sigma_{22}^{-1}
\left(
 a - \mu_2
\right)


olur ve covaryans matrisi şöyle verilir:

:
\overline{\Sigma}
=
\Sigma_{11} - \Sigma_{12} \Sigma_{22}^{-1} \Sigma_{21}.


Bu matris {\mathbf\Sigma} içinde {\mathbf\Sigma_{22}} ifadesinin Schur tamamlayıcısı olur.

Bundan dikkati çekmesi gereken şu sonuçlar çıkartılır: x_2 değerinin a olduğunu bilmek varyansı değiştirir. Daha şaşırtıcı olarak, ortalama değeri \Sigma_{12} \Sigma_{22}^{-1} \left(a - \mu_2 \right) ile kayma gösterir. Eğer  a bilinmese idi, x_1  nin göstereceği dağılım  N_q \left(\mu_1, \Sigma_{11} \right) olurdu.

\Sigma_{12} \Sigma_{22}^{-1}  matrisi regresyon katsayıları olarak da bilinirler.

## Fisher'in enformasyon matrisi
Bir normal dağılım için Fisher'in enformasyon matrisi bir ozel sekil alir. X \sim N(\mu(\theta), \Sigma(\theta)) için Fisher'in enformasyon matrisinin (m,n) elemanı su olur:

:
\mathcal{I}_{m,n}
=
\frac{\partial \mu}{\partial \theta_m}
\Sigma^{-1}
\frac{\partial \mu^\top}{\partial \theta_n}
+
\frac{1}{2}
\mathrm{tr}
\left(
 \Sigma^{-1}
 \frac{\partial \Sigma}{\partial \theta_m}
 \Sigma^{-1}
 \frac{\partial \Sigma}{\partial \theta_n}
\right)


Burada
* 
\frac{\partial \mu}{\partial \theta_m}
=
\begin{bmatrix}
 \frac{\partial \mu_1}{\partial \theta_m} &
 \frac{\partial \mu_2}{\partial \theta_m} &
 \cdots &
 \frac{\partial \mu_N}{\partial \theta_m} &
\end{bmatrix}

* 
\frac{\partial \mu^\top}{\partial \theta_m}
=
\left(
 \frac{\partial \mu}{\partial \theta_m}
\right)^\top
=
\begin{bmatrix}
 \frac{\partial \mu_1}{\partial \theta_m} \\  \\
 \frac{\partial \mu_2}{\partial \theta_m} \\  \\
 \vdots \\  \\
 \frac{\partial \mu_N}{\partial \theta_m} \\  \\
\end{bmatrix}

* 
\frac{\partial \Sigma}{\partial \theta_m}
=
\begin{bmatrix}
 \frac{\partial \Sigma_{1,1}}{\partial \theta_m} &
 \frac{\partial \Sigma_{1,2}}{\partial \theta_m} &
 \cdots &
 \frac{\partial \Sigma_{1,N}}{\partial \theta_m} \\  \\
 \frac{\partial \Sigma_{2,1}}{\partial \theta_m} &
 \frac{\partial \Sigma_{2,2}}{\partial \theta_m} &
 \cdots &
 \frac{\partial \Sigma_{2,N}}{\partial \theta_m} \\  \\
 \vdots & \vdots & \ddots & \vdots \\  \\
 \frac{\partial \Sigma_{N,1}}{\partial \theta_m} &
 \frac{\partial \Sigma_{N,2}}{\partial \theta_m} &
 \cdots &
 \frac{\partial \Sigma_{N,N}}{\partial \theta_m}
\end{bmatrix}


* \mathrm{tr}  trace fonksiyonu olur.

## Kullback-Leibler ayrılımı

N0_N(\mu_0, \Sigma_0) den  N1_N(\mu_1, \Sigma_1) dağılımına Kullback-Leibler ayrılımı şöyle verilir:

:
D_\text{KL}(N0 \| N1) = { 1 \over 2 } \left( \log_e \left( { \det \Sigma_1 \over \det \Sigma_0 } \right) + \mathrm{tr} \left( \Sigma_1^{-1} \Sigma_0 \right) + \left( \mu_1 - \mu_0\right)^\top \Sigma_1^{-1} ( \mu_1 - \mu_0 ) - N \right).


## Parametrelerin kestrimi
Cokdegisirli normal dağılımın kovaryansinin maksimum olabilirlik kestiriminin  elde edilmesi şaşırtıcı şekilde düzenli ve zekice yapılmıştır. Kovaryans matrislerin kestirimi maddesine bakın. Bir *N*-boyutlu cokludegisirli normal dağılımın olasılık yoğunluk fonksiyonu şöyle verilir:

:f(x)=(2 \pi)^{-N/2} \det(\Sigma)^{-1/2} \exp\left(-{1 \over 2} (x-\mu)^T \Sigma^{-1} (x-\mu)\right)

ve kovaryans matrisinin maksimum olabilirlik kestirimi söyle yazılır:

:\widehat\Sigma = {1 \over n}\sum_{i=1}^n (X_i-\overline{X})(X_i-\overline{X})^T

Bu basit olarak bir *n* büyüklüğünde bir örneklem için örneklem kovaryans matrisidir. Bu bir yanli kestirim olup beklenen değeri

:E[\widehat\Sigma] = {n-1 \over n}\Sigma.

Oliur. Bir yansız örneklem kovaryansi kestirmi sudur:

:\widehat\Sigma = {1 \over n-1}\sum_{i=1}^n (X_i-\overline{X})(X_i-\overline{X})^T.

## Entropi
Çokdeğişirli normal dağılım için diferansiyel entropi ifadesi şöyle verilir:h\left(f\right)= -\int_{-\infty}^{\infty} \int_{-\infty}^{\infty}\cdots\int_{-\infty}^{\infty}f(x)\ln f(x)\,dx

:=\frac12 \left(N+N\ln\left(2\pi\right)+\ln\left| \Sigma \right|\right)\!

:=\frac{1}{2}\ln\{(2\pi e)^N \left| \Sigma \right|\}

Burada \left| \Sigma \right| covaryans matrisi olan \Sigmanın determani olur:

## Çokdeğişirli normallik sınamaları
Çokdeğişirli normallik sınamaları bir verilmiş veri seti için bir teorik çokdeğişirli normal dağılıma  benzerlik olup olmadığını sınamak için hazırlanmıştır. Bu sınamalarda sıfır hipotez veri setinin çokdeğişirli normal dağılıma benzerlik gösterdiğidir. Eğer sınama ile bulunan p-değeri yeter derece küçük ise (yani genellikle 0,05 veya 0,01den daha küçük ise), sıfır hipotez reddedilir ve verinin çokludeğişirli normal dağılım göstermediği kabul edilir. Bu çokludeğişirli normallik sınamaları arasında popüler olan Cox-Small sınamasıdır:
Smith ve Jain'in Friedman-Rafsky testini adaptasyonu için şu referansa bakın:

## Dağılımdan değerlerin bulunması

\mu ortalama vektörü ve (simetrik ve pozitif kesin olması gereken) kovaryans matrisi \Sigma olan bir N-boyutlu çokdeğişirli normal dağılımdan bir rastgele vektör   
X çekmek için çok kullanılan bir yöntem şöyle uygulanır:

# \Sigma için (matris kare kökü olan) Çoleski dekompozisyonu hesap edilir. Yani A\,A^T = \Sigma koşuluna uyan tek bir alt üçgensel matris olan A bulunur. 
# Örneğin Box-Müller dönüşümü ile üretilip elde edilebilen N tane birebirine bağımsiz normal dağılım gösteren değişebilir parçalarından oluşan bir vektör Z=(z_1,\dots,z_N)^T bulunur.
# X, \mu + AZ ifadesine eşit olarak bulunur.

## Kaynakça