توزیع نرمال چندمتغیره

در نظریه احتمال و آمار، **توزیع نرمال چند متغیره،** **توزیع گاوسی چند متغیره،** یا **توزیع نرمال توأم** یک تعمیم از توزیع نرمال یک بعدی (تک متغیره) به ابعاد بالاتر است. یک تعریف این است که اگر هر ترکیب خطی از k عضو یک بردار، توزیع نرمال تک متغیره داشته باشد، به یک بردار تصادفی *k* متغیره گفته می‌شود که به‌طور نرمال توزیع شده‌است. اهمیت آن عمدتاً از قضیه حد مرکزی چند متغیره ناشی می‌شود. برای توصیف هر مجموعه ای از متغیرهای تصادفی با ارزش حقیقی که احتمالاً همبسته اند و هر کدام حول مقداری متوسط جمع می‌شوند، اغلب از توزیع نرمال چندمتغییره استفاده می‌شود.

## تعاریف
### علامت گذاری و پارامترسازی
توزیع نرمال چند متغیره یک بردار تصادفی *k بعدی به صورت* \mathbf{X} = (X_1,\ldots,X_k)^{\mathrm T} را می‌توان با نماد زیر نوشت:

: 
  \mathbf{X}\ \sim\ \mathcal{N}(\boldsymbol\mu,\, \boldsymbol\Sigma),
 

یا برای اینکه با صراحت نشان دهیم X از بعد k است،

: 
  \mathbf{X}\ \sim\ \mathcal{N}_k(\boldsymbol\mu,\, \boldsymbol\Sigma),
 

با بردار میانگین *k* بعدی

:  \boldsymbol\mu = \operatorname{E}[\mathbf{X}] = ( \operatorname{E}[X_1], \operatorname{E}[X_2], \ldots, \operatorname{E}[X_k] ) ^ \textbf{T}, 

و ماتریس کوواریانس k \times k

:  \Sigma_{i,j} = \operatorname{E} [(X_i - \mu_i)( X_j - \mu_j)] = \operatorname{Cov}[X_i, X_j] 

به طوری که 1 \le i,j \le k. معکوس ماتریس کوواریانس را ماتریس دقت می‌نامند که به صورت \boldsymbol{Q}=\boldsymbol\Sigma^{-1}  نمایش داده می‌شود.

### بردار تصادفی نرمال استاندارد
یک بردار تصادفی حقیقی به صورت \mathbf{X} = (X_1,\ldots,X_k)^{\mathrm T}، **بردار تصادفی نرمال استاندارد** نامیده می‌شود اگر تمام اعضای X_n مستقل و هر کدام یک متغیر تصادفی با میانگین صفر و واریانس ۱ باشند که به‌طور نرمال توزیع شده‌اند یعنی X_n \sim\ \mathcal{N}(0,1) برای همه nها. 

### بردار تصادفی نرمال متمرکز
یک بردار تصادفی حقیقی به صورت \mathbf{X} = (X_1,\ldots,X_k)^{\mathrm T}، **بردار تصادفی نرمال متمرکز** نامیده می‌شود اگر ماترس\boldsymbol{A} با ابعاد k \times \ell وجود داشته باشد به طوری که \boldsymbol{A} \mathbf{Z} توزیع مشابهی با \mathbf{X} داشته و \mathbf{Z} یک بردار تصادفی نرمال استاندار \ell متغیره باشد. 

### بردار تصادفی نرمال
یک بردار تصادفی حقیقی به صورت\mathbf{X} = (X_1,\ldots,X_k)^{\mathrm T}، **بردار تصادفی معمولی** نامیده می‌شود اگر بردار تصادفی نرمال استاندارد \mathbf{Z} با بعد \ell ، بردار \mathbf{\mu} با بعد k و ماتریس \boldsymbol{A} با ابعاد k \times \ell وجود داشته باشد، به طوری که \mathbf{X}=\boldsymbol{A} \mathbf{Z} + \mathbf{\mu} .  

به نمادگذاری ریاضی:در اینجا \boldsymbol\Sigma = \boldsymbol{A} \boldsymbol{A}^{\mathrm T}، ماتریس کوواریانس است.

در حالت انحطاط که در آن ماتریس کوواریانس منفرد است، توزیع مربوطه فاقد چگالی است. برای جزئیات بیشتر به بخش زیر مراجعه کنید. این مورد مکرراً در آمار به وجود می‌آید. برای مثال، در توزیع بردار باقیمانده در رگرسیون حداقل مربعات معمولی.  X_iها به‌طور کلی مستقل *نیستند.* آنها را می‌توان به عنوان نتیجه اعمال ماتریس \boldsymbol{A} به مجموعه ای از متغیرهای گاوسی مستقل \mathbf{Z} مشاهده کرد.

### تعاریف معادل
تعاریف زیر معادل تعریف فوق می‌باشد. یک بردار تصادفی به فرم \mathbf{X} = (X_1, \ldots, X_k)^T اگر یکی از شرایط معادل زیر را برآورده کند، دارای توزیع نرمال چند متغیره است.
* هر ترکیب خطی به فرم Y=a_1 X_1 + \cdots + a_k X_k از اعضای آن به طور نرمال توزیع شده باشد. یعنی برای هر بردار ثابت \mathbf{a} \in \mathbb{R}^k ، متغیر تصادفی Y=\mathbf{a}^{\mathrm T}\mathbf{X} دارای یک توزیع نرمال تک متغیره باشد، که در آن توزیع نرمال تک متغیره با واریانس صفر جرم نقطه ای بر میانگین آن است.
* یک بردار \mathbf{\mu} با *k* بعد و یک ماتریس مثبت نیمه معین و متقارن \boldsymbol\Sigma با ابعاد k \times k وجود دارد، به طوری که تابع مشخصه از \mathbf{X} به صورت زیر می‌باشد. 
  \varphi_\mathbf{X}(\mathbf{u}) = \exp\Big( i\mathbf{u}^T\boldsymbol\mu - \tfrac{1}{2} \mathbf{u}^T\boldsymbol\Sigma \mathbf{u} \Big).
 

توزیع نرمال کروی را می‌توان به عنوان توزیع منحصربفردی توصیف کرد که در آن اجزا در هر سیستم مختصات متعامد مستقل هستند.

### تابع چگالی
[چپ|بندانگشتی|300x300پیکسل| [توزیع احتمال توأم نرمال دو متغیره]]

#### مورد غیر منحط
هنگامی که ماتریس کوواریانس متقارن \boldsymbol\Sigma، مثبت قطعی باشد به توزیع نرمال چند متغیره «غیر انحطاط» گفته می‌شود. در این حالت توزیع دارای تابع چگالی احتمال به صورت زیر است
|cellpadding=6|border colour=#0073CF|background colour=#F5FFFA}}جایی که {\mathbf x} یک بردار ستونی *k بعدی حقیقی است و* |\boldsymbol\Sigma|\equiv \det\boldsymbol\Sigma دترمینان ماتریس \boldsymbol\Sigma، همچنین به عنوان واریانس تعمیم یافته شناخته می‌شود. اگر \boldsymbol\Sigma یک ماتریس 1 \times 1 باشد، معادله بالا به معادله متناظر در توزیع نرمال تک متغیره تقلیل می‌یابد.

نسخه متقارن دایره ای توزیع نرمال مختلط شکی با کمی تفاوت دارد.

در هر مکان هندسی، مکان نقاط در *فضای k* -بعدی که هر کدام مقدار خاصی از چگالی را می‌دهند، یک بیضی یا تعمیم ابعاد بالاتر آن را می‌دهد. از این رو نرمال چند متغیره یک مورد خاص از توزیع‌های بیضوی است.

کمیت \sqrt{({\mathbf x}-{\boldsymbol\mu})^\mathrm{T}{\boldsymbol\Sigma}^{-1}({\mathbf x}-{\boldsymbol\mu})} به عنوان فاصله ماهالانوبیس شناخته می‌شود که نشان دهنده فاصله نقطه آزمایشی {\mathbf x} از میانگین {\boldsymbol\mu} است. توجه داشته باشید که در صورتی که k = 1 ، توزیع به یک توزیع نرمال تک متغیره کاهش می‌یابد و فاصله ماهالانوبیس به قدر مطلق نمره استاندارد کاهش می‌یابد.

#### مورد دو متغیره
در حالت غیر منفرد ۲ بعدی (k = \operatorname{rank}\left(\Sigma\right) = 2)، تابع چگالی احتمال یک بردار \text{[XY]′} به صورت زیر است:

: 
f(x,y) =
   \frac{1}{2 \pi \sigma_X \sigma_Y \sqrt{1-\rho^2}}
   \exp
    \left( -\frac{1}{2(1-\rho^2)}\left[
     \left(\frac{x-\mu_X}{\sigma_X}\right)^2 -
     2\rho\left(\frac{x-\mu_X}{\sigma_X}\right)\left(\frac{y-\mu_Y}{\sigma_Y}\right) +
     \left(\frac{y-\mu_Y}{\sigma_Y}\right)^2
    \right]
    \right)


به طوریکه که \rho همبستگی بین X و Y و   \sigma_X>0  و  \sigma_Y>0  . در این مورد،

: 
  \boldsymbol\mu = \begin{pmatrix} \mu_X \\ \mu_Y \end{pmatrix}, \quad
  \boldsymbol\Sigma = \begin{pmatrix} \sigma_X^2 & \rho \sigma_X \sigma_Y \\
               \rho \sigma_X \sigma_Y & \sigma_Y^2 \end{pmatrix}.
 

در حالت دو متغیره، اولین شرط معادل برای بازسازی چند متغیره نرمال بودن را می‌توان کمتر محدود کرد، زیرا نشان دادن اینکه تعداد شمارایی از ترکیبات خطی متمایز  X و Y نرمال هستند، برای نتیجه‌گیری این که بردار \text{[XY]′} دو متغیره نرمال است کافی است.

جایگاه‌های دو متغیره ایزو چگالی رسم شده در x,y صفحه بیضی‌هایی هستند که محورهای اصلی آنها با بردارهای ویژه ماتریس کوواریانس \boldsymbol\Sigma ساخته می‌شوند. (نیمه قطر اصلی و فرعی بیضی برابر است با ریشه مربع مقادیر ویژه مرتب شده).
چپ|بندانگشتی| توزیع نرمال دو متغیره متمرکز در نقطه <math>(1, 3)</math> با انحراف از معیار ۳ در جهت تقریباً <math>(0.878, 0.478)</math> از ۱ در جهت متعامد.
هر چه قدر مطلق پارامتر همبستگی \rho افزایش بیابد، این نقطه‌ها به سمت خط زیر فشرده می‌شوند:

: 
  y(x) = \sgn (\rho)\frac{\sigma_Y}{\sigma_X} (x - \mu _X) + \mu_Y.
 

این به این دلیل است که این عبارت، با \sgn(\rho) (که در آن sgn تابع علامت است) با \rho ، بهترین پیش‌بینی بی طرفانه خطی از Y با مقادیر داده شده از X است.

#### مورد منحط
اگر ماتریس کوواریانس \boldsymbol\Sigma رتبه کامل نباشد، پس توزیع نرمال چند متغیره منحط است و چگالی ندارد. به‌طور دقیق تر، توزیع مذکور با توجه به اندازه لبگ *k* *بعدی* (که معیار معمولی در دوره‌های احتمال در سطح حساب دیفرانسیل و انتگرال است) چگالی ندارد. گفته می‌شود که فقط بردارهای تصادفی که توزیع آنها نسبت به یک اندازه‌گیری کاملاً پیوسته‌است، چگالی دارند (با توجه به آن اندازه). برای صحبت در مورد چگالی اما ساده‌تر است که از پرداختن به عوارض تئوری اندازه‌گیری اجتناب کنیم و به زیر مجموعه ای از \operatorname{rank}(\boldsymbol\Sigma) از مختصات \mathbf{x} به طوری که ماتریس کوواریانس برای این زیر مجموعه مثبت معین است توجه کنیم. سپس سایر مختصات را می‌توان به عنوان تبدیل افاینی از این مختصات انتخابی در نظر گرفت.

برای صحبت معنادار در مورد چگالی‌ها در موارد منفرد، باید یک معیار پایه متفاوت را انتخاب کنیم. با استفاده از قضیه فروپاشی می‌توانیم محدودیتی از اندازه‌گیری Lebesgue را به مقداری تعریف کنیم که زیرفضای متناظر با \mathbb{R}^k که به ابعاد \operatorname{rank}(\boldsymbol\Sigma) از توزیع گاوسی پشتیبانی کند، یعنی \{\boldsymbol\mu+\boldsymbol{\Sigma^{1/2}}\mathbf{v} : \mathbf{v} \in \mathbb{R}^k \} . با توجه به این معیار، توزیع دارای چگالی موتیف زیر است:

: f(\mathbf{x})= \left(\det\nolimits^*(2\pi\boldsymbol\Sigma)\right)^{-\frac{1}{2}}\, e^{ -\frac{1}{2}(\mathbf{x}-\boldsymbol\mu)^}} \boldsymbol\Sigma^+(\mathbf{x}-\boldsymbol\mu) }

به طوریکه که \boldsymbol\Sigma^+ وارون تعمیم یافته‌است و det* شبه دترمینان است.

### تابع توزیع تجمعی
مفهوم تابع توزیع تجمعی در بعد ۱ را می‌توان به دو صورت به حالت چند بعدی، بر اساس مناطق مستطیلی و بیضی شکل گسترش داد.

راه اول این است که تابع توزیع تجمیعی F(\mathbf{x}) از یک بردار تصادفی \mathbf{X} را به عنوان احتمالی که همه اجزای \mathbf{X} کمتر یا مساوی با مقادیر مربوطه در بردار هستند \mathbf{x} تعریف کنیم:

: بندانگشتی|توزیع تجمعی و چگالی احتمال F(\mathbf{x}) = \mathbb{P}(\mathbf{X}\leq \mathbf{x}), \quad \text{where } \mathbf{X} \sim \mathcal{N}(\boldsymbol\mu,\, \boldsymbol\Sigma).

اگرچه هیچ فرم بسته‌ای برای آن وجود ندارد F(\mathbf{x}) ، تعدادی الگوریتم وجود دارد که آن را به صورت عددی تخمین می‌زنند.

راه دیگر این است که تابع توزیع تجمیعی F(r) را به عنوان احتمال قرار گرفتن نمونه در داخل بیضی که با فاصله ماهالانوبیس r از تعمیم مستقیم انحراف معیار گاوسی قرار دارد تعریف کنیم.

## منابع

رده:توزیع نرمال
رده:توزیع‌های پیوسته چندمتغیره
رده:توزیع‌های پیوسته
رده:توزیع‌های خانواده نمایی