توزیع مزدوج پیشین

**توزیع مزدوج پیشین** (انگلیسی: Conjugate prior)

در تئوری احتمال بیزی، اگر توزیعات احتمال پسین p(\theta\mid x) با توزیع احتمال پیشین p(\theta) خانواده ای یکسان داشته باشد آن گاه به توزیعات پیشین و پسین **توزیعات مزدوج** گفته شده و توزیع پیشین را توزیع **مزدوج پیشین** برای تابع درست‌نمایی (likelihood) می‌نامند. به عنوان مثال، خانوادهٔ گاوسی مزدوج خودش (یا خود مزدوج) نسبت به یک تابع درست‌نمایی گاوسی است: اگر تابع درست‌نمایی  گوسی باشد، انتخاب توزیع پیشین گاوسی برای میانگین تضمین می‌کند که توزیع پسین نیز گاوسی خواهد بود. این به این معناست که توزیع گاوسی، تابع مزدوج پیشین تابع درست‌نمایی گوسی است. این مفهوم و عبارت «مزدوج پیشین» توسط هاوارد رایفا و رابرت اشلایفر در کارشان روی تئوری انتخاب بیزی معرفی شدند. مفهوم مشابهی نیز به‌طور مستقل توسط جورج آلفرد بارنارد کشف شده بود.

مسئلهٔ کلی یافتن توزیع برای یک پارامتر θ به شرط یک داده یا مجموعه داده‌های *x* را در نظر بگیرید. از قضیه بیز می‌دانیم که توزیع پسین برابر با حاصلضرب تابع درست‌نمایی \theta \mapsto p(x\mid\theta)\! و توزیع پیشین p( \theta )\! نرمالیزه شده با (تقسیم بر) احتمال دادهٔ p( x )\! است:

: p(\theta \mid x) = \frac{p(x\mid\theta) \, p(\theta)} {\int p(x\mid\theta') \, p(\theta') \, d\theta'}. \!

فرض می‌کنیم تابع درست‌نمایی ثابت است. تابع درست‌نمایی معمولاً به خوبی از بیانی از فرایند تولید داده مشخص می‌گردد. واضح است که انتخاب‌های متفاوت برای توزیع پیشین p(\theta) محاسبهٔ انتگرال را سخت‌تر یا آسان‌تر می‌کند و حاصل ضرب  p(x \mid \theta). p(\theta) فرم جبری متفاوتی بگیرد. برای انتخاب‌های مشخصی از توزیع پیشین، توزیع پسین فرم جبری مشابه توزیع پیشین خواهد داشت (عموماً با مقادیر پارامترهای متفاوت). چنین انتخابی یک توزیع *مزدوج پیشین* است.

یک توزیع مزدوج پیشین یک آسودگی جبری است که توصیف بسته ای برای توزیع پسین ارائه می‌دهد. در غیر این صورت ممکن است انتگرال عددی لازم باشد. علاوه بر این، توزیعات پیشین مزدوج با بیشتر و شفاف نشان دادن اینکه چگونه یک تابع درست‌نمایی یک توزیع پیشین را به روز می‌کند درکی مستقیم ارائه می‌دهند.

تمام اعضای خانواده نمایی توزیعات پیشین مزدوج دارند.

## مثال
فرم توزیع پیشین مزدوج عموماً می‌تواند با بررسی تابع چگالی احتمال یا تابع جرم احتمال آن توزیع مشخص گردد. به عنوان مثال، یک متغیر تصادفی را در نظر بگیرید که شامل تعداد موفقیت‌های s در n آزمایش برنولی با احتمال موفقیت نامعلوم q در بازهٔ [۰٬۱] است. این متغیر تصادفی با تابع جرم احتمال زیر از توزیع دوجمله ای تبعیت می‌کند:

p(s) = {n \choose s}q^s (1-q)^{n-s}

توزیع مزدوج پیشین معمول توزیع بتا با پارامترهای (\alpha, \beta):

p(q) = {q^{\alpha-1}(1-q)^{\beta-1} \over \Beta(\alpha,\beta)}

که در آن \alpha و \beta برای نمایش هرگونه باور یا اطلاعات به کار می‌رود (۱ = \alpha و ۲ = \beta توزیع یکنواخت را به دست می‌دهند) و B(α, β) تابع بتا است که به عنوان ثابت نرمالیزه کننده استفاده می‌شود.

در اینجا \alpha و \beta *[[ابرپارامتر]]* خوانده می‌شوند (پارامترهای توزیع پیشین) تا از پارامترهای مدل اساسی (در اینجا *q*) متمایز گردند. یکی از ویژگی‌های معمول توزیعات پیشین مزدوج این است که ابعاد ابرپارامترها یک واحد بزرگتر از ابعاد پارامترهای توزیع اصلی‌اند. اگر همهٔ پارامترها مقادیر اسکالر باشند آنگاه به این معناست که یک ابرپارامتر بیشتر از پارامتر خواهیم داشت. البته این نکته دربارهٔ پارامترهای با مقادیر برداری و ماتریسی نیز صدق می‌کند. (به مقالهٔ کلی دربارهٔ خانواده نمایی رجوع کنید و توزیع ویشارت را که مزدوج پیشین ماتریس کوواریانس توزیع نرمال چند متغیره است به عنوان مثالی برای ابعاد بزرگ در نظر بگیرید)

آن گاه اگر از این متغیر تصادفی نمونه برداری کنیم و *s* موفقیت و *p* شکست به دست آوریم داریم:

\begin{align}
  P(s, f \mid q=x) &= {s+f \choose s} x^s(1-x)^f,\\
              P(x) &= {x^{\alpha-1}(1-x)^{\beta-1} \over \Beta(\alpha,\beta)},\\
   P(q=x \mid s,f) &= \frac{P(s, f \mid x)P(x)}{\int P(s, f \mid x)P(x)dx}\\
                   & = \left(\frac{\mu_0}{\sigma_0^2} + \frac{\sum_{i=1}^n x_i}{\sigma^2}\right),
\left(\frac{1}{\sigma_0^2} + \frac{n}{\sigma^2}\right)^{-1}
| میانگین از مشاهدات با دقت کل (مجموع تمام دقت‌های منفرد)1/\sigma_0^2 و میانگین نمونهٔ \mu_0 تحمین زده شده‌است.
| \mathcal{N}(\tilde{x}|\mu_0', {\sigma_0^2}' +\sigma^2)
|-
| نرمالبا دقت معلوم *τ* || *μ* (mean) || نرمال || \mu_0,\, \tau_0\! ||  \frac{\tau_0 \mu_0 + \tau \sum_{i=1}^n x_i}{\tau_0 + n \tau},\, \tau_0 + n \tau
| میانگین از مشاهدات با دقت کل (مجموع تمام دقت‌های منفرد)\tau_0 و میانگین نمونهٔ \mu_0 تخمین زده شده‌است.
| \mathcal{N}\left(\tilde{x}|\mu_0', \frac{1}{\tau_0'} +\frac{1}{\tau}\right)
|-
| نرمالبا میانگین معلوم *μ* || *σ*2 (واریانس) || گامای وارونه ||  \mathbf{\alpha,\, \beta}  ||  \mathbf{\alpha}+\frac{n}{2},\, \mathbf{\beta} + \frac{\sum_{i=1}^n{(x_i-\mu)^2}}{2} 
| واریانس از 2\alpha مشاهدات با واریانس نمونهٔ  \beta/\alpha (یعنی جمع مجذور انحرافات 2\beta, که انحرافات از میانگین معلوم \mu هستند) تخمین زده شده‌است.
| t_{2\alpha'}(\tilde{x}|\mu,\sigma^2 = \beta'/\alpha')
|-
| نرمالبا میانگین معلوم *μ* || *σ*2 (واریانس) || کی دو وارونهٔ مقیاس شده || \nu,\, \sigma_0^2\! || \nu+n,\, \frac{\nu\sigma_0^2 + \sum_{i=1}^n (x_i-\mu)^2}{\nu+n}\!
| واریانس از \nu مشاهدات با واریانس نمونهٔ  \sigma_0^2 تخمین زده شده‌است.
| t_{\nu'}(\tilde{x}|\mu,{\sigma_0^2}')
|-
| نرمالبا میانگین معلوم *μ* || *τ* (دقت) || گاما || \alpha,\, \beta\! || \alpha + \frac{n}{2},\, \beta + \frac{\sum_{i=1}^n (x_i-\mu)^2}{2}\!
| دقت از 2\alpha مشاهدات با واریانس نمونهٔ  \beta/\alpha (یعنی جمع مجذور انحرافات 2\beta, که انحرافات از میانگین معلوم \mu هستند) تخمین زده شده‌است.
| t_{2\alpha'}(\tilde{x}|\mu,\sigma^2 = \beta'/\alpha')
|-
| نرمال || *μ* و *σ<sup>2</sup>*با این فرض که تعویض پذیری دارند|| گامای نرمال وارونه
|  \mu_0 ,\, \nu ,\, \alpha ,\, \beta || \frac{\nu\mu_0+n\bar{x}}{\nu+n} ,\, \nu+n,\, \alpha+\frac{n}{2} ,\, 
\beta + \tfrac{1}{2} \sum_{i=1}^n (x_i - \bar{x})^2 + \frac{n\nu}{\nu+n}\frac{(\bar{x}-\mu_0)^2}{2} 
* \bar{x}  میانگین نمونه است.
| میانگین از \nu مشاهدات با میانگین نمونهٔ  \mu_0 تخمین زده شده‌است؛ واریانس از 2\alpha مشاهدات با میانگین نمونهٔ  \mu_0 و مجموع مجذور انحرافات 2\beta تخمین زده شده‌است.
| t_{2\alpha'}\left(\tilde{x}|\mu',\frac{\beta'(\nu'+1)}{\nu' \alpha'}\right)
|-
| نرمال || *μ* و *τ*با فرض اینکه تعویض پذیری دارند || نرمال-گاما
|  \mu_0 ,\, \nu ,\, \alpha ,\, \beta || \frac{\nu\mu_0+n\bar{x}}{\nu+n} ,\, \nu+n,\, \alpha+\frac{n}{2} ,\, 
\beta + \tfrac{1}{2} \sum_{i=1}^n (x_i - \bar{x})^2 + \frac{n\nu}{\nu+n}\frac{(\bar{x}-\mu_0)^2}{2} 
* \bar{x}  میانگین نمونه است.
| میانگین از \nu مشاهدات با میانگین نمونهٔ \mu_0, و دقت از 2\alpha مشاهدات با میانگین نمونهٔ \mu_0 و مجموع مجذور انحرافات 2\beta تخمین زده شده‌است.
| t_{2\alpha'}\left(\tilde{x}|\mu',\frac{\beta'(\nu'+1)}{\alpha'\nu'}\right)
|-
| نرمال چندمتغیره با ماتریس کوواریانس معلوم ***Σ*** || ***μ*** (بردار میانگین) || نرمال چند متغیره || \boldsymbol{\boldsymbol\mu}_0,\, \boldsymbol\Sigma_0 || \left(\boldsymbol\Sigma_0^{-1} + n\boldsymbol\Sigma^{-1}\right)^{-1}\left( \boldsymbol\Sigma_0^{-1}\boldsymbol\mu_0 + n \boldsymbol\Sigma^{-1} \mathbf{\bar{x}} \right),\left(\boldsymbol\Sigma_0^{-1} + n\boldsymbol\Sigma^{-1}\right)^{-1}
*\mathbf{\bar{x}} میانگین نمونه است.
| میانگین از مشاهداتی با دقت کل (مجموع تمام دقت‌های منفرد)\boldsymbol\Sigma_0^{-1} و میانگین نمونهٔ  \boldsymbol\mu_0 تخمین زده شده‌است.
| \mathcal{N}(\tilde{\mathbf{x}}|{\boldsymbol\mu_0}', {\boldsymbol\Sigma_0}' +\boldsymbol\Sigma)
|-
| نرمال چندمتغیره با ماتریس دقت معلوم ***Λ*** || ***μ*** (بردار میانگین) || نرمال چندمتغیره || \mathbf{\boldsymbol\mu}_0,\, \boldsymbol\Lambda_0 || \left(\boldsymbol\Lambda_0 + n\boldsymbol\Lambda\right)^{-1}\left( \boldsymbol\Lambda_0\boldsymbol\mu_0 + n \boldsymbol\Lambda \mathbf{\bar{x}} \right),\, \left(\boldsymbol\Lambda_0 + n\boldsymbol\Lambda\right)
*\mathbf{\bar{x}} میانگین نمونه است.
| میانگین از مشاهداتی با دقت کل (مجموع تمام دقت‌های منفرد)\boldsymbol\Lambda و میانگین نمونهٔ  \boldsymbol\mu_0 تخمین زده شده‌است.
| \mathcal{N}\left(\tilde{\mathbf{x}}|{\boldsymbol\mu_0}', (|\boldsymbol\mu,\frac{1}{\nu'-p+1}\boldsymbol\Psi'\right)
|-
| نرمال چندمتغیره با میانگین معلوم ***μ*** || ***Λ*** (ماتریس دقت) || ویشارت || \nu ,\, \mathbf{V} || n+\nu ,\, \left(\mathbf{V}^{-1} + \sum_{i=1}^n (\mathbf{x_i} - \boldsymbol\mu) (\mathbf{x_i} - \boldsymbol\mu)^T\right)^{-1}  
| ماتریس کوواریانس از \nu مشاهدات با مجموع حاصل‌ضرب‌های انحراف دو به دو \mathbf{V}^{-1} تخمین زده شده‌است.
| t_{\nu'-p+1}\left(\tilde{\mathbf{x}}|\boldsymbol\mu,\frac{1}{\nu'-p+1}{\mathbf{V}'}^{-1}\right)
|-
| نرمال چندمتغیره || ***μ*** (بردار میانگین) و ***Σ*** (ماتریس کوواریانس) || وارون نرمال-ویشارت || \boldsymbol\mu_0 ,\, \kappa_0 ,\, \nu_0 ,\, \boldsymbol\Psi || \frac{\kappa_0\boldsymbol\mu_0+n\mathbf{\bar{x}}}{\kappa_0+n} ,\, \kappa_0+n,\, \nu_0+n ,\,  \boldsymbol\Psi + \mathbf{C} + \frac{\kappa_0 n}{\kappa_0+n}(\mathbf{\bar{x}}-\boldsymbol\mu_0)(\mathbf{\bar{x}}-\boldsymbol\mu_0)^T 
* \mathbf{\bar{x}}  میانگین نمونه است.
*\mathbf{C} = \sum_{i=1}^n (\mathbf{x_i} - \mathbf{\bar{x}}) (\mathbf{x_i} - \mathbf{\bar{x}})^T
| میانگین از \kappa_0 مشاهدات با میانگین نمونهٔ \boldsymbol\mu_0 تخمین زده شده‌است؛ ماتریس کوواریانس از \nu_0 مشاهدات با میانگین نمونهٔ  \boldsymbol\mu_0 و با مجموع حاصل‌ضرب‌های انحراف دو به دو\boldsymbol\Psi=\nu_0\boldsymbol\Sigma_0 تخمین زده شده‌است.
| t_|{\boldsymbol\mu_0}',\frac-\boldsymbol\mu_0)(\mathbf{\bar{x}}-\boldsymbol\mu_0)^T\right)^{-1} 
* \mathbf{\bar{x}}  میانگین نمونه است.
*\mathbf{C} = \sum_{i=1}^n (\mathbf{x_i} - \mathbf{\bar{x}}) (\mathbf{x_i} - \mathbf{\bar{x}})^T
| میانگین از \kappa_0 مشاهدات با میانگین نمونهٔ  \boldsymbol\mu_0 تخمین زده شده‌است؛ ماتریس کوواریانس از \nu_0 مشاهدات با میانگین نمونهٔ  \boldsymbol\mu_0 و با مجموع حاصل‌ضرب‌های انحراف دو به دو \mathbf{V}^{-1} تخمین زده شده‌است.
| t_|{\boldsymbol\mu_0}',\frac|\alpha,{\alpha_0}',{\beta_0}')=\operatorname{\beta'}(\tilde{\mathbf{x}}|\alpha,{\alpha_0}',1,{\beta_0}')
|-
| توزیع گامای وارونهبا شکل معلوم *α*|| *β* (نرخ معکوس) || گاما || \alpha_0,\, \beta_0\!||\alpha_0+n\alpha,\, \beta_0+\sum_{i=1}^n \frac{1}{x_i}\!
| \alpha_0/\alpha مشاهدات با مجموع \beta_0
|
|-
| گامابا نرخ معلوم *β*|| *α* (شکل)
| \propto \frac{a^{\alpha-1} \beta^{\alpha c}}{\Gamma(\alpha)^b}
| a,\, b,\, c\!||a \prod_{i=1}^n x_i,\, b + n,\, c + n\!
| b or c مشاهدات (b برای تخمین \alpha, c برای تخمین \beta) با حاصل‌ضرب a
|
|-
| گاما || *α* (شکل), *β* (نرخ معکوس) ||  \propto \frac{p^{\alpha-1} e^{-\beta q}}{\Gamma(\alpha)^r \beta^{-\alpha s}} || p,\, q,\, r,\, s \! || p \prod_{i=1}^n x_i,\, q + \sum_{i=1}^n x_i,\, r + n,\, s + n \!
| \alpha از r مشاهدات با حاصل‌ضرب p تخمین زده شده‌است؛ \beta از s مشاهدات با مجموع q تخمین زده شده‌است.
|
|-
|}

## جستارهای وابسته
* توزیع بتا-دوجمله‌ای

## نکات

## منابع

رده:توزیع مزدوج پیشین
رده:آمار بیزی