قضیه دی فینیتی

طبق **قضیه دی فینیتی** اگر دنباله‌ای بینهایت از متغیرهای تصادفی دودوییِ تعویض پذیر باشد آنگاه احتمال مشترک هر زیردنباله از دنباله اصلی مخلوطی از متغیرهای تصادفی برنولیِ مستقل با توزیع یکسان (IID) خواهد بود.

## تعریف ریاضی
اگر  X_{1}, X_{2}, X_{3}, \cdots دنباله‌ای بینهایت و تعویض پذیر از متغیرهای تصادفی دودویی باشد آنگاه یک توزیع پیشین منحصر به فرد که در معادله پایین آن را \pi(\cdot)  می‌نامیم وجود خواهد داشت که احتمال مشترک هر زیردنباله، مخلوطی از متغیرهای تصادفی برنولیِ مستقل با توزیع یکسان (IID) با توزیع پیشین \pi(\cdot) خواهد بود:

\begin{align}
p(X_1=x_1,X_2=x_2,...,X_n=x_n) &= \int \prod_{i=1}^n p(x_i|\theta)\,\pi\left(\theta\right)d\left(\theta\right) \\
&= \int \left(\prod_{i=1}^n \theta^{x_i} \times (1-\theta)^{1-x_i} \right) \,\pi\left(\theta\right)d\left(\theta\right)\\
&= \int \left(\theta^\left({\sum_{i=1}^n x_i}\right)\times \left(1-\theta\right)^\left(n - {\sum_{i=1}^n x_i}\right)\right)\,\pi\left(\theta\right)d\left(\theta\right).
\end{align}

در معادله خط پیشین p(x_i|\theta)  دارای توزیع برنولی است.

## مثال
گلدان پلیا یک نمونه کلاسیک تعویض پذیری است. فرض کنید ما یک گلدان داریم که حاوی \gamma توپ سفید و \alpha توپ سیاه است. هر بار یک توپ را کاملاً به صورت تصادفی از گلدان برمی‌داریم رنگ آن را را ثبت کرده و توپ را به همراه یک توپ دیگر به همان رنگ به گلدان برمی‌گردانیم. هر بار که یک توپ جدید از گلدان برمی‌داریم یک متغیر تصادفی به اسم X_i برای رنگ توپ تعریف می‌کنیم. X_i = 1 اگر رنگ توپ سیاه باشد و در غیر اینصورت X_i = 0. هر چه تعداد متغیرهای تصادفی قبل از X_i که یک هستند بیشتر باشد، احتمال اینکه X_i نیز یک شود بیشتر خواهد شد، چه که توپ‌های سیاه بیشتری به گلدان اضافه شده‌اند. از این رو این متغیرها نسبت به هم مستقل نیستند، اما همان‌طور که در پایین نشان خواهیم داد این متغیرها تعویض‌پذیرند.

فرض کنیم که n بار از گلدان توپ برداریم، و از این n دفعه k بار توپ سیاه و n-k بار توپ سفید دیده باشیم. بار اول تعداد توپ‌های گلدان \gamma+\alpha است، بار دوم این تعداد \gamma+\alpha+1 خواهد بود الی آخر. پس در دفعه i ام، تعداد توپ‌های ما \gamma+\alpha+i-1 خواهد بود. حال فرض کنیم که تمام توپ‌های سیاه را قبل از توپ‌های سفید دیده باشیم، احتمال این رویداد عبارت پایین می‌شود:

\frac{\alpha}{\gamma+\alpha}\times \frac{\alpha+1}{\gamma+\alpha+1}\times \cdots \times \frac{\alpha+k-1}{\gamma+\alpha+k-1} \times \frac{\gamma}{\gamma+\alpha+k}\times \frac{\gamma+1}{\gamma+\alpha+k+1}\cdots \frac{\gamma+n-k-1}{\gamma+\alpha+n-1}

حال باید ثابت کنیم که اگر ترتیب توپ‌های سیاه و سفید به صورت دلخواه عوض شوند تغییری در احتمال نهائی پیش نخواهد آمد. همان‌طور که در خط بالا می‌بینیم مخرج کسرها با تغییر ترتیب توپ‌ها تغییر نخواهد کرد، همیشه در دور iام مخرج کسر ما \gamma+\alpha+i-1 خواهد بود، زیرا در این دور این تعداد توپ در گلدان است. اگر jامین توپ سیاه را در دور t ببینم احتمال X_t = 1 با \frac{\alpha+j-1}{\gamma+\alpha+t-1} برابر خواهد بود، یعنی صورت احتمال با \alpha+j-1 برابر خواهد شد. با استدلالی مشابه می‌توان صورت احتمال برای توپ‌های سفید را هم محاسبه کرد. ازین رو احتمال نهائی با عبارت پایین برابر خواهد شد (حاصلضرب مخرج‌ها در حاصلضرب صورتها برای توپ‌های سیاه در حاصلضرب صورتها برای توپ‌های سفید):

\begin{align}
p(X_1=x_1,X_2=x_2,...,X_n=x_n) &=
\frac{\prod_{i=1}^k \left(\alpha+i-1\right)\times \prod_{i=1}^{n-k} \left(\gamma+i-1\right)}{\prod_{i=1}^{n}\left(\gamma+\alpha+i-1\right)} \\
&= \frac{\left(\alpha+k-1\right)!\times \left(\gamma+n-k-1\right)!\times \left(\alpha+\gamma-1\right)!}{\left(\alpha-1\right)!\times \left(\gamma-1\right)!\left(\alpha+\gamma+n-1\right)!}
\end{align}
این احتمال به ترتیب دیدن توپ‌های سیاه و سفید مربوط نمی‌شود و فقط به تعدا کل توپ‌های سفید و تعداد کل توپ‌های سیاه بستگی دارد.

طبق قضیه دی فینیتی برای این دنباله باید یک توزیع پیشین منحصر به فرد وجود داشته باشد که احتمال مشترک آن را مخلوطی از احتمالات برنولی کند. می‌توان نشان داد که این توزیع پیشین، توزیع بتا با پارامترهای \beta\left(\cdot; \,\gamma,\, \alpha\right) است. در قضیه دی فینیتی اگر \pi(\cdot)  را با \beta\left(\cdot; \,\gamma,\, \alpha\right)  جایگزین کنیم به معادله قبلی می‌رسیم:

\begin{align}

p(X_1=x_1,X_2=x_2,...,X_n=x_n) &= \int \theta^\left({\sum_{i=1}^n x_i}\right)\times \left(1-\theta\right)^\left(n - {\sum_{i=1}^n x_i}\right)\,\beta\left(\theta; \alpha,\, \gamma\right)d\left(\theta\right)\\
&= \int \theta^\left({\sum_{i=1}^n x_i}\right)\times \left(1-\theta\right)^\left(n - {\sum_{i=1}^n x_i}\right)\,\dfrac{(\alpha+\gamma-1)!}{(\alpha-1)!\,(\gamma-1)!}\theta^{\gamma-1}(1-\theta)^{\alpha-1}d\left(\theta\right)\\
&= \int \theta^\left({\gamma -1 +\sum_{i=1}^n x_i}\right)\times \left(1-\theta\right)^\left(n + \alpha -1 -{\sum_{i=1}^n x_i}\right)\,\dfrac{(\alpha+\gamma-1)!}{(\alpha-1)!\,(\gamma-1)!}d\left(\theta\right)\\
&= \int \theta^\left({\gamma + k - 1}\right)\times \left(1-\theta\right)^\left(n -k - 1+ \alpha\right)\,\dfrac{(\alpha+\gamma-1)!}{(\alpha-1)!\,(\gamma-1)!}d\left(\theta\right)\\
&= \dfrac{(\alpha+\gamma-1)!}{(\alpha-1)!\,(\gamma-1)!} \int \theta^\left({\gamma + k - 1}\right)\times \left(1-\theta\right)^\left(n-k+\alpha- 1\right)\,d\left(\theta\right)\\
&= \dfrac{(\alpha+\gamma-1)!}{(\alpha-1)!\,(\gamma-1)!} \dfrac{\Gamma(\alpha+n-k)\Gamma(\gamma+k)}{\Gamma(\alpha+\gamma+n)}\\
 &= \dfrac{\left(\alpha+k-1\right)!\times \left(\gamma+n-k-1\right)!\times \left(\alpha+\gamma-1\right)!}{\left(\alpha-1\right)!\times \left(\gamma-1\right)!\left(\alpha+\gamma+n-1\right)!}

\end{align}
در این معادله k = \sum_{i=1}^n x_i.

## منابع

رده:آمار بیزی
رده:قضیه‌های احتمالات