قضیه انحرافات بزرگ

در نظریهٔ احتمال، **تئوری انحرافات بزرگ**  مربوط است به بررسی رفتار حدی دنباله‌ای از
توزیع‌های آماری، در طی مشاهدهٔ داده‌های جدید. برخی از ایده‌های اساسی تئوری را می‌توان به لاپلاس یا کرامر نسبت داد. اگرچه این تئوری به شیوه‌ای که امروزه می‌شناسیم توسط وارادهان در سال ۱۹۶۶ معرفی شد. این تئوری، مفهوم همگرایی اندازهٔ توزیع‌های احتمالی را پایه‌ریزی می‌کند. اگر بخواهیم این تئوری را کمی غیررسمی‌تر توصیف کنیم، این قضیه درگیر است با بررسی رفتار حدی توزیع‌های آماری، به‌ویژه رفتار دنباله‌ای ، در شرایطی که داده‌های جدید مشاهده می‌شود.

## مثال‌های مقدماتی
### یک مثال مقدماتی
مثالی را در نظر بگیرید که در آن یک سکه متقارن(احتمال رو و پشت برابر) را به دفعات پرتاب می‌کنیم. اجازه دهید که نتیجهٔ پرتاب i-امین سکه را با  X_i  نشان دهیم. در شرایط که ما رخداد سر را با ۱ و رخداد پشت را با ۰ نشان می‌دهیم. حال فرض کنیم  M_N  میانگین بعد از پرتاپ  N  امین سکه را نشان دهد.
: M_N = \frac{1}{N}\sum_{i=1}^{N} X_i

می دانیم که مقدار  M_N  بین ۰ و ۱ قرار دارد. از قضیهٔ اعداد بزرگ (و همچنین از روی تجربه) می دانیم که هر چقدر که مقدار  N  بزرگتر شود، توزیع  M_N  به  0.5 = \operatorname{E}[X_1]  (یا مقدار انتظاری در پرتاپ یک سکه) نزدیک تر خواهد شد.
همچنین بر اساس قضیهٔ حد مرکزی می دانیم که  M_N  دارای توزیع نرمال حول  0.5  به ازای مقادیر بزرگ  N  است. قضیهٔ حد مرکزی نسبت به قضیهٔ اعداد بزرگ اطلاعات بسیاری را می‌تواند در مورد رفتار  M_N  ارائه دهد. مثلاً به آسانی می‌توانیم توزیع دنباله‌ای  M_N  یا  P(M_N> x)  (احتمال اینکه متغیر تصادفی  M_N  بزرگنر از مقدار ثابت  x  باشد، به ازای مقدار ثابتی از  N .) هرچند که که این تقریب قضیه حد مرکزی به ازای مقدار  x  خیلی دور از  \operatorname{E}[X_1]  چندان دقیق نیست. در واقع قضیهٔ حد مرکزی هرچند که در مورد نحوهٔ همگرایی توزیع دنباله‌ای وقتی  N \to \infty  چیزی بیان نمی‌کند، اما اطلاعاتی در مورد نحوهٔ توزیع داده‌ها در نزدیکی نقطهٔ حدی در اختیار می گدارد.
بگذارید کمی دقیق تر در این مورد صحبت کنیم. به ازای مقدار داده شدهٔ  0.5 بگذارید احتمال دنباله‌ای  P(M_N> x)  را محاسبه کنیم. تعریف می‌کنیم:
:  I(x) = x \, \text{ln} x + (1-x) \, \text{ln} (1-x) + \text{ln}2 
توجه کنید که تابع  I(x) ، یک تابع محدب است که شبیه به آنترپی برنولی است. سپس با استفاده از نابرابری چرنوف داریم  P(M_N> x) . این کران یک کران تنگ است؛ به این مفهوم که  I(x)  را نمی توان چیزی بزرگتر جایگزین کرد که به ازای تمام مقادیر مثبت  N  نامساوی مذکور برقرار باشد. (هر چند که کران نمایی را می‌توان با اضافه کردن یک ضریب از مرتبهٔ  1/\sqrt N  همچنان کاهش داد. این نتیجه از اعمال تقریب استرلینگ به ضرایب دو جمله‌ای که در توزیع برنولی بدست آورد.) بنابرین نتایج زیر را بدست می‌آوریم:
:  P(M_N> x) \approx \exp(-NI(x)).

احتمال  P(M_N> x)  به صورت احتمالی کاهش می‌یابد، هرچه  N  به سمت بی‌نهایت میل می‌کند، با نرخی که تابع  x  است. این فرمول احتمال دنباله‌ای میانگین نمونه‌ای داده‌های i.i.d. را تقریب می‌زند و همگرایی آن‌ها را هرچه تعداد آن‌ها افزایش می‌یابد را بدست می‌دهد.

## انحرافات بزرگ برای مجموع متغیرهای مستقل
در مثال فوق فرض کردیم که انداختن سکه در دفعات پی در پی مستقل از همدیگر هستند. در واقع احتمال پشت/رو آمدن در هر دفعه مستقل از نتیجهٔ آزمایش قبل است. فرض کنید  X,X_1,X_2,...  متغیرهای تصادفی مستقل با توزیع یکسان (i.i.d.) باشند. حد زیر برقرار است:
:\lim_{N\to \infty} \frac{1}{N} \ln P(M_N> x) = - I(x).
تابع  I(\cdot)  تابع نرخ، تابع کرامر یا تابع تابع آنترپی نامیده می‌شود. حد نوشته شده در قسمت فوق به این معنی است که به ازای مقادیر بزرگ N:
: P(M_N>x) \approx \exp[-NI(x) ],
که نتیجهٔ قضیهٔ انحرافات بزرگ است.

اگر توزیع  X  را بدانیم، عبارتی صریح می‌توان برای تابع نرخ بدست آورد. این عبارت صریح توسط تبدیل لژاندر-فنشل به دست می‌آید: 
:I(x) = \sup_{\theta> 0} [\theta x - \lambda(\theta)],
که در آن 
: \lambda(\theta) = \ln \operatorname{E}[\exp(\theta X)] 
تابع cumulant generating یا GCF نامیده می‌شود و  \operatorname{E}  امید ریاضی اماری است. 
اگر  X  دارای توزیع نرمال باشد، تابع نرخ یک سهمی با مقدار حداکثر در میانگین توزیع نرمال خواهد بود. اگر \{X_i\} یک زنجیرهٔ ماکوف باشد، نسخه‌ای از قضیهٔ انحرافات بزرگ برای آن برقرار است.

## جستارهای وابسته
* قضیه انحرافات بزرگ کرامر
* نامساوی چرنوف
* لم وارادهان
* انحرافات بزرگ توابع گوسی تصادفی

## پانویس

## منابع
* Special invited paper: Large deviations by S. R. S. Varadhan The Annals of Probability 2008, Vol. 36, No. 2, 397–419 
* Entropy، Large Deviations and Statistical Mechanics by R.S. Ellis، Springer Publication. 
* Large Deviations for Performance Analysis by Alan Weiss and Adam Shwartz. Chapman and Hall 
* Large Deviations Techniques and Applications by Amir Dembo and Ofer Zeitouni. Springer 
* Random Perturbations of Dynamical Systems by M.I. Freidlin and A.D. Wentzell. Springer 

رده:قضیه انحرافات بزرگ
رده:آنالیز تقریبی
رده:تئوری آمار تقریبی