قضیه انحرافات بزرگ

در نظریه احتمال، تئوری انحرافات بزرگ مربوط است به بررسی رفتار حدی دنباله‌ای از
توزیع‌های آماری، در طی مشاهده داده‌های جدید. برخی از ایده‌های اساسی تئوری را می‌توان به لاپلاس یا کرامر نسبت داد. اگرچه این تئوری به شیوه‌ای که امروزه می‌شناسیم توسط وارادهان در سال ۱۹۶۶ معرفی شد. این تئوری، مقهوم همگرایی اندازه توزیع‌های احتمالی را پایه ریزی می‌کند. اگر بخواهیم این تئوری را کمی غیررسمی‌تر توصیف کنیم، این قضیه درگیر است با بررسی رفتار حدی توزیع‌های آماری، بخصوص رفتار دنباله‌ای ، در شرایطی که داده‌های جدید مشاهده می‌شود.
مثال‌های مقدماتی
یک مثال مقدماتی
مثالی را در نظر بگیرید که در آن یک تاس متقارن(احتمال رو و پشت برابر) را به دفعات پرتاب می‌کنیم. اجازه دهید که نتیجه پرتاب i-امین سکه را با نشان دهیم. در شرایط که ما رخداد سر را با ۱ و رخداد پشت را با ۰ نشان می‌دهیم. حال فرض کنیم میانگین بعد از پرتاپ امین سکه را نشان دهد.
می‌دانیم که مقدار بین ۰ و ۱ قرار دارد. از قضیه اعداد بزرگ (و همچنین از روی تجربه) می‌دانیم که هر چقدر که مقدار بزرگتر شود، توزیع به (یا مقدار انتظاری در پرتاپ یک سکه) نزدیک‌تر خواهد شد.
همنین بر اساس قضیه حد مرکزی می‌دانیم که دارای توزیع نرمال حول به ازای مقادیر بزرگ است. قضیه حد مرکزی نسبت به قضیه اعداد بزرگ اطلاعات بسیاری را می‌تواند در مورد رفتار ارائه دهد. مثلا به آسانی می‌توانیم توزیع دنباله‌ای یا (احتمال اینکه متغیر تصادفی بزرگنر از مقدار ثابت باشد، به ازای مقدار ثابتی از .) هرچند که که این تقریب قضیه حد مرکزی به ازای مقدار خیلی دور از چندان دقیق نیست. در واقع قضیه حد مرکزی هرچند که در مورد نحوه همگرایی توزیع دنباله‌ای وقتی چیزی بیان نمی‌کند، اما اطلاعاتی در مورد نحوه توزیع داده‌ها در نزدیکی نقطه حدی در اختیار می‌گدارد.
بگذارید کمی دقیق‌تر در این مورد صحبت کنیم. به ازای مقدار داده شده بگذارید احتمال دنباله‌ای را محاسبه کنیم. تعریف می‌کنیم:
توجه کنید که تابع ، یک تابع محدب است که شبیه به آنترپی برنولی است. سپس با استفاده از نابرابری چرنوف داریم . این کران یک کران تنگ است؛ به این مفهوم که را نمی‌توان چیزی بزرگتر جایگزین کرد که به ازای تمام مقادیر مثبت نامساوی مذکور برقرار باشد. (هر چند که کران نمایی را می‌توان با اضافه کردن یک ضریب از مرتبه همچنان کاهش داد. این نتیجه از اعمال تقریب استرلینگ به ضرایب دو جمله‌ای که در توزیع برنولی بدست آورد.) بنابرین نتایج زیر را بدست می‌آوریم:
احتمال به صورت احتمالی کاهش می‌یابد، هرچه به سمت بی‌نهایت میل می‌کند، با نرخی که تابع است. این فرمول احتمال دنباله‌ای میانگین نمونه‌ای داده‌های i.i.d. را تقریب می‌زند و همگرایی آن‌ها را هرچه تعداد آن‌ها افزایش می‌یابد را بدست می‌دهد.
انحرافات بزرگ برای مجموع متغیرهای مستقل
در مثال فوق فرض کردیم که انداختن تاس در دفعات پی در پی مستقل از همدیگر هستند. در واقع احتمال پشت/رو آمدن در هر دفعه مستقل از نتیجه آزمایش قبل است. فرض کنید متغیرهای تصادفی مستقل با توزیع یکسان (i.i.d.) باشند. حد زیر برقرار است:
تابع تابع نرخ، تابع کرامر یا تابع تابع آنترپی نامیده می‌شود. حد نوشته شده در قسمت فوق به این معنی است که به ازای مقادیر بزرگ :
که نتیجه قضیه انحرافات بزرگ است.
اگر توزیع را بدانیم، عبارتی صریح می‌توان برای تابع نرخ بدست آورد. این عبارت صریح توسط تبدیل لژاندر-فنشل به دست می‌آید :
که در آن
تابع cumulant generating یا GCF نامیده می‌شود و امید ریاضی اماری است.
اگر دارای توزیع نرمال باشد، تابع نرخ یک سهمی با مقدار حداکثر در میانگین توزیع نرمال خواهد بود. اگر یک زنجیره‌ی ماکوف باشد، نسخه‌ای از قضیه‌ی انحرافات بزرگ برای آن برقرار است.
قضیه انحرافات بزرگ کرامر
نامساوی چرنوف
لم وارادهان
انحرافات بزرگ توابع گوسی تصادفی