توزیع احتمال
در نظریه احتمال و آمار تابع توزیع احتمال بیانگر احتمال هر یک از مقادیر متغیر تصادفی (در مورد متغیر گسسته) یا احتمال قرار گرفتن متغیر در یک بازه مشخص (در مورد متغیر تصادفی پیوسته) میباشد. توزیع تجمعی احتمال یک متغیر تصادفی تابعی است از دامنهٔ آن متغیر بر بازهٔ formula_1. به طوری که احتمال رخدادن پیشامدهای با مقدار عددی کمتر از آن را نمایش می‌دهد. و به صورت دقیق به شکل زیر تعریف می‌شود: بر اساس این که این متغیر گسسته یا پیوسته باشد توزیع گسسته یا پیوسته نام می‌گیرد.
اگر تابع توزیع تجمعی پیوسته باشد مشتق ان برابر تابع چگالی متغیر مورد بررسی است و اگر تابع توزیع گسسته باشد مشتق ان برابر تابع احتمال متغیر مورد بررسی است.
پیشینهٔ نظریهٔ احتمال، به قرن هفدهم میلادی و مطالعات بلیز پاسکال روی اعداد ظاهر شده بر تاس‌ها برمی‌گردد. پس از او لاپلاس، احتمال را به صورت "نسبت پیشامدهای مطلوب به کل پیشامدها" تعریف کرد. برای مثال احتمال آمدن عدد زوج، هنگام انداختن یک تاس سالم، برابر است با ۳ (یعنی تعداد حالت‌هایی که ممکن است عدد زوج بیاید یا به تعبیر دیگر ۲، ۴ یا ۶ ظاهر شود) بخش بر ۶ (یعنی کل حالت‌هایی که ممکن است با انداختن تاس ظاهر شود یا به تعبیر دیگر آمدن ۱، ۲، ۳، ۴، ۵ یا ۶) که برابر می‌شود با formula_7 یا formula_8.
برای ادامهٔ بحث، لازم است که ابتدا چند واژه را تعریف کنیم:
اگر فضای نمونهٔ ما هم‌شانس و دارای تعداد اعضای متناهی باشد، برای محاسبهٔ احتمال وقوع یک پیشامد، فرمول لاپلاس را به کار می‌گیریم. formula_11 یا به عبارت دیگر، احتمال وقوع یک پیشامد برابر است با نسبت اندازهٔ پیشامد به اندازهٔ فضای نمونه. برای مثال اگر آزمایش انداختن تاس سالم را در نظر بگیریم که دارای فضای نمونهٔ هم‌شانس با اندازهٔ متناهی است، با توجه به آنچه پیش‌تر گفته شد، احتمال آمدن عدد ۶، برابر است با اندازه پیشامد (یعنی اندازهٔ formula_12 که ۱ است) بخش بر اندازهٔ فضای نمونه (یعنی اندازهٔ formula_9 که ۶ است). به این ترتیب احتمال آمدن عدد ۶، برابر با formula_14 محاسبه می‌شود.
گاهی می‌خواهیم با داشتن احتمال چند پیشامد، بتوانیم احتمال مجموعهٔ حاصل از اعمال جبر مجموعه‌ها بر آن‌ها را نیز محاسبه کنیم. دو مورد مهم‌تر به شرح زیر است: formula_15 با توجه به آنچه گفته شد اثبات این رابطه بسیار ساده است. formula_16 اثبات این رابطه با دانستن این‌که formula_17 میسر است.
تا این‌جا بیش‌تر دربارهٔ آزمایش‌ها و فضاهای نمونه‌ای بحث کردیم که هم‌شانس هستند. با این وجود، بسیاری از آزمایش‌ها در فضای‌های هم‌شانس اتفاق نمی‌افتند و در نتیجه برای محاسبهٔ احتمال آن‌ها نمی‌توان به سادگی فرمول لاپلاس را به کار برد.
برای حل این مشکل، راه‌حل تخصیص احتمال را به این ترتیب به کار می‌بریم: به تک‌تک اعضای فضای نمونه احتمالی نسبت می‌دهیم که از دو قانون زیر پیروی کند: formula_19 formula_20 به تابع احتمال p، تابع توزیع احتمال می‌گوییم. اگر تابع احتمال به هر عضو فضای نمونه، "مقدار یکسانی" نسبت دهد، آن را توزیع یک‌نواخت می‌خوانیم. روشن است که با توجه به آنچه در این‌جا تعریف کردیم، "احتمال وقوع یک پیشامد برابر است با مجموع احتمال اعضایی از فضای نمونه که در آن پیشامد حضور دارند".
فرض کنید خانواده‌ای دو فرزند دارد. می‌خواهیم بدانیم اگر فرزند اول پسر باشد، با چه احتمالی فرزند دوم دختر خواهد بود؟ برای حل چنین مسئله‌ای از رابطهٔ احتمال شرطی استفاده می‌کنیم که به شکل زیر است: formula_21 یا به عبارت دیگر احتمال وقوع E، اگر F اتفاق افتاده باشد، برابر است با نسبت احتمال اشتراک E و F به احتمال F.
حال اگر این دو پیشامد از هم مستقل باشند، روشن است که وقوع E ارتباطی با وقوع F نخواهد داشت یا به تعبیر دیگر formula_22 همان formula_23 خواهد بود. به این ترتیب می‌توانیم دو پیشامد E و F را مستقل بدانیم، در صورتی که:formula_24
یک آزمایش تصادفی بسیار مشهور، موسوم به آزمایش برنولی، به این شکل تعریف می‌شود:
با توجه به این آزمایش، در صورتی که n بار آزمایش برنولی انجام شود، و این آزمایش‌ها از هم "مستقل" باشند و احتمال پیروزی نیز p باشد، آن‌گاه تابع توزیع احتمال، مشهور به توزیع احتمال دوجمله‌ای خواهیم داشت که به صورت formula_25 است (k تعداد پیروزی‌هاست).
علت این نام‌گذاری، شباهت فوق‌العادهٔ رابطهٔ به‌دست‌آمده با رابطهٔ بسط دوجمله‌ای نیوتن است.
اگر آزمایش برنولی (که در بخش قبل معرفی شد) آن‌قدر تکرار شود تا "پیروزی" به دست آید، در این صورت توزیع احتمالی به دست می‌آید که به توزیع احتمال هندسی مشهور است. در این حالت فضای نمونه، تعداد اعضای نامتناهی دارد و هر عضو را می‌شود یک توالی در نظر گرفت. تابع توزیع احتمال در این حالت به شکل زیر است (p احتمال پیروزی و k تعداد دفعات لازم برای تکرار آزمایش است تا پیروزی حاصل شود): formula_26 توجه کنید که تعریف این توزیع را می‌توانستیم به این ترتیب انجام دهیم که آن‌قدر آزمایش تکرار شود تا نتیجهٔ "شکست" به دست آید. اگر تعریف به این شکل باشد، کافی است جای p و 1-p را در رابطهٔ به‌دست‌آمده عوض کنیم.
در این بخش به معرفی سه تابع بسیار مهم مرتبط با احتمال می‌پردازیم. این تابع‌ها، کاربردهای وسیعی در نظریهٔ احتمال و مباحث آماری دارند.
متغیر تصادفی، "تابعی" است که از فضای نمونه بر اعداد حقیقی تعریف شده‌است؛ یعنی هر عضو از فضای نمونه را به یک عدد حقیقی مربوط می‌کند. متغیر تصادفی را معمولاً با X نشان می‌دهند. (اشتباه نکنید! متغیر تصادفی، نه متغیر است و نه تصادفی! این تنها یک نام‌گذاری است).
مثلاً فرض کنید که خانواده‌ای دو فرزند دارد. به این ترتیب فضای نمونهٔ حالت‌های ممکن برای این جنسیت دو فرزند به صورت {(پ، د) و (د، پ) و (د، د) و (پ، پ)} خواهد بود. حال فرض کنید متغیر تصادفی X قرار است تعداد فرزندان دختر را مشخص کند. به این ترتیب خواهیم داشت: 0=(پ، پ)X 1=(پ، د)X 1=(د، پ)X 2=(د، د)X همان‌طور که برای یک آزمایش تصادفی، توزیع احتمال تعریف کردیم، می‌توانیم برای متغیر تصادفی نیز تابع توزیع احتمال تعریف کنیم که با (p(X=r نموده می‌شود. مثلاً در مورد همان مثال بالا، تابع توزیع احتمال به این شکل درمی‌آید: formula_27 formula_28 formula_29
امیدریاضی، در حقیقت یک نوع میانگین‌گیری از متغیر تصادفی است. یعنی این‌که اگر یک آزمایش را بی‌نهایت‌بار تکرار کنیم و از مقدارهای متغیر تصادفی مرتبط با نتایج میانگین بگیریم، چه عددی به دست خواهد آمد. تعریف دقیق ریاضی این تابع به صورت زیر است: formula_30 برای نمونه، اگر همان مثال گفته شده در بخش قبل را در نظر بگیریم، امیدریاضی تعداد دختران یک خانواده با دو فرزند به صورت زیر خواهد بود: formula_31 یکی از مهم‌ترین ویژگی‌های تابع امیدریاضی، خطی بودن آن است؛ یعنی اگر n متغیر تصادفی به صورت formula_32 داشته باشیم، تساوی‌های زیر برقرار هستند: formula_33 formula_34
برای ادامه و تکمیل بحث، لازم است تعریف زیر را انجام دهیم: با توجه به این تعریف، می‌توان ثابت کرد که حکم مهم زیر برقرار است:
در بحث پیشین، توزیع احتمال دوجمله‌ای و هندسی را تعریف کردیم. به کمک محاسبات می‌توان نشان داد که امیدریاضی توزیع احتمال دوجمله‌ای برابر formula_36 و امیدریاضی توزیع احتمال هندسی برابر formula_37 می‌باشد.
واریانس در محاسبات آماری، یک معیار برای سنجش میزان پراکندگی داده‌ها نسبت به میانگین داده‌هاست. ما در این مباحث، امیدریاضی را مشابه میانگین در نظر گرفتیم و به این ترتیب واریانس را چنین تعریف می‌کنیم: formula_38 حکم بسیار مهمی که در محاسبات بسیار راه‌گشاست و از تعریف بالا نتیجه می‌شود به قرار زیر است: formula_39 در این‌جا مقصود از formula_40 این است که مقدارهای متغیر تصادفی را به توان ۲ برسانیم. مثلاً برای محاسبهٔ واریانس متغیر تصادفی تعداد فرزندان دختر در یک خانواده با دو فرزند (که در بخش‌های قبل توزیع احتمال و امیدریاضی آن به دست آمد)، باید به این ترتیب عمل کنیم:formula_41 واریانس مجموع چند متغیر تصادفی مستقل را می‌توان برحسب واریانس تک‌تک این متغیرها حساب کرد: formula_42 تأکید می‌کنیم که این حکم فقط در صورتی قابل استفاده است که متغیرها "مستقل" باشند.