امید ریاضی
امید ریاضی یا مقدار چشمداشتی یا مقدار انتظاری در نظریه احتمالات، مقدارِ قابل انتظاری است از یک متغیر تصادفیِ گسسته که برابر است با مجموع حاصل‌ضرب احتمالِ وقوع هر یک از حالات ممکن در مقدار آن حالت. در نتیجه میانگین برابر است با مقداری که به‌طور متوسط از یک فرایند تصادفی با بی‌نهایت تکرار انتظار می‌رود. به بیان ساده‌تر، امید ریاضی از یک متغیر تصادفی، مقدارِ میانگینِ تعداد دفعاتِ مشاهده شدهٔ یک وضعیت است. به عنوان مثال، در پرتاب یک سکه، برای بدست آوردن احتمال مشاهدهٔ هر سمت از یک سکه (شیر یا خط)، می‌توان این کار را به دفعات زیاد انجام داد. اکنون میانگین تعداد دفعاتِ مشاهدهٔ هرکدام از حالت‌ها (شیر یا خط)، برابر است با امید ریاضی به‌طور مثال برای تاس داریم:
یعنی اگر بی‌نهایت بار تاس را پرت کنیم، مقدار میانگین بدست آمده به سمت عدد ۳٫۵ میل خواهد کرد.
امید ریاضی (امید ریاضی) یک متغیر تصادفی به صورت زیر تعریف می‌شود:
formula_2
که در آن formula_3 تابع چگالی احتمال متغیر تصادفی formula_4 است. برای متغیرهای تصادفی گسسته تعریف بالا به صورت زیر بازنویسی می‌شود:
formula_5 امید ریاضی یک عدد ثابت برابر با همان عدد ثابت است؛ یعنی اگر formula_6 عددی ثابت باشد، آنگاه:
formula_7. اگر برای دو متغیر تصادفی formula_4 و formula_9 داشته باشیم formula_10، آنگاه با احتمال قریب به یقین داریم:
formula_11. عملگر امید ریاضی خطی است یعنی برای هر دو متغیر تصادفی formula_4 و formula_9 و هر عدد حقیقی formula_14 و formula_15 و formula_16 داریم:
و یا:
اگر متغیر تصادفی "formula_4" همواره کوچکتر یا مساوی متغیر تصادفی "formula_9" باشد، امید ریاضی "formula_4" کوچکتر یا مساوی امید ریاضی "formula_9" خواهد بود:
اگر formula_10 آنگاه formula_27
در یک حالت خاص اگر "formula_9" را با "formula_29" مقایسه کنیم، می‌دانیم که formula_10 و formula_31. پس می‌توان نتیجه گرفت که formula_27 و formula_33. بنا به خاصیت خطی امید ریاضی داریم formula_34.
در نتیجه قدر مطلق امید ریاضی یک متغیر تصادفی، کوچکتر یا مساوی امید ریاضی قدر مطلق متغیر تصادفی است.
متغیر تصادفی گسسته، حالت متناهی فرض کنید که متغیر تصادفی "formula_4" بتواند مقدار "formula_37" با احتمال "formula_38"، مقدار "formula_39" با احتمال "formula_40"، و غیره تا مقدار "formula_41" با احتمال "formula_42" را بگیرد. پس امید انی متغیر تصادفی "formula_4" به صورت زیر تعریف می‌شود:
چون جمع همهٔ احتمالات "p" برابر یک است "p" + "p" + … + "p" = ۱ (بنابر این می‌توان مقدار مورد انتظار را به صورت میانگین وزن دار به همراه "p"’sهایی که وزن هستند دید:
اگر همهٔ جواب‌های "x" دارای احتمال یکسان باشند (یعنی "p" = "p" = … = "p"), پس میانگین وزن دار به میانگین ساده تبدیل می‌شود. این شهودی است: مقدار مورد انتظار یک متغیر تصادفی میانگین همهٔ مقادیری است که می‌توان گرفت؛ بنابراین، این مقدار مورد انتظار، مقداری است که شما انتظار دارید روی میانگین اتفاق بیفتد. اگر جواب‌های "formula_46" هم احتمال نباشند، بنابراین ممکن است میانگین ساده جایگزین میانگین وزن دار (که بعضی از جواب‌های محتمل تر از بقیه را در نظر می‌گیرد) شود؛ ولی با این حال این شهود و کشف به همین صورت باقی می‌ماند: مقدار مورد انتظار X، مقداری است که انتظار می‌رود روی میانگین اتفاق بیفتد. مثال ۱- فرض کنید "X" جواب یک تاس شش گوشه را نشان دهد. "formula_4" تعداد خال‌های روی وجه بالایی تاس بعد از پرتاب است می‌باشد. مقادیر ممکن برای "X"، ۱، ۲، ۳، ۴، ۵و۶ (که همگی دارای احتمال برابر ۱/۶ هستند) می‌باشند. امید "X"برابر است با:
اگر تاس "n" بار پرتاب شود و میانگین نتایج محاسبه شوند پس با افزایش "n"، میانگین به مقدار مورد انتظار همگرا خواهد بود. به این موضوع قانون قوی مقادیر بزرگ می‌گویند. برای مثال دنبالهٔ ده تاس به صورت ۲, ۳, ۱, ۲, ۵, ۶, ۲, ۲, ۲, ۶ است که میانگین آن‌ها برابر ۳٫۱ با فاصلهٔ ۰٫۴ از مقدار مورد انتظار ۳٫۵ می‌باشند. همگرایی نسبتاً پائین است. احتمالی که میانگین در بین محدودهٔ ۳٫۵ ± ۰٫۱ افت می‌کند برای ده پرتاب ۲۱٫۶٪ و برای هزار پرتاب ۹۳٫۷٪ است. شکل که برای توضیح میانگین‌های دنباله‌های طولانی‌تر پرتاب‌ها نشان داده شده را ببینید و توجه کنید که چطور آن‌ها به مقدار مورد انتظار ۳٫۵ همگرا می‌شوند. عموماً نسبت همگرایی را می‌توان از طریق مثلاً نامساوی چبیشف و نظریهٔ بری-اسن (Berry-Esseen theorem) به سختی کمی کرد.
مثال ۲- بازی رولت شامل یک توپ کوچک و یک چرخ با ۳۸ پاکت شماره گذاری شده در اطراف لبهٔ آن است. همان‌طور که این چرخ می‌چرخد، توپ به‌طور تصادفی به چرخش در می‌آید تا در یکی از این پاکت‌ها متوقف شود. فرض کنید متغیر تصادفی "X" جواب یک شرط‌بندی ۱دلاری (شرط مستقیم) رانشان دهد. اگر این شرط برنده شود (که با احتمال ۱/۳۸ اتفاق می‌افتد)، حاصل ۳۵ دلار می‌شود. در غیر اینصورت بازیکن شرط را می‌بازد. سود مورد انتظار از این چنین شرطی به صورت زیر خواهد بود:
متغیر تصادفی گسسته، حالت قابل شمارش فرض کنید"X"یک متغیر تصادفی گسسته‌ای باشد که مقادیر "x", "x", … به ترتیب با احتمالات، "p", "p", … را در خود می‌گیرد. پس مقدار مورد انتظار این متغیر تصادفی جمع متناهی زیر می‌باشد:
مشروط بر اینکه این سری مطلقاً همگرا است (که این جمع باید در صورتی متناهی باشد که ما همهٔ "x"'s را با مقادیر قدرمطلقشان جایگزین کنیم). اگر این سری مطلقاً همگرا نباشد می گوئیم که مقدار مورد انتظار "X" وجود ندارد. برای مثال فرض کنید که متغیر تصادفی X شامل مقادیر ۱, −۲, ۳, −۴, … به ترتیب با احتمالات , , , , … ,باشد که یک ثابت نرمال‌ساز است که مطمئن می‌سازد که مجموع احتمالات برابر یک است. پس جمع متناهی زیر همگرا است و جمعش برابر . می‌باشد:
با این حال صحیح نیست که ادعا کنیم مقدار مورد انتظار X با این مقدار برابر است در حقیقت E["X"] وجود ندارد جون این سری مطلقاً همگرا نیست (سری‌های هارمونیک را ببینید).
اگر توزیع احتمال "formula_4" در یک تابع چگالی احتمال "formula_53"، صدق کند پس می‌توان مقدار مورد انتظار را به صورت زیر محاسبه کرد:
تعریف عمومی عموماً اگر "X"یک متغیر تصادفی تعریف شده روی یک فضای احتمال , باشد پس مقدار مورد انتظار X (که به صورت E["X"], , "X" or E["X"], مشخص می‌شود) به صورت انتگرال لبسگو تعریف می‌شود:
وقتی که این انتگرال وجود داشته باشد، پس به صورت امید "X" تعریف می‌شود. توجه کنید که هیچ متغیر تصادفی اصلاً مقدار مورد انتظار متناهی ندارد چون ممکن نیست که این انتگرال مطلقاً همگرا باشد؛ بعلاوه برای بعضی این اصلاً تعریف نشده‌است (مثلاً توزیع کوشی). دو متغیر با توزیع احتمال یکسان، مقدار مورد انتظار یکسانی خواهند داشت در صورتی که این انتگرال تعریف شده باشد این موضوع مستقیماً از تعریف حالت گسسته پیروی می‌کند که اگر "X"یک متغیر تصادفی ثابت باشد (یعنی برای چند تا مقدار حقیقی ثابت "b") پس مقدار مورد انتظار"X" نیز "b"خواهد بود. مقدار مورد انتظار یک تابع دلخواه ("X", "g"("X", نسبت به تابع چگالی احتمال ("ƒ"("x" از طریق ضرب داخلی "ƒ" و "g" بدست می‌آید.
بعضی مواقع به این قانون آماری ناخودآگاه می‌گویند. بااستفاده از نمایش‌ها به صورت انتگرال ریمان – استیلتجس و انتگرال‌گیری جزئی می‌توان این فرمول را به صورت زیر دوباره بیان کرد:چون در این حالت ویژه، α یک عدد حقیقی مثبت را نشان می‌دهد پس:
به ویژه برای α = ۱ این به شکل زیر کاهش می‌یابد در صورتی که , باشد (که F تابع توزیع تجمعی X است). اصطلاحات متداول ویژگی‌ها ثابت‌ها مقدار مورد انتظار یک ثابت مساوی باخود ثابت است یعنی اگر "c"یک ثابت است پس است.
یکنوایی اگر "X" و"Y "متغیرهای تصادفی هستند به طوریکه است، پس .
خطی بودن عملگر مقدار مورد انتظار (یا عملگر امید ریاضی) E در مورد زیر خطی است:
توجه داشته باشید که نتیجهٔ دوم حتی اگر "X" از لحاظ آماری مستقل از "Y" نباشد، معتبر و دست است. با ترکیب نتایج حاصل از سه معادلهٔ قبلی، ما می‌توانیم به نتیجهٔ زیر برسیم:
برای هر کدام از متغیرهای تصادفی "X"و "Y" (که باید در همان فضای احتمال تعریف شوند) و هر عدد formula_14و formula_15نتیجهٔ بالا در نظر گرفته می‌شود. امید ریاضی مکرر امید ریاضی برای متغیرهای تصادفی گسسته برای هر کدام از متغیرهای تصافی گسستهٔ "X", "Y" ما ممکن است امید ریاضی شرطی را تعریف کنیم:
که بدین معنی است E["X"|"Y"]("y") یک تابع"Y" است. پس امید ریاضی "x "در معادلهٔ زیر صدق می‌کند:
بنابر این معادلهٔ زیر برقرار است:
یعنی:
طرف راست معادله به امید ریاضی مکرر اشاره دارد و گاهی اوقات قانون برج یا احتمال برج نامیده شده‌است. این پیش فرض در قانون کل امید ریاضی مورد توجه قرار گرفته‌است. امید مکرر برای متغیرهای تصادفی پیوسته در مورد متغیرهای پیوسته، نتایج ما کاملاً قابل قیاس هستند. تعریف امید ریاضی شرطی از نابرابری‌ها، تابع‌های چگالی و انتگرال‌ها استفاده می‌کند تا با نابرابری‌ها، تابع‌های جزئی و مجموع‌ها به ترتیب جایگزین کند. اما نتیجهٔ اصلی هنوز برقرار است:
نابرابری‌ها اگر یک متغیر تصادفی "x" همیشه کمتر یا مساوی با متغیر تصادفی دیگری "Y" باشد، پس امید ریاضی (یا مقدار مورد انتظار) کمتر یا مساوی با مقدار مورد انتظار "Y" است. اگر , است، پس . است. به ویژه، اگر y را با |"X"| منطبق کنیم، می‌دانیم و. است. از اینرو ما می‌دانیم و . با توجه به خطی بودن امید ریاضی ما می‌دانیم است. از اینرو، مقدار مطلق امید ریاضی یک متغیر تصادفی کمتر یا مساوی با مقدار مطلق آن است:
غیر ضربی اگر تابع چگالی احتمال مشترک (یا توأم) "x "و" y "را در نظر بگیریم (مثلاً "j(x,y)") پس امید ریاضی "xy" بدین صورت است:
به‌طور کلی، عملگر مقدار مورد انتظار ضربی نیست، یعنی E["XY"] لزوماً با E["X"]·E["Y"] مساوی نیست. در حقیقت، مقداری که نمی‌تواند ضرب شود، را کوواریانس می‌نامند:
از اینرو، این ضرب هنگامیکه است، برقرار است، در آن کوواریانس، "X"و"Y" گفته می‌شود نا همبسته هستند (متغیرهای مستقل یک مورد مهم متغیرهای نا همبسته هستند). حالا اگر "X" و "Y" مستقل هستند، پس با توجه به تعریف در اینجا" f" و" g "در واقع PDFهای حاشیه‌ای برای "X" و "Y"هستند. پس:
and . مشاهده کنید که استقلال "X" و "Y" مورد نیاز است تا این معادله نوشته شود: , و این باید دومین تساوی بالا را ثابت کند. تساوی سوم از یک کاربرد اولیه و اصلی تئوری نوبینی-تونلی پیروی می‌کند. ناوردایی تابعی به‌طور کلی، عملگر امید ریاضی و تابع‌های متغیرهای تصادفی تبدیل نیم شوند یعنی:
یک نا تساوی مهم برای این موضوع نا تساوی جنسن است، که شامل مقدارهای مورد انتظار تابع‌های محدب می‌شود. استفاده‌ها و کاربردها مقدارهای مورد انتظار توان‌های "X"گشتاورهای "X"می‌نامند؛ گشتاورها نزدیک به میانگین "X" در واقع مقدارهای مورد انتظار توان‌های هستند. گشتاورهای بعضی از متغیرهای تصادفی می‌توانند برای تعیین توزیع‌هایشان از طریق تابع تولیدی گشتاوریشان استفاده شوند. برای تخمین تجربی مقدار مورد انتظار یک متغیر تصادفی، ما به‌طور پیوسته مشاهدات متغیر را اندازه‌گیری می‌کنیم و میانگین حسابی نتایج را محاسبه می‌کنیم. اگر مقدار مورد انتظار وجود دارد، این فرایند مقدار مورد انتظار حقیقی را با یک شیوهٔ غیر تعصبی و غیر طرفدارانه را تخمین می‌زند و ویژگی به حداقل رساندن مجموع مربع‌های باقی‌مانده‌ها دارد (جمع تفاضل‌های مربع بین مشاهدات و تخمین) قانون اعداد بزرگ نشان داد که تحت شرایط نسبتاً مناسب، هنگامیکه اندازهٔ نمونه بزرگتر می‌شود واریانس این تخمین کوچکتر می‌شود. این ویژگی در بسیار از مصارف استفاده می‌شود مانند: مسائل کلی تخمین آماری و آموزش ماشین، بریا تخمین مقدارهای (احتمالی) سود از طریق متود ها/روش‌های مونت کارلو، زیرا اکثر مقدارهای (کمیت‌های) سود می‌تواند از لحاظ امید ریاضی نوشته شوند یعنی، در اینجا تابع شاخصی برای مجموعهٔ است. در مکانیک کلاسیک، مرکز جرم یک مفهوم مشابه امید ریاضی است. برای مثال، فرض کنید "X" یک متغیر تصادفی گسسته با مقدارهای "x" و احتمالات مرتبط "p" است، حالا یک میلهٔ بدون وزن که بر روی آن وزن‌ها در موقعیت‌های "x" در طول میله قرار گرفته‌اند و جرم آنها "p" است (که مجموع آنها یک است) نقطه که در آن میله متعادل E["X"] است. مقدارهای مورد انتظار می‌توانند همچنین برای محاسبهٔ واریانس به وسیلهٔ فرمول‌های محاسباتی واریانس استفاده شوند.
یک کاربرد بسیار مهم مقدار مورد انتظار در زمینهٔ مکانیک کوانتوم است. مقدار مورد انتظار یک عملگر (یا اپراتور) مکانیکی کوانتوم formula_88 که در بردار حالت کوانتوم formula_89 کار می‌کند، به این صورت نوشته می‌شود:formula_90. . ابهام در formula_88 می‌تواند با استفاده از formula_92 محاسبه شود. امید ماتریس‌ها اگر formula_4 یک ماتریس formula_94 ماتریس، باشد پس مقدار مورد انتظار ماتریس به صورت ماتریس مقادیر مورد انتظار تعریف می‌شود:
از این در ماتریس‌های کوواریانس استفاده می‌شود فرمول‌ها برای حالت‌های ویژه توزیع گسسته ای که فقط مقادیر صحیح غیر منفی را می‌گیرد وقتی که یک مقدار تصادفی فقط مقادیر داخل formula_96را می‌گیرد پس می‌توانیم از فرمول زیر برای محاسبهٔ امیدش (حتی وقتی که این امید نا متناهی باشد) استفاده کنیم:
اثبات:
با مبادلهٔ توان مجموع همان‌طور که ادعا می‌کردیم، داریم:
این جواب می‌تواند یک میانبر محاسباتی مفید باشد. برای مثال فرض کنید که ما یک سکه‌ای را بالا می‌اندازیم که احتمال عدد آمدن آن "p"باشد. با چند پرتاب می‌توان اولین خط‌ها (نه آنهایی که شامل خود خط هستند) را انتظار داشت؟ فرض کنید "X" این تعداد را نشان دهد. توجه کنید که ما فقط دنباله‌ها را می‌شماریم و خط‌هایی که آزمایش را پایان می‌دهند را نمی‌شماریم. ما می‌توانیم داشته باشیم که "X" = ۰. امید "X"را می‌توان از طریق محاسبه کرد. این بدین خاطر است که تعداد پرتاب‌های سکه حداقل دقیقاً "i" هستند (در زمانی که اولین پرتاب‌های "i" دنباله‌ها را بدست آورده‌است). این امر، امید یک متغیر تصادفی را با یک توزیع نمایی منطبق می‌سازد. ما از این فرمول برای تصاعد هندسی استفاده کردیم:
formula_100
توزیع پیوسته‌ای که مقادیر غیر منفی را می‌گیرد مثل حالت گسسته‌ای که قبلاً گفته شده وقتی که یک متغیر تصادفی پیوسته‌ای مثل"X" فقط مقادیر غیر منفی را می‌گیرد پس می‌توانیم از فرمول زیر برای محاسبهٔ امیدش استفاده کنیم (حتی وقتی که امید نامتناهی باشد): \operatorname{E}(X)=\int_0^\infty P(X \ge x)\; dxاثبات: ابتدا فرض کنید که "X" یک چگالی برابر formula_3 داشته باشد. ما دو تکنیک ارائه می‌کنیم:
و کروشهٔ آن به صفر می‌رسد چون formula_103 به طوری که formula_104.
در حالتی که هیچ چگالی وجود نداشته باشد دیده می‌شود که:
تاریخ نظریهٔ مقدار مورد انتظار در اواسط قرن هفدهم از مطالعه مشکل معروف امتیازات منشأ گرفته‌است. مشکل این بود: چگونه باید پول‌های شرط‌بندی شده را به‌طور عادلانه بین دو بازیکنی که قبل از اینکه بازی کاملاً تمام شود مجبور هستند بازی را تمام کنند تقسیم کرد؟ این مشکل قرن‌ها مورد بحث و بررسی قرار گرفت و راه حل‌ها و پیشنهادهای جنجال‌برانگیز زیادی پیشنهاد شدند. این نظریه برای اولین بار توسط یک نجیب‌زاده ی فرانسوی دومر ((de Mere در سال ۱۶۵۴ به بلیز پاسکال ارائه شد. دومر اظهار نظر کرد که این مشکل نمی‌تواند حل شود و این نشان می‌دهد ریاضی نمی‌تواند در دنیای واقعی استفاده شود و کمبود دارد. پاسکال، که یک ریاضیدان بود، برانگیخته شد و تصمیم گرفت این مشکل را برای همیشه حل کند. اولین موضوع را از طریق نامه‌های معروفی با پیر دو فرما (Pierre de fermat) در میان گذاشت. بعد از مدت زمان کوتاهی هر دوی آن‌ها به دو راه حل مجزا رسیدند. آن‌ها این مشکل را با دو راه حل محاسباتی متفاوت حل کردند، اما نتیجهٔ آن‌ها یکسان بود زیرا محاسبات شان بر اساس اصول پایه و اساسی یکسانی بود. این اصل پایه این بود که مقدار یک یود آینده باید مستقیماً با شانس به دست آوردن آن مساوی باشد. این اصل به نظر هر دوی آن‌ها کاملاً طبیعی بود. آن‌ها از اینکه به راه حل رسیده بودند بسیار خوشحال بودند و از اینرو این باعث شد آن‌ها متقاعد شوند بالاخره این مشکل را توانسته‌اند حل کنند. با این حال آن‌ها یافته‌هایشان را منتشر نکردند. آن‌ها تنها به تعدادی از دوستان مشترک محققشان در پاریس اطلاع دادند. سه سال بعد در سال ۱۶۵۷ یک ریاضی‌دان آلمانی کریستیان هیگنز، که به پاریس سفر کرده بود، یک مقاله در مورد نظریهٔ احتمال با نام (de ratiociniis in ludo ale) چاپ کرد. در آن مقاله هیگنز مسئله امتیازات را در نظر گرفته بود و یک راه حل بر اساس همان اصلی که پاسکال و فرما دنبال کرده بودند پیشنهاد کرد. او همچنین نظریه امید را با اضافه کردن قوانین مربوط به چگونه محاسبه کردن امیدها در موقعیت‌های پیچیده‌تر از مسئلهٔ اصلی، گسترش داد. هینگز در مقدمهٔ مقاله اش نوشت: باید گفته شود که بریا بعضی مواقع، بعضی از بهترین ریاضی دانان از فرانسه قبلاً به حل آن پرداخته بودند بنابراین هیچ‌کس نباید افتخار ابداع این نظریه را به من نسبت دهد. این به من تعلق ندارد. اما این دانشمندان، اگر چه هر دو یکدیگر را از طریق پرسیدن سوالات دشوار از یکدیگر در معرض آزمایش قرار داده بودند ولی روش‌هایشان را از هم پنهان کرده بودند. از اینرو من از همان اصول اولیه شروع کردم تا به حل این مسئله رسیدم و بدین دلیل غیرممکن است تأیید کنم که از همان اصول آن‌ها آغاز به کار کردم. اما در نهایت من در بسیاری از موارد بدین نتیجه رسیدم که پاسخ‌هایم با آن‌ها متفاوت هستند. از اینرو هیگنز در طی سفرش به فرانسه از اظهار نظر دومر در سال ۱۶۵۵ مطلع شد، بعداً در سال ۱۶۵۶ از طریق ارتباط با کارکاوی دریافت که روش او کاملاً همانند پاسکال است، بنابراین قبل از اینکه مقاله اش برای چاپ برود، او از ارجحیت و پیش قدمی پاسکال در این زمینه آگاه بود. پاسکال و هیگنز هیچ‌کدام کلمهٔ امید را با مفهوم امروزی استفاده نکردند. به خصوص شانس یا امید من برای بردن هر چیزی مساوی با به دست نیاوردن آن است… اگر من انتظار دارم a یا b را به دست بیاورم، شانس بدست آوردن هر کدام از آن‌ها مساوی است، مقدار امید من (a+b)/2 است. بیش از صد سال قبل، در سال ۱۸۱۴ پیرسایمون لاپلاس مقالهٔ خود را با عنوان "Théorie analytique des probabilités" منتشر کرد، در آنجا مفهوم مقدار مورد انتظار (یا امید ریاضی) به‌طور واضح توضیح داده شد. استفاده از حرف E به معنی مقدار مورد انتظار است که به نظریهٔ انتخاب و شانس دابیلیو. ای وایت ورت بر می‌گردد این سمبل در زمانی که بریا همهٔ نویسندگان انگلیسی، آلمانی و فرانسوی E به معنی انتظار شد.