قضیه بیز
قضیه بیز روشی برای دسته‌بندی پدیده‌ها، بر پایه احتمال وقوع یا عدم وقوع یک پدیده‌است و در نظریه احتمالات با اهمیت و پرکاربرد است. اگر برای فضای نمونه‌ای مفروضی بتوانیم چنان افرازی انتخاب کنیم که با دانستن اینکه کدامیک از پیشامدهای افراز شده رخ داده‌است، بخش مهمی از عدم قطعیت تقلیل می‌یابد.
این قضیه از آن جهت مفید است که می‌توان از طریق آن، احتمال یک پیشامد را با مشروط کردن نسبت به وقوع یا عدم وقوع یک پیشامد دیگر محاسبه کرد. در بسیاری از حالت‌ها، محاسبهٔ احتمال یک پیشامد به صورت مستقیم کاری دشوار است. با استفاده از این قضیه و مشروط کردن پیشامد مورد نظر نسبت به پیشامد دیگر، می‌توان احتمال مورد نظر را محاسبه کرد.
این رابطه به خاطر بزرگداشت توماس بیز فیلسوف انگلیسی به نام فرمول بیز معروف است.
فرض می‌کنیم formula_1 یک افراز برای فضای نمونه‌ای formula_2 تشکیل دهند. طوری‌که به ازای هر formula_3، داشته باشیم formula_4 و فرض کنید formula_5 پیشامدی با فرض formula_6 باشد، در اینصورت به ازای formula_7، داریم:
formula_8
طبق تعریف احتمال شرطی داریم formula_9. صورت کسر قضیه طبق دستور حاصلضرب در احتمال شرطی، برابر با formula_10 و مخرج کسر بنابر قضیه قانون احتمال کل، برابر formula_11 است.
اگر A و B دو پیشامد مفروض باشند، می‌توان پیشامد A را به صورت زیر در نظر بگیریم:
formula_12
زیرا نقطه‌ای که در formula_5 باشد باید یا در هر دوی formula_5 و formula_15 باشد یا این که در formula_5 باشد و در formula_15 وجود نداشته باشد. از طرفی می‌دانیم formula_18 و formula_19 ناسازگار هستند، پس می‌توان نوشت:
formula_20
این رابطه بیان می‌دارد که احتمال به وقوع پیوستن پیشامد formula_5 یک میانگین وزنی از احتمال شرطی formula_22 و احتمال شرطی formula_23 می‌باشد. وزن داده شده به هر احتمال شرطی به اندازهٔ احتمالی است که formula_5 نسبت به آن مشروط شده‌است. رابطه بالا را می‌توان به صورت زیر تعمیم داد. فرض کنید پیشامدهای formula_25، formula_26، … و formula_27 پیشامدهای دو به دو ناسازگار باشند از طرفی رابطهٔ زیر نیز بین این پیشامدها برقرار است:
formula_28
از این عبارت این گونه می‌توان استنباط کرد که حتماً یکی از پیشامدهای formula_25، formula_26، … و formula_27 باید اتفاق بیفتد. از طرفی می‌دانیم که پیشامدهای formula_32برای formula_33، دو به دو ناسازگار هستند و می‌نویسیم:
formula_34
از این‌جا می‌توان نوشت:
این رابطه بیان می‌دارد که چگونه می‌توان formula_11 را با مشروط کردن به یکی از پیشامدهای داده شدهٔ formula_25، formula_26، … و formula_27 محاسبه نمود. به‌طور کلی این رابطه باین می‌دارد که formula_11 برابر است با میانگین وزنی formula_41 به نحوی که هر وزن هر جمله برابر با احتمالی است که به آن مشروط گردیده‌است حال فرض کنید که پیشامد A اتفاق افتاده و می‌خواهیم احتمال این که یکی از پیشامدهای formula_42 اتفاق افتاده باشد را حساب کنیم:
formula_8
برای نگرش بیزی به یادگیری ماشین (و یا هر فرایند دیگر) می‌باید نخست:
در یادگیری ماشین معمولاً در فضای فرضیه formula_44 بدنبال بهترین فرضیه‌ای هستیم که در مورد داده‌های آموزشی formula_45 صدق کند. یک راه تعیین بهترین فرضیه، این است که بدنبال محتمل‌ترین فرضیه‌ای باشیم که با داشتن داده‌های آموزشی formula_45 و احتمال قبلی در مورد فرضیه‌های مختلف می‌توان انتظار داشت تئوری بیز چنین راه حلی را ارائه می‌دهد. این روش راه حل مستقیمی است که نیازی به جستجو ندارد.
سنگ بنای یادگیری بیزی را تئوری بیز تشکیل می‌دهد. این تئوری امکان محاسبه احتمال ثانویه را بر مبنای احتمالات اولیه می‌دهد:
همان‌طور که مشاهده می‌شود با افزایش formula_48 مقدار formula_49 کاهش می‌یابد. زیرا هر چه احتمال مشاهده formula_45 مستقل از formula_44 بیشتر باشد به این معنا خواهد بود که formula_45 شواهد کمتری در حمایت از hدربردارد.
فرض کنید که فضای فرضیه formula_44 و مجموعه مثال‌های آموزش formula_45 موجود باشند. مقادیر احتمال زیر را تعریف می‌کنیم:
توجه شود که احتمال پیشین formula_55 مستقل از داده آموزشی است، ولی احتمال پسین formula_49 تأثیر داده آموزشی را منعکس می‌کند.
روش‌های بیزی فرضیه‌هایی ارائه می‌دهند که قادر به پیش‌بینی احتمالی هستند (مثل بیمار به احتمال ۹۳٪ بهبود می‌یابد) مثال‌های جدید را می‌توان با ترکیب وزنی چندین فرضیه دسته‌بندی نمود. حتی در مواردی که روش‌های بیزی قابل محاسبه نباشند، می‌توان از آن‌ها به عنوان معیاری برای ارزیابی روش‌های دیگر استفاده کرد تعدادی از روش‌های یادگیری ماشینی بیزی شامل موارد زیر است:
در یک مسئله تشخیص بیماری با دو فرضیه روبرو هستیم: دادهای آزمایشگاهی نشان می‌دهد که ۰٫۰۰۸ جمعیت دارای این بیماری هستند و بعلت نادقیق بودن تست‌های آزمایشگاهی نتایج آن به صورت زیر است:
formula_68formula_69احتمال مثبت بودن جواب آزمایش:
formula_70
حال اگر بیمار جدیدی مشاهده شود که جواب آزمایشگاه مثبت باشد، آیا باید بیمار را مبتلا به سرطان بدانیم؟ احتمال ابتلای بیمار به سرطان عبارت است از:
formula_71
احتمال نداشتن سرطان عبارت است از:
formula_72لذا فرضیه MAP عبارت خواهد بود از: