دسته‌بندی‌کننده بیز ساده
دسته‌بندی‌کننده بیز ساده در یادگیری ماشین به گروهی از دسته‌بندی‌کننده‌های ساده بر پایه احتمالات گفته می‌شود که با فرض استقلال متغیرهای تصادفی و براساس قضیه بیز ساخته می‌شوند. به‌طور ساده روش بیز روشی برای دسته‌بندی پدیده‌ها، بر پایه احتمال وقوع یا عدم وقوع یک پدیده‌است. این روش از ساده‌ترین الگوریتم‌های پیش‌بینی است که دقت قابل قبولی هم دارد. دقت آن را می‌توان با استفاده از برآورد چگالی کرنل به صورت قابل توجهی بالا برد. شیوه یادگیری در روش بیز ساده از نوع یادگیری با نظارت است. این روش در دهه ١٩٦٠ در میان دانشمندان بازیابی اطلاعات توسعه یافت و هنوز هم از روش‌های محبوب در دسته‌بندی اسناد به شمار می‌آید.
بیز ساده فرض را بر استقلال متغیرهای پیش‌بینی می‌گذارد از این رو بیز ساده یا بیز ساده‌لوح خوانده می‌شود. برای نمونه در مسئله پیش‌بینی یک میوه (این میوه مثلا ممکن است پرتقال باشد) اگر میوه نارنجی و کروی با شعاع حدود ده سانتی‌متر باشد و به شرطی که این احتمالات به درستی از همدیگر مستقل باشند بیز ساده در تشخیص اینکه این میوه پرتقال است یا نه به‌درستی عمل خواهد کرد.
برنامه‌های کاربردی بسیاری هستند که پارامترهای نایو بیز را تخمین می‌زنند، بنابراین افراد بدون سروکار داشتن با تئوری بیز می‌توانند از این امکان به منظور حل مسایل مورد نظر بهره ببرند. با وجود مسائل طراحی و پیش فرض‌هایی که در خصوص روش بیز وجود دارد، این روش برای طبقه‌بندی کردن بیشتر مسایل در جهان واقعی، مناسب است.
اگر formula_1 متغیر ورودی داشته باشیم یعنی formula_2 و خروجی formula_3 از یک مجموعه "formula_4" عضوی باشد، هدف از مدل‌سازی پیدا کردن احتمال مشروط هر کدام از این formula_4 دسته است یعنی formula_6 . طبق قانون بیز این احتمال برابر است با
formula_7
به عبارت دیگر احتمال مشروط formula_6 به توزیع توأم formula_9 و formula_10 بستگی دارد. طبق قانون زنجیره‌ای این توزیع توأم برابر است با:
formula_11
حال اگر فرض کنیم هر متغیری نسبت به متغیرهای دیگر به شرط دسته formula_10 مستقل است یعنیformula_13 به نتیجه پایین می‌رسیم:
formula_14
با نرمال‌سازی عبارت قبلی می‌توان توزیع احتمال مشروط را پیدا کرد، در معادله پایین formula_15 همان ضریب نرمال‌سازی است:
formula_16
اگر هدف پیدا کردن محتملترین دسته باشد، به ضریب نرمال‌سازی یعنی formula_17 نیازی نیست:
formula_18 برای مدلسازی دسته‌بندی‌کننده بیز ساده برای تمام formula_19ها به تخمین formula_20 و formula_21 نیاز داریم. formula_20 به سادگی با حساب درصد داده‌هایی که متعلق به کلاس formula_10 هستند بدست می‌آید. برای بدست آوردن formula_21 راه‌های مختلفی وجود دارد، تخمین توزیع چند جمله‌ای یا توزیع طبیعی روش‌هایی متداول برای این کار هستند.
در روش تخمین توزیع طبیعی، formula_21 را با یک توزیع طبیعی با میانگین formula_26 و واریانس formula_27 تخمین می‌زنیم و formula_26 و formula_27 را از طریق درست نمایی بیشینه بدست می‌آوریم:
formula_30
اگر formula_31 گسسته باشد، توزیع formula_32 را می‌توان با یک توزیع چند جمله‌ای تخمین زد.
در این مثال داده‌هایی از شخصی داریم که به ما می‌گوید که در شرایط مختلف آب و هوایی این شخص گلف بازی می‌کند یا خیر.
دسته‌بندی‌کننده با استفاده از این داده‌ها به جداول زیر می‌رسد. در هر جدول احتمال شرایط مختلف آب و هوایی به شرط این که شخص گلف بازی کند یا نکند آمده‌است.
فرض کنید هوا بارانی، طوفانی، سرد و مرطوب باشد. حال می‌خواهیم مشخص کنیم که این شخص گلف بازی می‌کند یا خیر. فرض کنید formula_33 معادل بارانی بودن، formula_34 معادل طوفانی بودن، formula_35 معادل سرد بودن و formula_36 معادل مرطوب بودن باشد. همچنین formula_37 معادل بازی کردن و formula_38 معادل بازی نکردن باشد. در این صورت داریم
formula_39
پس دسته‌بندی‌کننده برچسب formula_40 را انتخاب خواهد کرد. در نتیجه شخص با این شرایط گلف بازی نخواهد کرد.
تحقیقاتی در سال ۲۰۰۴ دلایل نظریه‌ای برای رفتارهای غیر منطقی بیز مطرح کرد و همچنین در سال ۲۰۰۶ مشاهدات فراگیری به منظور مقایسه این روش با سایر روش‌های طبقه‌بندی مانند boosted trees و جنگل تصادفی (random forests) انجام شد که بر کارا بودن این روش صحه گذاشتند.
از مزایای این روش می‌توان به موارد زیر اشاره کرد:
علاوه بر مزایایی که این دسته‌بندی‌کننده دارد معایبی نیز دارد، از جمله:
برخی از کاربردهای این دسته‌بندی‌کننده به شرح زیر است: