برآوردگر بیشینه‌گر احتمال پسین
در آمار، برآوردگر بیشینه‌گر احتمال پسین یک پارامتر، مد توزیع احتمال پسین آن پارامتر است. به بیان ریاضی، اگر داده formula_1 بر اساس توزیع formula_2 با پارامتر formula_3 توزیع شده‌باشند و formula_4 و formula_2 به ترتیب احتمال پیشین پارامتر و درستنمایی داده را نشان دهند، برآوردگر بیشینه‌گر احتمال پسین برابر خواهد بود با:
برآوردگر بیشینه‌گر احتمال پسین ارتباط نزدیکی با برآورد درستنمایی بیشینه دارد، با این تفاوت که برای پارامتر مورد تخمین احتمال پیشین را هم در نظر می‌گیرد. در نتیجه، می‌توان برآوردگر بیشینه‌گر احتمال پسین را همان برآورد درست‌نمایی بیشینه دانست به همراه یک تنظیم‌گر.
فرض کنید میخواهیم پارامتر جمعیت مشاهده نشده‌ی formula_3 را بر اساس مشاهدات formula_8 تخمین بزنیم. فرض کنید formula_9 توزیع نمونه گیری formula_8 باشد، پس احتمال formula_8 وقتی که پارامتر جمعیت formula_3 باشد، formula_13 است. تابع زیر به تابع درست‌نمایی معروف است:
formula_14
و تخمین زیر، برآورد حداکثر درست نمایی است:
formula_15
حال فرض کنید توزیع پیشین formula_16 روی formula_3 وجود داشته باشد. این کار به ما اجازه می دهد تا با formula_3 به عنوان یک متغیر تصادفی رفتار کنیم. محاسبه‌ی توزیع پسین formula_3 با استفاده از قانون بیز به صورت زیر است:
formula_20
formula_16 تابع چگالی formula_3 و formula_23 دامنه‌ی formula_16 است.
روش برآوردگر بیشینه‌گر احتمال پسین به صورت زیر است:
formula_25
مخرج کسر بالا همواره مثبت است و نیز وابسته به formula_3 نیست، در نتیجه نقشی در بهینه سازی تابع ندارد. وقتی formula_16 تابعی ثابت باشد آن گاه برآوردگر بیشینه‌گر احتمال پسین همانند برآوردگر بیشینه درست نمایی عمل میکند.
هر وقت تابع هزینه به شکل زیر باشد:
formula_28
و formula_29 به عدد 0 نزدیک شود، برآوردگر بیزی به برآوردگر بیشینه‌گر احتمال پسین نزدیکتر میشود(با فرض اینکه توزیع formula_3 شبه مقعر باشد). ولی به صورت کلی برآوردگر بیشینه‌گر احتمال پسین یک برآوردگر بیزی نیست مگر آنکه formula_3 گسسته باشد.
محاسبه:
برآوردگر بیشینه‌گر احتمال پسین به چندین روش می‌تواند محاسبه شود:در حالی که فقط شرایط خفیف برای برآوردگر بیشینه‌گر احتمال پسین نیاز است تا نمونه‌ی حدی یک تخمین‌گر بیزی باشد(تحت تابع هزینه‌ی 1-0)، ولی عموما نمایانگر روش‌های بیزی نیست. آن به این دلیل است که برآوردگرهای بیشینه‌گر احتمال پسین، تخمین‌گر نقطه هستند در حالی که روش‌های بیزی از توزیع‌ها برای خلاصه‌سازی داده و نتیجه‌گیری استفاده می‌کنند. از این رو روش‌های بیزی برای گزارش پسین میانگین یا میانه(در کنار بازه‌های مورد قبول) معتبر هستند، زیرا این تخمین‌گرها به‌ترتیب تحت خطای مربعات و خطای خطی بهینه هستند و همچنین توزیع پسین ممکن است توزیع آنالیزی ساده‌ای نداشته باشد(در چنین شرایطی توزیع با استفاده از زنجیره مارکوف مونت‌کارلو می‌تواند شبیه‌سازی شود در حالی که بهینه‌سازی برای پیدا کردن مدهایش ممکن است سخت یا ناممکن باشد). در بسیاری از انواع مدل‌ها همانند مدل‌های مخلوط، پسین ممکن است چند-مُدال باشد. در این شرایط توصیه آن است که بیشترین مد انتخاب شود که همواره امکان پذیر نیست و گاهی احتمال دارد ناممکن باشد. علاوه‌بر این‌ها بیشترین مد ممکن است بیانگر ویژگی‌های اغلب پسین‌ها نباشد. برخلاف برآوردگرهای درست‌نمایی بیشینه، برآوردگرهای بیشینه‌گر احتمال پسین هنگام دوباره‌سازی پارامترها ثابت نیستند. زیرا تغییر از یکی به دیگری ژاکوبین جدیدی را ایجاد می‌کند که روی مکان بیشینه اثر می‌گذارد. فرض کنید می‌خواهیم ورودی‌های formula_8را مثبت یا منفی طبقه‌بندی کنیم. سه فرضیه ممکن formula_33،formula_34و formula_35 درباره‌ی روش صحیح دسته‌بندی به ترتیب با پسین‌های 0.4، 0.3 و 0.3 وجود دارد. فرض کنید برای نمونه‌ی جدید formula_8، سه دسته‌بندی کننده‌ی ذکر شده به‌ترتیب formula_8را مثبت، منفی و منفی دسته‌بندی می‌کند. formula_8 با استفاده از برآوردگر بیشینه‌گر احتمال پسین برای دسته‌بندی کننده‌ی formula_33 مثبت و با استفاده از تخمین‌گر بیزی روی همه‌ی فرضیه‌ها، منفی دسته‌بندی می‌شود.
فرض کنید formula_40 دنباله ای از متغیرهای تصادفی مستقل با توزیع یکسان formula_41 و formula_42 توزیع پسین formula_43 باشد. میخواهیم برآوردگر بیشینه‌گر احتمال پسین formula_43 را پیدا کنیم.
تابعی که میخواهیم بیشینه کنیم به صورت زیر است:
formula_45
که هم ارز است با کمینه کردن تابع زیر از formula_43:
formula_47
در نهایت برآوردگر بیشینه‌گر احتمال پسین برای formula_43 به شکل زیر در می‌آید:
formula_49
که یک رابطه‌ی خطی وزن دار بین میانگین پیشین و میانگین نمونه است.
وقتی formula_50 به بینهایت میل کند اصطلاحا به این، پیشین غیر آموزنده گفته میشود. در این حالت formula_51.
Wikipedia contributors, "Maximum a posteriori estimation," Wikipedia, The Free Encyclopedia, (accessed December 21, 2012).