موضوع مقاله: برآوردگر بیشینه‌گر احتمال پسین | مخاطب: عمومی | لحن: دانشنامه‌ای | ساختار: عنوان، مقدمه، 3 بخش، جمع‌بندی | مقاله: | # برآوردگر بیشینه‌گر احتمال پسین | مقدمه: در آمار، برآوردگر بیشینه‌گر احتمال پسین یک پارامتر، مد توزیع احتمال پسین آن پارامتر است. | ## بخش 1: برآوردگر بیشینه‌گر احتمال پسین | به بیان ریاضی، اگر داده بر اساس توزیع با پارامتر توزیع شده‌باشند و و به ترتیب احتمال پیشین پارامتر و درستنمایی داده را نشان دهند، برآوردگر بیشینه‌گر احتمال پسین برابر خواهد بود با: برآوردگر بیشینه‌گر احتمال پسین ارتباط نزدیکی با برآورد درستنمایی بیشینه دارد، با این تفاوت که برای پارامتر مورد تخمین احتمال پیشین را هم در نظر می‌گیرد. در نتیجه، می‌توان برآوردگر بیشینه‌گر احتمال پسین را همان برآورد درست‌نمایی بیشینه دانست به همراه یک تنظیم‌گر. توضیحات فرض کنید میخواهیم پارامتر جمعیت مشاهده نشده‌ی را بر اساس مشاهدات تخمین بزنیم. تابع زیر به تابع درست‌نمایی معروف است: و تخمین زیر، برآورد حداکثر درست نمایی است: حال فرض کنید توزیع پیشین روی وجود داشته باشد. محاسبه‌ی توزیع پسین با استفاده از قانون بیز به صورت زیر است: تابع چگالی و دامنه‌ی است. روش برآوردگر بیشینه‌گر احتمال پسین به صورت زیر است: مخرج کسر بالا همواره مثبت است و نیز وابسته به نیست، در نتیجه نقشی در بهینه سازی تابع ندارد. وقتی تابعی ثابت باشد آن گاه برآوردگر بیشینه‌گر احتمال پسین همانند برآوردگر بیشینه درست نمایی عمل میکند. | ## بخش 2: برآوردگر بیشینه‌گر احتمال پسین | هر وقت تابع هزینه به شکل زیر باشد: و به عدد 0 نزدیک شود، برآوردگر بیزی به برآوردگر بیشینه‌گر احتمال پسین نزدیکتر میشود(با فرض اینکه توزیع شبه مقعر باشد). ولی به صورت کلی برآوردگر بیشینه‌گر احتمال پسین یک برآوردگر بیزی نیست مگر آنکه گسسته باشد. محاسبه محاسبه: برآوردگر بیشینه‌گر احتمال پسین به چندین روش می‌تواند محاسبه شود: تحلیلی، زمانی که مد(های) توزیع پسین به شکل عبارت فرم بسته باشد. آن به این دلیل است که برآوردگرهای بیشینه‌گر احتمال پسین، تخمین‌گر نقطه هستند در حالی که روش‌های بیزی از توزیع‌ها برای خلاصه‌سازی داده و نتیجه‌گیری استفاده می‌کنند. از این رو روش‌های بیزی برای گزارش پسین میانگین یا میانه(در کنار بازه‌های مورد قبول) معتبر هستند، زیرا این تخمین‌گرها به‌ترتیب تحت خطای مربعات و خطای خطی بهینه هستند و همچنین توزیع پسین ممکن است توزیع آنالیزی ساده‌ای نداشته باشد(در چنین شرایطی توزیع با استفاده از زنجیره مارکوف مونت‌کارلو می‌تواند شبیه‌سازی شود در حالی که بهینه‌سازی برای پیدا کردن مدهایش ممکن است سخت یا ناممکن باشد). در این شرایط توصیه آن است که بیشترین مد انتخاب شود که همواره امکان پذیر نیست و گاهی احتمال دارد ناممکن باشد. برخلاف برآوردگرهای درست‌نمایی بیشینه، برآوردگرهای بیشینه‌گر احتمال پسین هنگام دوباره‌سازی پارامترها ثابت نیستند. | ## بخش 3: برآوردگر بیشینه‌گر احتمال پسین | زیرا تغییر از یکی به دیگری ژاکوبین جدیدی را ایجاد می‌کند که روی مکان بیشینه اثر می‌گذارد. سه فرضیه ممکن ،و درباره‌ی روش صحیح دسته‌بندی به ترتیب با پسین‌های 0.4، 0.3 و 0.3 وجود دارد. فرض کنید برای نمونه‌ی جدید ، سه دسته‌بندی کننده‌ی ذکر شده به‌ترتیب را مثبت، منفی و منفی دسته‌بندی می‌کند. با استفاده از برآوردگر بیشینه‌گر احتمال پسین برای دسته‌بندی کننده‌ی مثبت و با استفاده از تخمین‌گر بیزی روی همه‌ی فرضیه‌ها، منفی دسته‌بندی می‌شود. مثال فرض کنید دنباله ای از متغیرهای تصادفی مستقل با توزیع یکسان و توزیع پسین باشد. | ## جمع‌بندی | تابعی که میخواهیم بیشینه کنیم به صورت زیر است: که هم ارز است با کمینه کردن تابع زیر از : در نهایت برآوردگر بیشینه‌گر احتمال پسین برای به شکل زیر در می‌آید: که یک رابطه‌ی خطی وزن دار بین میانگین پیشین و میانگین نمونه است.