برآورد درست‌نمایی بیشینه

نرمال مجانبی

در بسیاری از موارد، پارامترهای درست نمایی بیشینه، نرمال مجانبی را تخمین می‌زنند که برابر است با مجموعه پارامترهای صحیح و واقعی و خطای تصادفی که تقریباً نرمال است (البته با این فرض که داده‌ها کافی باشد)، و خطا با نرخ  کاهش می‌یابد. برای اینکه این ویژگی برقرار باشد لازم است که برآوردکننده متحمل موضوعات زیر نباشد:

برآورد مرزی

گاهی برآورد درست نمایی بیشینه در کران مجموعه پارامترهای ممکن نهفته‌است یا درست نمایی بزرگ و بزرگتر می‌شود تا پارامترها به کران نزدیک شوند. تئوری مجانب استاندارد نیاز به این فرض دارد که پارامترهای واقعی دورتر از مرزها و کران‌ها قرار دارد. اگر داده‌های کافی داشته باشیم، برآورد درست نمایی بیشینه از مرز دور نگه داشته می‌شود؛ ولی با تعداد نمونه‌های کمتر، برآورد به مرزها می‌رسد. در این موارد تئوری مجانبی تقریب کاربردی و درستی نمی‌دهد. مثالها در این موضوع مدل‌های واریانس مؤلفه‌ای هستند که هر مؤلفه دارای واریانس  است که  .

داده‌های مرزی وابسته یه پارامتر

برای کاربردی کردن تئوری با یک روش ساده، مجموعه‌ای از داده‌ها با احتمال مثبت را در نظر می‌گیریم که مستقل از پارامتر باشد. مثال ساده‌ای که وابستگی به پارامترها در آن برقرار باشد تخمین زدن θ از مجموعه‌ای مشاهدات مستقل با توزیع یکسان مانند توزیع یکنواخت در بازه  است. برای برآورد بازه‌هایی از θ را هدف می‌گیریم که در آن θ کمتر از مقدار بزرگترین مشاهده نباشد. چرا که بازه  فشرده نیست، مقدار بیشینه برای تابع درست نمایی وجود ندارد. برای هر تخمینی از θ تخمین بزرگتری وجود دارد که درست نمایی بزرگتری دارد. به عکس، بازه  شامل نقطه نهایی θ است و فشرده‌است. در این موارد برآورد درست نمایی بیشینه وجود دارد که بایاس است. به صورت مجانبی، برآوردکننده درست نمایی بیشینه توزیع نرمال ندارد.

پارامترهای مزاحم

برای برآورد درست نمایی بیشینه، یک مدل ممکن است پارامترهای مزاحم داشته باشد. برای برقراری رفتار مجانبی، تعداد این‌گونه پارامترها نباید با تعداد مشاهدات (سایز داده) افزایش یابد. یک مثال شناخته شده از این مورد وقتی است که مشاهدات به صورت جفتی رخ دهد که مشاهدات در هر جفت میانگین‌ها مجزا و مجهول دارند ولیکن مستقل و دارای توزیع نرمال با یک واریانس مشترک هستند؛ بنابراین برای تعداد N مشاهده، تعداد پارامترها 2N+۱ خواهد بود. همان‌طور که می‌دانیم برآورد درست نمایی بیشینه برای واریانس به مقدار واقعی آن همگرا نمی‌شود.

تغییرناپذیری کاربردی

برآوردکننده درست نمایی بیشینه مقادیری برای پارامتر انتخاب می‌کند که منجر به بزرگترین مقدارممکن برای احتمال یک داده مشاهده شود. اگر پارامتر شامل تعدادی مؤلفه باشد، آنگاه برآوردکننده‌های درست نمایی بیشینه متفاوت برای آن‌ها تعریف می‌کنیم. اگر  برآورد درست نمایی بیشینه برای θ باشد و اگر  تابع انتقال دلخواه θ باشد، آنگاه برآورد درست نمایی بیشینه برای  از تعریف زیر بدست می‌آید:
که تابع درست‌نمایی را بیشینه می‌کند:
همچنین برآورد درست نمایی بیشینه نسبت به انتقال داده‌ها تغییرناپذیر است. اگر  که  یک به یک باشد و وابسته یه پارامتری که قرار است برآورد شود نباشد، آنگاه تابع چگالی در رابطه زیر صدق می‌کند:
تابع درست نمایی برای X و Y صرفاً در یک فاکتور تفاوت دارد که وابسته به پارامترهای مدل نیست.
برای مثال، پارامترهای برآورد درست نمایی بیشینهٔ توزیع لگاریتم درست نمایی همان پارامترهای توزیع نرمال است که به لگاریتم داده‌ها فیت شده‌است.

ویژگی‌های مرتبه بالاتر

بر طبق مجانب استاندارد، برآوردکننده درست نمایی بیشینه باید ببه کران پایین کرامر-رائو برسد؛ بنابراین:
که I ماتریس اطلاعات فیشر است:
به‌طور خاص، این به این معناست که بایاس برآوردکننده درست نمایی بیشینه برابر با صفر تا حداکثر مرتبه  است. وقتی عبارت مرتبه‌های بالاتر برای توسعه توزیع این برآوردکننده را در نظر می‌گیریم، به این نتیجه می‌رسیم که  یک بایاس از مرتبه   دارد. بایاس برابر است با:
که براساس قرارداد جمع‌زنی اینشتین بر روی اندیس‌های تکرار شونده ،  یعنی j,k -امین مؤلفه وارون ماتریس اطلاعات فیشر   ، و
با استفاده از این فرمول‌ها می‌توان بایاس مرتبه دوم برآوردکننده درست نمایی بیشینه را تخمین زد و هر بار با استفاده از بایاس آن را اصلاح کرد:
 .

توزیع یکنواخت گسسته

به زودی

توزیع پیوسته، فضای نمونه پیوسته

برای توزیع نرمال  که تابع چگالی احتمال آن به صورت زیر است:
تابع چگالی احتمال n متغیر تصادفی نرمال مستقل با توزیع یکسان به صورت زیر تعریف می‌شود:
به عبارت دیگر:
که در آن  میانگین نمونه‌ای است.
توزیع نرمال دارای دو پارامتر است :  بنابراین درست نمایی  را بر روی هر دو پارامتر به صورت هم‌زمان یا در صورت امکان به صورت تک تک بیشینه می‌کنیم. از آنجا که تابع لگاریتم یک تابع پیوسته اکیداً صعودی است، مقداری که درست نمایی را ماکزیمم می‌کند، لگاریتم آن را هم ماکزیمم می‌کند. تابع لگاریتم درست نمایی را می‌توان به صورت زیر نوشت:
مشتق لگاریتم درست نمایی را محاسبه می‌کنیم و آن را صفر قرار می‌دهیم:
که با عبارت زیر حل می‌شود:
که در واقع بیشینه تابع است چرا که صرفاً یک اکسترمم در μ وجود دارد و مشتق دوم اکیداً کمتر از صفر است؛ بنابراین امید آن برابر است با پارامتر μ.
که به این معنا است که برآوردکننده درست نمایی بیشینه  بایاس نشده‌است.
علاوه بر این مشتق لگاریتم درست نمایی را نسبت به σ گرفته و مساوی صفر قرار می‌دهیم:
که جواب آن به صورت زیر است:
با قراردادن تخمین   داریم:
برای محاسبه امید، آن را به فرم استاندارد با میانگین صفر   بازنویسی می‌کنیم؛ بنابراین داریم:
با ساده کردن رابطه بالا با استفاده از دو رابطه  و  خواهیم داشت:
که به این معنا است که برآوردکننده  بایاس و سازگار است.
می‌توان گفت برآوردکننده درست نمایی بیشینه برای برابر است با:
در این مورد، براوردهای درست نمایی بیشینه می‌توانند به صورت تک به تک و در حالت کلی ممکن است این براوردها به صورت هم‌زمان بدست آیند.
فرم نرمال لگاریتمی درست نمایی در حالت بیشینه خود به صورت زیر است:
می‌توان نشان داد که لگاریتم درست نمایی بیشینه در حالت کلی برا ی کمترین مربعات و برای کمترین مربعات غیر خطی یکی است. این موضوع می‌تواند برای تخمین‌های مبتنی بر درست نمایی بازه اطمینان و منطقه اطمینان استفاده شود که در حالت کلی بسیار دقیق تر از استفاده از نرمال مجانبی که در بالا بحث شد، است.

متغیرهای غیرمستقل

در برخی موارد متغیرها همبسته هستند ولی مستقل نیستند. دو متغیر تصادفی X و Y مستقل هستند اگر و فقط اگر تابع چگالی احتمال مشترک آن دو، برابر با حاصلضرب تابع چگالی احتمال هر یک باشد. یعنی:
فرض کنید بردار تصادفی n بعدی از توزیع گوسی داشته باشیم  که هر کدام از متغیرهای تصادفی دارای میانگین به صورت  باشند. همچنین ماتریس کوواریانس را هم با  نشان می‌دهیم.
تابع چگالی احتمال مشترک برای n متغیر تصادفی را با رابطه زیر نشان می‌دهیم:
در حالت دو متغیره تابع چگالی احتمال مشترک به صورت زیر است:
در این مورد و در دیگر موارد که تابع چگالی مشترک وجود داشته باشد، تابع درست نمایی که که در بالاتر و در بخش اصول تعریف شد از این چگالی استفاده می‌کند.