برآورد درست‌نمایی بیشینه کیست؟ توضیح بده.
در علم آمار برآورد درست‌نمایی بیشینه که به‌طور خلاصه به آن "MLE" نیز گفته می‌شود) روشی برای برآورد فراسنجه‌های یک مدل آماری است که وقتی بر مجموعه‌ای از داده‌ها عملیات انجام می‌شود به یک مدل آماری منتهی می‌شود، آنگاه حداکثر درست‌نمایی می‌تواند برآوردی از پارامترهای مدل را ارائه دهد. روش درست‌نمایی بیشینه همانند بسیاری از روش‌های شناخته شده‌ی برآورد آماری است.فرض کنید برای شخصی اطلاعات مربوط به قد زرافه‌های ماده بالغ موجود در یک جمعیت مهم باشد اما به خاطر محدودیت هزینه یا زمان نتواند قد تک تک این زرافه‌ها را اندازه بگیرد، وی تنها می‌داند که این طول قدها به صورت کلی از توزیع نرمال پیروی می‌کنند ولی سنجه‌های توزیع را (میانگین و واریانس) را نمی‌داند، در این شرایط وی با استفاده از روش درست‌نمایی بیشینه و با در دست داشتن اطلاعات مربوط به نمونه‌ای محدود از جمعیت زرافه‌ها می‌تواند تخمینی از میانگین و واریانس قد آن‌ها را بدست آورد. MLE این کار را به این ترتیب انجام می‌دهد که واریانس و میانگین را مجهول در نظر می‌گیرد آنگاه مقادیری را به آن‌ها نسبت می‌دهد که با توجه به اطلاعات موجود محتمل‌ترین حالت باشد.در حالت کلی روش MLE در مورد یک مجموعهٔ مشخص از داده‌ها عبارتست از نسبت دادن مقادیری به پارامترهای مدل که در نتیجهٔ ان توزیعی تولید شود که بیشترین احتمال را به داده‌های مشاهده شده نسبت دهد (یعنی مقادیری از پارامتر که تابع درست‌نمایی را حداکثر کند). MLE یک سازو کار مشخص را برای تخمین ارائه می‌دهد که در مورد توزیع نرمال و بسیاری توزیع‌های دیگر به‌طور خوش‌تعریف عمل می‌کند. با این حال در بعضی موارد مشکلاتی پیش می‌آید از قبیل اینکه برآوردگرهای حداکثر درست‌نمایی نامناسب اند یا اصلاً وجود ندارند.اصول.فرض کنید formula_1 مشاهدهٔ formula_2 موجود است که به‌طور مستقل از هم و یکنواخت توزیع شده و از توزیعی با تابع توزیع احتمال نامعلوم "ƒ"۰ پیروی می‌کنند. "ƒ"۰ به‌طور محتمل متعلق به یک خانواده مشخص از توزیع‌های نرمال مانند formula_3 می‌باشد که مدل فراسنجه‌ای نامیده می‌شود. بنابراین formula_4 و نیز مقدار formula_5 نامعلوم است و به عنوان مقدار درست فراسنجه در نظر گرفته می‌شود. حال می‌خواهیم برآورد گری چون formula_6 بیابیم که تا حد امکان به مقدار درست formula_7 نزدیک باشد. هم "x""i"‌ها و هم فراسنجه "θ" هر دو می‌توانند بردار باشند.برای به‌کارگیری روش درست‌نمایی بیشینه ابتدا تابع چگالی توام را برای همهٔ مشاهدات تعیین می‌کنیم. برای حالتی که مشاهدات مستقل و یکنواخت توزیع شده‌اند، تابع چگالی توام به صورت زیر است:حال از زاویه‌ای متفاوت به این تابع نگاه کنیم: فرض کنید مشاهدات formula_2 پارامترهای ثابت و "formula_10" پارامتر متغیر این تابع باشد، از این منظر این تابع، توزیع تابع درست‌نمایی نامیده می‌شود. برای سادگی با لگاریتم تابع درست‌نمایی کار می‌کنیم که لگاریتم درست‌نمایی نامیده می‌شود. نمونهٔ تراز شده آن، میانگین درست‌نمایی لگاریتمی نامیده می‌شود:علامت کلاه بالای formula_13 نشان دهندهٔ وابستگی آن به یک براوردگر می‌باشد. در واقع formula_14 مقدار لگاریتم درست‌نمایی انتظاری یک مشاهدهٔ منفرد را در مدل بیان می‌کند.روش درست‌نمایی بیشینه formula_7 را با یافتن مقداری از "formula_10" که formula_17 را بیشینه کند، تخمین می‌زند. این روش تخمین یک تقریب درست‌نمایی بیشینه از formula_7 می‌باشد:در این روش به دلیل یکنوایی تبدیل لگاریتم، تفاوتی میان بیشینه کردن تابع درست‌نمایی، و لگاریتم درست‌نمایی وجود ندارد. برای بسیاری از مدل‌ها می‌توان MLE را به صورت تابعی صریح از داده‌های مشاهده شده‌یformula_2 یافت. اما در بسیاری از مسایل پیدا کردن یک فرم بسته برای تابع درست‌نمایی ممکن نیست و باید از روش‌های عددی برای یافتن MLE استفاده کرد. برای برخی مسایل ممکن است تقریب‌هایی متفاوت موجود باشند که تابع را بیشینه کنند و برای برخی دیگر نیز هیچ تقریب مناسبی وجود ندارد. در گفته‌های فوق فرض بر این بود که داده‌ها یه طور مستقل و یکنواخت توزیع شده‌اند. اما این روش را می‌توان به حوزه‌های وسیع تری نیز گسترش داد. در مسایل پیچیده‌تری چون سری‌های زمانی حتی امکان چشم‌پوشی از فرض استقلال داده‌ها وجود دارد .یک براوردگر درست‌نمایی بیشینه با یک براوردگر بیزی احتمال بیشینه که روی فراسنجه‌های یک توزیع پیشینی یکنواخت را می‌دهد منطبق است.در گفته‌های بالا فرض بر این است که داده‌ها مستقل و دارای توزیع یکسان هستند. این روش می‌تواند برای حالت‌های بیشتر، از جمله نوشتن تابع چگالی مشترک ("f" ("x"1, … , "xn" | "θ ("پارامتر "θ" محدود و مستقل از سایز نمونه‌ها "n) و" در یک فرمت ساده‌تر برای داده‌های ناهمگون با تابع چگالی مشترک ("f"1 ("x"1 | "θ") ·"f"2("x"2|"θ") · ··· · "fn"("xn" | "θ استفاده کرد". فرض می‌کنیم که هر نمونه مشاهده شده "xi قابل استخراج از" یک متغیر تصادفی با تابع توزیع "f"i باشد. در حالت‌های پیچیده تری مانند سری‌های زمانی، فرض مستقل بودن متغیرهای تصادفی می‌تواند راهگشا باشد.برآورد درست نمایی بیشینه در کنار برآورد بیزی با شرط داشتن یک توزیع یکنواخت بر روی پارامترها استفاده می‌شود. در واقع هرچه برآورد موخره بیشینه شود، احتمال پارامتر "θ" مشروط به داده‌های formula_2 افزایش می‌یابد.که در آن formula_23 توزیع مقدم برای پارامتر "θ" است که در آن formula_24 احتمال متوسط داده‌ها بر روی همه فراسنجه‌ها است. به دلیل استقلال مخرج رابطه از "θ"، برآوردگر بیزی ار بیشینه کردن عبارت صورت formula_25 بدست می‌آید. همچنین اگر در نظر بگیریم که احتمال مقدم formula_23 با فرض توزیع یکنواخت است، تخمین‌گر بیزی از بیشینه کردن تابع درست نمایی بیشتر فرض کنیم که قبل از یک توزیع یکنواخت از برآورد بیزی توسط به حداکثر رساندن احتمال تابع formula_27 به دست آمده‌است؛ ازاین‌رو برآوردگر بیزی، برآورد درست نمایی بیشینه را با در نظر گرفتن توزیع مقدم یکنواخت formula_23 همراهی می‌کند.ویژگی‌ها.درست‌نمایی بیشینه یک براوردگر اکسترمم بنا شده بر تابع هدف زیر می‌باشدو مشابه نمونه‌ای اش درست‌نمایی لگاریتمی میانگینformula_30، می‌باشد. مقدار انتظاری اینجا متناظر با چگالی صحیح "f"(·|"θ"۰) محاسبه شود.براوردگر درست‌نمایی بیشینه اساساً هیچگونه ویژگی‌های بهینه برای نمونه‌های متناهی ندارد. با این حال این روش مشابه دیگر روش‌های تخمین، برای بیان بسیاری از مسایل دارای ویژگی‌های مجانبی جالبی می‌باشند که عبارتند از:سازگاری.تحت شرایط مشخص شده در زیر، برآورد درست نمایی بیشینه سازگار است. اصولاً سازگاری به این معناست که با داشتن تعداد نمونه مشاهدات به اندازه کافی زیاد، می‌توان مقدار formula_7 را با دقت دلخواه پیدا کرد. به زبان ریاضی به این معنا است که اگر تعداد مشاهدات n به سمت بینهایت میل کند، formula_33 در احتمال به مقدار واقعی اش همگرا می‌شود.formula_34برای بیان سازگاری شروط ریز کافی است:شناسایی مدل.formula_35به عبارت دیگر مقادیر مختلف θ متناظر با توزیع‌های مختلف در مدل است. اگر این شرط برقرار نباشد، آنگاه formula_36 وجود دارد که formula_7 و formula_38 هردو مرتبط با یک توزیع از داده مشاهده شده می‌باشند. در اینصورت قادر به تمایز میان این دو پارامتر نخواهیم بود حتی اگر تعداد نمونه‌های مشاهده شده محدود باشد. در این حالت پارامترها به صورت مشاهده‌ای هم ارزند.شرط شناسایی برای برآوردکننده درست نمایی بیشینه شرط لازم است. وقتی این شرط برقرار است تابع درست نمایی حدی formula_39 یک مقدار بیشینه سراسری formula_7 خواهد داشت.فشردگی.فضای پارامترهای مدل فشرده آیت.شرط شناسایی بیانگر این بود که لگاریتم درست نمایی یک مقدار بیشینه سراسری دارد. فشردگی بیانگر این است که درست نمایی نمی‌تواند با شروع از یک نقطه دلخواه به مقدار بیشینه نزدیک شود.فشردگی صرفاً یک شرط کافی است و شرط لازم نیست. فشردگی می‌تواند با شروط دیگری از جمله شروط زیر جایگزین شود:- فرورفتگی‌ها در تابع لگاریتم درست نمایی و فشردگی آن‌ها نسبت به مجموعه سطح تابع لگاریتم درست نمایی بالاتر باشد، یا- وجود همسایگی فشرده N برای formula_7 به‌طوری‌که خارج از همسایگی، تابع لگاریتم درست نمایی به اندازه ε&gt;۰ از بیشینه مقدار، کمتر باشد.پیوستگی.تابع formula_42 نسبت به θ برای تقریباً همه مقادیر x پیوسته باشد.formula_43پیوستگی در اینجا می‌تواند با شرط ضعیف تر نیمه پیوستگی جایگزین شود.تسلط.با توجه به توزیع formula_42، formula_45 وجود دارد که:formula_46 for all formula_47طبق قانون اعداد بزرگ، با تلفیق شرط تسلط و پیوستگی برای لگاریتم درست نمایی داریم:formula_48شرط تسلط می‌تواند در مشاهدات متغیرهای تصادفی مستقل با توزیع یکسان استفاده شود. در مشاهده‌های غیر مستقل با توزیع متفاوت، همگرایی یکنواخت در احتمال را می‌توان با نشان دادن اینکه دنباله formula_49 یک فرایند پیوسته - مساوی تصادفی است، بدست آورد.نرمال مجانبی.در بسیاری از موارد، پارامترهای درست نمایی بیشینه، نرمال مجانبی را تخمین می‌زنند که برابر است با مجموعه پارامترهای صحیح و واقعی و خطای تصادفی که تقریباً نرمال است (البته با این فرض که داده‌ها کافی باشد)، و خطا با نرخ formula_50 کاهش می‌یابد. برای اینکه این ویژگی برقرار باشد لازم است که برآوردکننده متحمل موضوعات زیر نباشد:برآورد مرزی.گاهی برآورد درست نمایی بیشینه در کران مجموعه پارامترهای ممکن نهفته‌است یا درست نمایی بزرگ و بزرگتر می‌شود تا پارامترها به کران نزدیک شوند. تئوری مجانب استاندارد نیاز به این فرض دارد که پارامترهای واقعی دورتر از مرزها و کران‌ها قرار دارد. اگر داده‌های کافی داشته باشیم، برآورد درست نمایی بیشینه از مرز دور نگه داشته می‌شود؛ ولی با تعداد نمونه‌های کمتر، برآورد به مرزها می‌رسد. در این موارد تئوری مجانبی تقریب کاربردی و درستی نمی‌دهد. مثالها در این موضوع مدل‌های واریانس مؤلفه‌ای هستند که هر مؤلفه دارای واریانس formula_51 است که formula_52 .داده‌های مرزی وابسته یه پارامتر.برای کاربردی کردن تئوری با یک روش ساده، مجموعه‌ای از داده‌ها با احتمال مثبت را در نظر می‌گیریم که مستقل از پارامتر باشد. مثال ساده‌ای که وابستگی به پارامترها در آن برقرار باشد تخمین زدن θ از مجموعه‌ای مشاهدات مستقل با توزیع یکسان مانند توزیع یکنواخت در بازه formula_53 است. برای برآورد بازه‌هایی از θ را هدف می‌گیریم که در آن θ کمتر از مقدار بزرگترین مشاهده نباشد. چرا که بازه formula_53 فشرده نیست، مقدار بیشینه برای تابع درست نمایی وجود ندارد. برای هر تخمینی از θ تخمین بزرگتری وجود دارد که درست نمایی بزرگتری دارد. به عکس، بازه formula_55 شامل نقطه نهایی θ است و فشرده‌است. در این موارد برآورد درست نمایی بیشینه وجود دارد که بایاس است. به صورت مجانبی، برآوردکننده درست نمایی بیشینه توزیع نرمال ندارد.پارامترهای مزاحم.برای برآورد درست نمایی بیشینه، یک مدل ممکن است پارامترهای مزاحم داشته باشد. برای برقراری رفتار مجانبی، تعداد این‌گونه پارامترها نباید با تعداد مشاهدات (سایز داده) افزایش یابد. یک مثال شناخته شده از این مورد وقتی است که مشاهدات به صورت جفتی رخ دهد که مشاهدات در هر جفت میانگین‌ها مجزا و مجهول دارند ولیکن مستقل و دارای توزیع نرمال با یک واریانس مشترک هستند؛ بنابراین برای تعداد N مشاهده، تعداد پارامترها 2N+۱ خواهد بود. همان‌طور که می‌دانیم برآورد درست نمایی بیشینه برای واریانس به مقدار واقعی آن همگرا نمی‌شود.افزایش اطلاعات.وقتی شرط مشاهده‌های مستقل با توزیع یکسان برقرار نباشد، برای برقراری مجانب، نیازمندی اساسی این است که اطلاعات در داده‌ها با افزایش سایز نمونه‌ها به صورت بینهایت افزایش یابد. این نیازمندی در شرایطی که وابستگی بین داده‌ها وجود داشته باشد و مشاهدات جدید مستقل باعث افزایش خطای مشاهدات شود، ارضا نمی‌شود.از جمله شرایطی که این رفتار را تضمین می‌کند می‌توان به موارد زیر اشاره کرد:فرض کنید که شرایط سازگار بودن برآورد درست نمایی بیشینه برقرار باشد ودر اینصورت برآورد درست نمایی بیشینه به صورت مجانبی از توزیع نرمال پیروی می‌کند.formula_63.تغییرناپذیری کاربردی.برآوردکننده درست نمایی بیشینه مقادیری برای پارامتر انتخاب می‌کند که منجر به بزرگترین مقدار ممکن برای احتمال یک داده مشاهده شود. اگر پارامتر شامل تعدادی مؤلفه باشد، آنگاه برآوردگرهای درست نمایی بیشینه متفاوت برای آن‌ها تعریف می‌کنیم. اگر formula_33 برآورد درست نمایی بیشینه برای θ باشد و اگر formula_65 تابع انتقال دلخواه θ باشد، آنگاه برآورد درست نمایی بیشینه برای formula_66 از تعریف زیر بدست می‌آید:formula_67که تابع درست‌نمایی را بیشینه می‌کند:formula_68همچنین برآورد درست نمایی بیشینه نسبت به انتقال داده‌ها تغییرناپذیر است. اگر formula_69 که formula_65 یک به یک باشد و وابسته یه پارامتری که قرار است برآورد شود نباشد، آنگاه تابع چگالی در رابطه زیر صدق می‌کند:formula_71تابع درست نمایی برای X و Y صرفاً در یک فاکتور تفاوت دارد که وابسته به پارامترهای مدل نیست.برای مثال، پارامترهای برآورد درست نمایی بیشینهٔ توزیع لگاریتم درست نمایی همان پارامترهای توزیع نرمال است که به لگاریتم داده‌ها فیت شده‌است.ویژگی‌های مرتبه بالاتر.بر طبق مجانب استاندارد، برآوردکننده درست نمایی بیشینه باید ببه کران پایین کرامر-رائو برسد؛ بنابراین:formula_72که I ماتریس اطلاعات فیشر است:formula_73به‌طور خاص، این به این معناست که بایاس برآوردکننده درست نمایی بیشینه برابر با صفر تا حداکثر مرتبه formula_74 است. وقتی عبارت مرتبه‌های بالاتر برای توسعه توزیع این برآوردکننده را در نظر می‌گیریم، به این نتیجه می‌رسیم که formula_5 یک بایاس از مرتبه formula_76 دارد. بایاس برابر است با:formula_77که براساس قرارداد جمع‌زنی اینشتین بر روی اندیس‌های تکرار شونده ، formula_78 یعنی j,k -امین مؤلفه وارون ماتریس اطلاعات فیشر formula_79 ، وformula_80با استفاده از این فرمول‌ها می‌توان بایاس مرتبه دوم برآوردکننده درست نمایی بیشینه را تخمین زد و هر بار با استفاده از بایاس آن را اصلاح کرد:formula_81 .مثال.توزیع گسسته، فضای نمونه متناهی.فرض کنید کسی می‌خواهد مشخص کند که یک سکه چگونه پشت یا رو می‌آید (با چه احتمالاتی) فرض کنید احتمال رو آمدن P باشد. هدف تعیین P است.فرض کنید سکه ۸۰ بار پرتاب شده باشد، نمونه ممکن است چیزی شبیه این باشد:"x"۱ = H, "x"۲ = T , … , "x"۸۰ = Tاحتمال پشت آمدن ۱ + p- است. فرض کنید نتیجه ۴۹ رو و ۳۱ پشت باشد و فرض کنید سکه از یک جعبه برداشته شود: یکی که احتمال رو آمدنش ۱/۳ است، یکی که احتمال رو آمدنش ۱/۲ است و دیگری که احتمال رو آمدنش ۲/۳ است. بر چسب سکه‌ها گم شده‌است. با استفاده از این روش می‌توان سکهٔ با بیشترین احتمال رو آمدن را پیدا کرد. داریم:توزیع گسسته، فضای نمونه پیوسته.حالا فرض کنید که فقط یک سکه داریم که احتمال آن می‌تواند بین صفر و یک باشد. برای بیشینه کردن تابع بیشترین بخت داریم:و بیشینه کردن برای تمام مقادیر ممکن احتمال بین صفر و یک است.یک راه برای بیشینه کردن این تابع مشتق‌گیری نسبت به p و صفر قرار دادن آن است.که دارای جواب p=۰ و p=۱ و p=۴۹/۸۰ است. جوابی که بخت را بیشینه می‌کند p=۴۹/۸۰ است؛ بنابراین بیشترین احتمال برای ۴۹/۸۰ است.توزیع پیوسته، فضای نمونه پیوسته.برای توزیع نرمال formula_85 که تابع چگالی احتمال آن به صورت زیر است:formula_86تابع چگالی احتمال n متغیر تصادفی نرمال مستقل با توزیع یکسان به صورت زیر تعریف می‌شود:formula_87به عبارت دیگر:formula_88که در آن formula_89 میانگین نمونه‌ای است.توزیع نرمال دارای دو پارامتر است : formula_90 بنابراین درست نمایی formula_91 را بر روی هر دو پارامتر به صورت هم‌زمان یا در صورت امکان به صورت تک تک بیشینه می‌کنیم. از آنجا که تابع لگاریتم یک تابع پیوسته اکیداً صعودی است، مقداری که درست نمایی را ماکزیمم می‌کند، لگاریتم آن را هم ماکزیمم می‌کند. تابع لگاریتم درست نمایی را می‌توان به صورت زیر نوشت:formula_92مشتق لگاریتم درست نمایی را محاسبه می‌کنیم و آن را صفر قرار می‌دهیم:formula_93که با عبارت زیر حل می‌شود:formula_94که در واقع بیشینه تابع است چرا که صرفاً یک اکسترمم در μ وجود دارد و مشتق دوم اکیداً کمتر از صفر است؛ بنابراین امید آن برابر است با پارامتر μ.formula_95که به این معنا است که برآوردکننده درست نمایی بیشینه formula_96 بایاس نشده‌است.علاوه بر این مشتق لگاریتم درست نمایی را نسبت به σ گرفته و مساوی صفر قرار می‌دهیم:formula_97formula_98formula_99که جواب آن به صورت زیر است:formula_100با قراردادن تخمین formula_101 داریم:formula_102برای محاسبه امید، آن را به فرم استاندارد با میانگین صفر formula_103 بازنویسی می‌کنیم؛ بنابراین داریم:formula_104با ساده کردن رابطه بالا با استفاده از دو رابطه formula_105 و formula_106 خواهیم داشت:formula_107که به این معنا است که برآوردکننده formula_108 بایاس و سازگار است.می‌توان گفت برآوردکننده درست نمایی بیشینه برای formula_109برابر است با:formula_110در این مورد، براوردهای درست نمایی بیشینه می‌توانند به صورت تک به تک و در حالت کلی ممکن است این براوردها به صورت هم‌زمان بدست آیند.فرم نرمال لگاریتمی درست نمایی در حالت بیشینه خود به صورت زیر است:formula_111می‌توان نشان داد که لگاریتم درست نمایی بیشینه در حالت کلی برا ی کمترین مربعات و برای کمترین مربعات غیر خطی یکی است. این موضوع می‌تواند برای تخمین‌های مبتنی بر درست نمایی بازه اطمینان و منطقه اطمینان استفاده شود که در حالت کلی بسیار دقیق تر از استفاده از نرمال مجانبی که در بالا بحث شد، است.متغیرهای غیرمستقل.در برخی موارد متغیرها همبسته هستند ولی مستقل نیستند. دو متغیر تصادفی X و Y مستقل هستند اگر و فقط اگر تابع چگالی احتمال مشترک آن دو، برابر با حاصلضرب تابع چگالی احتمال هر یک باشد؛ یعنی:formula_112فرض کنید بردار تصادفی n بعدی از توزیع گوسی داشته باشیم formula_113 که هر کدام از متغیرهای تصادفی دارای میانگین به صورت formula_114 باشند. همچنین ماتریس کوواریانس را هم با formula_115 نشان می‌دهیم.تابع چگالی احتمال مشترک برای n متغیر تصادفی را با رابطه زیر نشان می‌دهیم:formula_116در حالت دو متغیره تابع چگالی احتمال مشترک به صورت زیر است:formula_117در این مورد و در دیگر موارد که تابع چگالی مشترک وجود داشته باشد، تابع درست نمایی که که در بالاتر و در بخش اصول تعریف شد از این چگالی استفاده می‌کند.روال‌های تکراری.مسئله‌ای را در نظر بگیرید که باید در آن هم حالت (وضعیت)های formula_118 و هم پارامترهایی مانند formula_51 تخمین زده شود. روال‌های تکراری مانند الگوریتم امید ریاضی–بیشینه کردن روش حل برآورد پارامترها و وضعیت‌ها است.برای مثال، فرض کنید که n نمونه از وضعیت‌ها که میانگین نمونه آن formula_89 است با روشی مانند فیلتر کالمان و با استفاده از برآورد واریانس formula_121 تخمین زده شده formula_122 . سپس واریانس بعدی از محاسبه برآورد درست نمایی بیشینه و به صورت تکراری بدست می‌آید:formula_123همگرایی برآورد درست نمایی بیشینه در روش‌های فیلترینگ و هموار سازی در مقالات متعددی مورد مطالعه قرار گرفته شده‌است.