برآورد درست‌نمایی بیشینه
اصول

فرض کنید  n  مشاهدهٔ  x_{1},x_{2},\cdots ,x_{n} موجود است که به‌طور مستقل از هم و یکنواخت توزیع شده و از توزیعی با تابع توزیع احتمال نامعلوم ƒ۰ پیروی می‌کنند. ƒ۰ به‌طور محتمل متعلق به یک خانواده مشخص از توزیع‌های نرمال مانند  \{f(\cdot |\theta ),\theta \in |\Theta \}  می‌باشد که مدل فراسنجه‌ای نامیده می‌شود. بنابراین  f_{0}=f(\cdot \,;\theta _{0}) و نیز مقدار  \theta _{mle}  نامعلوم است و به عنوان مقدار درست فراسنجه در نظر گرفته می‌شود. حال می‌خواهیم برآورد گری چون  \scriptstyle {\hat {\theta }} بیابیم که تا حد امکان به مقدار درست  \theta _{0}  نزدیک باشد. هم xi‌ها و هم فراسنجه θ هر دو می‌توانند بردار باشند.
برای به‌کارگیری روش درست‌نمایی بیشینه ابتدا تابع چگالی توام را برای همهٔ مشاهدات تعیین می‌کنیم. برای حالتی که مشاهدات مستقل و یکنواخت توزیع شده‌اند، تابع چگالی توام به صورت زیر است:
حال از زاویه‌ای متفاوت به این تابع نگاه کنیم: فرض کنید مشاهدات  x_{1},x_{2},\cdots ,x_{n}  پارامترهای ثابت و  \theta  پارامتر متغیر این تابع باشد، از این منظر این تابع، توزیع تابع درست‌نمایی نامیده می‌شود.
برای سادگی با لگاریتم تابع درست‌نمایی کار می‌کنیم که لگاریتم درست‌نمایی نامیده می‌شود. نمونهٔ تراز شده آن، میانگین درست‌نمایی لگاریتمی نامیده می‌شود:
علامت کلاه بالای  \scriptstyle \ell  نشان دهندهٔ وابستگی آن به یک براوردگر می‌باشد. در واقع  \scriptstyle {\hat {\ell }} مقدار لگاریتم درست‌نمایی انتظاری یک مشاهدهٔ منفرد را در مدل بیان می‌کند.
روش درست‌نمایی بیشینه  \theta _{0}  را با یافتن مقداری از  \theta  که  \scriptstyle {\hat {\ell }}(\theta |x) را بیشینه کند، تخمین می‌زند. این روش تخمین یک تقریب درست‌نمایی بیشینه از  \theta _{0}  می‌باشد:
در این روش به دلیل یکنوایی تبدیل لگاریتم، تفاوتی میان بیشینه کردن تابع درست‌نمایی، و لگاریتم درست‌نمایی وجود ندارد. برای بسیاری از مدل‌ها می‌توان MLE را به صورت تابعی صریح از داده‌های مشاهده شده‌ی x_{1},x_{2},\cdots ,x_{n} یافت. اما در بسیاری از مسایل پیدا کردن یک فرم بسته برای تابع درست‌نمایی ممکن نیست و باید از روش‌های عددی برای یافتن MLE استفاده کرد. برای برخی مسایل ممکن است تقریب‌هایی متفاوت موجود باشند که تابع را بیشینه کنند و برای برخی دیگر نیز هیچ تقریب مناسبی وجود ندارد. در گفته‌های فوق فرض بر این بود که داده‌ها یه طور مستقل و یکنواخت توزیع شده‌اند. اما این روش را می‌توان به حوزه‌های وسیع تری نیز گسترش داد. در مسایل پیچیده‌تری چون سری‌های زمانی حتی امکان چشم‌پوشی از فرض استقلال داده‌ها وجود دارد .
یک براوردگر درست‌نمایی بیشینه با یک براوردگر بیزی احتمال بیشینه که روی فراسنجه‌های یک توزیع پیشینی یکنواخت را می‌دهد منطبق است.
در گفته‌های بالا فرض بر این است که داده‌ها مستقل و دارای توزیع یکسان هستند. این روش می‌تواند برای حالت‌های بیشتر، از جمله نوشتن تابع چگالی مشترک (f (x1, … , xn | θ (پارامتر θ محدود و مستقل از سایز نمونه‌ها n) و در یک فرمت ساده‌تر برای داده‌های ناهمگون با تابع چگالی مشترک (f1 (x1 | θ) ·f2(x2|θ) · ··· · fn(xn | θ استفاده کرد. فرض می‌کنیم که هر نمونه مشاهده شده xi قابل استخراج از یک متغیر تصادفی با تابع توزیع fi باشد. در حالت‌های پیچیده تری مانند سری‌های زمانی، فرض مستقل بودن متغیرهای تصادفی می‌تواند راهگشا باشد.
برآورد درست نمایی بیشینه در کنار برآورد بیزی با شرط داشتن یک توزیع یکنواخت بر روی پارامترها استفاده می‌شود. در واقع هرچه برآورد موخره بیشینه شود، احتمال پارامتر θ مشروط به داده‌های  x_{1},x_{2},\cdots ,x_{n} افزایش می‌یابد.
که در آن  P(\theta ) توزیع مقدم برای پارامتر θ است که در آن  P(x_{1},x_{2},...,x_{n}) احتمال متوسط داده‌ها بر روی همه فراسنجه‌ها است. به دلیل استقلال مخرج رابطه از θ، برآوردگر بیزی ار بیشینه کردن عبارت صورت  f(x_{1},x_{2},...x_{n}\mid \theta )P(\theta ) بدست می‌آید. همچنین اگر در نظر بگیریم که احتمال مقدم  P(\theta ) با فرض توزیع یکنواخت است، تخمین‌گر بیزی از بیشینه کردن تابع درست نمایی بیشتر فرض کنیم که قبل از یک توزیع یکنواخت از برآورد بیزی توسط به حداکثر رساندن احتمال تابع  f(x_{1},x_{2},...x_{n}\mid \theta ) به دست آمده‌است؛ ازاین‌رو برآوردگر بیزی، برآورد درست نمایی بیشینه را با در نظر گرفتن توزیع مقدم یکنواخت  P(\theta ) همراهی می‌کند.