在統計學中，最大似然估計（，簡作 MLE），也稱極大似然估計，是用來估計一個機率模型的引數的一種方法。 預備知識 下方的討論要求讀者熟悉機率論中的基本定義，如機率分佈、機率密度函式、隨機變數、數學期望等。讀者還須先熟悉連續實函式的基本性質，比如使用微分來求一個函式的極值（即極大值或極小值）。 同時，讀者須先擁有似然函式的背景知識，以瞭解最大似然估計的出發點及應用目的。 最大似然估計的原理 給定一個機率分佈 D，已知其機率密度函式（連續分佈）或機率質量函式（離散分佈）為 f_D，以及一個分佈引數 theta，我們可以從這個分佈中抽出一個具有 n 個值的取樣 X_1 X_2ldots X_n，利用 f_D 計算出其似然函式： mbox Lthetamid x_1dotsx_n f_theta x_1dotsx_n 若 D 是離散分佈，f_theta 即是在引數為 theta 時觀測到這一取樣的機率；若其是連續分佈，f_theta 則為 X_1 X_2ldots X_n 聯合分佈的機率密度函式在觀測值處的取值。一旦我們獲得 X_1 X_2ldots X_n，我們就能求得一個關於 theta 的估計。最大似然估計會尋找關於 theta 的最可能的值（即，在所有可能的 theta 取值中，尋找一個值使這個取樣的 可能性 最大化）。從數學上來說，我們可以在 theta 的所有可能取值中尋找一個值使得似然函式取到最大值。這個使可能性最大的 widehat theta 值即稱為 theta 的最大似然估計。由定義，最大似然估計是樣本的函式。 注意 這裡的似然函式是指 x_1x_2ldotsx_n 不變時，關於 theta 的一個函式。 最大似然估計不一定存在，也不一定唯一。 推導 最大似然估計可以從相對熵推導而來。相對熵衡量了使用一個給定分佈 Q 來近似另一個分佈 P 時的資訊損失，對於離散型隨機變數，可以用以下公式： D_text KLPQsum_i P i log frac P iQ i 其中，P 是真實分佈，Q 是近似分佈。在最大似然估計的情景下，假設分佈擁有一系列引數 theta，我們希望透過樣本得到引數的估計值 hat theta。我們可以利用相對熵來評判估計的好壞： D_text KLp_theta xp_hat theta xsum_x in E p_theta x log frac p_theta xp_hat thetax 根據期望的定義，我們可以將上式改寫為： begin align D_text KLp_theta xp_hat theta xmathbb E_theta left logleft frac p_thetaxp_hat thetax rightright mathbb E_thetalog p_theta x mathbb E_theta log p_hat thetax end align KL 值越大，引數估計越壞，因此，需要透過改變估計引數 hat theta 的值來獲得最小的值，所對應的引數極為最佳估計引數。即： hat theta_text bestargmin_hat theta D_text KLp_theta xp_hat theta x 假設有 n 個樣本，根據大數定理，可以進行替換： mathbb E_theta log p_hat thetaxrightsquigarrowfrac 1nsum_i1nlog p_hat thetax 即，可以透過下式評估： D_text KLp_theta xp_hat thetaxmathbb E_thetalog p_thetaxfrac 1nsum_i1nlog p_hat thetax_i 對於一個已知的分佈，其引數 theta 是確定的。因此，mathbb E_thetalog p_theta x 為常數。因此，我們可以透過最小化 KL 值獲得最佳估計引數： begin align hat theta argmin_hat thetamathbb E_thetalog p_thetaXfrac 1nsum_i1nlog p_hat thetax_i Rightarrowargmin_hat thetafrac 1nsum_i1nlog p_hat thetax_i Rightarrowargmax_hat thetafrac 1nsum_i1nlog p_hat thetax_i Rightarrowargmax_hat thetasum_i1nlog p_hat thetax_i Rightarrowargmax_hat thetalogleft prod_i1n p_hat thetax_i right Rightarrowargmax_hat thetaprod_i1n p_hat thetax_i end align 因此，要得到最佳引數估計值，只需要最大化 prod_i1n p_hat thetax_i，這就是最大似然函式。對於連續型隨機變數，有相同的結論。 例子 離散分佈，離散有限引數空間 考慮一個拋硬幣的例子。假設這個硬幣正面跟反面輕重不同。我們把這個硬幣拋 80 次（即，我們獲取一個取樣 x_1mbox H x_2mbox T ldots x_80mbox T 並把正面的次數記下來，正面記為 H，反面記為 T）。並把丟擲一個正面的機率記為 p，丟擲一個反面的機率記為 1p（因此，這裡的 p 即相當於上方的 theta）。假設我們丟擲了 49 個正面，31 個反面，即 49 次 H，31 次 T。假設這個硬幣是我們從一個裝了三個硬幣的盒子裡頭取出的。這三個硬幣丟擲正面的機率分別為 p13 p12 p23，這些硬幣沒有標記，所以我們無法知道哪個是哪個。使用最大似然估計，基於二項分佈中的機率質量函式公式，透過這些試驗資料（即取樣資料），我們可以計算出哪個硬幣的可能性最大。這個似然函式取以下三個值中的一個： begin matrix mathbb Lp13 mid mbox H49 T31 mathbb Pmbox H49 T31mid p13 80choose 49134911331 approx 0000 mathbb Lp12 mid mbox H49 T31 mathbb Pmbox H49 T31mid p12 80choose 49124911231 approx 0012 mathbb Lp23 mid mbox H49 T31 mathbb Pmbox H49 T31mid p23 80choose 49234912331 approx 0054 end matrix 我們可以看到當 widehat p23 時，似然函式取得最大值。 顯然地，這硬幣的公平性和那種丟擲後正面的機率是 23 的硬幣是最接近的。這就是 p 的最大似然估計。 離散分佈，連續引數空間 現在假設例子 1 中的盒子中有無數個硬幣，對於 0leq p leq 1 中的任何一個 p， 都有一個丟擲正面機率為 p 的硬幣對應，我們來求其似然函式的最大值： begin matrix mbox Ltheta f_D mbox H49T8049mid p 80choose 49 p491p31 end matrix 其中 0leq p leq 1 我們可以使用微分法來求極值。方程兩邊同時對 p 取微分，並使其為零。 begin matrix 0 80choose 49frac ddp left p491p31 right propto 49p481p31 31p491p30 p481p30left 49 1p 31p right end matrix 其解為 p0 p1，以及 p4980 使可能性最大的解顯然是 p4980（因為 p0 和 p1 這兩個解會使可能性為零）。因此我們說最大似然估計值為 widehat p4980 這個結果很容易一般化。只需要用一個字母 t 代替 49 用以表達伯努利試驗中的被觀察資料（即樣本）的 成功 次數，用另一個字母 n 代表伯努利試驗的次數即可。使用完全同樣的方法即可以得到最大似然估計值 widehat pfrac tn 對於任何成功次數為 t，試驗總數為 n 的伯努利試驗。 連續分佈，連續引數空間 最常見的連續機率分佈是正態分佈，其機率密度函式如下： f xmid musigma2 frac 1sqrt 2pisigma2 efrac xmu22sigma2 現在有 n 個正態隨機變數的取樣點，要求的是一個這樣的正態分佈，這些取樣點分佈到這個正態分佈可能性最大（也就是機率密度積最大，每個點更靠近中心點），其 n 個正態隨機變數的取樣的對應密度函式（假設其獨立並服從同一分佈）為： f x_1ldotsx_n mid musigma2 left frac 12pisigma2 rightfrac n2 efrac sum_i1nx_imu22sigma2 也可以寫為： f x_1ldotsx_n mid musigma2 left frac 12pisigma2 rightn2 expleft frac sum_i1nx_ibar x2n bar xmu22sigma2right 這個分佈有兩個引數：musigma2 有人可能會擔心兩個引數與上方的討論的例子不同，上方的例子都只是在一個引數上對可能性進行最大化。實際上，在兩個引數上的求最大值的方法也差不多：只需要分別把可能性 mbox Lmusigma f x_1ldotsx_n mid mu sigma2 在兩個引數上最大化即可。當然這比一個引數麻煩一些，但是一點也不復雜。使用上方例子同樣的符號，我們有 thetamusigma2 最大化一個似然函式同最大化它的自然對數是等價的。因為自然對數 log 是一個連續且在似然函式的值域內嚴格遞增的上凹函式。注意：可能性函式（似然函式）的自然對數跟資訊熵以及費雪訊息聯絡緊密。 求對數通常能夠一定程度上簡化運算，比如在這個例子中可以看到： begin align 0 cfrac partialpartial mu log left left cfrac 12pisigma2 rightfrac n2 efrac sum_i1nx_ibar x2n bar xmu22sigma2 right cfrac partialpartial mu left logleft cfrac 12pisigma2 rightfrac n2 cfrac sum_i1nx_ibar x2n bar xmu22sigma2 right 0 cfrac 2n bar xmu2sigma2 end align 這個方程的解是 widehat mu bar x sumn_i1 x_in 這的確是這個函式的最大值，因為它是 mu 裡頭惟一的一階導數等於零的點並且二階導數嚴格小於零。 同理，我們對 sigma 求導，並使其為零。 begin align 0 cfrac partialpartial sigma log left left cfrac 12pisigma2 rightfrac n2 efrac sum_i1nx_ibar x2n bar xmu22sigma2 right cfrac partialpartial sigma left cfrac n2logleft cfrac 12pisigma2 right cfrac sum_i1nx_ibar x2n bar xmu22sigma2 right cfrac nsigma cfrac sum_i1nx_ibar x2n bar xmu2sigma3 end align 這個方程的解是 widehat sigma2 sum_i1n x_iwidehat mu2n 因此，其關於 thetamusigma2 的最大似然估計為： widehat thetawidehat muwidehat sigma2 bar xsum_i1n x_ibar x2n 性質 泛函不變性（Functional invariance） 如果 hat theta 是 theta 的一個最大似然估計，那麼 alpha g theta 的最大似然估計是 hat alpha g hat theta。函式 g 無需是一個雙射。請參見 George Casella 與 Roger L Berger 所著的 Statistical Inference 定理 Theorem 7210 的證明。（中國大陸出版的大部分教材上也可以找到這個證明。） 漸近線行為 最大似然估計函式在取樣樣本總數趨於無窮的時候達到最小方差，其證明可見於。當最大似然估計非偏時，等價的，在極限的情況下我們可以稱其有最小的均方差。 對於獨立的觀察來說，最大似然估計函式經常趨於正態分佈。 偏差 最大似然估計的偏差是非常重要的。考慮這樣一個例子，標有 1 到 n 的 n 張票放在一個盒子中。從盒子中隨機抽取票。如果 n 是未知的話，那麼 n 的最大似然估計值就是抽出的票上標有的 n ，儘管其期望值的只有 n12 為了估計出最高的 n 值，我們能確定的只能是 n 值不小於抽出來的票上的值。 歷史 最大似然估計最早是由羅納德費雪在 1912 年至 1922 年間推薦、分析並大範圍推廣的。（雖然以前高斯、拉普拉斯、託瓦爾尼古拉蒂勒和 F Y 埃奇沃思也使用過）。 and 許多作者都提供了最大似然估計發展的回顧。 and 大部分的最大似然估計理論都在貝葉斯統計中第一次得到發展，並被後來的作者簡化。 參見 均方差是衡量一個估計函式的好壞的一個量。 關於拉奧 布萊克韋爾定理（RaoBlackwell theorem）的文章中討論到如何利用 RaoBlackwellisation 過程尋找最佳不偏估計（即使均方差最小）的方法。而最大似然估計通常是一個好的起點。 讀者可能會對最大似然估計（如果存在）總是一個關於引數的充分統計量（sufficient statistic）的函式感興趣。 最大似然估計跟廣義動差估計（generalized method of moments）有關。 參考文獻 外部連結 關於最大似然估計的歷史的一篇論文，作者 John Aldrich Category 條件機率 Category 估計理論 Category 統計學