极大似然估计

在統計學中，**最大概似估計**（英語：maximum likelihood estimation，簡作 **MLE**），也稱**極大概似估計**，是用來估計一個機率模型的母數的一種方法。

## 預備知識

下邊的討論要求讀者熟悉機率論中的基本定義，如機率分布、機率密度函數、隨機變數、數學期望等。讀者還須先熟悉連續實函數的基本技巧，比如使用微分來求一個函數的極值（即極大值或極小值）。 
同時，讀者須先擁有概似函數的背景知識，以了解最大概似估計的出發點及應用目的。

## 最大概似估計的原理

給定一個機率分布 $D$ ，已知其機率密度函數（連續分布）或機率質量函數（離散分布）為 $f_{D}$ ，以及一個分布母數 $\theta $ ，我們可以從這個分布中抽出一個具有 $n$ 個值的採樣 $X_{1},X_{2},\ldots ,X_{n}$ ，利用 $f_{D}$ 計算出其概似函數：

　
: ${\mbox{L}}(\theta \mid x_{1},\dots ,x_{n})=f_{\theta }(x_{1},\dots ,x_{n}).$

若 $D$ 是離散分布， $f_{\theta }$ 即是在母數為 $\theta $ 時觀測到這一採樣的機率；若其是連續分布， $f_{\theta }$ 則為 $X_{1},X_{2},\ldots ,X_{n}$ 聯合分布的機率密度函數在觀測值處的取值。一旦我們獲得 $X_{1},X_{2},\ldots ,X_{n}$ ，我們就能求得一個關於 $\theta $ 的估計。最大概似估計會尋找關於 $\theta $ 的最可能的值（即，在所有可能的 $\theta $ 取值中，尋找一個值使這個採樣的「可能性」最大化）。從數學上來說，我們可以在 $\theta $ 的所有可能取值中尋找一個值使得概似函數取到最大值。這個使可能性最大的 ${\widehat {\theta }}$ 值即稱為 $\theta $ 的**最大概似估計**。由定義，最大概似估計是樣本的函數。

### 注意

* 這裡的概似函數是指 $x_{1},x_{2},\ldots ,x_{n}$ 不變時，關於 $\theta $ 的一個函數。
* 最大概似估計不一定存在，也不一定唯一。

## 例子

### 離散分布，離散有限母數空間

考慮一個拋硬幣的例子。假設這個硬幣正面跟反面輕重不同。我們把這個硬幣拋 80 次（即，我們獲取一個採樣 $x_{1}={\mbox{H}},x_{2}={\mbox{T}},\ldots ,x_{80}={\mbox{T}}$ 並把正面的次數記下來，正面記為 H，反面記為 T）。並把拋出一個正面的機率記為 $p$ ，拋出一個反面的機率記為 $1-p$ （因此，這裡的 $p$ 即相當於上邊的 $\theta $ ）。假設我們拋出了 49 個正面，31 個反面，即 49 次 H，31 次 T。假設這個硬幣是我們從一個裝了三個硬幣的盒子裡頭取出的。這三個硬幣拋出正面的機率分別為 $p=1/3$ , $p=1/2$ , $p=2/3$ ，這些硬幣沒有標記，所以我們無法知道哪個是哪個。使用**最大概似估計**，基於**二項分布**中的**機率質量函數**公式，通過這些試驗數據（即採樣數據），我們可以計算出哪個硬幣的可能性最大。這個概似函數取以下三個值中的一個：

　
: : ${\begin{matrix}\mathbb {L} (p=1/3\mid {\mbox{H=49, T=31 }})&=&\mathbb {P} ({\mbox{H=49, T=31 }}\mid p=1/3)&=&{80 \choose 49}(1/3)^{49}(1-1/3)^{31}\approx 0.000\\&&\\\mathbb {L} (p=1/2\mid {\mbox{H=49, T=31 }})&=&\mathbb {P} ({\mbox{H=49, T=31 }}\mid p=1/2)&=&{80 \choose 49}(1/2)^{49}(1-1/2)^{31}\approx 0.012\\&&\\\mathbb {L} (p=2/3\mid {\mbox{H=49, T=31 }})&=&\mathbb {P} ({\mbox{H=49, T=31 }}\mid p=2/3)&=&{80 \choose 49}(2/3)^{49}(1-2/3)^{31}\approx 0.054\\\end{matrix}}$

我們可以看到當 ${\widehat {p}}=2/3$ 時，概似函數取得最大值。 
顯然地，這硬幣的公平性和那種拋出後正面的機率是 2/3 的硬幣是最接近的。這就是 $p$ 的最大概似估計。

### 離散分布，連續母數空間

現在假設例子 1 中的盒子中有無數個硬幣，對於 $0\leq p\leq 1$ 中的任何一個 $p$ ， 都有一個拋出正面機率為 $p$ 的硬幣對應，我們來求其概似函數的最大值：

　
: ${\begin{matrix}{\mbox{L}}(\theta )&=&f_{D}({\mbox{H=49,T=80-49}}\mid p)={80 \choose 49}p^{49}(1-p)^{31}\\\end{matrix}}$

其中 $0\leq p\leq 1$ .
我們可以使用微分法來求極值。方程式兩邊同時對 $p$ 取微分，並使其為零。

　
: ${\begin{matrix}0&=&{80 \choose 49}{\frac {d}{dp}}\left(p^{49}(1-p)^{31}\right)\\&&\\&\propto &49p^{48}(1-p)^{31}-31p^{49}(1-p)^{30}\\&&\\&=&p^{48}(1-p)^{30}\left[49(1-p)-31p\right]\\\end{matrix}}$

其解為 $p=0$ , $p=1$ ，以及 $p=49/80$ . 使可能性最大的解顯然是 $p=49/80$ （因為 $p=0$ 和 $p=1$ 這兩個解會使可能性為零）。因此我們說**最大概似估計值**為 ${\widehat {p}}=49/80$ .

這個結果很容易一般化。只需要用一個字母 $t$ 代替 49 用以表達伯努利試驗中的被觀察數據（即樣本）的「成功」次數，用另一個字母 $n$ 代表伯努利試驗的次數即可。使用完全同樣的方法即可以得到**最大概似估計值**:

　
: ${\widehat {p}}={\frac {t}{n}}$

對於任何成功次數為 $t$ ，試驗總數為 $n$ 的伯努利試驗。

### 連續分布，連續母數空間

最常見的連續機率分布是常態分布，其機率密度函數如下：

　
: $f(x\mid \mu ,\sigma ^{2})={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}}$

現在有 $n$ 個常態隨機變數的採樣點，要求的是一個這樣的常態分布，這些採樣點分布到這個常態分布可能性最大（也就是機率密度積最大，每個點更靠近中心點），其 $n$ 個常態隨機變數的採樣的對應密度函數（假設其獨立並服從同一分布）為：

　
: $f(x_{1},\ldots ,x_{n}\mid \mu ,\sigma ^{2})=\left({\frac {1}{2\pi \sigma ^{2}}}\right)^{\frac {n}{2}}e^{-{\frac {\sum _{i=1}^{n}(x_{i}-\mu )^{2}}{2\sigma ^{2}}}}$

也可以寫為：

　
: $f(x_{1},\ldots ,x_{n}\mid \mu ,\sigma ^{2})=\left({\frac {1}{2\pi \sigma ^{2}}}\right)^{n/2}\exp \left(-{\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}+n({\bar {x}}-\mu )^{2}}{2\sigma ^{2}}}\right)$ ,

這個分布有兩個母數： $\mu ,\sigma ^{2}$ . 有人可能會擔心兩個母數與上邊的討論的例子不同，上邊的例子都只是在一個母數上對可能性進行最大化。實際上，在兩個母數上的求最大值的方法也差不多：只需要分別把可能性 ${\mbox{L}}(\mu ,\sigma )=f(x_{1},,\ldots ,x_{n}\mid \mu ,\sigma ^{2})$ 在兩個母數上最大化即可。當然這比一個母數麻煩一些，但是一點也不複雜。使用上邊例子同樣的符號，我們有 $\theta =(\mu ,\sigma ^{2})$ .

最大化一個概似函數同最大化它的自然對數是等價的。因為自然對數 log 是一個連續且在概似函數的值域內嚴格遞增的上凹函數。[注意：可能性函數（概似函數）的自然對數跟訊息熵以及 Fisher 訊息聯繫緊密。] 求對數通常能夠一定程度上簡化運算，比如在這個例子中可以看到：

　
: ${\begin{matrix}0&=&{\cfrac {\partial }{\partial \mu }}\log \left(\left({\cfrac {1}{2\pi \sigma ^{2}}}\right)^{\frac {n}{2}}e^{-{\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}+n({\bar {x}}-\mu )^{2}}{2\sigma ^{2}}}}\right)\\&=&{\cfrac {\partial }{\partial \mu }}\left(\log \left({\cfrac {1}{2\pi \sigma ^{2}}}\right)^{\frac {n}{2}}-{\cfrac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}+n({\bar {x}}-\mu )^{2}}{2\sigma ^{2}}}\right)\\&=&0-{\cfrac {-2n({\bar {x}}-\mu )}{2\sigma ^{2}}}\\\end{matrix}}$

這個方程式的解是 ${\widehat {\mu }}={\bar {x}}=\sum _{i=1}^{n}x_{i}/n$ . 這的確是這個函數的最大值，因為它是 $\mu $ 裡頭惟一的一階導數等於零的點並且二階導數嚴格小於零。

同理，我們對 $\sigma $ 求導，並使其為零。

　
: ${\begin{matrix}0&=&{\cfrac {\partial }{\partial \sigma }}\log \left(\left({\cfrac {1}{2\pi \sigma ^{2}}}\right)^{\frac {n}{2}}e^{-{\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}+n({\bar {x}}-\mu )^{2}}{2\sigma ^{2}}}}\right)\\&=&{\cfrac {\partial }{\partial \sigma }}\left({\cfrac {n}{2}}\log \left({\cfrac {1}{2\pi \sigma ^{2}}}\right)-{\cfrac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}+n({\bar {x}}-\mu )^{2}}{2\sigma ^{2}}}\right)\\&=&-{\cfrac {n}{\sigma }}+{\cfrac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}+n({\bar {x}}-\mu )^{2}}{\sigma ^{3}}}\\\end{matrix}}$

這個方程式的解是 ${\widehat {\sigma }}^{2}=\sum _{i=1}^{n}(x_{i}-{\widehat {\mu }})^{2}/n$ .

因此，其關於 $\theta =(\mu ,\sigma ^{2})$ 的_最大概似估計_為：

　
: ${\widehat {\theta }}=({\widehat {\mu }},{\widehat {\sigma }}^{2})=({\bar {x}},\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}/n)$ .

## 性質

### 泛函不變性（Functional invariance）

如果 ${\hat {\theta }}$ 是 $\theta $ 的一個最大概似估計，那麼 $\alpha =g(\theta )$ 的最大概似估計是 ${\hat {\alpha }}=g({\hat {\theta }})$ 。函數 _g_ 無需是一個對射。

### 漸近線行為

最大概似估計函數在採樣樣本總數趨於無窮的時候達到最小變異數，其證明可見於克拉馬－羅下限。當最大概似估計非偏時，等價的，在極限的情況下我們可以稱其有最小的均方差。
對於獨立的觀察來說，最大概似估計函數經常趨於常態分布。

### 偏差

最大概似估計的偏差是非常重要的。考慮這樣一個例子，標有 $1$ 到 $n$ 的 $n$ 張票放在一個盒子中。從盒子中隨機抽取票。如果 $n$ 是未知的話，那麼 $n$ 的最大概似估計值就是抽出的票上標有的 $n$ ，儘管其期望值的只有 $(n+1)/2$ . 為了估計出最高的 $n$ 值，我們能確定的只能是 $n$ 值不小於抽出來的票上的值。

## 歷史

最大概似估計最早是由羅納德・費雪在 1912 年至 1922 年間推薦、分析並大範圍推廣的。（雖然以前高斯、拉普拉斯、托瓦爾・尼古拉・蒂勒和 F. Y. 埃奇沃思也使用過）。 許多作者都提供了最大概似估計發展的回顧。

大部分的最大概似估計理論都在貝氏統計中第一次得到發展，並被後來的作者簡化。

## 參見

* 均方差是衡量一個估計函數的好壞的一個量。
* 關於 Rao-Blackwell 定理（Rao-Blackwell theorem）的文章中討論到如何利用 Rao-Blackwellisation 過程尋找最佳不偏估計（即使均方差最小）的方法。而最大概似估計通常是一個好的起點。
* 讀者可能會對最大概似估計（如果存在）總是一個關於母數的充分統計（sufficient statistic）的函數感興趣。
* 最大概似估計跟一般化動差方法（generalized method of moments）有關。

## 參考文獻

## 外部連結

* 關於最大概似估計的歷史的一篇論文，作者 John Aldrich