估計量的偏差

在統計學中，估計量的偏差（或偏差函數）是此估計量的期望值與估計參數的真值之差。偏差為零的估計量或決策規則稱為無偏的。否則該估計量是有偏的。在統計中，“偏差”是一個函數的客觀陳述。
偏差也可以相對於中位數來衡量，而非相對於均值（期望值），在這種情況下為了與通常的“均值”無偏性區別，稱作“中值”無偏。偏差與一致性相關聯，一致估計量都是收斂並且漸進無偏的（因此會收斂到正確的值），雖然一致序列中的個別估計量可能是有偏的（只要偏差收斂於零）；參見偏差與一致性。
當其他量相等時，無偏估計量比有偏估計量更好一些，但在實踐中，並不是所有其他統計量的都相等，於是也經常使用有偏估計量，一般偏差較小。當使用一個有偏估計量時，也會估計它的偏差。有偏估計量可能用於以下原因：由於如果不對總體進一步假設，無偏估計量不存在或很難計算（如unbiased estimation of standard deviation）；由於估計量是中值無偏的，卻不是均值無偏的（或反之）；由於一個有偏估計量較之無偏估計量（特別是shrinkage estimator）可以減小一些損失函數（尤其是均方差）；或者由於在某些情況下，無偏的條件太強，這種情況無偏估計量不是必要的。此外，在非線性變換下均值無偏性不會保留，不過中值無偏性會保留（參見變換的效應）；例如樣本方差是總體方差的無偏估計量，但它的平方根標準差則是總體標準差的有偏估計量。下面會進行說明。

**定義**
設我們有一個參數為實數 θ 的概率模型，產生觀測數據的概率分佈 ，而統計量  是基於任何觀測數據  下 θ 的估計量。也就是說，我們假定我們的數據符合某種未知分佈 （其中 θ 是一個固定常數，而且是該分佈的一部分，但具體值未知），於是我們構造估計量 ，該估計量將觀測數據與我們希望的接近 θ 的值對應起來。因此這個估量的（相對於參數 θ的）偏差定義為

其中  表示分佈  的期望值，即對所有可能的觀測值  取平均。由於 θ 對於條件分佈  是可測的，就有了第二個等號。
對於參數 θ 的所有值的偏差都等於零的估計量稱為無偏估計量。
在一次關於估計量性質的模擬實驗中，估計量的偏差可以用mean signed difference來評估。

**例子**

**樣本方差**
隨機變量的樣本方差從兩方面說明了估計量偏差：首先，自然估計量（naive estimator）是有偏的，可以通過比例因子校正；其次，無偏估計量的均方差（MSE）不是最優的，可以用一個不同的比例因子來最小化，得到一個比無偏估計量的MSE更小的有偏估計量。
具體地說，自然估計量就是將離差平方和加起來然後除以 n，是有偏的。不過除以 n − 1 會得到一個無偏估計量。相反，MSE可以通過除以另一個數來最小化（取決於分佈），但這會得到一個有偏估計量。這個數總會比 n − 1 大，所以這就叫做shrinkage estimator，因為它把無偏估計量向零“收縮”；對於正態分佈，最佳值為 n + 1。
設 X1, ..., Xn 是期望為 μ、方差為 σ2 的獨立同分布（i.i.d.）隨機變量。如果樣本均值與未修正樣本方差定義為

則 S2 是 σ2 的一個有偏估計量，因為

換句話說，未修正的樣本方差的期望值不等於總體方差 σ2，除非乘以歸一化因子。而樣本均值是總體均值 μ 的無偏估計量。
S2 是有偏的原因源於樣本均值是 μ 的ordinary least squares（OLS）估計量這個事實： 是令  儘可能小的數。也就是說，當任何其他數代入這個求和中時，這個和只會增加。尤其是，在選取  就會得出，

於是

注意到，通常的樣本方差定義為

而這時總體方差的無偏估計量。可以由下式看出：

方差的有偏（未修正）與無偏估計之比稱為Bessel's correction。

**參見**
點估計- Omitted-variable bias- 一致估計量- 估計理論- Expected loss- 期望值- 損失函數- 中位數- 決策論- Optimism bias

**參考文獻**
  Brown, George W. "On Small-Sample Estimation." The Annals of Mathematical Statistics, vol. 18, no. 4 (Dec., 1947), pp. 582–585. 2236236.- Lehmann, E. L. "A General Concept of Unbiasedness" The Annals of Mathematical Statistics, vol. 22, no. 4 (Dec., 1951), pp. 587–592. 2236928.- Allan Birnbaum, 1961. "A Unified Theory of Estimation, I", The Annals of Mathematical Statistics, vol. 32, no. 1 (Mar., 1961), pp. 112–135.- Van der Vaart, H. R., 1961. "Some Extensions of the Idea of Bias" The Annals of Mathematical Statistics, vol. 32, no. 2 (June 1961), pp. 436–447.- Pfanzagl, Johann. 1994. Parametric Statistical Theory. Walter de Gruyter.- cite book  
first3=Steven F.  
isbn=0-4706-8924-2 .- cite book |last1 = Voinov |first1 = Vassily G. |last2= Nikulin |first2= Mikhail S. |title= Unbiased estimators and their applications| volume = 1: Univariate case |year = 1993 |publisher = Kluwer Academic Publishers | location= Dordrect | ISBN= 0-7923-2382-3- cite book |last1 = Voinov |first1 = Vassily G. |last2= Nikulin |first2= Mikhail S. |title= Unbiased estimators and their applications| volume = 2: Multivariate case |year = 1996 |publisher = Kluwer Academic Publishers | location= Dordrect| ISBN= 0-7923-3939-8- cite book | last1 =  Klebanov |first1 = Lev B. | last2 = Rachev |first2 = Svetlozar T. | last3 = Fabozzi |first3 =  Frank J. | title = Robust and Non-Robust Models in Statistics | year = 2009 |publisher = Nova Scientific Publishers | location = New York | ISBN = 978-1-60741-768-2

**外部鏈接**
 id=p/u095070