二つの分散:不偏推定量と最尤推定量のどちらを使うべきか井手剛 (IBMワトソン研究所)
June 2023

分散の不偏推定量と最尤推定量
スカラーの観測値 D = {x1 , . . . , xN } があったとする。 標本平均はどの本を見ても1 Nx̄ =∑ xn
N n=1となっている。 しかし、標本分散に関しては、本により定義が違う。 下記のどっちかである。
不偏推定量 ∶ ŝ2 =N12∑ (xn − x̄)
N − 1 n=1

最尤推定量 ∶ σ̂ 2 =1 N2∑ (xn − x̄)
N n=1

古い本を見ると、最尤推定量 σ̂ 2 は不偏性（unbiasedness）を満たさないので使うべきではないなどと書いてあることがある。 本当にそうなのか、という疑問に答えるのが本稿の目的である。実はどちらも理論的な保証がある。
• 不偏推定量は文字通り不偏性 (unbiasedness) という性質を持つことを証明できる。ある統計量（標本平均みたいにデータから計算できる何かの量）が不偏であるとは、その期待値が真の値と一致するという性質。
• 最尤推定量は、 一致性 (consistency) という性質を持つことを証明できる。 一致性とは、標本数 N が大きくなれば大きくなるほど、その推定値が真の値に近づいてゆくという性質。
どちらもある意味正しく、かつ N が数百とかそれ以上では実用上は大差はないので、どうでもいいとも言えるが、現代のデータサイエンスでは、最尤推定で統一すべきという考えがだんだん主流になっていると思う。 結論は最後にまとめる。
逆に言えば、 いまだに、「最尤推定量は間違っている、 不偏推定量を使え」、という人がいたとしたら、その人は実世界の問題を解くことにあまり興味がないか、昔授業で教わった知識を自ら更新する力がないか、単に知ったかぶりをしているか、みたいな可能性がある。気を付けた方がいい。
1

1

分散の最尤推定量の導出実用上、最尤推定の問題設定は単純である。 データは数字として得られたとする。その現実を認めて、（たぶん頻度のグラフを描いたりいろいろ考えた結果として）そのばらつきを正規分布p(x ∣ µ, σ 2 ) = √12πσ 2exp (−(x − µ)2)
2σ 2で表すと決心する。 そして、 当てはまりが一番よくなるように、 未知量µ, σ 2 を決める。当てはまりの度合いとしては、x に観測値の数字、たとえば
x1 = 1.3 と x2 = 2.0 を得た時なら、p(1.3 ∣ µ, σ 2 ) と p(2.0 ∣ µ, σ 2 ) を採用することができる。 他のデータについても考えて、全体としてその数字が一番大きくなるように µ, σ 2 を決めればよい。 そういう基準での当てはまりの良さ表すのが対数尤度 log-likelihood という量である。
NL(µ, σ 2 ) = ∑ ln p(xn ∣ µ, σ 2 )n=1=−N
1 N
Nln(2π) − ln(σ 2 ) − 2 ∑ (xn − µ)222
2σ n=1

これは µ, σ 2 についての連続関数だから、 微分してゼロとおく、 という技で最大点を見出すことができる。まず µ については
0=∂L
1 Nµ N
1 NµN
1 N= 2 ∑ (xn − µ) = 2 ∑ xn − 2 ∑ 1 = 2 ∑ xn − 2∂µ σ n=1
σ n=1
σ n=1σ n=1σという式が出てくるので、µ の推定値は標本平均µ = x̄ ≜1 N
∑ xn
N n=1(1)である。 一方、 σ 2 について、 b ≜ σ −2 という変数を定義してこれについて最大化することにする。対数尤度はL(µ, b) = −NNb Nln(2π) + ln b − ∑ (xn − µ)2222 n=1と書けるから
0=∂L N 1 N=− ∑ (xn − µ)2∂b 2b 2 n=1という条件が出る。式(1)で得た µ = x̄ を使って整理すると
1 N
12= σ 2 = σ̂ 2 ≜∑ (xn − x̄)bN n=12(2)という分散の最尤推定量が得られる。
上記の論法には何の無理もない。 実測したデータを現実としてありのままに受け入れる。その上で、データに当てはまるかもしれないモデル（分布）を仮定し、それを最尤法でデータに当てはめた。 それだけである。 最尤法はモデルによらず普遍的に使えるので馬鹿の一つ覚えのように使ってよい。 すべての仮定は「表に」出ており、潔い。たしかに、「一致性」という理論的性質を示すためには、裏に真の分布を考え etc. とやる必要があるのだが、データサイエンティストの作業の中にそういう空理空論は入る余地はなく、それに足を取られる危険はない。

2分散の不偏推定量の導出

不偏分散を導く論法は最尤推定と考え方が違う。 上のデータは確かに数値として得られたのだが、それは必ずしも信用できないと考え、「何千組もデータセットを生成しまくった時に、どのくらい推定量がばらつくか」という問題を考える。この考えに基づけば、上の最尤推定量は、データセット D の関数である。そこでそれをf (D) =1 N
2
∑ (xn − x̄) ,N n=1x̄ ≜1 N
∑ xn
N n=1みたいに書いておく。 この値は、データセットのばらつきに伴いどのくらいばらつくだろうか。もちろん、「何千組もデータセットを生成しまくった」というのは現実にはやっていないので、ばらつきを計算することは本来できない。そこで、仮に、真の確率密度関数 p(x) の平均と分散が∞m0 = ∫dx p(x)x,σ02 = ∫−∞∞dx p(x)(x − m0 )2(3)−∞のようにわかっていると仮定する。 この分布の下で f (D) の期待値を計算した場合、それは真の分散 σ02 に一致するだろうか、それとも違うだろうか。それが考えるべき問題である。
この問いに答えるため、まず x̄ ≜ N1 ∑Nn=1 xn ゆえ
f (D) =

1 N22
∑ (x − 2xn x̄ + x̄ )N n=1 n=1 N 2 2x̄ Nx̄2 N
1 N 22∑ xn −∑ xn +∑1=∑ x − 2x̄ × x̄ + x̄
N n=1
N n=1
N n=1N n=1 n=

1 N 22∑ x − x̄
N n=1 nN2となることに注意する。 x̄2 = N12 ∑Ni=1 ∑j=1 xi xj だから、xn と xi xj の期待値が計算できればよいことになる。xn や xi は、真の分布 p(x) によりばらつく3ことになっているのだから、期待値を計算すると、(x2n の期待値) = ∫∞dxn p(xn )x2n = σ02 + m20−∞⎧⎪⎪σ 2 + m20 , i = j(xi xj の期待値) = ⎨ 02
⎪m ,i≠j⎪⎩ 0のように計算できる。最初の式は σ02 = ∫ dxn p(xn )x2n − m20 による。これらを使うと11 N 22222∑ (σ + m0 ) − 2 [N (σ0 + m0 ) + N (N − 1)m0 ]N n=1 0N
1= (σ02 + m20 ) − (σ02 + N m20 )N
N −1= σ02N

(f の期待値) =(4)となる。 残念ながらこれは σ02 とは一致していないことが分かる。 しかし、右辺がぴったり σ02 に一致するためには、f (D) の定義を変更して
ŝ2 ≜ f (D) ×N
N −1のように NN−1 倍しておけばよい。ゆえ、「期待値が真の分散と一致するべし」という要請を満たすためには、
ŝ2 =

N12
∑ (xn − x̄)
N − 1 n=1(5)を標本分散の定義として採用すればよい、と言うことになる。 これがいわゆる不偏分散である。
上でやったことは、まず f (D) の具体的な定義を（天下り式に）与え、「真の分布」についての理論的仮定の下、それの矛盾を指摘したということである。 統計量を何か作り、 それの数学的性質を論ずる、 というのは頻度派(frequentist) と呼ばれる統計学者が論文を書く時の基本作法である。しかし、実用に使いたい人の観点からすれば、そのロジックは少々わかりにくい。 実
用的な統計量を導くための議論に、現実に観測したはずのデータをいわば無視して真の分布を考える、みたいな空理空論っぽい仮説が紛れ込んでくるからである。 それに、最初の統計量をどうやって思いついたのかさっぱりわからない。分散ならまだいいが、より抽象的な統計量なら困る。
結果として、頻度派的な論法を実務家の観点から見ると、「下々の者どもはわしの言う通りの統計量を（ブラックボックスとして）使ってろ」と言われているかのようである。 この辺が（主流派の）統計学者が実務家に尊敬されつつ煙たがれる理由であろう。 どういう空理空論を考えようが、その空理空論からどういう結論を導こうが、数学としては自由である。 しかし我々はお客様なり上司なりにわかってもらえなければ話にならないのである。
4

まとめ: データサイエンスとはということで、データサイエンスの本質をひと言で答えろと言われたら、「観測データに対してもっとも当てはまりの良いモデルをつくるために、最尤推定を使ってパラメターを決めること」と答えればよいと個人的には思う。

Figure 1: データサイエンス概要
MNISTの数字分類を深層学習でやる場合とか、 分布が表向き出てこない場合はよくある。 しかし目的関数（損失関数）の式の出所について一度でも考えたことがあれば、どの（まともな）目的関数も、なにかの分布的想定が裏で結び付いているらしい、ということくらいは気づいたかもしれない。 例
えば、2乗損失は、正規分布の対数尤度から出てくる。では正規分布を別の分布に変えてみたらどうなるだろう。 求めるべきパラメターにある程度の曖昧さを許したい時はどうすべきだろう。 こういう奥行きに気を配ることが、未知の問題に有効で創造的な解決策を考える力になり、 それはただのAPI使いから、データ「サイエンティスト」へ進化するための第一歩なのだと思う。

5