数理情報学９ (数理統計学)

5. 最尤推定量

解説
データを生成する確率分布の形が p(x; θ) であるとする．パラメータ θ は未知とする．観測データからパラメータ θ を推定するためには，どのような方法を使えばよいだろうか．
平均や分散の推定では不偏推定量で推定することができた．不偏推定量が簡単に構成できるときには，そのような方法が適用可能だが，任意の統計モデルのパラメータに対して，簡単な不偏推定量が作れるとは限らない．どのような統計モデルにも (原理的には) 適用可能な普遍的な方法が，最尤推定である．

1

最尤推定量
観測値 x1 , . . . , xn が得られているとする．これらの値は，密度関数が p(x1 , . . . , xn ; θ) であるような確率分布に独立にしたがう確率変数の実現値とする．確率変数が離散のときには p(x1 , . . . , xn ; θ) は確率関数とする．このとき

p(x1 , . . . , xn ; θ̂n ) = max p(x1 , . . . , xn ; θ)θもしくはlog p(x1 , . . . , xn ; θ̂n ) = max log p(x1 , . . . , xn ; θ)θを満たすパラメータ θ̂ を θ の最尤推定量という．対数関数は単調増加関数なので最大値を与えるパラメータの値は同じであることに注意．データ x1 , . . . , xn が独立に同一の分布 p(x; θ) にしたがうときに!nは p(x1 , . . . , xn ; θ) = i=1 p(xi ; θ) となるので最尤推定量は
n"log p(xi ; θ̂n ) = maxθ

i=1となる．

n"log p(xi ; θ)

i=1!
最尤推定量

"#$データ x が得られたとき，統計モデル p(x; θ) のもとで p(x; θ) ( または log p(x; θ) )の最大値を達成するパラメータ θ#n ．

観測データ x が与えられているとき，確率密度関数 p(x; θ) を θ の関数とみなしてp(x; θ) ：尤度関数 (likelihood)log p(x; θ) ：対数尤度関数 (log-likelihood)という．実際に計算するときには対数尤度を用いるほうが便利な場合が多い．
最尤推定量は以下のような直観にもとづいている．
!
最尤推定の考え方

データ x が観測されたとき「x が出現する確率が大きい」から観測された，と考える"⇓#x の出現確率が大きい分布 max p(x; θ) を推定量とする (図 1)θ1$

!!!!! : θ̂ = θ1p(x; θ2)p(x; θ1)x

図 1: 最尤推定と尤度の最大化．

2最尤推定量の計算法
対数尤度 log p(x; θ) が，パラメータ θ について微分可能か不可能かで場合分けして解説する．

対数尤度がパラメータ θ について微分可能なとき： 確率密度関数 p(x; θ) が適当な数学的条件を満たすとする．最大値を求めるために，関数の極値条件を考える．たとえば θ が 1 次元パラメータのとき，最尤推定量 θ̂ はn∂ "log p(xi ; θ̂) = 0∂θ i=1の解となる．上の式を 尤度方程式 とよぶ．より一般に θ = (θ1 , . . . , θd ) ∈ Rd のときには尤度方程式 :n∂ "log p(xi ; θ̂) = 0,
∂θk i=1k = 1, . . . , dを解くことで最尤推定量が求まる．正規分布の平均と分散の最尤推定量などは，このような計算から求めることができる．
練習問題 1. データ X1 , . . . , Xn が独立に正規分布 N (µ, 1) から得られているとする．このとき µ の最尤推定量 µ# を計算せよ.

練習問題 2. データ X1 , . . . , Xn が独立に指数分布 Ex(1/λ) から得られているとする．確率密度関数はp(x; λ) =1 −x/λe, (0 ≤ x)λで与えられる．このときパラメータ λ の最尤推定量を計算せよ．
対数尤度がパラメータ θ について微分不可能なとき： 尤度の極値条件から最尤推定量を求めることができないので，尤度を最大にするパラメータを直接計算する必要がある．例を示す．

例 1 (一様分布のパラメータの最尤推定量). 一様分布 U [0, θ] から独立に得られた観測値を x1 , x2 , . . . , xnとする．これらの観測値からパラメータ θ の最尤推定量 θ̂ を求める．パラメータ θ の範囲は θ > 0 とする．一様分布の密度関数はf (x; θ) =21I (0 ≤ x ≤ θ)θである．ここで I (A) は定義関数であり A が真なら 1，偽なら 0 をとる．観測値 x1 , x2 , . . . , xn のもとでの尤度関数 L(θ) は

n1 $I (0 ≤ xi ≤ θ)
θn i=1 1 0 ≤ x1 , . . . , xn ≤ θ= θn
0その他

L(θ) =


1= θn00 ≤ mini xi かつ maxi xi ≤ θその他となる．尤度関数のグラフを図 2 に示す．尤度を最大にするパラメータ (最尤推定量) θ̂ は

θ̂ = max xiiとなることが分かる．図 2 の尤度関数は確かに微分不可能であり，極値条件からパラメータを求めることはできないことが分かる．

!

図 2: 一様分布のパラメータ θ に関する尤度関数．U [0, 3] から 8 個のデータが得られたときの尤度関数を示.
している．このデータでは，最尤推定量は θ̂ = 2.78 となる．

実際の多くの例の場合，最尤推定を解析的に導出することはできず (つまり簡単な式で表すことができず)，ニュートン法などの数値最適化法が必要になる．

3が最尤推定量の一致性・漸近分布
確率密度 p(x; θ) をもつ分布から，n 個のデータが独立に得られているとする．パラメータ θ の推定量 θ#np
θ#n −→ θ (n → ∞)を満たすとき θ#n を θ の 一致推定量 という (または「推定量 θ#n には一致性がある」という)．つまりデータ数が多いときには，推定量 θ#n は真のパラメータに近い値をとる．一致性があるような推定量を構成することは非常に重要である．適当な条件のもとで 最尤推定量は一致推定量である ことが証明される．

3

また十分 n が大きいとき，最尤推定量 θ#n の分布は真のパラメータ θ を期待値とする正規分布に法則収束することが示される．これを厳密に表現すると以下のようになる：√()
dn(θ#n − θ) −→ N 0, I(θ)−1 , (n → ∞)ここで I(θ) は統計モデル {p(x; θ) | θ ∈ Θ ⊂ R} のフィッシャー情報量

I(θ) =* +,2∂
log p(x; θ) p(x; θ)dx∂θである．
不偏推定量の場合には，推定量の分散は I −1 以下にはならないことを以前紹介した (クラメール・ラオの下限)．最尤推定量は一般にパラメータの不偏推定量ではないが，n → ∞ という漸近的な状況で，推定量の漸近分散がフィッシャー情報量の逆数に一致する．

4指数型分布族と最尤推定量

4.1

指数型分布族

指数型分布族とは正規分布や指数分布，ポアソン分布などを含む確率分布のクラスのことであり，以下のように確率分布の集合として定義される．一般に d 次元指数型分布族が定義できるが，ここでは簡単のため 1 次元と 2 次元の場合を示す．

1 次元の指数型分布族

2 次元の指数型分布族().
M1 = p(x; θ1 ) = h(x) exp θ1 t1 (x) − ψ(θ1 ) | θ1 ∈ S1 ⊂ R()/.
M2 = p(x; θ) = h(x) exp θ1 t1 (x) + θ2 t2 (x) − ψ(θ1 , θ2 ) / θ = (θ1 , θ2 ) ∈ S2 ⊂ R2

S1 , S2 はそれぞれ R1 , R2 の開集合とする．d 次元の指数型分布族では，d 次元パラメータ (θ1 , . . . , θd ) によって確率密度関数が指定される．確率変数 X の次元は何次元でもよい．θ1 や θ2 を 自然パラメータ と呼ぶ．

具体例を示す．関数 tk (x) やパラメータ θk を適当に選ぶことで，様々な統計モデルが表現できることを説明する．

例 2 (指数分布). 指数分布の確率密度関数は p(x; λ) = λe−λx , (λ > 0) と書ける．したがってp(x; λ) = exp{−λx + log λ}となる．ここでt1 (x) = x,h(x) = 1,

θ1 = −λ,ψ(θ1 ) = − log(−θ1 )とする．このとき指数分布の集合は

M1 = {p(x; θ) = h(x) exp{θ1 t1 (x) − (− log(−θ1 ))} | θ1 < 0}と書けるので 1 次元指数型分布族であることが分かる．

4

例 3 (正規分布). 平均 µ と分散 σ 2 をパラメータとする正規分布の集合は指数型分布族として表現できる．
これは正規分布を次のように変形すると分かる．
+,+,11µ1 2µ211222φ(x; µ, σ ) = √exp − 2 (x − µ) = exp
x − 2 x − 2 − log σ − log 2π2σσ22σ2σ222πσ 2ここでt1 (x) = x, t2 (x) = x2 ,µ1
θ1 = 2 , θ2 = − 2 , h(x) = 1σ2σとおく．するとµ=−

θ11, σ2 = −2θ22θ2となる．このようにパラメータを置き換えると正規分布の密度関数は++01,θ211M2 = p(x; θ1 , θ2 ) =h(x) exp θ1 t1 (x) + θ2 t2 (x) − − 1 − log(−2θ2 ) + log 2π2θ222,| θ1 ∈ R, θ2 ∈ (−∞, 0)となる．したがって平均 µ，分散 σ 2 の正規分布全体の集合は 2 次元指数型分布族であることが分かる．なお，パラメータ θ = (θ1 , θ2 ) の範囲は µ ∈ R, σ 2 > 0 の条件から導出される．

!

練習問題 3. 離散確率変数の場合には，(密度関数ではなく) 確率関数の集合が M1 や M2 のように表現できるときに，指数型分布族になっていると考える．二項分布の集合
23 45//n kn−k /P (X = k; q) =q (1 − q)/0<q<1kは指数型分布族として表現できること示せ．

4.2

指数型分布族に対する最尤推定量

簡単のため 1 次元指数型分布族の最尤推定量について考える (例えば指数分布やポアソン分布)．
1 次元指数型分布族を()/.
M1 = p(x; θ) = h(x) exp θt(x) − ψ(θ) / θ ∈ S ⊂ R(1)とする．この統計モデルに含まれる分布 p(x; θ∗ ) から観測値 x1 , . . . , xn が独立に得られたとする．観測値からパラメータ θ∗ を最尤推定量で推定する．
対数尤度は((θ) =n"log h(xi ) +i=1=n"n"i=1log h(xi ) + n θi=1となる．ここでn1"t(xi )n i=1∂( #∂ψ #(θ) = 0 ⇐⇒ T̄n =(θ)∂θ∂θとなる．上の方程式を解くことで最尤推定量 θ# を得る．

5.

1"t(xi ) − nψ(θ)
n i=1nT̄n =とおくと，尤度方程式は

θt(xi ) − ψ(θ)

演習問題
1. データ X1 , . . . , Xn が独立に正規分布 N (µ, σ 2 ) から得られているとする．
(a) µ の値は µ = 0 で既知のとき σ 2 を推定する．分散の範囲が 1 ≤ σ 2 であることが分かっている
62 を求めよ．
とき，σ 2 の最尤推定量 σ(b) σ 2 の値は既知として µ を推定する．期待値 µ の範囲が 0 ≤ µ ≤ 1 であることが分かっているとき，µ の最尤推定量 µ# を求めよ．

ヒント：1 ≤ σ 2 または 0 ≤ µ ≤ 1 の範囲で尤度を最大化する．

2. データ X1 , . . . , Xn は独立に正規分布 N (θ, θ2 ) (ただし θ < 0 ) の正規分布にしたがっているとする．
(a) θ の最尤推定量 θ#n を求めよ．

(b) θ#n が θ の一致推定量になっているかどうか調べよ．

3. ある農園一帯のキャベツの葉に，モンシロチョウの卵がいくつ産みつけられてるかというデータ
x1 , . . . , xn が得られているとする．ここで xi は i 番目の葉に産みつけられている卵の個数を表し，各葉に産みつける卵の個数には独立性を仮定する．このデータからモンシロチョウが葉に卵を産みつけるときの個数の分布を推定する．ここで気をつける点は，ある葉に卵が産みつけれられていない(xi = 0) とき，そもそもモンシロチョウがその葉に留まらなかったのか，留まったが産卵はしなかったか区別できないことである．

それぞれの葉に対して，モンシロチョウが葉に留まる確率を q, 留まらない確率を 1 − q とする．また，モンシロチョウが葉に留まった条件のもとで x 個の卵を産む確率は，ポアソン分布にしたがうとする．ポアソン分布の確率はP (X = x; λ) =

λx −λ
e ,x!

x = 0, 1, 2, . . . , λ > 0と書ける．パラメータ λ はキャベツの葉に依らずに一定の値とする．またモンシロチョウはすでに卵が産みつけられている葉には留まらないとする．以下の問に答えよ．

(a) xi ≥ 1 であるようなデータの個数を a, xi = 0 であるようなデータの個数を n − a, また xi ≥ 1となっているデータに関する標本平均をz=

1 "xiai :xi ≥1とする．このとき対数尤度は((λ, q) = (n − a) log(1 − q + qe−λ ) + a log q − aλ + az log λ + const.となることを示せ．ここで const はパラメータ λ, q に依存しない項である．

# q# は(b) λ と q の最尤推定量 λ,を満たすことを示せ．

q# = min-an(1 − e−λb ).
, 14. 平均が (0, 0) で分散共分散行列が
Σ=3σ2

ρσ2ρ

64, |ρ| < σ 2であるような 2 次元正規分布の確率密度関数を p(x, y; σ 2 , ρ) とする．また 2 次元正規分布の集合を次のような 2 次元指数型分布族/+,./
22
M2 = exp θ1 (x + y ) + θ2 xy − ψ(θ1 , θ2 ) // (θ1 , θ2 ) ∈ S2 ⊂ R2として表現する．以下の問に答えよ．

(a) データ (X1 , Y1 ), . . . , (Xn , Yn ) が独立に 2 次元正規分布 p(x, y; σ 2 , ρ) から得られているとする．
またnn)
1 "( 21"T1 =Xi + Yi2T2 =Xi Yin i=1n i=1とする．自然パラメータ (θ1 , θ2 ) の最尤推定量 (θ#1 , θ#2 ) を T1 , T2 を用いて表せ．ただし 2|T2 | < T1が成立しているとする．

(b) データ (X1 , Y1 ), . . . , (Xn , Yn ) が独立に確率密度関数 p(x, y; σ 2 , ρ0 ) をもつ確率分布から得られているとする．このとき ρ0 の値は既知として σ 2 を推定する．パラメータ σ 2 に関する最尤推定量の尤度方程式を ρ0 , T1 , T2 を用いて表せ．

(c) (b) と同じ設定でデータが得られているとする．大数の法則から T2 −→ ρ0 が成立するので，データ数が十分多いとき，データから計算される T2 に対して T2 = ρ0 + ε を仮定する．ここで ε は62 に関して微小量とする．このとき σ 2 の最尤推定量 σp62 = A(T1 ) + B(T1 )ε + O(ε2 )σが成り立つように A(T1 )，B(T1 ) を定めよ．
62 = A + Bε を尤度方程式に代入したときに O(1) と O(ε) の項が消える
ヒント：T2 = ρ0 + ε, σように A, B を定める．

5. データ X1 , . . . , Xn が独立に密度関数 f (x; θ) = (1/θ)e−x/θ をもつ分布から得られているとする．ここで f (x; θ) は 0 < x ≤ ∞ 上の分布である．パラメータ θ のもとで X ≤ 2 となる確率を

η = Pθ (X ≤ 2) =* 2f (x; θ)dx0とする．η の最尤推定量を求めよ．(ヒント：パラメータを θ から η に変換して最尤推定量を計算する)

6. データ X1 , . . . , Xn が独立に正規分布 N (µ, σ 2 ) から得られているとする．ここで n ≥ 2 とする．パラ62 ) を計算せよ．
メータ (µ, σ 2 ) の最尤推定量 (#µ, σ7. 1 次元指数型分布族を/.
M = p(x; θ) = h(x) exp{θ t(x) − ψ(θ)} / θ ∈ S ⊂ Rと定める．S は R の適当な開集合とする．以下の問では x に関する積分と θ に関する微分は交換可能と仮定して計算してよい．

(a) 確率分布 p(x; θ) のもとでの t(X) の期待値 Eθ [t(X)] は関数 ψ(θ) の微分に等しいこと，すなわち以下の等式が成立することを示せ．
*∂ψt(x)p(x; θ)dx =(θ)∂θ(b) 統計モデル M のフィッシャー情報量 I(θ) をI(θ) =*p(x; θ)70

∂ log p(x; θ)∂θ12dxとする．また確率分布 p(x; θ) のもとでの t(X) の分散を Vθ [t(X)] とする．次の 2 つの等式

I(θ) =∂2ψ(θ) = Vθ [t(X)]∂θ2が成り立つことを示せ．

(c) データが確率分布 p(x; θ∗ ) から独立に得られるとする．n 個のデータから求めた最尤推定量を θ̂nとする．ψ(θ) は S 上で 2 階微分可能として，さらに I(θ∗ ) ,= 0 を仮定する．このとき
10√1d∗n(θ̂n − θ ) −→ N 0,I(θ∗ )となることを示せ．(ヒント：デルタ法で計算)

8. データ X1 , . . . , Xn は独立であり，それぞれ Xi ∼ N (µ, σi2 ) とする．ただし σi2 はすべて既知とする．
平均パラメータ µ の最尤推定量 µ̂ を求めよ．また µ̂ は不偏推定量であるか調べよ．

9. データ X1 , . . . , Xn が独立に指数分布 Ex(λ) にしたがっているとする．指数分布 Ex(λ) の密度関数は
λ exp(−λx) 0 ≤ xf (x; λ) =0
その他で与えられる．このときパラメータ λ の最尤推定量 λ̂ を求めよ．

10. 一様分布 U (0, θ) は 1 次元指数型分布族として表現できるかどうか調べよ．

8