数理情報学９ (数理統計学)

12. 統計的推定

統計的推定問題
確率論と統計学では問題意識が以下のように異なっている．

確率： ある確率法則のもとで，確率変数がどのような振舞いをするのかを考察する．
統計： ある確率法則にしたがうと考えられる確率変数の実現値 (データ) を観測して，その元となる確率法則についての推論をおこなう．

とくに統計的推定の目的は，データの背後にある確率構造を特徴付ける量 (平均や分散など) を精度良く推測することである．
データ：ある確率分布にしたがう確率変数を観測した結果得られる値のこと．実現値とも言う．
例 1. 物理実験などの測定を考える．通常，物理的測定には測定誤差が生じる．このような誤差は実験をおこなうときの環境によって変動するものであり，完全にコントロールすることはできない．光の速度を測

A. J. Weekes (1986) A Genstat Primer. London: Edward

301Arnold.

2The classical data of Michaelson and Morley on thespeed of light. The data consists of five experiments,
each consisting of 20 consecutive ’runs’.

4567定したデータを図??に示す．

010203040Data

適当な物理的条件のもとで光の速度を測定した結果を，ヒストグラムで示している．横軸の単位は 1 万km/sec．縦軸は度数．
このような観測データから，どのように光の速度を定めればよいだろうか？ 光速度は決まった値であるが，測定誤差があるために測定した結果 Xi は

Xi=(測定結果)c(光速度)+

Zi ,(観測誤差，偶然変動)のような確率変数として記述されると考えるのが妥当であろう．

i = 1, . . . , n(1)!

推定の問題を (1) のように定式化すると，次の事柄が気になってくる：(1) 観測値 X1 , . . . , Xn から未知パラメータ (例 1 では光速度 c) を推定するためには，どのような推定量を用いればよいだろうか？

−→ 不偏推定量や最尤推定量．
1

(2) いろいろな推定方法を使うとき，それらの推定精度をどのようにして比較すればいいだろうか？
−→ 平均二乗誤差を比較(3) これ以上の精度では推定することはできない，という限界はあるのだろうか？
−→ クラメール・ラオの下限

2

不偏推定量
データ X が確率密度関数 f (x; θ), θ ∈ R をもつ確率分布にしたがっているとする．推定量 T (X) が任意の θ に対して E θ [T (X)] = θを満たすとき T (X) はパラメータ θ の 不偏推定量 であると言う．ここで Eθ [·] は f (x; θ) による期待値!
Eθ [T (X)] = T (x)f (x; θ)dxである．不偏推定量は「推定値は真のパラメータのまわりに分布している (偏りがない)」という意味で望ましい性質であると考えることができる．
!
期待値・分散の不偏推定量

確率変数 X1 , X2 , . . . , Xn が期待値 µ, 分散 σ 2 の分布にしたがうとする．

#n• 標本平均

1"
Xi は 期待値 µ の不偏推定量である．
n i=1• 標本分散n1 "(Xi − X̄n )2 は分散 σ 2 の不偏推定量である．
n − 1 i=1

標本分散はデータ数 n ではなく n − 1 で割っていることに注意．

3"

クラメール・ラオの下限以下では，パラメータ θ の推定量 T (X) の推定精度を平均二乗誤差Eθ [|T (X) − θ|2 ]で測る1 ．もし推定量 T (X) が θ の不偏推定量ならば，平均二乗誤差はEθ [|T (X) − θ|2 ] = Eθ [|T (X) − Eθ [T (X)]|2 ] = Vθ [T (X)],(f (x; θ) のもとでの分散)となり，T (X) の分散に一致する．
確率変数 X が確率密度関数 f (x; θ), θ ∈ R をもつ確率分布にしたがっているとき，パラメータ θ を不偏推定量 T (X) で推定する．このとき T (X) の平均二乗誤差の下限を与えるのがクラメール・ラオの定理である．

1 平均二乗誤差は推定量の精度を測る尺度のひとつとして非常によく用いられる．

2$!
定理：クラメール・ラオの下限"

パラメータ θ の不偏推定量 T (X) に対して，以下の不等式

Eθ [|T (X) − θ|2 ] ≥1I(θ)

が成り立つ．ここで I(θ) はI(θ) = Eθ#$∂ log f (x; θ)∂θ%2 &=! $∂ log f (x; θ)∂θ%2f (x; θ)dxで定義され，フィッシャー情報量と呼ばれる#

注意：必ずしも等号を達成する不偏推定量 T (X) が存在するとは限らない．存在するかどうかは f (x; θ)の分布形に依存する．また存在するとしても，そのような T を簡単に構成できるとは限らない．
フィッシャー情報量 I(θ) は確率密度関数 f (x; θ) だけから計算できる量であり，推定量 T には依存していない．したがってクラメール・ラオの下限は，どのような不偏推定量 T に対してもその平均二乗誤差は1/I(θ) より小さくはならないことを主張している．つまり(a) 不偏推定量には推定精度に限界がある(b) 推定限界はフィッシャー情報量の逆数で与えられる (ただし達成可能とは限らない)ことが示された．
クラメール・ラオの定理から不偏推定量 T (X) の推定精度には限界があることが分かる．推定量の精度が推定限界にどのくらい近いかを測るために「推定量の効率」を用いる．
クラメール・ラオの定理より I(θ)−1 ≤ Vθ [T (X)] なので1≤1I(θ)Vθ [T (X)]である．そこで不偏推定量 T (X) の効率を100(%)
I(θ)Vθ [T (X)]と定義する．ここで Vθ [T (X)] は T (X) の f (x; θ) のもとでの分散とする．不偏推定量の効率は 0% から100% の値をとることが分かる．効率が大きいほど推定精度の良い推定量ということになる．

4

標本分布 (正規分布から導かれる分布)
データが正規分布にしたがうとき，標本平均や標本分散がどのような分布にしたがうかについて解説する．

χ2 -分布 (カイ二乗分布)： X1 , X2 , . . . , Xn が独立に標準正規分布 N (0, 1) にしたがうとする．確率変数 Znを

Zn = X12 + X22 + · · · + Xn2と定める．Zn がしたがう分布を 自由度 n の χ2 分布 とよぶ．

例 2 (自由度 1 の χ2 分布の密度関数). X ∼ N (0, 1) のとき Z1 = X 2 の密度関数を計算する．

√√
P (Z1 ≤ z) = P (− z ≤ X ≤ z)
! √z
=2φ(x; 0, 1)dx0! z
1√=2φ( y; 0, 1) √ dy2 y0
3(x =√y と変数変換)$

したがって Z1 の密度関数 f (z) はf (z) = √1e−y/22πyとなる (分布関数の微分は密度関数)．

t-分布 (ティー分布)： 確率変数 X, Y1 , . . . , Yn はすべて独立に標準正規分布 N (0, 1) にしたがうとする．このとき確率変数 Tn を

Tn =√n· 'X
Y12 + · · · + Yn2=(XY12 +···+Yn2nと定める．Tn がしがたう分布のことを 自由度 n の t-分布 とよぶ．

Tn を χ2 分布を用いて定義することもできる．すなわち X とは独立に自由度 n の χ2 分布にしたがう
確率変数を Zn とすると，定義から Tn はTn =√Xn· √Znと書ける．自由度 n が無限大になる極限を考えると
dTn −→ N (0, 1), (n → ∞)が成立する (大数の法則，スラツキーの公式)．
標本平均と標本分散の分布： 確率変数 X1 , X2 , . . . , Xn が独立に正規分布にしたがうとする：

X1 , X2 , . . . , Xn ∼ N (µ, σ 2 ).
このとき標本平均 X̄ =標本分散 S 2 =1"Xin i=1n1 "(Xi − X̄)2n − 1 i=1の分布は以下のようになる．

(1)(2)(3)(n − 1)S 2
は自由度 n − 1 の χ2 分布にしたがう
σ2X̄ と S 2 は独立√ X̄ − µ(1), (2) より n √は自由度 n − 1 の t-分布にしたがう
S2(証明)
X1 , . . . , Xn を以下の直交行列を使って Y1 , . . . , Yn に変換する：
 √1· · · √1n  X1 −µ nY1
 .   ∗ ··· σ ∗  . =  ..  .
 . 
 .  
 Xn −µYnσ
∗ ···
∗4

上の直交行列は第 1 行が/√1 , · · · , √1nn0であり，他の要素については，直交行列になるという制約を満たすかぎり，どのような値でもよいとする．このとき√ X̄ − µnσn" (Xi − µ)2σ2i=1= Y1=n"

Yi2i=1となる．正規分布の変数変換の公式から (Y1 , . . . , Yn ) は平均ベクトルが (0, . . . , 0) で分散共分散行列が In (ここで In は n × n の大きさの単位行列とする) の n 次元多変量正規分布にしたがう．なぜなら，上の直交行列を Q とおくと，$%
X1 − µXn − µ,...,∼ Nn (0, In )σσより

(Y1 , . . . , Yn ) ∼ Nn (0, QIn Qt ) = N (0, In )となる．分散共分散行列が対角行列であることから，Y1 , . . . , Yn は独立になっている2 ．これより

Y12 + Y22 + · · · Yn2 =n"(Xi − µ)2i=1= Y12 +=σ2(n − 1)S 2σ2nn(X̄ − µ)2 " (Xi − X̄)2+σ2σ2i=1を得る．したがって

Y22 + · · · + Yn2 =(n − 1)S 2σ2となるので，(n − 1)S 2 /σ 2 は自由度 n − 1 の χ2 分布にしたがい，かつ Y1 とは独立である．

!

演習問題
1. データ X1 , X2 , . . . , Xn は指数分布 Ex[λ−1 ] から独立に得られているとする．指数分布 Ex[λ−1 ] の確率密度関数は
 1 e−x/λ x ≥ 0f (x; λ) = λ0x<0と表せる．パラメータ λ の推定量として以下の 2 つnを考える．

1"T1 =Xi ,n i=1

T2 = n · min Xi
1≤i≤n(a) T1 は不偏推定量であることを示せ．また T1 の平均二乗誤差を計算せよ．
(b) T2 は不偏推定量であることを示せ．また T2 の平均二乗誤差を計算せよ．
2. データ X1 , X2 , . . . , Xn が区間 (0, θ) 上の一様分布 U (0, θ) から独立に得られているとする．一様分布の密度関数は
 1 x ∈ (0, θ)f (x; θ) = θ
0 x +∈ (0, θ)

2 多次元正規分布では無相関と独立は同値

5

パラメータ θ の推定量として
nT1 =2"
Xi ,n i=1T2 =n+1max{X1 , . . . , Xn }nの２つを考える．

(a) T1 , T2 はともに θ の不偏推定量であることを示せ．
(b) T1 , T2 の平均二乗誤差を求め，推定精度を比較せよ．
3. 成功の確率が p (0 < p < 1) の独立な n 回のベルヌーイ試行を X1 , X2 , . . . , Xn とする．つまり各 Xi
は 0 か 1 の値をとりその確率は P (Xi = 1) = p, P (Xi = 0) = 1 − p である．
n(a) X̄ =1"
Xi は p の不偏推定量であることを示せ．また X̄ の分散を求めよ．
n i=1(b) n ≥ 2 とする．
示せ．

nX̄(1 − X̄) はベルヌーイ試行の分散 p(1 − p) の不偏推定量であることをn−1

4. X1 , . . . , Xn は平均 µ で分散 1 の正規分布 N (µ, 1) に独立にしたがっているとする．このデータから µを推定することを考える．ここでは

T (X1 , . . . , Xn ) = c1 X1 + c2 X2 + · · · + cn Xnという形の不偏推定量について考える．

(a) T が µ の不偏推定量であるとき c1 + c2 + · · · + cn = 1 が成り立つことを示せ．

(b) T が µ の不偏推定量であるときに，平均二乗誤差 E [|T − µ|2 ] を最小にする c1 , c2 , . . . , cn は
c1 = c2 = · · · = cn = n1 であることを計算せよ．ヒント：シュワルツの不等式またはラグランジュの未定定数法．

以上の考察から

4n1i=1 ci Xi と表される推定量のなかでは X̄ = n適であることがわかる．

4ni=1 Xi が平均二乗誤差の意味で最5. パラメータ θ ∈ R を含む確率密度 f (x; θ) のフィッシャー情報量を I(θ) とする．このとき f (x; θ) の分布にしたがう n 個の独立な確率変数 X1 , . . . , Xn の密度関数 g はg(x1 , . . . , xn ; θ) = f (x1 ; θ) × f (x2 ; θ) × · · · × f (xn ; θ)となる．密度関数 g(x1 , . . . , xn ; θ) のフィッシャー情報量は nI(θ) になることを示せ．

6. データ X1 , X2 , . . . , Xn は独立に同一のガンマ分布 GA (α, β) にしたがうとする．ガンマ分布の確率密度関数は$%
1xα−1f (x; α, β) =xexp−, (x > 0)Γ(α)β αβと書ける．ここで Γ(α) はガンマ関数である．ガンマ分布の期待値と分散はそれぞれ E[Xi ] = αβ, V [Xi ] =αβ 2 である．α の値は既知のとき β を推定することを考える．
(a) β の推定量としてnβ̂ =1 "Xi
αn i=1を考える．β̂ は β の不偏推定量であることを示せ．

6

(b) パラメータ β に関するフィッシャー情報量
I(β) = Eα,β#$∂ log f (x; α, β)∂β%2 &を計算せよ．

(c) β̂ がクラメール・ラオの下限を達成しているかどうか調べよ．
7. X1 , . . . , Xn が独立に正規分布 N (µ, µ) にしたがうとする．ここで µ > 0 とする．パラメータ µ の推n1"定量として X̄ =Xi を考える．X̄ がクラメール・ラオの下限を達成しているか調べよ．
n i=17