クラメール・ラオ不等式の証明をめっちゃ丁寧にやる【数理統計学の基礎】

## クラメール・ラオの不等式をめっちゃ丁寧に証明したい

統計学において、推定量を評価することが重要です。
その理論において、とても重要な結果が、クラメール・ラオの不等式です。

この記事では、この不等式をできるだけ丁寧に証明します。
数理統計学の基礎を勉強したい人にぴったりの内容です。

調べてみると、証明にはいろいろな方法があるようです。ですので、この記事での方法は参考の一つにしてみてください。

## 言葉、記号の準備

- $X$: 観測された確率変数（またはベクトル）
- $\theta$: 母数（スカラーとする）
- $p(x;\theta)$: $ X $ の確率密度関数
- $ \hat{\theta}(X) $: $ \theta $ の推定量
- $ I(\theta) $: フィッシャー情報量（Fisher information）
- $ U(X) = \frac{\partial}{\partial \theta} \log p(X; \theta) $: スコア関数
- $ \mathrm{Var}_\theta[\hat{\theta}(X)] $: 推定量の分散

---

## クラメール・ラオの不等式

クラメール・ラオの不等式（Cramér-Rao inequality）は次を主張します：

**不偏推定量** $ \hat{\theta}(X) $ に対して、分散は次のように下から抑えられる：  
```math
\mathrm{Var}_\theta[\hat{\theta}(X)] \geq \frac{1}{I(\theta)}
```

この不等式は、推定量の性能限界を与える重要な理論です。以下にその証明を5つのステップに分けて示します。

---

## 証明

### ステップ1：不偏性の微分

不偏推定量の定義より、
```math
\mathbb{E}_\theta[\hat{\theta}(X)] = \theta
```

この両辺を $ \theta $ で微分すると：
```math
\frac{d}{d\theta} \mathbb{E}_\theta[\hat{\theta}(X)] = \frac{d\theta}{d\theta} = 1
```

期待値の中身が $ \theta $ に依存するため、微分を中に入れるには定理（微分と積分の交換）が必要です。通常の正則性条件（微分と積分の交換可能性）が成り立つと仮定し、次のようにします：
```math
\frac{d}{d\theta} \int \hat{\theta}(x) p(x;\theta) dx = \int \hat{\theta}(x) \frac{\partial}{\partial \theta} p(x;\theta) dx
```

さらに、
```math
\frac{\partial}{\partial \theta} p(x;\theta) = p(x;\theta) \cdot \frac{\partial}{\partial \theta} \log p(x;\theta)
```

これを用いると：
```math
\int \hat{\theta}(x) \frac{\partial}{\partial \theta} p(x;\theta) dx = \int \hat{\theta}(x) \frac{\partial \log p(x;\theta)}{\partial \theta} p(x;\theta) dx
```

したがって、
```math
\mathbb{E}_\theta\left[ \hat{\theta}(X) \cdot \frac{\partial \log p(X;\theta)}{\partial \theta} \right] = 1
```

---

### ステップ2：スコア関数との積にする

スコア関数 $ U(X) = \frac{\partial \log p(X;\theta)}{\partial \theta}$ を導入すると、前節の式は次のように書けます：
```math
\mathbb{E}_\theta[ \hat{\theta}(X) \cdot U(X) ] = 1
```

---

### ステップ3：推定量とスコア関数の期待値を中心化

#### 中心化の準備

不偏推定量であることから、
```math
\mathbb{E}_\theta[\hat{\theta}(X)] = \theta
```
またスコア関数の性質より 
```math
\mathbb{E}_\theta[U(X)] = 0
```

#### 中心化の計算
そして、以下の恒等式を使用します。
```math
\hat{\theta}(X) = (\hat{\theta}(X) - \theta) + \theta
```
```math
U(X) = (U(X) - 0) + 0
```


ステップ2の期待値に代入すると、
```math
\mathbb{E}_\theta[ \hat{\theta}(X) \cdot U(X) ]
= \mathbb{E}_\theta\left[ \left( (\hat{\theta}(X) - \theta) + \theta \right) \cdot U(X) \right]
```

ここで分配法則を適用します：
```math
= \mathbb{E}_\theta\left[ (\hat{\theta}(X) - \theta) \cdot U(X) + \theta \cdot U(X) \right]
```

さらに期待値の線形性を用いて：
```math
= \mathbb{E}_\theta\left[ (\hat{\theta}(X) - \theta) \cdot U(X) \right] + \theta \cdot \mathbb{E}_\theta[U(X)]
```

ここで、$\mathbb{E}_\theta[U(X)] = 0$ より第2項は0になる：

```math
= \mathbb{E}_\theta\left[ (\hat{\theta}(X) - \theta) \cdot U(X) \right] + \theta \cdot 0
= \mathbb{E}_\theta\left[ (\hat{\theta}(X) - \theta) \cdot U(X) \right]
```

ステップ２より、この期待値は1だから、
```math
\mathbb{E}_\theta[ (\hat{\theta}(X) - \theta) \cdot (U(X) - 0) ] = 1
```

すなわち、
```math
\mathbb{E}_\theta[ (\hat{\theta}(X) - \theta) \cdot U(X) ] = 1
```

#### 中心化の統計学的な意味

中心化とは、確率変数から平均を引いて**平均$0$の偏差**にすることです。これは**共分散や相関係数**の定義に現れ、変動や関係性を分析するために重要な処理です。

クラメール・ラオの不等式のような推定理論では、推定量の「期待値＝θ」は確定しているので、興味があるのは：

「θからどれだけズレるか」

「そのズレがスコア関数とどう連動しているか」

つまり、推定量とスコア関数の中心化を取って、
```math
\mathbb{E}_\theta[ (\hat{\theta}(X) - \theta) \cdot (U(X) - 0) ]
```
のように、「ズレどうしの関係＝共分散」を見ることが重要です。

---

### ステップ4：コーシー・シュワルツの不等式を適用

次の形式のコーシー・シュワルツの不等式を適用します：
```math
\left( \mathbb{E}[AB] \right)^2 \leq \mathbb{E}[A^2] \cdot \mathbb{E}[B^2]
```

ここで $ A = \hat{\theta}(X) - \theta$、$ B = U(X) $と置くと：
```math
\left( \mathbb{E}[ (\hat{\theta}(X) - \theta) \cdot U(X) ] \right)^2 \leq \mathbb{E}[ (\hat{\theta}(X) - \theta)^2 ] \cdot \mathbb{E}[ U(X)^2 ]
```

左辺はステップ3で1と分かっているので：
```math
1^2 \leq \mathrm{Var}_\theta[\hat{\theta}(X)] \cdot I(\theta)
```

ここで、スコア関数の分散がフィッシャー情報量であることを使いました：
```math
I(\theta) = \mathbb{E}_\theta[U(X)^2]
```

---

### ステップ5：分散を下界で抑える

上式を分散について解くと：
```math
\mathrm{Var}_\theta[\hat{\theta}(X)] \geq \frac{1}{I(\theta)}
```

これがクラメール・ラオの不等式の主張する内容です。

---

## クラメール・ラオの不等式の意味や解釈

- **限界性能の指標**: 不偏推定量の分散の下限を与え、「これ以上の精度は出ない」という理論的限界を示す。
- **効率的推定量**: 実際の推定量がこの下限に一致するとき、「効率的」であり、統計的に最も優れているとされる。
- **設計の指針**: 実際の推定方法（最尤推定など）がこの不等式にどれだけ近づけるかが、手法の良し悪しを評価する基準になる。

---

## 関連記事
https://qiita.com/meta77/items/3a8e16ce0c7428f520a5
https://qiita.com/meta77/items/4094271a765272604712
https://qiita.com/meta77/items/8af5d3d2adb8b32d1453