[情報幾何] 十分統計量とは何か

「[入門情報幾何](https://www.kyoritsu-pub.co.jp/book/b10003321.html)」を読んで詰まったところをまとめています。

### 1.「入門情報幾何」における離散確率空間の十分統計量の定義

> 定義：$n$次元統計的モデル$S$に関する十分統計量$F$
> $R$の空でない集合$\Omega$上のn次元統計的モデル$S$を$$S=\{p(\cdot|\xi)\,|\,\xi\in\Xi\}$$
> と定義し，全射$F:\Omega\to \Omega'$を用いて確率関数$q$を$$q(y;\xi)=\sum_{x\in F^{-1}(\{y\})}p(x;\xi)$$
  のように定める。ここで$$r(x;\xi)=\frac{p(x;\xi)}{q(F(x);\xi)}$$が$\xi$に依存しない関数になるとき，$F$を$S$に関する十分統計量と呼ぶ。

### 2. この定義の登場人物紹介：

+ $q(y;\xi)$：統計量$F$の値がパラメータ$\xi$の下で$y$となる確率を表している
  (∵第１式右辺では統計量$F$の値が$y$となるようなデータの集合$F^{-1}(\{y\})$の要素がサンプリングされる確率を足し合わせているため)。
  $$\begin{align}
q(y;\xi)&=\sum_{x\in F^{-1}(\{y\})}p(x;\xi) \\
&=P(F=y;\xi)
\end{align}$$
+ $r(x;\xi)$：統計量$F$の値が$F(x)$であるとき元のデータが$x$であるような条件付き確率。$$r=\frac{p(x;\xi)}{q(F(x);\xi)}=\frac{p(x;\xi)}{P(F=F(x);\xi)}=P(x|F=F(x);\xi)$$
### 3. 登場人物の意味を踏まえて，定義を言い換える。

> 統計量$F(x)$の値を固定したときの条件付き確率$r(x;\xi)=p(x|F(x);\xi)$がパラメータ$\xi$に依存しないとき，統計量$F(x)$を十分統計量であるという。

### 4. 十分統計量は「パラメータ推定」のためにある。

統計学の目的の一つはパラメータ推定，すなわちサンプリングされて手元にあるデータからそのデータの母集団の確率分布のパラメータを推定すること。

ここで手元にあるデータすべてからパラメータを推定するのではなく，それらを圧縮した統計量からパラメータを推定することを考える。
このとき，圧縮することでパラメータに関する情報がデータから失われると困る。

そこでありがたいのが十分統計量。**十分統計量を用いるとパラメータ推定のための情報を一切失うことなくデータを圧縮することができる**。
すなわち，十分統計量を用いるとすべてのデータから行うパラメータ推定と同じ精度でパラメータを推定することができる。
#### 4.1 例：十分統計量を用いたパラメータの最尤推定

> Q. 表が出る確率が$\xi$であるようなコインがある。このコインを3回投げた結果から$\xi$を推定せよ。

「表→裏→表という順番で出た($x=(表, 裏, 表)$)」というデータを圧縮した「3回中2回表が出た($F(x)=2$)」という統計量は十分統計量であり，この十分統計量を用いてパラメータ推定を行うとデータから行う推定と同精度のパラメータ推定ができる。
3回中2回表が出る確率(=$F(x)=2$となる尤度)は$$P(F(x)=2;\xi)=\xi^2(1-\xi)\tag{1}$$
であるので，$P(F(x)=2;\xi)$を最大にする$\xi$は最尤推定法で$$\frac{d}{d\xi}P(F(x)=2;\xi)=2\xi-3\xi^2=0\iff\xi=\frac{2}{3}(\because\xi>0)$$
と求められる。このとき$r(x;\xi)$すなわち$F(x)=2$であるときに$x=(表, 裏, 表)$である条件付確率は
```math
\begin{align}
r(x;\xi)|_{x=(表,裏,表)}&=p(x=(表,裏,表)|F(x)=2;\xi) \\
&=\frac{p(x=(表,裏,表);\xi)}{P(F(x)=2;\xi)} \\
&=\frac{\xi^2(1-\xi)}{3\xi^2(1-\xi)}\quad(\because3回中2回表が出る組み合わせは3通り) \\
&=\frac{1}{3}
\end{align}
```

となる。
ここで$r(x;\xi)$に$\xi$が含まれないということは，$F(x)=2$という情報をすでに持っているなら$\xi$の値が何であってもxの生じる尤度が変わらないことを表している。
試しに$x=(表,裏,表)$という情報を用いて式(1)の尤度を更新して，再度最尤推定法からパラメータを求めてみると
```math
\begin{align}
\frac{d}{dx}P(x=(表,裏,表),F(x)=2)&=\frac{d}{dx}\{P(F(x)=2)\,r(x;\xi)|_{x=(表,裏,表)}\} \\
&=\frac{d}{dx} \frac{1}{3}\xi^2(1-\xi)=0 \\
&\iff \xi=\frac{2}{3}\quad(\because\xi>0)
\end{align}
```
となる。すなわち十分統計量$F(x)=2$だけから推定したパラメータが得られる。
この意味で十分統計量はパラメータ推定のための情報を一切失うことなくデータを圧縮した統計量である。
### 5. フィッシャー・ネイマンの分解定理

フィッシャー・ネイマンの分解定理は**データが持つ情報を、パラメータ推定に『関係ある部分』と『関係ない部分』に綺麗に仕分けるための道具**といえる。
また，この定理を用いるとうまく十分統計量を構成することができる。

>統計量$F(x)$が十分統計量であることは，二つの関数$h(x), g(F(x)|\xi)$が存在して$p(x;\xi)$が$p(x;\xi)=h(x)g(F(x)|\xi)$と表されることと同値である。
$p(x;\xi)$：尤度関数
$F(x)$：十分統計量
$g(F(x)|\xi)$：パラメータ評価関数。パラメータ$\xi$はここにしか現れず，パラメータの最尤推定に必要十分な情報が$g$に含まれるといえる。
$h(x)$：データ固有の重み。パラメータの最尤推定には必要のない情報。

このとき最尤推定は
$$\max_{\xi}p(x|\xi)=\max_{\xi}h(x)g(F(x)|\xi)=\max_{\xi}g(F(x)|\xi)$$
となることから，$g(F(x)|\xi)$はパラメータの最尤推定に必要十分な情報を含むといえる。

#### 5.1 例：正規分布に従うデータの十分統計量の構成
平均が$\mu$(未知)，分散が$\sigma^2$(既知)である正規分布から独立にサンプリングされた$n$個のデータ$x=(x_1, \dots, x_n)$がある。
平均$\mu$をパラメータとしたときの尤度関数を$\mu$を含む項と含まない項に分解することで，十分統計量を見出す。
尤度関数を次のように変形することができる。
$$\begin{align}
p(x|\mu)&=\prod_{i}^n \frac{1}{\sqrt{2\pi\sigma^2}}\exp\left( - \frac{(x_{i}-\mu)^2}{2\sigma^2} \right) \\
&=\left( \frac{1}{2\pi\sigma^2} \right)^{n/2}\exp\left( - \frac{1}{2\sigma^2}\sum_{i=1}^n (x_{i}-\mu)^2 \right) \\
&=\left( \frac{1}{2\pi\sigma^2} \right)^{n/2}\exp\left( - \frac{1}{2\sigma^2}\left( \sum x_{i}^2 -2\mu\sum x_{i}+n\mu^2 \right) \right) \\
&=\left[ \left( \frac{1}{2\pi\sigma^2} \right)^{2/n} \exp\left( -\frac{\sum x_{i}^2}{2\sigma^2} \right) \right] \cdot \left[\exp\left(\frac{2\mu\sum x_{i}-n\mu^2}{2\sigma^2}\right)\right]
\end{align}$$
ここで尤度関数は最終的に次のように分解された。
- パラメータ$\mu$を含まない関数 $h(x)=\left( \frac{1}{2\pi\sigma^2} \right)^{2/n} \exp\left( -\frac{\sum x_{i}^2}{2\sigma^2} \right)$
- パラメータ$\mu$を含む関数 $g(F(x)|\mu)=\exp\left(\frac{2\mu\sum x_{i}-n\mu^2}{2\sigma^2}\right)$
	- データ$x$は合計値$\sum x_{i}$という形でのみ登場している。

この結果からパラメータ$\mu$に対する十分統計量として標本合計$F(x)=\sum x_{i}$が見いだされた。
また標本合計が十分統計量であることから，それを$n$で割った標本平均$F(x)=\frac{1}{n}\sum x_{i}$も同様に十分統計量である。

したがって最尤推定はデータ$x=(x_1, \dots, x_n)$を用いずとも，その十分統計量$F(x)=\sum x_{i}$を用いて
$$\begin{align}
\mu^*&=\arg\max_{\mu}p(x|\mu) \\
&=\arg\max_{\mu}\exp\left(\frac{2\mu F(x)-n\mu^2}{2\sigma^2}\right)
\end{align}$$
と計算できる。

### 6. ラオ・ブラックウェルの定理

ラオ・ブラックウェルの定理は「**もし手元にある推定量が十分統計量に基づいていないなら、十分統計量を使って必ずそれより良い（＝ばらつきの少ない）推定量を作れる**」ということを保証する定理である。

> あるパラメータ$\xi$の不偏推定量$\delta(x)$
$$\mathbb{E}[\delta(x)]=\xi$$
があるとする。もし$F(x)$が$\xi$に対する十分統計量ならば，次の条件付き期待値$$\delta'(x)=\mathbb{E}[\delta(x)|F(x)]$$
について次が成り立つ。
(1)$\delta'(x)$は$\xi$の不偏推定量である。
(2)$\delta'(x)$の分散は$\delta(x)$の分散以下である:$$\mathbb{V}[\delta'(x)]\le\mathbb{V}[\delta(x)]$$

#### 6.1 条件付き期待値とは何か

ラオ・ブラックウェルの定理に登場する条件付き期待値$\mathbb{E}[\delta(x)|F(x)]$はデータ$x$から十分統計量が$F(x)$と計算されるという条件の下での$\delta(x)$の期待値である。
一般に離散確率空間において条件付き期待値$\mathbb{E}[Y|X=x_{i}]$は次のように計算される。$$\mathbb{E}[Y|X=x_{i}]=\sum_{j=1}^n y_{j}P(Y=y_{j}|X=x_{j})$$
参考：https://www.fbc.keio.ac.jp/~tyabu/tokei/ce.pdf

#### 6.2 例：ラオ・ブラックウェルの定理を用いた不偏推定量の分散の改善

次のような問題を考える。
- 目的：ある植物が特定の地域に生えている確率$\xi$を推定したい。
- データ：3つの地点$X_1​,X_2​,X_3$​を調査。生えていれば$X_{i}=1$、なければ$0$とする。
- 十分統計量：生えていた地点の合計数 $F(X)=X_1​+X_2​+X_3​$

雑な不偏推定量の一つは$\delta(X)=X_1$すなわち，最初の地点の結果をそのまま推定値にするというもの。これは$$\mathbb{E}[\delta(X)]=\mathbb{E}[X_{1}]=1\cdot P(X_{1}=1)+0\cdot P(X_{1}=0)=\xi$$
となるので確かに$\xi$の不偏推定量である。

この不偏推定量を十分統計量を使って改良する。条件付き期待値を計算すると
```math
\begin{align}
\delta^*(X)&=\mathbb{E}[\delta(X)|F(X)=f] \\
&=\mathbb{E}[X_{1}|X_{1}+X_{2}+X_{3}=f] \\
&=\sum_{x\in\{0,1\}}x\cdot P(X_{1}=x|X_{1}+X_{2}+X_{3}=f) \\
&=P(X_{1}=1|X_{1}+X_{2}+X_{3}=f) \\
&=\frac{P(X_{1}=1,X_{1}+X_{2}+X_{3}=f)}{P(X_{1}+X_{2}+X_{3}=f)}
\end{align}
```
である。$f=0,1,2,3$の場合をそれぞれ考えると
$$\frac{P(X_{1}=1,X_{1}+X_{2}+X_{3}=0)}{P(X_{1}+X_{2}+X_{3}=0)}=0=\frac{0}{3}$$
$$\frac{P(X_{1}=1,X_{1}+X_{2}+X_{3}=1)}{P(X_{1}+X_{2}+X_{3}=1)}=\frac{\xi(1-\xi)^2}{3\xi(1-\xi)^2}=\frac{1}{3}$$
$$\frac{P(X_{1}=1,X_{1}+X_{2}+X_{3}=2)}{P(X_{1}+X_{2}+X_{3}=2)}=\frac{2\xi(1-\xi)^2}{3\xi(1-\xi)^2}=\frac{2}{3}$$
$$\frac{P(X_{1}=1,X_{1}+X_{2}+X_{3}=3)}{P(X_{1}+X_{2}+X_{3}=3)}=\frac{\xi^3}{\xi^3}=1=\frac{3}{3}$$
となるので，
$$\delta^*(X)=\frac{P(X_{1}=1,X_{1}+X_{2}+X_{3}=f)}{P(X_{1}+X_{2}+X_{3}=f)}=\frac{f}{3}=\frac{{X_{1}+X_{2}+X_{3}}}{3}$$
が得られる。
したがって新しい推定量として標本平均$\bar X$が得られた。
これは直感的にも$X_1$よりも優れた$\xi$の推定量である。