【準1級】統計学実践ワークブック　第8章　例4　十分統計量


統計検定準1級の勉強のための解説記事となります。下記にご了承いただける方のみ、お読みください。

:::note warn
##### 注意
* 著作権の都合により問題文は掲載せず解説のみの記述となります。
* 独自の解釈により、不適切な表現がある可能性があります。
:::

以下の動画でも解説していますので、見やすいほうでご覧ください。

<iframe width="560" height="315" src="https://www.youtube.com/embed/9up72rBCPfo?si=9tciZzK7yMw82YoG" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" referrerpolicy="strict-origin-when-cross-origin" allowfullscreen></iframe>

# 学習のポイント



<div class="columns">
<div class="column">

## 十分統計量
パラメータ $\theta$ をもつ分布から得られた標本 $X_1, ..., X_n$ をまとめて $X$ と書くとき、以下の式を満たす統計量 $T = T(X)$ を $\theta$ の十分統計量とよぶ。
$$P(X=x|T(X) = t; \theta) = P(X = x|T(X) = t)$$
ただし、$T(X)$ はベクトルであってもよい。

</div>
<div class="column">

## フィッシャー・ネイマンの分解定理

統計量$T(X)$ が 母数$\theta$ の十分統計量であるための必要十分条件は、観測データ$X$ の同時確率密度関数 $f(x;\theta)$ が、$f(x;\theta) = g(T(x);\theta)h(x)$と表されることである。


```plantuml
@startuml

:1. 確率密度関数 f(x; θ) を記載;

: 2. f(x; θ) = h(x) * g(T(x), θ) に分解可能？;

note 
   * h(x) は、 パラメータ θ に依存しない
   * 統計量 T(x)は、データ x から計算された値
   * g(T(x), θ) は、 パラメータ θ に依存する
   * g(T(x), θ) は 、統計量 T(x) の値を通してのみ x に依存する
  end note

:3. 分解可能であればT(X) は θ の十分統計量である;


  
@enduml
```

</div>
</div>




# 解答

<div class="columns">
<div class="column">

## 同時確率密度関数の形①

正規分布 $N(μ, σ²)$ に独立同一に従う標本 $X₁, ..., Xₙ$ が得られています。


$Xᵢ$ が正規分布 $N(μ, σ²)$ に従うとき、その確率密度関数 $f(xᵢ; μ, σ²)$ は以下の式で与えられます。
$$
f(x_i; \mu, \sigma^2) = \frac{1}{\sigma\sqrt{2\pi}} \exp\left(-\frac{(x_i - \mu)^2}{2\sigma^2}\right)
$$




</div>
<div class="column">



$X₁, ..., Xₙ$ は独立同一に従うので、同時確率密度関数 $f(x₁, ..., xₙ; μ, σ²)$ は、それぞれの確率密度関数の積となります。
$$f(x₁, ..., xₙ; μ, σ²)  = \prod_{i=1}^{n} f(xᵢ; μ, σ²) $$
$$= \prod_{i=1}^{n}  \frac{1}{\sigma\sqrt{2\pi}} \exp\left(-\frac{(x_i - \mu)^2}{2\sigma^2}\right)$$

$$ = \left(\frac{1}{\sigma\sqrt{2\pi}}\right)^n  \prod_{i=1}^{n} \exp\left(-\frac{(x_i - \mu)^2}{2\sigma^2}\right)$$
$$=\left(\frac{1}{\sigma\sqrt{2\pi}}\right)^n \exp\left(-\frac{\sum_{i=1}^{n} (x_i - \mu)^2}{2\sigma^2}\right)
$$

</div>
</div>








$$= \left(\frac{1}{\sigma\sqrt{2\pi}}\right)^n \exp\left(-\frac{\sum_{i=1}^{n} (x_i^2 - 2\mu x_i + \mu^2)}{2\sigma^2}\right) $$


$$= \left(\frac{1}{\sigma\sqrt{2\pi}}\right)^n \exp\left(-\frac{\sum_{i=1}^{n} x_i^2 - 2\mu \sum_{i=1}^{n} x_i + \sum_{i=1}^{n} \mu^2}{2\sigma^2}\right) $$
$$= \left(\frac{1}{\sigma\sqrt{2\pi}}\right)^n \exp\left(-\frac{\sum_{i=1}^{n} x_i^2 - 2\mu (n\bar{x}) + n\mu^2}{2\sigma^2}\right) $$



$$= \left(\frac{1}{\sigma\sqrt{2\pi}}\right)^n \exp\left(-\frac{\sum_{i=1}^{n} x_i^2}{2\sigma^2} + \frac{2n\bar{x}\mu}{2\sigma^2} - \frac{n\mu^2}{2\sigma^2}\right) $$
$$= \left(\frac{1}{\sigma\sqrt{2\pi}}\right)^n \exp\left(-\frac{\sum_{i=1}^{n}x_i^2}{2\sigma^2}\right) \exp\left(\frac{n\bar{x}\mu}{\sigma^2}\right) \exp\left(-\frac{n\mu^2}{2\sigma^2}\right)
$$
となります。



## 標本平均
$\theta = \mu$ (分散 $\sigma^2$ は既知)とします。同時確率密度関数は、
$$f(x₁, ..., xₙ; μ, σ²) = \left(\frac{1}{\sigma\sqrt{2\pi}}\right)^n \exp\left(-\frac{\sum_{i=1}^{n}x_i^2}{2\sigma^2}\right) \exp\left(\frac{n\bar{x}\mu}{\sigma^2}\right) \exp\left(-\frac{n\mu^2}{2\sigma^2}\right)$$
です。

このとき、上記の同時確率密度関数を $g(\bar{x}; \mu)$ と $h(x_1, ..., x_n)$ の積の形に分解します。

ここで、
* $h(x_1, ..., x_n) := \left(\frac{1}{\sigma\sqrt{2\pi}}\right)^n \exp\left(-\frac{\sum_{i=1}^{n}x_i^2}{2\sigma^2}\right)$
* $g(\bar{x}; μ) := \exp\left(\frac{n\bar{x}\mu}{\sigma^2}\right) \exp\left(-\frac{n\mu^2}{2\sigma^2}\right)$


</div>
<div class="column">




と定義すれば、

$f(x₁, ..., xₙ; μ, σ²) = g(\bar{x}; μ) * h(x_1, ..., x_n)$
と表せます。

よって、統計量$T(x) = \bar{x}$は、$μ$の十分統計量です。


```plantuml
@startuml
rectangle "同時確率密度関数\n f(x₁, ..., xₙ; μ, σ²)" as f
rectangle "g(統計量; μ) \n g(x̄; μ)" as g
rectangle "h(x)\n h(x₁, ..., xₙ) " as h

f -- g : 因子分解
f -- h : 因子分解


note left of g
標本平均は
母平均の
十分統計量
（母分散既知）
end note

@enduml
```

</div>
</div>





<div class="columns">
<div class="column">

## 標本平均と各データの二乗和の組

平均 $\mu$ と分散 $\sigma^2$ が未知とします。

同時確率密度関数は、
$$f(x₁, ..., xₙ; μ, σ²) = \left(\frac{1}{\sigma\sqrt{2\pi}}\right)^n \exp\left(-\frac{\sum_{i=1}^{n}x_i^2}{2\sigma^2}\right) \exp\left(\frac{n\bar{x}\mu}{\sigma^2}\right) \exp\left(-\frac{n\mu^2}{2\sigma^2}\right)$$
です。

ここで、
*   $$g(\bar{x}, \sum_{i=1}^{n} x_i^2; \mu, \sigma^2) := \left(\frac{1}{\sigma\sqrt{2\pi}}\right)^n \exp\left(-\frac{\sum_{i=1}^{n}x_i^2}{2\sigma^2}\right) \exp\left(\frac{n\bar{x}\mu}{\sigma^2}\right) \exp\left(-\frac{n\mu^2}{2\sigma^2}\right)$$
*   $$h(x_1, ..., x_n) := 1$$

と定義すれば、


</div>
<div class="column">





$$f(x₁, ..., xₙ; μ, σ²) = g(\bar{x}, \sum_{i=1}^{n} x_i^2; μ, σ²) * h(x_1, ..., x_n)$$
と表せます。

よって、統計量$T(x) = (T_1(x), T_2(x)) = (\bar{x}, \sum_{i=1}^{n} x_i^2)$は、$\theta =(\mu, \sigma^2)$ の十分統計量です。


```plantuml
@startuml
rectangle "同時確率密度関数\n f(x₁, ..., xₙ; μ, σ²)" as f
rectangle "g(統計量; μ, σ²) \n g(x̄, Σxᵢ²; μ, σ²)" as g
rectangle "h(x)\n h(x₁, ..., xₙ) = 1" as h

f -- g : 因子分解
f -- h : 因子分解


note left of g
標本平均と二乗和の組は
母平均と母分散の
十分統計量
end note

@enduml
```

</div>
</div>



<div class="columns">
<div class="column">


## 同時確率密度関数の形②

同時確率密度関数

$$f(x₁, ..., xₙ; μ, σ²) =\left(\frac{1}{\sigma\sqrt{2\pi}}\right)^n \exp\left(-\frac{\sum_{i=1}^{n} (x_i - \mu)^2}{2\sigma^2}\right) $$

を別の形で表現します。上記の同時確率密度関数の指数部分にある $∑_{i=1}^{n} (xᵢ - μ)²$ を次のように変形します。

$$
∑_{i=1}^{n} (xᵢ - μ)² = ∑_{i=1}^{n} (xᵢ - \bar{x} + \bar{x} - μ)²$$

$$ = ∑_{i=1}^{n} ((xᵢ - \bar{x})² + 2(xᵢ - \bar{x})(\bar{x} - μ) + (\bar{x} - μ)²)$$
$$ = ∑_{i=1}^{n} (xᵢ - \bar{x})² + 2(\bar{x} - μ)∑_{i=1}^{n}(xᵢ - \bar{x}) + ∑_{i=1}^{n} (\bar{x} - μ)²　
$$



</div>
<div class="column">



ここで、$∑_{i=1}^{n}(xᵢ - \bar{x}) = 0$ であるため、第2項は消えます。また、 $∑_{i=1}^{n} (\bar{x} - μ)²$は、$i$ に依存しないため、$∑_{i=1}^{n} (\bar{x} - μ)² = n(\bar{x} - μ)²$ 
です。よって、

$$
∑_{i=1}^{n} (xᵢ - μ)² = ∑_{i=1}^{n} (xᵢ - \bar{x})² + n(\bar{x} - μ)²
$$

となります。よって、同時確率密度関数は、
$$
f(x₁, ..., xₙ; μ, σ²) = \left(\frac{1}{\sigma\sqrt{2\pi}}\right)^n \exp\left(-\frac{\sum_{i=1}^{n}(x_i - \bar{x})^2 + n(\bar{x} - \mu)^2}{2\sigma^2}\right)$$
$$= \left(\frac{1}{\sigma\sqrt{2\pi}}\right)^n \exp\left(-\frac{n(\bar{x}-\mu)^2}{2\sigma^2}\right) \exp\left(-\frac{\sum_{i=1}^{n}(x_i-\bar{x})^2}{2\sigma^2}\right)
$$

と変形できます。

</div>
</div>







<div class="columns">
<div class="column">


## 標本平均と偏差二乗和の組


同時確率密度関数は、
$$f(x₁, ..., xₙ; μ, σ²) = \left(\frac{1}{\sigma\sqrt{2\pi}}\right)^n \exp\left(-\frac{n(\bar{x}-\mu)^2}{2\sigma^2}\right) \exp\left(-\frac{\sum_{i=1}^{n}(x_i-\bar{x})^2}{2\sigma^2}\right)$$
です。$\theta = (\mu, \sigma^2)$とします。



ここで、

*   $$g(\bar{x}, {\sum_{i=1}^{n}(x_i-\bar{x})^2}; μ, σ²) := \left(\frac{1}{\sigma\sqrt{2\pi}}\right)^n \exp\left(-\frac{n(\bar{x}-\mu)^2}{2\sigma^2}\right) \exp\left(-\frac{\sum_{i=1}^{n}(x_i-\bar{x})^2}{2\sigma^2}\right)$$
*   $$h(x_1, ..., x_n) := 1$$

と定義すれば、

</div>
<div class="column">



$$f(x₁, ..., xₙ; μ, σ²) = g(\bar{x}, {\sum_{i=1}^{n}(x_i-\bar{x})^2}; μ, σ²) * h(x_1, ..., x_n)$$
と表せます。

よって、統計量$T(x) = (T_1(x), T_2(x)) = (\bar{x}, {\sum_{i=1}^{n}(x_i-\bar{x})^2})$は、$\theta =(\mu, \sigma^2)$ の十分統計量です。


```plantuml
@startuml
rectangle "同時確率密度関数\n f(x₁, ..., xₙ; μ, σ²)" as f
rectangle "g(統計量; μ, σ²)" as g
rectangle "h(x)\n h(x₁, ..., xₙ) = 1" as h

f -- g : 因子分解
f -- h : 因子分解


note left of g
標本平均と偏差二乗和の組は
母平均と母分散の
十分統計量
end note

@enduml
```




</div>
</div>





<div class="columns">
<div class="column">


## 標本平均と標本分散の組

同時確率密度関数は、
$$f(x₁, ..., xₙ; μ, σ²) = \left(\frac{1}{\sigma\sqrt{2\pi}}\right)^n \exp\left(-\frac{n(\bar{x}-\mu)^2}{2\sigma^2}\right) \exp\left(-\frac{\sum_{i=1}^{n}(x_i-\bar{x})^2}{2\sigma^2}\right)$$
です。$\theta = (\mu, \sigma^2)$とします。

標本分散を、$s^2 = \frac{1}{n} \sum_{i=1}^{n} (x_i - \bar{x})^2$とし、

*   $$g(\bar{x}, s^2; μ, σ²) := \left(\frac{1}{\sigma\sqrt{2\pi}}\right)^n \exp\left(-\frac{n(\bar{x}-\mu)^2}{2\sigma^2}\right) \exp\left(-\frac{ns^2}{2\sigma^2}\right)$$
*   $$h(x_1, ..., x_n) := 1$$
と定義すれば、

</div>
<div class="column">



$$f(x₁, ..., xₙ; μ, σ²) = g(\bar{x}, s^2; μ, σ²) * h(x_1, ..., x_n)$$
と表せます。

よって、統計量$T(x) = (T_1(x), T_2(x)) = (\bar{x}, s^2)$は、$\theta =(\mu, \sigma^2)$ の十分統計量です。


```plantuml
@startuml
rectangle "同時確率密度関数\n f(x₁, ..., xₙ; μ, σ²)" as f
rectangle "g(統計量; μ, σ²)" as g
rectangle "h(x)\n h(x₁, ..., xₙ) = 1" as h

f -- g : 因子分解
f -- h : 因子分解


note left of g
標本平均と標本分散の組は
母平均と母分散の
十分統計量
end note


@enduml
```


</div>
</div>









<div class="columns">
<div class="column">

## 標本分散と標本平均の組

$(S^2, \bar{X})$ と $(\bar{X}, S^2)$ は、統計量の組として同じ情報を保持しているため、 標本分散 $S^2$と標本平均 $\bar{X}$ の組は $\theta =(\mu, \sigma^2)$ の十分統計量です。

</div>
<div class="column">


## 標本平均と標本分散、データの具体的な値の組

* $(\bar{X}, S^2)$ が十分統計量であることは確認しました。
* ($\bar{X}$, $S^2$, $X_1$) は、($\bar{X}$, $S^2$) に $X_1$ という **追加の情報** を加えたものです。

したがって、($\bar{X}$, $S^2$, $X_1$) は、$(\bar{X}$, $S^2$) と同じく、パラメータ ($\mu, \sigma^2$) に関する全ての情報を含んでおり、十分統計量となります。


</div>
</div>





<div class="columns">
<div class="column">

## 母平均と母分散の最尤推定量の組
正規分布のパラメータ $\mu$ と $\sigma^2$ の最尤推定量は、それぞれ
*   $\hat{\mu} = \bar{x} = \frac{1}{n}\sum_{i=1}^{n}x_i$  (標本平均)
*   $\hat{\sigma^2} = \frac{1}{n}\sum_{i=1}^{n}(x_i - \bar{x})^2$ (標本分散)

です。

標本平均 $\bar{X}$ と 標本分散 $S^2$ は $\theta =(\mu, \sigma^2)$ の十分統計量のため、母平均と母分散の最尤推定量の組は、母平均と母分散の十分統計量です。

</div>
<div class="column">

</div>
</div>