PRMLのメモ


## 式 1.57、1.58
本にはStraight forwardに導出できるよと書いてあるけど、自分には全くStraight forwardじゃなかったので、その導出メモ

### おさらい
まずは、平均(1.55)と分散(1.56)の式

$$ 
\begin{align}
\mu_{ML} &= \frac{1}{N}\sum_{n=1}^{N}x_n \tag{1.55} 
\\\ 
\sigma^2_{ML} &= \frac{1}{N}\sum_{n=1}^{N}\bigl(x_n - \mu_{ML}\bigr)^2 \tag{1.56} 
\end{align}
$$

ここから、次が導出できる

$$ 
\begin{align}
E[\mu_{ML}] &= \mu \tag{1.57} \\\ 
E[\sigma^2_{ML}] &= \frac{N - 1}{N}\sigma^2 \tag{1.58} 
\end{align}
$$

ここで、$\mu$と$\sigma$はそれぞれ、$x_n$のもととなる確率分布の平均と標準偏差で、式は、$\mu_{ML}$の期待値は、真の平均$\mu$と一致するが、$\sigma^2_{ML}$の期待値は、真の分散$\sigma^2$に一致せず、ずれが生じることを表している

### 導出
まずはじめに、期待値が次の性質(線形性)を満たすことを思い出しておく

$$
\begin{align}
&E[ax_n] = aE[x_n] \\\
&E[\sum_{n=1}^{N}x_n] = \sum_{n=1}^{N}E[x_n]
\end{align}
$$

#### 1.57の導出

$$
\begin{align}
E[\mu_{ML}] &= E[\frac{1}{N}\sum_{n=1}^{N}x_n] \\\
&= \frac{1}{N}E[\sum_{n=1}^{N}x_n] \tag{A} \\\
&= \frac{1}{N}\sum_{n=1}^{N}E[x_n] \tag{B} \\\
&= \frac{1}{N}\sum_{n=1}^{N}\mu \\\
&= \frac{1}{N}N\mu \\\
&= \mu
\end{align}
$$

途中、AとBは期待値の線形性をそれぞれ利用した

#### 1.58の導出

$$
\begin{align}
E[\sigma^2_{ML}] &= E[\frac{1}{N}\sum_{n=1}^{N}\bigl(x_n - \mu_{ML}\bigr)^2] \\\
&= \frac{1}{N}E[\sum_{n=1}^{N}\bigl(x_n - \mu_{ML}\bigr)^2] \tag{C} \\\
&= \frac{1}{N}E[\sum_{n=1}^{N}\bigl(x_n^2 - 2x_n\mu_{ML} + \mu_{ML}^2\bigr)] \\\
&= \frac{1}{N}\sum_{n=1}^{N}\bigl(E[x_n^2] - E[2x_n\mu_{ML}] + E[\mu_{ML}^2]\bigr) \tag{D}
\end{align}
$$

途中、C、Dは期待値の線形性を利用した。
上記より、次の3つを計算すれば良いことがわかる

$$
\begin{align}
&E[x_n^2] \tag{E} \\\
&E[2x_n\mu_{ML}] \tag{F} \\\
&E[\mu_{ML}^2] \tag{G}
\end{align}
$$

##### Eの導出
これは、期待値と分散の定義そのままなので、

$$
\begin{align}
E[x_n^2] &= \mu^2 + \sigma^2
\end{align}
$$

##### Fの導出

$$
\begin{align}
E[2x_n\mu_{ML}] &= E[2x_n\frac{1}{N}\sum_{n=1}^{N}x_n] \\\
&= 2\frac{1}{N}E[x_n\sum_{n=1}^{N}x_n] \\\
&= 2\frac{1}{N}E[\sum_{m=1}^{N}x_nx_m] \\\
&= 2\frac{1}{N}\sum_{m=1}^{N}E[x_nx_m]
\end{align}
$$

ここで、$n = m$のとき、

$$
\begin{align}
E[x_nx_n] = E[x_n^2] = \mu^2 + \sigma^2
\end{align}
$$

また、$n \neq m$のとき、$x_n$と$x_m$は互いに独立なので、

$$
\begin{align}
E[x_nx_m] = E[x_n]E[x_m] = \mu^2
\end{align}
$$

したがって、

$$
\begin{align}
E[2x_n\mu_{ML}] &= 2\frac{1}{N}\sum_{m=1}^{N}E[x_nx_m] \\\
&= 2\frac{1}{N}(\mu^2 + \sigma^2 + (N-1)\mu^2) \\\
&= 2\mu^2 + \frac{2\sigma^2}{N}
\end{align}
$$

##### Gの導出

$$
\begin{align}
E[\mu_{ML}^2] &= E[(\frac{1}{N}\sum_{n=1}^{N}x_n)^2] \\\
&= \frac{1}{N^2}E[(\sum_{n=1}^{N}x_n)^2] \\\
&= \frac{1}{N^2}E[(\sum_{n=1}^{N}x_n)\times(\sum_{n=1}^{N}x_n)]
\end{align}
$$

ここで、

$$
\begin{align}
(\sum_{n=1}^{N}x_n)(\sum_{n=1}^{N}x_n) &= (x_1 + \cdots + x_N)\times(x_1 + \cdots + x_N) \\\
&= x_1(x_1 + \cdots + x_N) + \cdots + x_N(x_1 + \cdots + x_N) \\\
&= x_1(\sum_{n=1}^{N}x_n) + \cdots + x_N(\sum_{n=1}^{N}x_n) \\\
&= \sum_{m=1}^{N}\sum_{n=1}^{N}x_mx_n
\end{align}
$$

したがって、

$$
\begin{align}
E[\mu_{ML}^2] &= \frac{1}{N^2}E[(\sum_{n=1}^{N}x_n)\times(\sum_{n=1}^{N}x_n)] \\\
&= \frac{1}{N^2}E[\sum_{m=1}^{N}\sum_{n=1}^{N}x_mx_n] \\\
&= \frac{1}{N^2}\sum_{m=1}^{N}\sum_{n=1}^{N}E[x_mx_n] \\\
&= \frac{1}{N^2}\sum_{m=1}^{N}(N\mu^2 + \sigma^2) \tag{Fより} \\\
&= \frac{1}{N^2}(N^2\mu^2 + N\sigma^2) \\\
&= \mu^2 + \frac{\sigma^2}{N}
\end{align}
$$

##### 最終結果
E,F,Gの計算結果から

$$
\begin{align}
E[\sigma^2_{ML}] &= \frac{1}{N}\sum_{n=1}^{N}\bigl(E[x_n^2] - E[2x_n\mu_{ML}] + E[\mu_{ML}^2]\bigr) \\\
&= \frac{1}{N}\sum_{n=1}^{N}\bigl(\mu^2 + \sigma^2 - (2\mu^2 + \frac{2\sigma^2}{N}) + \mu^2 + \frac{\sigma^2}{N}\bigr) \\\
&= \frac{1}{N}\sum_{n=1}^{N}\bigl(\frac{N - 1}{N}\sigma^2\bigr) \\\
&= \frac{N-1}{N}\sigma^2
\end{align}
$$

お疲れ様でした。