ベイズ推定２：正規分布のベイズ推定

[「ベイズ推定１：条件付確率でわかるベイズ推定」](https://qiita.com/msekino/items/e306a25f238424ef5909)に続き、ベイズ推定の解説記事第２回です。

# 正規分布のベイズ推定
具体的なモデルでの事後分布の導出に進む前に、少し補足すると事後分布

```math
p(\theta|\{x_n\}_{n=1}^N)
 = \frac{p(\{x_n\}_{n=1}^N|\theta) p(\theta)}{p(\{x_n\}_{n=1}^N)}
```
の右辺分子の$p(\\{x_n\\}\_{n=1}^N|\theta)$は尤度、$p(\theta)$は$\theta$の事前分布です。右辺分母は$p(\\{x_n\\}\_{n=1}^N)= \int p(\\{x_n\\}\_{n=1}^N,\theta) d\theta$で、正規化定数です。**定数なので事後分布の関数形は分子で決まる**、というのは具体的に事後分布を求める際によく使います。

正規分布のベイズ推定をしてみます。簡単のため精度パラメータ（分散の逆数）$\lambda$については既知、平均$\mu$が未知とします。

```math
\begin{align}
p(x;\mu)
 &= \mathcal{N}(x;\mu,\lambda^{-1}) \\
 &= \frac{1}{\sqrt{2\pi\lambda^{-1}}} \exp\left(
     -\frac{\lambda}{2} (x-\mu)^2
    \right)
\end{align}
```
$\mu$の事前分布を（いったん、ここでは天下りで）正規分布

```math
\begin{align}
p(\mu)
 &= \mathcal{N}(\mu;\mu_0,\alpha_0^{-1}) \\
 &= \frac{1}{\sqrt{2\pi\alpha_0^{-1}}}
    \exp\left( -\frac{\alpha_0}{2} (\mu-\mu_0)^2 \right)
\end{align}
```
とします。観測値$\\{x_n\\}\_{n=1}^N$に基づいて$\mu$についてベイズ推定してみます。
事後分布の対数は

```math
\begin{align}
&\ln p(\mu|\{x_n\}_{n=1}^N) \\
 &= \ln p(\{x_n\}_{n=1}^N|\mu) + \ln p(\mu) - \ln p(\{x_n\}_{n=1}^N) \\
 &= \ln \prod_{n=1}^N \mathcal{N}(x_n;\mu,\lambda^{-1})
  + \ln \mathcal{N}(\mu;\mu_0,\alpha_0^{-1})
  + {\rm const.} \\
 &= \sum_{n=1}^N \ln \mathcal{N}(x_n;\mu,\lambda^{-1})
  + \ln \mathcal{N}(\mu;\mu_0,\alpha_0^{-1})
  + {\rm const.} \\
 &= - \frac{\lambda}{2} \sum_{n=1}^N (x_n - \mu)^2
    - \frac{\alpha_0}{2} (\mu - \mu_0)^2
    + {\rm const.} \tag{1}
\end{align}
```
です。$\mu$についての関数形を求めようとしているので、$\mu$に関係のない項は${\rm const.}$にまとめています。$\mu$について二次関数になっています。分布の対数が二次関数になる分布は正規分布と言えば・・、事後分布は正規分布

```math
\begin{align}
\mathcal{N}(\mu;\mu_N,\alpha_N^{-1})
 &= \frac{1}{\sqrt{2\pi\alpha_N^{-1}}} \exp \left(
     -\frac{\alpha_N}{2} (\mu-\mu_N)^2
    \right) \tag{2}
\end{align}
```
です。平行完成して、$\mu$が従う正規分布の平均パラメータと分散パラメータを求めます。$(1)$式

```math
\begin{align}
&-\frac{\lambda}{2} \sum_{n=1}^N (x_n - \mu)^2 - \frac{\alpha_0}{2} (\mu - \mu_0)^2 + {\rm const.} \\
&= -\frac{1}{2} \left\{
     \left( \alpha_0 + N \lambda \right) \mu^2
  -2 \left( \alpha_0 \mu_0 + \lambda \sum_{n=1}^N x_n \right) \mu
   \right\} + {\rm const.}
\end{align}
```
と、$(2)$式の対数

```math
\begin{align}
-\frac{\alpha_N}{2} (\mu - \mu_N)^2 + {\rm const.}
 &= -\frac{1}{2} \left\{
     \alpha_N \mu^2
  -2 \alpha_N \mu_N \mu
   \right\} + {\rm const.}
\end{align}
```
の係数を対応させて

```math
\begin{align}
\alpha_N &= \alpha_0 + N \lambda \\
\mu_N
 &= \alpha_N^{-1} \left( \alpha_0 \mu_0 + \lambda \sum_{n=1}^N x_n \right) \\
 &= (\alpha_0 + N \lambda)^{-1} \left( \alpha_0 \mu_0 + \lambda \sum_{n=1}^N x_n \right)
\end{align}
```
を得ます。

以上より、$\mu$の事後分布は

```math
\begin{align}
p(\mu|\{x_n\}_{n=1}^N)
 &= \mathcal{N}(\mu;\mu_N,\alpha_N^{-1}) \\
\mu_N
 &= (\alpha_0 + N \lambda)^{-1} \left( \alpha_0 \mu_0 + \lambda \sum_{n=1}^N x_n \right) \\
\alpha_N
 &= \alpha_0 + N \lambda
\end{align}
```
と求まりました。事前分布の精度パラメータを$\alpha_0 \rightarrow 0$（分散を無限に）とすると

```math
\begin{align}
\mu_N &\rightarrow \frac{1}{N} \sum_{n=1}^N x_n \\
\alpha_N &\rightarrow N \lambda
\end{align}
```
となり、事後分布の平均$\mu_N$はサンプル平均に、分散$\alpha_N^{-1}$はサンプルが従う分散$\lambda^{-1}$の$N$分の$1$になります。
予測分布は

```math
\begin{align}
p(X|\{x_n\}_{n=1}^N)
 &= \int p(X|\mu) p(\mu|\{x_n\}_{n=1}^N) d\mu \\
 &= \int \mathcal{N}(X;\mu,\lambda^{-1}) \mathcal{N}(\mu;\mu_N,\alpha_N^{-1}) d\mu \\
 &= \mathcal{N}(X;\mu_N,\alpha_N^{-1} + \lambda^{-1})
\end{align}
```
です。

次回は[「ベイズ推定３：共役事前分布」](https://qiita.com/msekino/items/7a240bcca2cb32600e13)です。