PRML　演習問題  3.17（基本）

## はじめに
本記事は, 機械学習の教科書の決定版ともいえる, **Christopher Bishop先生**による[**『Pattern Recognition and Machine Learning （パターン認識と機械学習）』**](https://www.microsoft.com/en-us/research/people/cmbishop/prml-book/), 通称**PRMLの演習問題の解答**を記したものです. これは, [**生物測定学研究室**](https://www.ut-biomet.org/)の輪読会でPRMLを取り扱っており, その勉強の一環として演習問題を解いたときのもので, **匿名の有志の学生による解答をこちらのアカウントから代わりに投稿**させていただいています.　（なお一部数式の表現などを修正してあります.）


## 問題
><b>3.17</b> ベイズ線形回帰モデルに対するエビデンス関数が$(3.78)$に変形できることを示せ.
ただし、$E(\mathbf{w})$は$(3.79)$で定義される.

## 参考
$(3.78)$（エビデンス関数）は

```math
ベイズ線形回帰のエビデンス関数は \\
\begin {align*}
p(\mathbf{t}|\alpha,\beta) =
\left(
  \frac{\beta}{2\pi}
\right)^{N / 2}
\left(
  \frac{\alpha}{2\pi}
\right)^{M / 2}
\int\rm{exp}
\{-E(\mathbf{w})\}
d \mathbf{w}
\tag{3.78} \\
\end {align*}
```

であり、
$(3.79)$の式$\{E(\mathbf{w})\}$は

```math
また、Nを入力の次元数、M（(1.52)ではD）をパラメータの次元数とすると、\\
\begin {align*}
E(\mathbf{w}) = \beta{E}_D(\mathbf{w}) + \alpha{E}_W(\mathbf{w}) \\
= \frac{\beta}{2}||\mathbf{t} - \Phi\mathbf{w}||^2 +
\frac{\alpha}{2}\mathbf{w}^\mathbf{T}\mathbf{w} \ \tag{3.79}
\end {align*}
```

である。

## 解法
165ページにそのまま解法が書かれています。
素直に(3.11)、(3.12)、(3.52)と、多変量ガウス分布の式である

```math
\begin {align*}
{\it N}(\mathbf {x} | \boldsymbol {\mu},\boldsymbol {\Sigma}) &=
\frac{1}{(2\pi)^{M/2}} \frac{1}{|\boldsymbol {\Sigma}|^{1/2}}
\rm{exp}\left\{-\frac{1}{2}(\mathbf {x} - \boldsymbol {\mu} )^ \mathrm { T }\boldsymbol {\Sigma}^{-1}(\mathbf {x} - \boldsymbol {\mu} )\right\} \\
\tag{1.52}
\end {align*}

```
をそのまま使います。
まず、$(3.77)$よりベイズ線形回帰のエビデンス関数は

```math
\begin {align*}
p(\mathbf{t}|\alpha,\beta) = \int
p(\mathbf{t}|\mathbf{w},\beta)
p(\mathbf{w}|\alpha)
\rm{d}\mathbf{w}
\tag{3.77}
\end {align*}
```

であるため、$p(\mathbf{t}|\mathbf{w},\beta)$には$(3.11)$を、

```math
\begin {align*}
\it{p}\left (\mathbf{t}|\mathbf{w},\beta\right )  = \rm{exp}\left (\rm{ln}\it{p}\left (\mathbf{t}|\mathbf{w},\beta\right )  \right )
&= \rm{exp}\left (\sum_{n = 1}^N\rm{ln}\it{N}\left ({t_n} | \mathbf{w}^\rm{T}\phi\left (\mathbf{x}_n\right ),\beta\right ) \right )\\
&= \rm{exp}\left (\frac{N}{2}\rm{ln}{\frac{\beta}{2\pi}} - \beta{E}_D\left (\mathbf{w}\right )\right ) \\
&= \left (\frac{\beta}{2\pi}\right )^{N/2} -\rm{exp}\{\beta{E}_D\left (\mathbf{w}\right )\}
\tag{3.11改変}
\end {align*} \\
```

```math
ただし\mathbf{x}は省略されるため、 \\
\begin {align*}
E_D\left (\mathbf{w}\right ) &= \frac{1}{2}\sum_{n=1}^{N}\{t_n - \mathbf{w}^{\mathbf{T}}\phi\left (\mathbf{x}_n\right )\}^2 \\
&=　\frac{1}{2} ||\mathbf{t} - \boldsymbol{\Phi}\mathbf{w}||^2
\tag{3.12改変}
\end {align*} \\
```

$p\left (\mathbf{w}|\alpha\right )$には${\alpha}^{-1}\mathbf{I}$の絶対値が${\alpha}^{-M}$であることにより、

```math
\begin {align*}
p\left (\mathbf{w}|\alpha\right )  &=
 {\it N}\left (\mathbf {w} | \boldsymbol {0},\boldsymbol {{\alpha}^{-1}\mathbf{I}}\right ) \\
&= \frac{1}{\left (2\pi\right )^{M/2}} \frac{1}{|\alpha^{-1}\mathbf{I}|^{1/2}}
\rm{exp}\left\{-\frac{1}{2}\mathbf {w}^ \mathrm { T }
\left (\alpha^{-1}\mathbf{I}\right )^{-1}
\mathbf {w}\right\} \\
&= \left (\frac{\alpha}{2\pi}\right )^{M/2}\rm{exp}\left (-\frac{\alpha}{2}\mathbf {w}^ \mathrm { T }\mathbf {w}\right )
&\tag{1.52改変}
\end {align*}
```

をそれぞれ代入すると、$\mathbf{x}$は省略されているため、

```math
\begin {align*}
p\left (\mathbf{t}|\alpha,\beta\right ) &= \int
p\left (\mathbf{t}|\mathbf{w},\beta\right )
p\left (\mathbf{w}|\alpha\right )\rm{d}\mathbf{w} \\
&= \int
\left\{\left (\frac{\beta}{2\pi}\right )^{N/2} -\rm{exp}\{\beta{E}_D\left (\mathbf{w}\right )\}\}
\left (\frac{\alpha}{2\pi}\right )^{M/2}\rm{exp}\{\left (-\frac{\alpha}{2}\mathbf {w}^ \mathrm { T }\mathbf {w}\right )\right\}
\rm{d}\mathbf{w} \\
&=  \left (\frac{\beta}{2\pi}\right )^{N/2}\left (\frac{\alpha}{2\pi}\right )^{M/2}
\int \rm{exp}\left\{\frac{\beta}{2} ||\mathbf{t} - \boldsymbol{\Phi}\mathbf{w}||^2\ + \frac{\alpha}{2}\mathbf{w}^{\mathbf{T}}\mathbf{w}\right\}\rm{d}\mathbf{w} \\
&=  \left (\frac{\beta}{2\pi}\right )^{N/2}\left (\frac{\alpha}{2\pi}\right )^{M/2}
\int
\rm{exp}\{-E\left (\mathbf{w}\right )\}
\rm{d}\mathbf{w}
\end {align*}
```