PRML　演習問題 1.9 （基本）解答

# はじめに
本記事は, 機械学習の教科書の決定版ともいえる, **Christopher Bishop先生**による[『Pattern Recognition and Machine Learning （パターン認識と機械学習）』](https://www.microsoft.com/en-us/research/people/cmbishop/prml-book/), 通称PRMLの演習問題のうち, 私が解いた問題の解答を記したものです. これは, 私の所属する[生物測定学研究室](https://www.ut-biomet.org/)の輪読会でPRMLを取り扱っており, その勉強の一環として演習問題を解いたときのものです. なお, 他の演習問題の解答例に関する記事については, [PRML　演習問題　解答集　まとめ](https://qiita.com/Lab_of_Biomet/items/15e38ca34fafa8176d89)をご覧ください.

# 問題
>ガウス分布（1.46）のモード（つまり分布が最大となる $x$ の値）が $\mu$ で与えられることを示せ。
同様に、多変量ガウス分布（1.52）のモードは $\mu$ で与えられることを示せ。

# 解答
問題からわかるように,以下の2問に分けて解いていきます。

## 問題1.9.1
>ガウス分布（1.46）のモード（つまり分布が最大となる $x$ の値）が $\mu$ で与えられることを示せ。

### 方針
(1.46)式を $x$ で微分し、これが $0$ の時に分布が最大となる。
その時の $x$ が $\mu$ であることを示せばよい。

### 証明
まず、ガウス分布（1.46）は

```math
\begin {align*}
N ( { x | \mu , \sigma^2} )  = \frac { 1 } { (2 \pi \sigma^2) ^  \frac {1}{2} } \exp \left\{-\frac{1}{2\sigma^ 2}(x-\mu)^ 2\right\}

\tag{1.46}
\end{align*}
```

である。
$x$ で微分し、これが $0$ の時を考える。

```math
\begin {align*}
\frac {d}{dx}N ( { x | \mu , \sigma^2} )  & = N (  { x | \mu , \sigma^2} ) \frac {d}{dx} \left\{ -\frac{1}{2\sigma^ 2}(x-\mu)^ 2\right\}
\\& = N (  { x | \mu , \sigma^2} ) \left\{ -\frac{x-\mu}{\sigma^2} \right\}
\\& = 0
\end{align*}
```

したがって,ガウス分布（1.46）のモードが $\mu$ で与えられる。



## 問題1.9.2
>多変量ガウス分布（1.52）のモードは $\mu$ で与えられることを示せ。

### 方針
問題1.9.1 と同様に、(1.52)式をベクトル $\mathbf x$ で微分する。

### 準備
$\mathbf　x $ を $ n×1 $ ベクトル、$\mathbf　A $  を $ n×n $ 対称行列とするとき、

```math
\frac{\partial}{\partial \mathbf{x}}\left(\mathbf{x}^{T} \mathbf{A} \mathbf{x}\right)=2 \mathbf{A} \mathbf{x}
```
を用いる。

### 解答
まず、多変量ガウス分布（1.52）は

```math
\begin {align*}
\mathcal{N} ( { \mathbf　{x} |  \boldsymbol{\mu} , \boldsymbol{\Sigma}^2} )  & =  \frac {1}{(2\pi)^\frac {D}{2}} \frac {1}{|\boldsymbol{\Sigma}|^\frac{1}{2}}  \exp \left\{ -\frac{1}{2}(\mathbf x-\boldsymbol{\mu})^ \mathbf T \boldsymbol{\Sigma} ^{-1}(\mathbf x -\boldsymbol{\mu}) \right\}
\tag{1.52}
\end{align*}
```

である。

```math
\begin{aligned}
\frac{\partial}{\partial \mathbf{x}} \mathcal{N} ( { \mathbf　x |  \mu , \Sigma^2} ) 
&=\frac{1}{(2 \pi)^{\frac{D}{2}}|\boldsymbol{\Sigma}|^{\frac{1}{2}}} \cdot \frac{\partial}{\partial \mathbf{x}} \exp \left(-\frac{1}{2}(\mathbf{x}-\boldsymbol{\mu})^{T} \boldsymbol{\Sigma}^{-1}(\mathbf{x}-\boldsymbol{\mu})\right) \\
&=\frac{1}{(2 \pi)^{\frac{D}{2}}|\boldsymbol{\Sigma}|^{\frac{1}{2}}} \cdot \frac{\partial \mathbf{z}}{\partial \mathbf{x}} \cdot \frac{\partial}{\partial \mathbf{z}} \exp \left(-\frac{1}{2} \mathbf{z}^{T} \boldsymbol{\Sigma}^{-1} \mathbf{z}\right) \quad(\mathbf{z}:=\mathbf{x}-\boldsymbol{\mu}) \\

&=\frac{1}{(2 \pi)^{\frac{D}{2}}|\boldsymbol{\Sigma}|^{\frac{1}{2}}} \cdot \mathbf{I} \cdot \frac{\partial}{\partial \mathbf{z}} \exp \left(-\frac{1}{2} \mathbf{z}^{T} \boldsymbol{\Sigma}^{-1} \mathbf{z}\right)  \\

&=\frac{1}{(2 \pi)^{\frac{D}{2}}|\boldsymbol{\Sigma}|^{\frac{1}{2}}} \cdot \mathbf{I} \cdot\left\{\exp \left(-\frac{1}{2} \mathbf{z}^{T} \boldsymbol{\Sigma}^{-1} \mathbf{z}\right) -\frac{1}{2}( 2 \boldsymbol{\Sigma}^{-1} \mathbf{z})\right\} \\

&=\frac{1}{(2 \pi)^{\frac{D}{2}}|\boldsymbol{\Sigma}|^{\frac{1}{2}}} \cdot \mathbf{I} \cdot\left\{-\exp \left(-\frac{1}{2} \mathbf{z}^{T} \boldsymbol{\Sigma}^{-1} \mathbf{z}\right) \boldsymbol{\Sigma}^{-1} \mathbf{z}\right\} \\

&=-\frac{1}{(2 \pi)^{\frac{D}{2}}|\boldsymbol{\Sigma}|^{\frac{1}{2}}} \exp \left(-\frac{1}{2}(\mathbf{x}-\boldsymbol{\mu})^{T} \boldsymbol{\Sigma}^{-1}(\mathbf{x}-\boldsymbol{\mu})\right) \boldsymbol{\Sigma}^{-1}(\mathbf{x}-\boldsymbol{\mu}) \\

&=-\mathcal{N} ( { \mathbf　x |  \mu , \Sigma^2} ) \boldsymbol{\Sigma}^{-1}(\mathbf{x}-\boldsymbol{\mu})
\end{aligned}
```
したがって, 多変量ガウス分布（1.52）のモードは $\mu$ で与えられる。

# 参考文献

* https://yuki-koyama.hatenablog.com/entry/2015/07/19/182516

* https://sioramen.sub.jp/prml_wiki/doku.php/ガウス分布の_mu_sigma_についての微分

# 更新歴
- **2024.12.30** : 本記事の体裁を整えました.
- **2021.12.3** : タグに「ガウス分布」「多変量ガウス分布」を追加しました。
- **2021.11.16** : 本記事を投稿しました。