PRML 第1章 序論 演習問題

### Q1.1
<img width="564" alt="スクリーンショット 2020-06-08 1.31.17.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/381710/ef869caf-dbf6-40bf-0ad3-4dc4c5921570.png">


<img width="525" alt="スクリーンショット 2020-06-08 1.31.45.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/381710/9871dc99-6eb4-7c22-532e-

### Q1.2

<img width="526" alt="スクリーンショット 2020-06-08 1.32.21.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/381710/73555474-2991-578e-cf4a-f54561fa573c.png">

### Q1.3

<img width="668" alt="スクリーンショット 2020-06-08 1.33.14.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/381710/2eb77981-7c0d-6e58-72df-128a78642c6b.png">
<img width="682" alt="スクリーンショット 2020-06-08 1.33.26.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/381710/1f572a52-f1d6-6e7d-e8b6-0d4673491d68.png">

Q1.4
例をあげると、$0≦x≦1$として、
$P_x(x) = 6x(1-x)$
ていう確率分布を考えたとすると、
$P_x(x)$は、$x=\frac{1}{2}$で最大値$\frac{3}{2}$3/2をとります。
で、これを例えば、$x = g(y) = y^2$ ていう変数変換すると、$y$の確率密度関数は、
$P_y(y) = Px(x)*|g'(y)| = 12y^3(1-y^2)$
になります。$P_y(y)は、y=\sqrt{\frac{3}{5}}$で最大値をとります。

非常に単純に考えれば、もともと、$x=g(y)$なんだから、
$P_x(x)$が最大値をとる$x=\frac{1}{2}$と、$P_y(y)$が最大値をとる
$y=\sqrt{\frac{3}{5}}$との間には、$\frac{1}{2}=g(\sqrt{\frac{3}{5}})$
ていう関係が成り立ってそうな気がするわけですが、実際にはそうなってないよ、ってことです。



・全部計算したら算出できる
・言っていることは、非線型変換したら最大値をとるxの値とyの値は一致しませんよ
ということ。
これがヤコビ因子とどう関連しているのかは不明


### Q1.5
![2020-06-06 15-59 - Doc - p1.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/381710/82902184-b66f-11c6-ceb9-4b77032aaac2.jpeg)


### Q1.7 

参考：
- [ヤコビアンの定義と意味；２重積分の極座標変換(変数変換)の例題【微積分】](https://k-san.link/jacobian-def/)
- [1.6 重積分の変数変換](https://www2.math.kyushu-u.ac.jp/~hara/lectures/06/zoku15-060511.pdf)

重積分の１編数ガウス分布を２乗して２変数関数に変換した上で、2変数関数の重積分を解く。２変数の重積分を変数変換する際に修正行としてヤコビアン行列の行列式が修正項として働く。その修正項利用と重積分によって式(1.126)が導出できる。

![2020-06-07 11-21 - Doc - p1.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/381710/fafd26eb-454b-9dca-8460-e7d78c1b123b.jpeg)
![2020-06-07 11-21 - Doc - p2.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/381710/65489218-ef4e-5f26-ab7d-9a84ec3b0bda.jpeg)
![2020-06-07 11-21 - Doc - p3.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/381710/d5180a73-bd15-a1c6-bc34-9ad6549dd38c.jpeg)
![2020-06-07 11-21 - Doc - p4.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/381710/23c4f5e6-61b9-0703-2637-a0acd5ba74af.jpeg)

#### ヤコビアンが出てくる理由：
<img width="866" alt="スクリーンショット 2020-06-08 0.46.51.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/381710/ba1a7370-e667-db69-6ad8-6cf22c9132de.png">


### Q1.8
前半：
![2020-06-07 14-17 - Doc - p1.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/381710/9f623b58-9bb8-edb4-aaf5-9f74427d08f4.jpeg)

後半：

### Q1.9
ガウス分布(1.46)のモード（分布が最大となるxの値）が$\mu$で与えられることを示せ。同様に、多変量ガウス分布(1.52)のモードは$\mu$で与えられることを示せ。
考察：$N(x|\mu,\sigma^2)$の微分を0とおけば最大が求められるのでいいのでは？
![2020-06-07 14-33 - Doc - p1.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/381710/d78fb41c-3621-8332-152c-90716ec399f4.jpeg)

多変量ガウス微分参考
http://yuki-koyama.hatenablog.com/entry/2015/07/19/182516

![2020-06-07 16-26 - Doc - p1.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/381710/4048e589-0548-ebab-a33d-9b09ed7d5e8e.jpeg)

### Q1.10
2変数x,zが統計的に独立であるとする。それらの輪の平均と分散が(1.128)(1.129)を満たすことを示せ。

### Q1.11
![2020-06-07 20-11 - Doc - p1.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/381710/f385f06e-ff1f-61cb-3129-66d1bb473e43.jpeg)
![2020-06-07 20-11 - Doc - p2.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/381710/dd5a6fb2-9bff-aaac-71b9-87551a330c86.jpeg)

### Q1.12
##### 不明点
・なぜ急に$I_{nm}$が出てくるのか？
・計算式でやっていることはわかるのだが、本質的に何を言いたいのかがわからない。

※PART2スキップ

### Q1.13
![2020-06-07 21-09 - Doc - p1.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/381710/9ecdb98d-1e1c-0d0c-ed66-994f92930dd5.jpeg)

・これで、今までは$\sigma_{ML}^2$のサンプルの分散を求めていたが、1.56を$\mu$に置き換えることで、真の分散$\sigma^2$の予測値（期待値）になっている。

### Q1.17
![2020-06-08 00-20 - Doc - p1.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/381710/9e461a6d-7462-b9f5-7cd7-a94771183998.jpeg)

PAET2
$\Gamma(1)=1$を示し、xが整数なら$\Gamma(x+1)=x!$となることを示せ。
・ここではロピタルの定理を使うらしい。
[ロピタルの定理の条件と例題](https://mathtrain.jp/lhopital)
![2020-06-08 00-35 - Doc - p1.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/381710/0185e19c-6df0-be7b-826b-544040c85182.jpeg)


### Q1.21
![2020-06-08 01-27 - Doc - p1.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/381710/991fdda1-1780-6b6d-1ef0-5e61af450ca9.jpeg)

### Q1.22【未完了】

### Q1.23
#### 疑問：
なぜ、$p(\textbf{x}, C_k) = p(C_k)p(\textbf{x}|C_k)$となるのか。
<img width="983" alt="スクリーンショット 2020-06-09 1.18.00.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/381710/7c7502be-9d28-69ca-6565-b21e28ae4ab3.png">

### Q1.24
#### スキップ

### Q1.25
#### 疑問：途中計算ができない。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/381710/436e6923-5c8b-3ae1-a14b-601fd5d1e73f.png)

### Q1.26
#### 疑問：途中計算わからん。

### Q1.27
#### 疑問：２番目のところのq=0になるところを最小にするのは条件付きモード~~と言うところがわからない

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/381710/3b14dfee-247e-e571-3fd6-feb96db6d96f.png)
![2020-06-10 23-43 - Doc - p2.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/381710/ecaf63d3-d97d-45f6-d3f5-269c6b411c8e.jpeg)

### Q1.28
#### 疑問：最後の計算がわからない
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/381710/57c91675-5d13-91f9-b296-7605dc39a28e.png)

### Q1.29
#### 疑問：いっていることが意味不明

### Q1.30
カルバックライブラーダイバージェンスを計算せよ
https://qiita.com/ceptree/items/9a473b5163d5655420e8

Kullback-Leibler divergence ( KLダイバージェンス、KL情報量 )は、２つの確率分布がどの程度似ているかを表す尺度です。
定義：
$$| {KL(p||q) = \int_{-\infty}^{\infty}p(x)\ln \frac{p(x)}{q(x)}dx}$$

$loge = 1$と
<img width="690" alt="スクリーンショット 2020-06-11 18.06.08.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/381710/627e06c7-2d16-7a0c-1c23-ca96cee75380.png">
[リンク](https://mathwords.net/taisunokoushiki)
より


#### 疑問：結局何を現したかったのかわからない。こうだからこう！みたいな

### Q1.31

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/381710/fb9269a3-b141-868d-3cec-16363479ed59.png)


### Q1.32
#### 疑問：全体的にどう計算しているかわからん

### Q1.33