E資格勉強用(応用数学)

第一章　線形代数

1.1　固有値と固有ベクトルとは
n×n の行列 A に対し

```math
A\vec{x}=λ\vec{x}
```
を満たす
「 0 → でないベクトル  x →」と「スカラー λ 」の組み合わせが
存在するとき、
x → を「A の固有ベクトル」と言い、λ を「A の固有値」と言います。

計算の具体例

```math
\begin{pmatrix}
1 & 4 \\
2 & 3
\end{pmatrix}
```
の固有値、固有ベクトルを求めよ

```math
A\vec{x}=λ\vec{x}
```
```math
(A-λI)\vec{x}=\vec{0}
```
```math
\vec{x}\neq\vec{0}より
```
```math
｜A-λI｜=\vec{0}
```
```math
\begin{vmatrix}
1-λ　& 4 \\
2 & 3-λ
\end{vmatrix}
＝0
```
```math
(1-λ)(3-λ)-4×2=0
```
```math
λ=5,-1
```
```math
\begin{pmatrix}
1 & 4 \\
2 & 3
\end{pmatrix}
\times
\begin{pmatrix}
x_1  \\
x_2 
\end{pmatrix}
=
5\begin{pmatrix}
x_1  \\
x_2 
\end{pmatrix}
```
よって

```math
x_1
=
x_2
```

<br/>

```math
\begin{pmatrix}
1 & 4 \\
2 & 3
\end{pmatrix}
\times
\begin{pmatrix}
x_1  \\
x_2 
\end{pmatrix}
=
-1\begin{pmatrix}
x_1  \\
x_2 
\end{pmatrix}
```
よって

```math
x_1
=
-2x_2
```
<br/>

したがって
λ=5のとき

```math
\vec{x}
=
\begin{pmatrix}
1 \\
1
\end{pmatrix}
```
の定数倍

λ=-1のとき

```math
\vec{x}
=
\begin{pmatrix}
2 \\
-1
\end{pmatrix}
```
の定数倍

1.2　固有値分解

正方行列Aが固有値λ1,λ2,λ3・・・と固有ベクトルv1,v2,v3・・・ を持つとき、
この固有値を対角線状に並べた行列は以下の式で示される。

```math
A=
\begin{pmatrix}
λ_1 &\ 
 &\ λ_2 &\ 
& \cdots &
 &\   λ_n
\end{pmatrix}
```
そして、それらに対応する固有ベクトルを並べた行列は以下の式で表される。

```math
V=
\begin{pmatrix}
\vec{v_1} &\ 
 &\ \vec{v_2}  &\ 
& \cdots &
 &\   \vec{v_n} 
\end{pmatrix}
```
これは以下の式で示される。

```math
AV=
VA
```

```math
A=VAV^{-1}
```

以上のような正方行列を行列の積へ変換することを固有値分解と言う。

計算の具体例

```math
\begin{pmatrix}
2 & 1 \\
0 & 6
\end{pmatrix}
```
の固有値分解をせよ

```math
A\vec{x}=λ\vec{x}
```
```math
(A-λI)\vec{x}=\vec{0}
```
```math
\vec{x}\neq\vec{0}より
```
```math
｜A-λI｜=\vec{0}
```
```math
\begin{vmatrix}
2-λ　& 1 \\
0 & 6-λ
\end{vmatrix}
＝0
```
```math
(2-λ)(6-λ)=0
```
```math
λ=2,6
```
```math
\begin{pmatrix}
2 & 1 \\
0 & 6
\end{pmatrix}
\times
\begin{pmatrix}
x_1  \\
x_2 
\end{pmatrix}
=
2\begin{pmatrix}
x_1  \\
x_2 
\end{pmatrix}
```
よって

```math
x_2
=
0
```

<br/>

```math
\begin{pmatrix}
2 & 1 \\
0 & 6
\end{pmatrix}
\times
\begin{pmatrix}
x_1  \\
x_2 
\end{pmatrix}
=
6\begin{pmatrix}
x_1  \\
x_2 
\end{pmatrix}
```
よって

```math
4x_1
=
x_2
```
<br/>

したがって
λ=2のとき

```math
\vec{x}
=
\begin{pmatrix}
1 \\
0
\end{pmatrix}
```
の定数倍

λ=6のとき

```math
\vec{x}
=
\begin{pmatrix}
1 \\
4
\end{pmatrix}
```
の定数倍

<br/>

つまり

```math
\begin{pmatrix}
2 & 1 \\
0 & 6
\end{pmatrix}
=
\begin{pmatrix}
1 & 1 \\
0 & 4
\end{pmatrix}
\times
\begin{pmatrix}
2 & 0 \\
0 & 6
\end{pmatrix}
\times
\begin{pmatrix}
1 & 1 \\
0 & 4
\end{pmatrix}
^{-1}
```
```math
\begin{pmatrix}
2 & 1 \\
0 & 6
\end{pmatrix}
=
\begin{pmatrix}
1 & 1 \\
0 & 4
\end{pmatrix}
\times
\begin{pmatrix}
2 & 0 \\
0 & 6
\end{pmatrix}
\times
\begin{pmatrix}
1 & -1/4 \\
0 & 1/4
\end{pmatrix}
```

1.3 特異値・特異ベクトル


```math
M\vec{v}
=
\sigma\vec{u}
```
```math
M^T\vec{v}
=
\sigma\vec{u}
```

特異値は、ベクトルu,vに対応する実数σのことである。特異値ベクトルは、上記の式のベクトルu,vのことである。

1.4 特異値分解

特異値分解は、行列分解の方法の一つで、固有値分解とは違い正方行列でなくても実施できる。また、画像圧縮などの統計処理にも使用される。

計算の具体例

```math
M＝
\begin{pmatrix}
1 & 2 & 3\\
3 & 2 & 1
\end{pmatrix}
```
の特異値分解をせよ

```math
MM^T＝
\begin{pmatrix}
1 & 2 & 3\\
3 & 2 & 1
\end{pmatrix}
\left(
\begin{array}{ccc}
1 & 3  \\
2 & 2  \\
3 & 1  \\
\end{array}
\right)
=
\begin{pmatrix}
14 & 10 \\
10 & 14
\end{pmatrix}
```
これを固有分解して

```math
\begin{pmatrix}
14 & 10 \\
10 & 14
\end{pmatrix}
=
\begin{pmatrix}
1/\sqrt{2} & -1/\sqrt{2} \\
1/\sqrt{2} & -1/\sqrt{2}
\end{pmatrix}
\begin{pmatrix}
24 & 0 \\
0 & 4
\end{pmatrix}
\begin{pmatrix}
1/\sqrt{2} & -1/\sqrt{2} \\
1/\sqrt{2} & -1/\sqrt{2}
\end{pmatrix}
^{-1}
```
<br/>

```math
M^TM＝
\left(
\begin{array}{ccc}
1 & 3  \\
2 & 2  \\
3 & 1  \\
\end{array}
\right)
\begin{pmatrix}
1 & 2 & 3\\
3 & 2 & 1
\end{pmatrix}
=
\left(
\begin{array}{ccc}
10 & 8 & 6 \\
8 & 8 & 8 \\
6 & 8 & 10 \\
\end{array}
\right)
```

```math
\left(
\begin{array}{ccc}
10 & 8 & 6 \\
8 & 8 & 8 \\
6 & 8 & 10 \\
\end{array}
\right)
=
\left(
\begin{array}{ccc}
1/\sqrt{3} & 1/\sqrt{2} & 1/\sqrt{6} \\
1/\sqrt{3} & 0 & -21/\sqrt{6} \\
1/\sqrt{3} & -1/\sqrt{2} & 1/\sqrt{6} \\
\end{array}
\right)
\left(
\begin{array}{ccc}
24 & 0 & 0 \\
0 & 4 & 0 \\
0 & 0 & 0 \\
\end{array}
\right)
\left(
\begin{array}{ccc}
1/\sqrt{3} & 1/\sqrt{2} & 1/\sqrt{6} \\
1/\sqrt{3} & 0 & -21/\sqrt{6} \\
1/\sqrt{3} & -1/\sqrt{2} & 1/\sqrt{6} \\
\end{array}
\right)
^{-1}
```

```math
\begin{pmatrix}
1 & 2 & 3\\
3 & 2 & 1
\end{pmatrix}
=
\begin{pmatrix}
1/\sqrt{2} & -1/\sqrt{2} \\
1/\sqrt{2} & 1/\sqrt{2} 
\end{pmatrix}
\left(
\begin{array}{ccc}
2\sqrt{6} & 0 & 0 \\
0 & 2 & 0 \\
\end{array}
\right)
\left(
\begin{array}{ccc}
1/\sqrt{3} & 1/\sqrt{3} & 1/\sqrt{3} \\
1/\sqrt{2} & 0 & -1/\sqrt{2} \\
1/\sqrt{6} & -2/\sqrt{6} & 1/\sqrt{6} \\
\end{array}
\right)
```

第二章　確率・統計

1.1 条件付き確率
条件付き確率とは、ある事象が起こるという条件のもとで、別のある事象が起こる確率のことである。

```math
P( A | B )={P(A \cap B)}/{P(B)}\\
```
1.2　ベイズ測
ベイズ則とは、P(B|A) の逆確率である P(A|B) は、「P(B|A) と P(A) の積を P(B) で割る」ことで求められるとするものである。

```math
P(A|B)=P(B|A)P(A)/P(B)
```
2.3　期待値と分散
期待値は、一回の試行の結果として期待される値の大きさのことである。分散は確率変数の散らばり具合のことである。
期待値の計算式

```math
\sum_{k=1}^{n}P（X＝x_k）f(X=x_k)
```
分散の計算式

```math
\int P（X＝x)f(X=x)dx \\
```
2.4 様々な確率分布
確率分布には、ベルヌーイ分布、マルチヌーイ分布、二項分布、
ガウス分布などがある。

第三章　情報理論

3.1 自己情報量・シャノンエントロピー

自己情報量とは、情報がもたらす系の状態の不確定さの減少分のことである。シャノンエントロピーとは、情報量の期待値のことである。

自己情報量の式

```math
I(x)=-\log_a (P(x)) = \log_a (W(x))
```
単位は、対数の底が2の時ときはビットで、底がeの場合はnatである。

シャノンエントロピーの式

```math
H(x)=-\sum (P(x)\log(P(x)))
```
3.2 KLダイバージェンス・交差エントロピー

KLダイバージェンスとは、同じ事象・確率変数における確率分布のP,Qの違いのことである。

KLダイバージェンスの式

```math
D_{KL}(P||Q)=\sum_{x}P(x)(-log(Q(x))-(-log(P(x))=\sum_{x}P(x)log(P(x)/Q(x))
```
交差エントロピーは、KLダイバージェンスの一部分を取り出したもので、Qについての自己情報量をPの分布で平均している。

交差エントロピーの式

```math
H(P,Q)=H(P)+D_{KL}(P||Q)
```