応用数学 report 


# 応用数学



## 第一章 線形代数
### 目標
1) 固有値・固有ベクトルの求め方を確認する。
2) 固有値分解について理解を深める。
3) 特異値・特異ベクトルの概要を知る。
4) 特異値分解の概要を知る。

### ベクトルと行列
列ベクトル

```math
\begin{pmatrix}
a_{1}\\
a_{2}\\
\vdots\\
a_{n}
\end{pmatrix}
```

行ベクトル
$$
\begin{pmatrix}
a_{1}  & a_{2} & \cdots & a_{n}
\end{pmatrix}
$$
行列

```math
\begin{pmatrix}
a_{11}  & a_{12} & \cdots & a_{1n}\\
a_{21}  & a_{22} & \cdots & a_{2n}\\
\vdots &   \vdots   & \ddots & \vdots \\
a_{n1}  & a_{n2} & \cdots & a_{nn} 
\end{pmatrix}
```

### 連立方程式を行列でとく
ルール
* i行目をc倍する(両辺に単位行列のi行i列目をcにしたものを左からかける)
* s行目にt行目のc倍を加える(両辺に単位行列のs行目にt行目のc倍を加えたものを左からかける)
* p行目とq行目を入れ替える(両辺に単位行列のp行目とq行目を交換したものを左からかける)
### 連立方程式を解く流れ
{で括られた方には便宜上係数が0の項も入力する。


```math
\left\{
    \begin{array}{l}
      x_1 + 4x_2=7\\
     2x_1+6x_2=10
    \end{array}
  \right.\\
 \begin{pmatrix}1 & 4\\2 & 6\\\end{pmatrix}
 \begin{pmatrix}x_1\\x_2\end{pmatrix}=
 \begin{pmatrix}7\\10\end{pmatrix}
```

2行目を1/2倍する($\begin{pmatrix}1&0\\\0&1/2\end{pmatrix}$を両辺に左からかける)


```math
\left\{
    \begin{array}{l}
      x_1 + 4x_2=7\\
     x_1+3x_2=5
    \end{array}
  \right. \\
  \begin{pmatrix}1&0\\0&1/2\\\end{pmatrix}
  \begin{pmatrix}1 & 4\\2 & 6\\\end{pmatrix}
 \begin{pmatrix}x_1\\x_2\end{pmatrix}=
  \begin{pmatrix}1&0\\0&1/2\\\end{pmatrix}
 \begin{pmatrix}7\\10\end{pmatrix}\\
  \begin{pmatrix}1 & 4\\1 & 3\\\end{pmatrix}
 \begin{pmatrix}x_1\\x_2\end{pmatrix}=
 \begin{pmatrix}7\\5\end{pmatrix}

```

1行目に2行目の-1倍を加える($\begin{pmatrix}1 & -1\\\0 & 1\end{pmatrix}$を両辺に左からかける)

```math
\left\{
    \begin{array}{l}
     0x_1+x_2=2\\
     x_1+3x_2=5
    \end{array}
  \right.\\
   \begin{pmatrix}1 & -1\\0 & 1\\\end{pmatrix}
  \begin{pmatrix}1 & 4\\1 & 3\\\end{pmatrix}
 \begin{pmatrix}x_1\\x_2\end{pmatrix}=
   \begin{pmatrix}1 & -1\\0 & 1\\\end{pmatrix}
 \begin{pmatrix}7\\5\end{pmatrix}\\
  \begin{pmatrix}0 & 1\\1 & 3\\\end{pmatrix}
 \begin{pmatrix}x_1\\x_2\end{pmatrix}=
 \begin{pmatrix}2\\5\end{pmatrix}
```
2行目に1行目の-3倍を加える($\begin{pmatrix}1&0\\\ -3&1\end{pmatrix}$を両辺に左からかける)

```math
\left\{
    \begin{array}{l}
    0x_1+ x_2=2\\
     x_1+0x_2=-1
    \end{array}
  \right.\\
   \begin{pmatrix}1 & 0\\-3 & 1\\\end{pmatrix}
    \begin{pmatrix}0 & 1\\1 & 3\\\end{pmatrix}
 \begin{pmatrix}x_1\\x_2\end{pmatrix}=
   \begin{pmatrix}1 & 0\\-3 & 1\\\end{pmatrix}
 \begin{pmatrix}2\\5\end{pmatrix}\\
    \begin{pmatrix}0 & 1\\1 & 0\\\end{pmatrix}
 \begin{pmatrix}x_1\\x_2\end{pmatrix}=
 \begin{pmatrix}2\\-1\end{pmatrix}
```

1行目と2行目を入れ替える($\begin{pmatrix}0&1\\\1&0\end{pmatrix}$を両辺に左からかける)

```math
\left\{
    \begin{array}{l}
	 x_1+0x_2=-1\\
	 0x_1+ x_2=2
    \end{array}
  \right.\\
  \begin{pmatrix}0 & 1\\1 & 0\\\end{pmatrix}
  \begin{pmatrix}0 & 1\\1 & 0\\\end{pmatrix}
 \begin{pmatrix}x_1\\x_2\end{pmatrix}=
   \begin{pmatrix}0 & 1\\1 & 0\\\end{pmatrix}
 \begin{pmatrix}2\\-1\end{pmatrix}\\
    \begin{pmatrix}1 & 0\\0 & 1\\\end{pmatrix}
 \begin{pmatrix}x_1\\x_2\end{pmatrix}=
 \begin{pmatrix}-1\\2\end{pmatrix}\\
\\

\left\{
    \begin{array}{l}
	 x_1=-1\\
	 x_2=2
    \end{array}
  \right.
```

### 単位行列と逆行列
単位行列

```math
I = \begin{pmatrix}
1  & 0 & \cdots & 0\\
0 & 1 & \cdots & 0\\
\vdots &   \vdots   & \ddots & \vdots \\
0 & 0 & \cdots & 1
\end{pmatrix}
```
逆行列
$AA^{-1}=A^{-1}A=I$となるような$A^{-1}$
### 逆行列の求め方
- 掃き出し法
  Aの逆行列をAEを行基本変形していくことで求める。
  
   $\begin{pmatrix}1 & 4\\\2 & 6\end{pmatrix}$の逆行列は $\begin{pmatrix}1 & 4&1&0\\\ 2&6&0&1\\ \end{pmatrix}$を変換していくことで求められる。
   
```math
   \begin{pmatrix}1 & 4&1&0\\2 & 6&0&1\\\end{pmatrix}\\
   \begin{pmatrix}1 & 4&1&0\\1 & 3&0&\frac{1}{2}\\\end{pmatrix}\\
   \begin{pmatrix}1 & 4&1&0\\0 & -1&-1&\frac{1}{2}\\\end{pmatrix}\\
   \begin{pmatrix}1 & 4&1&0\\0 & 1&1&-\frac{1}{2}\\\end{pmatrix}\\
   \begin{pmatrix}1 & 0&-3&2\\0 & 1&1&-\frac{1}{2}\\\end{pmatrix}
   ```
   単位行列だった部分$\begin{pmatrix}-3 & 2\\\1 &-\frac{1}{2}\end{pmatrix}$が $\begin{pmatrix}1 & 4\\\2 & 6\end{pmatrix}$の逆行列となる
### 逆行列が存在しない条件
解がない、解が１組に定まらないタイプの連立方程式

```math
\begin{pmatrix}a&b\\c&d\\\end{pmatrix}=\begin{pmatrix}v_1\\v_2\end{pmatrix}
```

とする時、$v_1$と$v_2$がつくる平行四辺形の面積（行列式）が0のとき逆行列が存在しない
### 行列式
$\begin{pmatrix}a&b\\\c&d\end{pmatrix}$の行列式はad-bcで求められる。
3行3列以上の行列の場合、余因子展開でサイズを2x2にする
### 余因子展開
1. 行列Aからi行とj列を抜く。
2. その行列の行列式を求める。
3. $(-1)^{i+j}$とAのi,j成分を行列式にかける。
4. i行またはj列に対し、同じことをして足し合わせる。
### 固有値と固有ベクトル
ある行列Aが、ベクトルの向きを変えずに拡大縮小変換（スカラー倍）することがある。
このようなベクトル$\vec{x}$とその拡大率$\lambda$を固有ベクトル、固有値という。
$$
A\vec{x}=\lambda\vec{x}
$$
具体例

```math
\begin{pmatrix}1&4\\2&3\\\end{pmatrix}\begin{pmatrix}1\\1\end{pmatrix}=5\begin{pmatrix}1\\1\end{pmatrix}
```

$A\vec{x}=\lambda\vec{x}$より

```math
(A-\lambda I)\vec{x}=\vec0
```

$\vec{x}\neq\vec0$より $$|A-\lambda I|=0$$

$$\left| \begin{array}{ccc}1-\lambda&4\\\2&3-\lambda\end{array}\right|=0$$

$$(1-\lambda)(3-\lambda)-4*2=0 $$

$$\lambda = 5, -1$$

$\lambda = 5$のとき$$\vec x=\begin{pmatrix}1\\\1\end{pmatrix}$$
$\lambda = -1$のとき$$\vec x=\begin{pmatrix}2\\\\-1\end{pmatrix}$$

### 固有値分解
ある実数を正方形にならべて作られた行列Aが固有値$\lambda,\lambda'',...$と固有ベクトル$\vec x, \vec x'',...$を持ったとする。
この固有値を対角線上に並べた行列（それ以外の成分は0）

```math
\Lambda = \begin{pmatrix}
\lambda  & 0 & \cdots & 0\\
0 & \lambda'' & \cdots & 0\\
\vdots &   \vdots   & \ddots & \vdots \\
0 & 0 & \cdots & \lambda^n
\end{pmatrix}
```
と，それに対応する固有ベクトルを並べた行列
$$
V= \begin{pmatrix}\vec x& \vec x''&\cdots\end{pmatrix}
$$
を用意したとき，それらは$V\Lambda=\Lambda V$と関係付けられる。したがって$A=VAV^{-1}$と変形できる。
このように正方形の行列を上述の様な３つの行列の積に変換することを固有値分解という。
この変換によって行列の累乗の計算が容易になる等の利点がある。
### 特異値分解
正方行列以外の行列に対し、固有値分解と似たようなことをしたい。
$M$を特異値分解したい行列とする。
$M$とその転置行列(行と列を入れ替えた行列）$M^T$の積$MM^T$は常に正方行列である。
これを用いて特異値を求める。
$$
M\vec v=\sigma \vec u\\
M^T\vec u=\sigma \vec v
$$
となる$\vec v ,\vec u$が存在するとき、$\sigma$は$M$の特異値である。

### 特異値の求め方
$MV=US, M^TU=VS^T$とすると、両辺右からそれぞれ$V^{-1},U^{-1}$をかけると$M=USV^{-1}, M^T=VS^TU^{-1}$となる。
それぞれをかけると$MM^T=USV^{-1}VS^TU^{-1}=USS^TU^{-1}$となる。
これを用いると、$MM^T\vec v=USS^TU^{-1}\vec v=\sigma^2 \vec v$
これで左特異ベクトルと特異値の二乗が得られる。


## 第二章 確率・統計
### 目標
1) 条件付き確率について理解を深める。
2) ベイズ則の概要を知る。
3) 期待値・分散の求め方を確認する。
4) 様々な確率分布の概要を知る。
### 頻度確率とベイズ確率
- 頻度確率(客観確率)
	発生する頻度
- ベイズ確率(主観確率)
	信念の度合い
### 条件付き確率
ある事象X=xが与えられた下で，Y=yとなる確率
$$
P(Y=y|X=x)=\frac{P(Y=y,X=x)}{P(X=x)}
$$

### 独立な事象の同時確率
お互いの発生には因果関係のない事象X=xと事象Y=yが同時に発生する確率は2つの事象が起こる確率の積で求められる。
$$
P(X=x,Y=y)=P(X=x)P(Y=y)=P(Y=y,X=x)
$$

### ベイズ則
条件付き確率の公式
$$
P(Y=y|X=x)=\frac{P(X=x,Y=y)}{P(X=x)}
$$
と
$$
P(X=x|Y=y)=\frac{P(X=x,Y=y)}{P(Y=y)}
$$
を組み合わせることで
$$
P(X=x|Y=y)P(Y=y)=P(Y=y|X=x)P(X=x)
$$
が得られる。これがベイズ則。

### 確率変数と確率分布
* 確率変数
	事象と結び付けられた数値
	事象そのものを指すと解釈する場合も多い
* 確率分布
	事象の発生する確率の分布
	離散値であれば表に示せる

### 期待値
その分布における，確率変数の平均値、またはあり得そうな値
離散なら$\Sigma$で、連続なら$\int$で求める。

### 分散と共分散
- 分散
	- データの散らばり具合
	- データの各々の値が，期待値からどれだけズレているのか平均したもの
	
	$$
	分散Var(f) = E((f_{(X=x)}-E_{(f)})^2
$$

- 共分散
	- ２つのデータ系列の傾向の違い
	- 正の値を取れば似た傾向
	- 負の値を取れば逆の傾向
	- ゼロを取れば関係性に乏しい
	
	$$
			共分散 Cov(f,g)=E((f_{(X=x)}-E_{(f)})(g_{(X=x)}-E_{(g)}))\\ = E(fg)-E(f)E(g)
	$$

### 分散と標準偏差

分散は足し合わせで0になることを防ぐため2乗している
	→元のデータと単位が異なる
		→ルートをとることで元の単位に戻す。

### 様々な確率分布

- ベルヌーイ分布
	- コイントスのイメージ
	- 裏と表で出る割合が等しくなくとも扱える
	$$
	P(x|\mu)=\mu^x(1-\mu)^{1-x}
	$$
- マルチヌーイ（カテゴリカル）分布
	- さいころを転がすイメージ
	- 各面の出る割合が等しくなくとも扱える
	$$
	P_{(X=n)} = \prod_{k=1}^{n}λ_k^{[x=k]}
	$$
- 二項分布
	- ベルヌーイ分布の多試行版
	$$
	P(x|\lambda,n) = \frac{n!}{x!(n-x)!}\lambda(1-\lambda)^{n-x}
	$$
- ガウス分布
	- 釣鐘型の連続分布
	$$
	P(x; μ,\sigma^2) =  \frac1{\sqrt{2\pi\sigma^2} }\exp \left( -\frac{1}{2\sigma^2} \left( x-\mu \right)^2 \right)
$$

## 第三章 情報理論

### 目標
1) 自己情報量・シャノンエントロピーの定義を確認する。
2) KLダイバージェンス・交差エントロピーの概要を知る。

### 自己情報量
- 対数の底が2のとき，単位はビット(bit)
- 対数の底がネイピアのeのとき，単位は(nat)

$$
{\rm I}(x)=-\log({\rm P}(x))=\log({\rm W}(x))
$$

### シャノンエントロピー
自己情報量の期待値

$$
{H(x) = E(I(x))
     = -E(log(P(x))
     = -\sum (P(x)log(P(X))
}
$$

### カルバック・ライブラー(KL)ダイバージェンス
同じ事象・確率変数における異なる確率分布P,Qの違いを表す

$$
D_{KL}(P||Q) =\mathbb E_{X\sim P}\left [\frac{P(x)}{Q(x)} \right ]=\mathbb E_{X\sim P}\left [logP(x)-logQ(x)\right ]
$$

### 交差エントロピー
KLダイバージェンスの一部分を取り出したもの
Qについての自己情報量をPの分布で平均している

$$
H(P,Q) = H(P) + D_{KL}(P||Q) 
H(P,Q) = -\mathbb E_{X\sim P}  log(Q(x)
$$