レポート(応用数学)

##要点メモ

###線形代数

####行列の積
![fig4-3-1.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/381843/af57d9e5-b6cd-87cf-92bd-0d402c7fd8be.png)

```math
\begin{pmatrix}
a & b \\
c & d 
\end{pmatrix}

\times

\begin{pmatrix}
e \\
f 
\end{pmatrix}

=

\begin{pmatrix}
ae + bf \\
ce + df 
\end{pmatrix}

```

2行2列 × 2行1列は2行1列となる。

####固有値
ある正方行列 A があって、固有値λと固有ベクトルvを持つ時、


```math
Λ =
\begin{pmatrix}
λ_1 &          &        &          \\
         & λ_2 &        &          \\
         &          & \ddots &       
\end{pmatrix}
```

```math
V =
\begin{pmatrix}
\vec{v}_1\quad\vec{v}_2\quad\dots
\end{pmatrix}
```

```math
A = VΛV^{\mathrm{-1}}
```

と変形できる。

#### 特異値
ある行列 A があって、これを

```math
A = U \Sigma V^{\mathrm{T}}
```

と分解する。
$U$  、 $V$ は直交行列、 $Σ$ は対角行列。
詳しく記載すると以下のようになる。

```math
A = (\boldsymbol{u}_1, \boldsymbol{u}_2, \cdots, \boldsymbol{u}_n)
\begin{pmatrix}
\sigma_1 &          &        &          \\
         & \sigma_2 &        &          \\
         &          & \ddots &          \\
         &          &        & \sigma_n
\end{pmatrix}
\begin{pmatrix}
\boldsymbol{v}_1^{\mathrm{T}} \\
\boldsymbol{v}_2^{\mathrm{T}} \\
\vdots \\
\boldsymbol{v}_n^{\mathrm{T}}
\end{pmatrix}
```

このとき、σを特異値という。
特異値分解は、固有値分解の正方行列以外版となる。

###確率・統計
####2種類の確率

頻度確率(客観確率)
・実験して客観的に見た確率等
　例：パチンコ等

ベイズ確率(主観確率)
・信念の度合い
　例：「あなたは40%の確率でインフルエンザです」→ 私が100人いるわけではないので検証できない。

####条件付き確率
ある条件Xのもとで、Yが起きる確率を以下のように示す。
　例：雨が降っている条件下(X)で交通事故に遭う(Y)確率

```math
P(Y|X) = 
\frac{P(X, Y)}{P(X)}
```
また、お互い因果関係のない事象X,Yが同時に発生する確率は以下の式で示せる。

```math
P(X,Y) = P(X)P(Y) = P(Y,X)
```

####ベイズ則
```math
P(X|Y)P(Y) =
P(Y|X)P(X)
```

式を変形して、

```math
P(X|Y) = 
\frac{P(Y|X)P(Y)}{P(Y)}
```

####確率変数と確率分布
・確率変数 → 事象と結びつけられた数値 (イメージ: 賞金)
・確率分布 → 事象の発生する確率の分布

####期待値
・その分布における確率変数の平均の値 or 「ありえそう」な値

```math
期待値E(f) = 
\sum_{k=1}^{n} P(x_k)f(x_k)
```
P(X)は確率
f(X)は確率変数

また連続値の場合は、

```math
期待値E(f) = 
\int P(X)f(x)dx
```

####分散
データの散らばり具合。データの各々の値が期待値からどれだけズレているか平均したもの。
小さいほうがバラツキが小さい。分散が 0 であれば、期待値(平均値)以外は出現しないということ。

```math
分散Var(f) = E
\begin{pmatrix}
(f(x)-E(f))^2
\end{pmatrix}\\
= E(f(x)^2)-E(f)^2
```
 
平均からのずれを2乗するのは、負の値にならないようにするため。

####共分散

2つのデータ系列の相関度合いを意味する指標

```math
共分散Var(f) = E
\begin{pmatrix}
(f(x)-E(f))(g(Y)-E(g))
\end{pmatrix}\\
= E(fg)-E(f)E(g)
```
 
共分散がゼロであっても、必ずしも「独立してる」とは言えない。
例: 
![20180611135438.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/381843/9beb8bda-4366-38b7-ad8e-17f45f6faf0b.png)

####様々な確率
・ベルヌーイ分布・・・コイントスのイメージ(裏と表の割合が等しくなくても扱える)

```math
P(x|μ) = μ^x(1-μ)^{1-x}
```
・マルチヌーイ(カテゴリカル)分布・・・さいころを転がすのイメージ(各面の出る割合が等しくなくても扱える)

・二項分布・・・ベルヌーイ分布の多試行版

```math
P(x|λ, n) = 
\frac{n!}{x!(n-x)!}λ^x(1 - λ)^{1-x}
```

・ガウス分布・・・釣鐘型の連続分布

```math
Ν(x;μ, σ^2) = 
\sqrt{\frac{1}{2πσ^2}}exp
\begin{pmatrix}
-\frac{1}{2σ^2}(x-μ)^2
\end{pmatrix}
```
(N：ニュー、平均の意味)
![ガウス分布.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/381843/2fab975e-c08d-0dca-ef6b-5110580c2b95.png)

###情報理論
####自己情報量
情報量・・・珍しいほど価値がある

・対数の底が2のとき、単位は(bit)
・対数の底がeのとき、単位は(nat)

珍しいを表す式：

```math
I(x) = -log(P(x)) 
```

####シャノンエントロピー
・自己情報量の期待値。
・人間は情報の増え方を対数で見ている。
　例：10個の点と20個の点の違いは、1個の点と2個の点と同様どちらが多いか認識できる。
　　　一方、10個の点と11個の点は瞬時にどちらが多いかわからない。

```math
H(x) = E(I(x))\\
     = -E(log(P(x))\\
     = -Σ(P(x)log(P(x))) 
```

####カルバック・ライブラー ダイバージェンス
・同じ事象・確率変数における異なる確率分布P,Qの違いを表す。

```math
D_{kl}(P||Q) = E_{x～P}
\begin{bmatrix}
log\frac{P(x)}{Q(x)}
\end{bmatrix}\\
= E_{x～P}
\begin{bmatrix}
logP(x) - logQ(x)
\end{bmatrix}
```

####交差エントロピー
・KLダイバージェンスの一部分を取り出したもの。
・Qについての自己情報量をPの分布で平均している。

```math
H(P,Q) = H(P) + D_{kl}(P||Q) 
```

```math
H(P,Q) = -E_{x～P}\;logQ(x)
```