【ラビットチャレンジ】応用数学レポート



# はじめに

AI実装を数年ほど前までやっていたが最近は事業企画や事業推進が主な業務の私です。また、来年からコンサルファームへ転職が決まっておりAI実装からは徐々に離れつつあり、ここで復習がてらに「E資格」を受けてみようと思いました。ただ、E資格は講座の認定書？がないと受験できずかなり高額であると有名です。そこで今回は比較的安価な「ラビット・チャレンジ」というもの教えていただき、そちらで進めることにしました。この記事はその講座でのレポートになります。

【レポート予定】
- 応用数学レポート　(今回)
- 機械学習レポート
- 深層学習前編（day1）レポート
- 深層学習前編（day2）レポート
- 深層学習後編（day3）レポート
- 深層学習後編（day4）レポート


## 第1章 : 線形代数

- スカラー
    - 普通の数
- ベクトル
    - 「大きさ」と「向き」を持つ
- 単位行列
    - 対角成分が1で、それ以外の成分が0である正方行列
    - 英語で Identity Matrixというので、Iで表すことが多い
- 逆行列
    - 正方行列 $A$ に対して、 $AB = BA = I$ となる行列$B$のことを$A$の逆行列という

```math
 A^{-1} = \frac{1}{ad - bc} \begin{bmatrix} d & -b \\ -c & a \end{bmatrix} 

 ここで、行列 A は  A = \begin{bmatrix} a & b \\ c & d \end{bmatrix}  
```

- 固有値・固有ベクトル
    - あるn次正方行列Aに対して、$ Ax = λx $ を満たすn次元列ベクトル $x (x≠0)$ と実数 $λ$ が存在するとき
        - λをAの "固有値"
        - xをλに対する "固有ベクトル"という
    - 固有値は、正・負はもちろん、0でも構わない。ただし、固有ベクトルは0を除くものとする



- 固有値分解
    - ある行列Aを、固有ベクトルを列ベクトルとした行列Vと、固有値λを対角成分とした対角行列Λとして以下の様に分解できる
    -  固有値が０に近いものは無視すること(次元削減)で近似計算を行うことができるΛとして、以下のように分解できる
    - $𝐴^𝑛$ の計算が簡単にできる
    - 行列データの特徴を抽出することができる
    - エンジニア目線で言うと固有値分解が重要なのは、計算量を大きく削減することができるから

```math
A = VΛV^{−1}
```


- 特異値分解
    - 正方でない行列に、固有値分解のようなことを行うために考えられたもの
    - $ m✖️n $ 行列Aを$ A=UΣV $ と分解すること
        - U は $ m✖️m $ の直交行列
        - V は $ n✖️n $ の直交行列
        - Σ は非対角成分は0、対角成分は非負で大きさの順に並んだ行列
            - また，Σの対角成分で0でないもの（0を含めることもある）を特異値と言う



## 第2章 : 確率・統計

- 条件付き確率
    - ある事象が起こるという条件のもとで、別のある事象が起こる確率のこと
    - 与えられた事象 B が発生した条件下での事象 A の確率を、条件付き確率 P(A | B) と表します。条件付き確率は以下の公式で定義される

```math
P(A | B) = \frac{P(A \cap B)}{P(B)} 
```



- 同時確率
    - 複数の事柄が共に生じる確率のこと
    - 結合確率ともいう
- ベイズの定理
    - 条件付き確率を用いて事後確率を計算する公式
    - 与えられた事象 \(A\) と \(B\) に対して、ベイズの定理は以下のように表されます：



```math
P(A | B) = \frac{P(B | A) \cdot P(A)}{P(B)} 
```
- 期待値
    - 1回の試行で得られる値の平均値のことで、得られうるすべての値とそれが起こる確率の積を足し合わせたもの
    - 期待値の性質
        - ①確率変数が一定のものの期待値は、確率変数と等しくなる
        - ②確率変数に加算・乗算すると、期待値も同様の加算・乗算した結果が得られる
        - ③確率変数の和と、それぞれを独立した事象として捉えたとき期待値が等しくなる


- 分散
    - データの散らばり具合
    - データの各々の値が、期待値からどれだけズレているのか平均したもの
- 共分散
    - 二組の対応するデータの間の関係を表す数値
    - 「Xの偏差」 × 「Yの偏差」の平均 で定義される
    - 共分散は「スケール変換に対して不変でない」という問題点があり




- ベルヌーイ分布(1回の試行)
    - 試行結果が「○か☓」や「成功か失敗」のように２種類しかない試行

```math

E[X] = p \\
V[X] = p(1-p) = pq \\
```


- 二項分布
    - 「互いに独立したベルヌーイ試行をｎ回行った時にある事象が何回起こるかの確率分布」のこと
    - $ B(n, p)$ で表される

```math
P(X = k) = {}_{n} C _{k}p^k(1-p)^{n-k}\\
E[X] = np \\
V[X] = np(1-p) \\
```

※nがある程度大きいときは、中心極限定理によって、$B(n, p)$ は正規分布$N(np, np(1-p))$ に近似できる。これによってXが二項分布$B(n,p)$に従う場合、Xを標準化した値はnが十分に大きいときにはZは標準正規分布$N(0,1)$ に従う。

- ガウス分布 (=正規分布)
    - 様々な場面で活用される連続型確率分布
    - 多くの統計的手法において、データが正規分布に従うことを仮定する

```math
f(x) = \frac{1}{\sqrt{2\pi\sigma^{2}} } e^{-\frac{1}{2}\left(\frac{x - \mu}{\sigma}\right)^2} 
```


## 第3章 : 情報理論

- 情報量
    - **その情報がどれだけ価値があるか**ということ
    - 小さいほど価値があります


ここで、予想しにくさを$p$とおきます。つまり、$ p = 0.1$は予想するのが難しく、 $ p = 0.9$は予想しやすいみたいな感じです。ここでやりたいことは小さい値の時は価値があるから重要で、大きい値の時は価値が小さいようにすることです。それを表現することは簡単で、逆数を取れば良いのです$\frac{1}{p} $。$ \frac{1}{0.1} = 10, \frac{1}{0.9} = 1.11..$。良い感じで表現できましたが今後の計算のし易さを考慮して対数をとります。$log(\frac{1}{p(x)}) = -log(p(x))$



- 自己情報量
    - 事象そのものの情報量を示す



|     情報量  |     数式 |    説明   |
|:----------:|:-----------------:|:------------------:|
| ①自己情報量 | $-log(p(x))$ |      単一事象のみ     |
| ②平均情報量 | $-\sum_{x} P(x)log(P(x))^*$|   標本空間全体の情報量   |


- Kullback-Leibler(KL) divergence 
    - 交差エントロピーとエントロピーの差
    - 確率分布の距離を測ることができる(正確には距離でないが)
    - 確率分布$p(x), q(x)$ が同じならKLはゼロ、違うほど大きな値になる

```math
D_{KL}(p \mid\mid q) = -\int p(x)\log \frac{q(x)}{p(x)}dx
```

- Jensen-Shannon(JS) divergence
    - KL divergenceが対称性がなかったので、距離として扱えるように改善
    - 0に近いほど２つの確率密度関数は一致している

``` math
M=\frac{1}{2}(p+q)\\


D_{JS}(p \mid\mid q) = \dfrac{1}{2}D_{KL}( p \mid\mid M ) + \dfrac{1}{2}D_{KL}( q \mid\mid M ) 

```


- 交差エントロピー
    - 2つの確率分布がどれくらい「離れているか」を表す指標
    - 2つの確率分布が似ているほど小さな値となる

# 終わりに

久しぶりに線形代数・確率・統計・情報理論の内容に触れれて面白かったです。初歩的な内容が中心ですが忘れていることもチラホラあったのでこれを機に復習しておきたいと思いました。