JDLA E資格検定メモ 応用数学

# JDLA E資格検定メモ 応用数学

### 0. 初めに
E資格検定の応用数学パートについてメモします。

### 1a. 線形代数（行列）
- 「線形代数学」は、「幾何学」や「方程式の取り扱い」が発展した形
- 「数」のバリエーション
    - スカラー
        - 普通の数、四則演算が可能なもの
    - ベクトル
        - 大きさと向きをセットにしたもの、スカラーのセットで表現される
    - 行列
        - スカラーを表にしたもの＝ベクトルを並べたもの
        - ベクトルを自由に変換したいというモチベーションから生まれた（ベクトル×スカラーでは同じ方向性の変換しかできない）
        - 連立方程式をシンプルに表現できる
- 行列の積
    - 行列と行列をかけることで新しい行列を作ることができる
- 連立方程式の解くための行列の操作
    - 行基本変形（以下3種類の操作）
        - i行目をc倍する
        - s行目にt行目のc倍を加える
        - p行目とq行目を入れ替える
- 逆行列と単位行列
    - 逆行列
        - 行列に対して「逆数」のような働きをするもの
        - $X^{-1}$ と表記する
    - 単位行列
        - $I = AA^{-1} = A^{-1}A$
    - 逆行列の求め方
        - ガウスの掃き出し法により行う
    - 逆行列が存在しない場合
        - 解がない、解が1組に定まらないタイプの連立方程式
        - $ad - bc = 0$ ・・・ 平行四辺形の面積が0になるケース
    - 逆行列の有無を判別する際に「行列式」を利用できる


```math
\begin{vmatrix}
a & b \\
c & d
\end{vmatrix}
=
\begin{vmatrix}
\vec{v_1} \\
\vec{v_2}
\end{vmatrix}
=
ad - bc
```
```math
\begin{vmatrix}
\vec{v_1} \\
\vec{v_2} \\
\vec{v_3}
\end{vmatrix}
=
\begin{vmatrix}
a & b & c \\
d & e & f \\
g & h & i
\end{vmatrix}
=
a
\begin{vmatrix}
e & f \\
h & i
\end{vmatrix}
-d
\begin{vmatrix}
b & c \\
h & i
\end{vmatrix}
+g
\begin{vmatrix}
b & c \\
e & f
\end{vmatrix}
```

### 1b. 固有値
- 固有値と固有ベクトル
    - $A\vec{x} = \lambda\vec{x}$
    - 例) $\begin{pmatrix}1 & 4 \\\\ 2 & 3\end{pmatrix}\begin{pmatrix}1 \\\\ 1\end{pmatrix} = \begin{pmatrix}5 \\\\ 5\end{pmatrix} = 5 \begin{pmatrix}1 \\\\ 1\end{pmatrix}$
        - $固有値\lambda=5$
        - $固有値ベクトル（のうちの一つ）\vec{x} = \begin{pmatrix}1 \\\\ 1\end{pmatrix}$
- 固有値と固有ベクトルの求め方
    - $\begin{vmatrix}A - \lambda I\end{vmatrix} = 0$ を満たすと逆行列を持たない。これを計算すればよい。
- 固有値分解
    - 行列を別々の行列に分解する
    - $AV = V\Lambda \\\\ AVV^{-1} = V\Lambda V^{-1} \\\\ A = V\Lambda V^{-1}$
- 特異値分解
    - 正方行列以外を固有値分解すること
    - 以下のような特殊な単位ベクトルがあるならば特異値分解できる
        - $M = USV^{T}$ ※ただしUやVは直行行列（複素数を要素に持つ場合はユリタリ行列）
- 特異値分解の利用例
    - 画像の圧縮に利用できる

### 2a. 確率
- 集合や要素の記述
    - 集合$S$は、$a,b,c,d,e,f,g$でできている
        - $S= \\{ a,b,c,d,e,f,g \\} $
    - 要素$a$や$b$は、集合$S$に含まれる
        - $a \in S$
        - $b \in S$
    - 集合$S$の内部に集合$M=\\{c,d,e\\}$がある
        - $M \subset S$
    - 要素$h$は、集合$S$に含まれない
        - $h \notin S$
- 集合同士の演算
    - 和集合
        - $A \cup B$
    - 共通部分
        - $A \cap B$
    - 絶対補と相対補
        - $U \backslash A = \bar A$　・・・絶対補（全体UnivarsalからAを除外）
        - $B \backslash A$　・・・相対補（BからAB共通部分を除外）
- 確率の種類
    - 頻度確率（客観確率）
        - 発生する頻度　・・・測定により客観的に調べられる
    - ベイズ確率（主観確率）
        - 信念の度合い　・・・測定による調査ができなかったとしても、主観的に確かめていく
- 確率の定義
    - $P(A) = \frac{n(A)}{n(U)} = \frac{事象Aが起こる数}{すべての事象の数}$
    - $P(\bar A)をP(A)を使って表現せよ$
        - $P(\bar A) = \frac{n(U)-n(A)}{n(U)} = \frac{n(U)}{n(U)} - \frac{n(A)}{n(U)} = 1 - P(A)$
    - $P(A \cap B)$
        - $P(A \cap B) = P(A)P(B \mid A) = P(B)P(A \mid B)$
- 条件付確率
    - Bの条件下でAが発生する確率
        - $P(A|B) = \frac{P(A \cap B)}{P(B)} = \frac{n(A \cap B)}{n(B)}$
    - 独立な事象の同時確率
        - $P(A \cap B) = P(A)P(B \mid A) = P(A)P(B)$
    - AとBのいずれかが発生する確率
        - $P(A \cup B) = P(A) + P(B) - P(A \cap B)$
    - 例題
        - ある街の子どもたちは毎日1/4の確率で飴玉をもらうことができる
        - 飴玉をもらうと1/2の確率で笑顔になる
        - その街の、笑顔な子どもが飴玉をもらっている確率を求めよ
        - ただし、この街の子供たちが笑顔でいる確率は1/3である
            - $P(飴玉 \mid 笑顔)$を求める
            - $P(飴玉 \cap 笑顔) = P(飴玉)P(笑顔 \mid 飴玉) = P(笑顔)P(飴玉 \mid 笑顔)$ より、
            - $P(飴玉 \mid 笑顔) = \frac{P(飴玉)P(笑顔 \mid 飴玉)}{P(笑顔)} \\\ = \frac{\frac{1}{4} * \frac{1}{2}}{\frac{1}{3}} = \frac{3}{8}$

### 2b. 統計
- 用語整理
    - 記述統計　・・・集団の性質を要約して記述する
    - 推測統計　・・・標本から元の集団（母集団）の性質を推測する
    - 確率変数　・・・事象と結びつけられた数値。事象そのものを指すと解釈する場合も多い
    - 確率分布　・・・事象の発生する確率の分布。離散値であれば表に示せる
- 期待値
    - 離散値の場合
        - $E(f) = \sum_{k=1}^{n} P(X=x_k)f(X=x_k)$
    - 連続値の場合
        - $E(f) = \int P(X=x)f(X=x)dx$
- 分散と共分散
    - 分散
        - データの散らばり具合
        - $Var = E(f^2(X=x)) - (E(f))^2$
    - 共分散
        - 2つのデータ系列の傾向の違い
        - $Cov = E(fg)- E(f)E(g) $
    - 標準偏差
        - 分散はもとの単位と異なってしまっている
        - $\sigma = \sqrt{Cov} $
- 様々な確率分布
    - ベルヌーイ分布
    - マルチヌーイ分布
    - 二項分布
    - ガウス分布

### 3. 情報学
- 自己情報量
    - 情報の珍しさを表す
        - 対数の底が2のとき、単位はビット（bit）
        - 対数の底がネイピアのeのとき、単位はナット（nat）
    - $I(x) = -log(P(x)) = log(W(x))$
- シャノンエントロピー
    - 自己情報量の期待値
    - $H(x) = E(I(x)) \\\ = -E(log(P(x))) \\\ = -\sum (P(x)log(P(x))) $
- カルバック・ライブラー　ダイバージェンス
    - 同じ事象・確率変数における異なる確率分布P,Qの違いを表す
    - Q：事前に想定していた確率、P:後で発覚した確率
    - $D_{KL}(P||Q) = \sum_x P(x)(-log(Q(x)))-(-log(P(x))) = \sum_x P(x)log \frac{P(x)}{Q(x)}$
- 交差エントロピー
    - KLダイバージェンスの一部分を取り出したもの
    - Qについての自己情報量をPの分布で平均している
    - $H(P,Q) = H(P) + D_{KL} + D_{KL}(P||Q)$
    - $H(P,Q) = -\mathbb{E}_{X～P} logQ(x) = -\sum_x P(x)logQ(x)$