【ラビットチャレンジ】実装演習レポート①応用数学

<script type="text/javascript" async src="https://cdnjs.cloudflare.com/ajax/libs/mathjax/3.2.2/es5/tex-mml-chtml.min.js">
</script>
<script type="text/x-mathjax-config">
 MathJax.Hub.Config({
 tex2jax: {
 inlineMath: [['$', '$'] ],
 displayMath: [ ['$$','$$'], ["\\[","\\]"] ]
 }
 });
</script>

# 概要
E資格受験のための認定講座「ラビットチャレンジ」の実装演習レポート、応用数学編です。
勝手ながら、https://qiita.com/tatsuya11bbs/items/50217cb488eef10abbf6 こちらのページを参考にさせていただきました。大変簡潔にわかりやすくまとまっています。

# 第１章：線形代数
* スカラー
  * 普通の数
* ベクトル
  * 「大きさ」と「向き」を持つ
* 行列
  * スカラーを表にしたもの
  * ベクトルを並べたもの
* 逆行列
  * 行列$A$に対して $ AB = BA = I(単位行列) $ を満たす$B$のこと
* 行列式
  * ある行列が２つの横ベクトルの組み合わせだと考えたとき、
  $$ 
  \left(
  \begin{matrix}
  a & b \\
  c & d
  \end{matrix} 
  \right)
  = 
  \begin{pmatrix}
  \overrightarrow{v_1}\\
  \overrightarrow{v_2}
  \end{pmatrix}
  $$
  で作られる平行四辺形の面積を
  $$ 
  \begin{vmatrix}
  a & b\\
  c & d
  \end{vmatrix} 
  = 
  \begin{vmatrix}
  \overrightarrow{v_1}\\
  \overrightarrow{v_2}
  \end{vmatrix}
  =ad-bc
  $$
  と表し、行列式と呼ぶ。
* 固有値、固有ベクトル
  * ある行列$A$に対して、$A\overrightarrow{x}=λ\overrightarrow{x}$ を満たすベクトル$\overrightarrow{x}$とその係数$λ$（スカラー）のこと
* 固有値分解
  * 行列$A$の固有値を対角線上に並べた行列を$B$、対応する固有ベクトルを並べた行列を$P$とすると、$$A = PBP^{-1}$$と分解できる。
* 特異値分解
  * 正方行列以外の行列$M$について、$M^\intercal M$と$MM^\intercal$を固有値分解することで左右の特異ベクトルと特異値の2乗が得られる。それらを用いて$$M=USV^{-1}$$ と特異値分解できる。
  ※単位ベクトルから作ることに注意

  
# 第２章：確率・統計
* 頻度確率（客観確率）
  * 発生する頻度（事象を測定）
* ベイズ確率（主観確率）
  * 信念の度合い
* 条件付き確率
  * ある事象$X$が与えられた下で、事象$Y$となる確率
  $$ P(Y|X) = \frac{P(Y,X)}{P(X)} = \frac{P(Y\cap{X})}{P(X)}
  $$
* 同時確率
  * 複数の事象が同時に発生する確率
  * 独立事象なら$P(X,Y)=P(Y,X)$
  $$
  P(X,Y) = P(X|Y)P(Y)
  $$
* ベイズの定理
  * 条件付き確率をもとに、事後確率を求められる
  $$ P(Y|X) = \frac{P(X|Y)P(Y)}{P(X)} 
  $$
* 期待値
  * 確率変数の平均orありえそうな値
  * 事象$X$について、確率変数を$f(X)$、それぞれの確率を$P(X)$として期待値は
  $$
  E(f) = \sum_{k=1}^{n}P(X=x_k)f(X=x_k)
  $$
* 分散
  * データ各々の値が期待値$μ$からどれだけずれているか平均したもの（差の二乗和を個数で割る）
  * 平方根をとると元の単位に戻る
  $$
  Var(X) = E[(X-μ)^2]
  =E[X^2]-(E[X])^2
  $$
* 共分散
  * 二つのデータ系列の傾向の違い
  * 正なら傾向が似ている、負は逆、ゼロは相関なし
  * $X$の偏差 × $Y$の偏差 の平均
  $$
  Cov(X,Y) = E[(X-μ_X)(Y-μ_Y)] = E[XY] - μ_Xμ_Y
  $$
* ベルヌーイ分布
  * 「表か裏か」のように２種類の結果のみしか得られない試行の結果を０と１で表した分布
  * 期待値 $E(X)=p$
  * 分散 $V(X)=p(1-p)$
  * $P(x|μ) = μ^x(1-μ)^{1-x}$
  * ベルヌーイ試行を繰り返し行い、成功回数の分布が二項分布となる。
* マルチヌーイ（カテゴリカル）分布
  * ベルヌーイ分布の変数が３つ以上ver.の確率分布

# 第３章 情報理論
* 情報量
  * ある出来事がどれだけ予期しづらいかの指標
  * 確率が低い事象ほど情報量が高い
  （観測したときにより多くの情報が得られているイメージ）
* 自己情報量
  * その事象の情報量
  $$
  I(x) = -\log_2P(x)[bit]
  $$
* 平均情報量（エントロピー）
  * シャノンエントロピー、微分エントロピーとも呼ばれる
  * 自己情報量の期待値 $E[I(x)]$ である
  * 事象全体の不確実性の大きさのイメージ
  $$
  H(x) = -\sum P(x) \log_2P(x)
  $$
* 条件付きエントロピー
  * 事前事象が$X$のときのエントロピー
  * 同時確率を使って表せる
  $$
  \begin{split}
H(Y|X) &= -\sum P(y|x)P(x) \log_2P(y|x)\\ &= -\sum P(y,x) \log_2P(y|x)
\end{split}
  $$
* 結合エントロピー
  * 複数の事象が同時に発生する全エントロピーの総和
  $$
  H(X,Y) = -\sum P(x,y)\log_2 P(x,y)
  $$
* 相互情報量
  * 事象同士の依存度合いや影響度合いのイメージ
  $$
  I(X;Y) = -\sum P(x,y)\log_2\frac{P(x)P(y)}{P(x,y)} \geq 0
  $$
* KLダイバージェンス
  * 二つの確率分布の類似性を測る尺度
  * 二つの位置が近く形状が類似していれば値が小さく、異なれば大きくなる(≧０)
  * 一方の確率分布をもう一方で近似した場合の情報損失を表すイメージ
  * 非対称
  * 値が有限ではない
  $$
  KL(P||Q) = -\sum P(x)\log_2 \frac{Q(x)}{P(x)}
  $$
* JSダイバージェンス
  * 対称
  * 値が有限
  $$
  \begin{split}
  &JS(P||Q) = \frac{1}{2}KL(P||M) + \frac{1}{2}KL(Q||M)\\
  &M = \frac{1}{2}(P+Q)
  \end{split}
  $$
* クロスエントロピー
  * 二つの確率分布のエントロピー
  * 一方がもう一方をどれくらい正確に表現(近似)できているか示す
  $$
  H(P,Q) = -\sum P(x)\log_2 Q(x)
  $$
  * KLダイバージェンスと密接に関係している
  * $H(P,Q)$は、$Q$が$P$と同じ場合は$P$のエントロピーとなり、KLは０
  $$
  KL(P||Q) = H(P,Q) - H(P)
  $$