ラビットチャレンジ　Stage1 応用数学　統計学2　　レポート

#1.記述統計と推測統計
 <dt>記述統計</dt>
　・集団の性質を要約し記述する。
　　
 <dt>推測統計</dt>
　・集団から一部を取り出し元の集団（母集団）の性質を推測する。
　
#2.確率変数と確率分布
 <dt>確率変数</dt>
　・事象と結び付けられた数値
　・事象そのものを指すと解釈する場合も多い
　
 <dt>確率分布</dt>
　・事象の発生する確率の分布
　・離散値であれば表に示せる。

#3.期待値
 <dt>期待値</dt>
　・その分布における確率変数の・・・
　　　　平均の値 or 「ありえそう」な値

| 事象X | x1 | x2 | ・・・ | xn |
|:-:|:-:|:-:|:-:|:-:|
| 確率変数f(x) | f(x1) | f(x2)  | ・・・  | f(xn)  |
| 確率P(x）  | P(x1) | P(x2) | ・・・ |  P(xn) |

 　・公式
　　　期待値 $ E(f) $
     $$ E(f) = \sum_{k=1}^n P(X = x_k)f(X = x_k) $$

　　　連続する値の場合
     $$ \int P(X = x) f(X = x) dx $$


#4.分散と共分散
　<dt>分散</dt>
　　・データの散らばり具合
　　・データの各々の値が、期待値からどれだけズレているのか平均したもの
　公式
　　分散 $Var(f)$

   ```math
   \begin{align}
   Var(f) &= E\big((\, f_{(X=x)} - E_{(f)}\,)^2 \big) \\
   &= E(\,f^2_{(X=x)}\,) - (E_{(f)})^2
   \end{align}
   ```
   
  <dt>共分散</dt>
　　・２つのデータ系列の傾向の違い
　　・正の値をとれば似た傾向
　　・負の値を取れば逆の傾向
　　・ゼロを取れば関係性に乏しい
　　公式 $Cov(f,g)$
   
  ```math
   \begin{align}
　　Cov(f,g) &= E\Big(\big(\, f_{(X=x)} - E_{(f)}\big) \big(g_{(Y=y)} - E(g)\,\big)\, \Big) \\
　　&=E(fg) - E(f)E(g)
   \end{align}
  ```

  <dt>分散と標準偏差</dt>
　　分散は2乗してしまっているので、元のデータと単位が違う。
　　そのため、2乗することの逆演算（平方根を求める）をすれば元の単位に戻る。
　
　　・公式

  ```math
  \begin{align}
   \sigma &= \sqrt {Var(f)} \\
          &= \sqrt {E \big( \, (\, f_{(X=x)} - E_{(f)} \,) \, ^2  \big)}
  \end{align}
  ```

#5.様々な確率分布

  <dt>ベルヌーイ分布</dt>
　　・コイントスのイメージ
　　・裏と表で出る割合が等しくなくとも扱える

  $$ P(x \, | \, \mu) = \mu^x \, (1 - \mu)^{1-x} $$ 

  <dt>マルチヌーイ（カテゴリカル）分布</dt>
　　・サイコロを転がすイメージ
　　・各面の出る割合が等しくなくとも扱える
　

  <dt>二項分布</dt>
    ・ベルヌーイ分布の多試行版

  $$ P(x | \lambda ,n) = \frac{n!}{x!(n-x)!} \lambda^x(1-\lambda)^{n-x} $$

   <dt>ガウス分布</dt>
　　　・釣鐘型の連続分布

  ```math
   N(x;\mu,\sigma^2) 
   = \sqrt{\frac{1}{2 \pi \sigma^2}} \exp \big(-\frac{1}{2 \sigma^2}(x-\mu)^2 \big)
  ```
　

#6.推定
  <dt>推定とは</dt>
　　母集団を特徴づける母数（パラメーター：平均など）を統計学的に推測すること。
　
  <dt>種類</dt>
　　・点推定：平均値などを１つの値に推定すること。
　　・区間推定：平均値などが存在する範囲（区間）を推定すること。
　
  <dt>推定量と推定値</dt>
　　・推定量(estimator):パラメータを推定するために利用する
　　　　　　　　　　　数値の計算方法や計算式のこと。推定関数とも呼ぶ。
　
　　・推定値(estimate):実際に思考を行った結果から計算した値
　
　　　真の値を$\theta$とすると・・・ $\hat{\theta}$ のように表す
　
   <dt>標本平均</dt>
　　　母集団から取り出した標本の平均値
　
　　　サンプル数が大きくなれば、母集団の値に近づく ⇨ **一致性**
　
　　　サンプル数がいくらであっても、その期待値は母集団の値と同様　⇨ **不編性**
　　　$ E(\hat{\theta}) = \theta $
　　
   <dt>標本分散</dt>
　　　サンプルサイズをnとすると・・・

  ```math
    \hat{\sigma}^2 = \frac{1}{n} \sum_{i=1}^n (x_i - \bar{x})^2
  ```

　　　一致性は満たすが・・・
　　　不偏性は満たさない
　　　　　　↓
　　　不偏分散を使用する

   ```math
    \begin{align}
     S^2 &= \frac{n}{n-1} × \frac{1}{n} \sum_{i=1}^n (x_i - \bar{x})^2 \\
     &= \frac{1}{n-1} \sum_{i=1}^n (x_i - \bar{x})^2
    \end{align}
   ```

#7.情報科学

 <dt>自己情報量</dt>
　　・対数の底が2の時、単位はビット（bit)
　　・対数の底がネイピアのeの時、単位は(nat)

   $$ I(x) = - \log \big( P(x) \big) = \log \big(W(x) \big) $$
 <dt>シャノンエントロピー</dt>
　　・自己情報量の期待値

 ```math
  \begin{align}
  H(x) &= E \big( I(x) \big)  \\
  &= -E \Big( \log \big( P(x) \big)  \Big) \\
  &= - \sum \Big( P(x) \log \big( P(x) \big) \Big)
  \end{align}
 ```
　
 <dt>カルバック・ライブラー　ダイバージェンス</dt>
　　・同じ事象・確率変数における異なる確率分布P,Qの違いを表す。

 ```math
  \begin{align}
   D_{KL}(P||Q) &=\sum_x P(x) \Big( - \log \big( Q(x) \big) \Big) - \Big( - \log \big( P(x) \big) \Big)\\
   &=\sum_x P(x) \log \frac{P(x)}{Q(x)}
  \end{align}
 ```

 <dt>交差エントロピー</dt>
　　・KLダイバージェンスの一部分を取り出したもの
　　・Qについての自己情報量をPの分布で平均している

 ```math
   \begin{align}
     H(P,Q) = H(P) + D_{KL}(P||Q)
     H(P,Q) = -\sum P(x) \log Q(x)
   \end{align}
 ```