応用数学 第二章 確率・統計【ラビットチャレンジ】

# 概要
本記事は「JDLA E資格」の取得に必要なJDLA認定プログラムのひとつであるラビットチャレンジの受講レポートとして投稿したものです。

E資格について
https://www.jdla.org/certificate/engineer/

# 目次
[集合とは](#集合とは)
[和集合共通部分と絶対補相対補](#和集合共通部分と絶対補相対補)
[確率](#確率)
[条件付き確率](#条件付き確率)
[和事象の確率](#和事象の確率)
[ベイズ則](#ベイズ則)
[統計](#統計)
[確率変数と確率分布](#確率変数と確率分布)
[期待値](#期待値)
[分散と共分散](#分散と共分散)
[分散と標準偏差](#分散と標準偏差)
[様々な確率分布](#様々な確率分布)
[推定](#推定)
[推定量と推定値](#推定量と推定値)
[標本平均](#標本平均)
[標本分散](#標本分散)

# 集合とは
ものの集まり。数学的には集合Sを以下のように表す。

```math
S = \{a, b, c\}
```

aやbを集合Sの要素といい、aがSの要素であることを以下のように表す。

```math
a \in S
```

Sの内部に別の集合$M=\\{b, c\\}$がある場合、以下のように表す。

```math
M \subset S
```

確率や統計に登場する「事象」は集合として扱える。

# 和集合・共通部分と絶対補・相対補
和集合： $A \cup B$
共通部分： $A \cap B$
絶対補： $U \, \backslash A = \bar{A}$
相対補： $B \, \backslash A$
$\cup$をカップ、$\cap$をキャップと読んだりする。

# 確率
確率には頻度確率（客観確率）とベイズ確率（主観確率）がある。

頻度確率（客観確率）： 発生する頻度。くじ引きなどの確率はこちらに該当する。
ベイズ確率（主観確率）： 信念の度合い。

### 確率（頻度確率）の定義

```math
P(A) = \frac{n(A)}{n(U)} = \frac{事象Aが起こる数}{すべての事象の数}
```

# 条件付き確率
### ① AとBが同時に起こる確率
```math
\begin{align}
P(A \cap B) &= P(B \cap A) \\
&= P(A) P(B|A) \\
&= P(B) P(A|B) \\
&= \frac{n(A \cap B)}{n(U)}
\end{align}
```

### ② Bが起こる条件下でAが起こる確率
```math
\begin{align}
P(A|B) &= \frac{P(A \cap B)}{P(B)} \\
&= \frac{n(A \cap B)}{n(B)}
\end{align}
```

①は分母が$n(U)$、②は分母が$n(B)$という違いがある

### 独立な事象の同時確率
```math
\begin{align}
P(A \cap B) &= P(A) P(B|A) \\
&= P(A) P(B)
\end{align}
```
AとBに因果関係がないとき、条件がない場合でもAという条件が付いてもBの確率は変わらない

# 和事象の確率
```math
\begin{align}
P(A \cup B) &= P(B \cup A) \\
&= P(A) + P(B) - P(A \cap B) \\
\end{align}
```

# ベイズ則
```math
P(A) P(B|A) = P(B) P(A|B)
```

# 統計
統計学には大きく記述統計と推測統計の二分野があり、
AIでビッグデータを扱う場合は主に記述統計を用いる。

### 記述統計
集団の性質を要約し記述する

### 推測統計
集団から一部（標本）を取り出し元の集団（母集団）の性質を推測する

# 確率変数と確率分布

### 確率変数
・事象と結び付けられた数値
・事象そのものを指す場合もある

### 確率分布
・事象の発生する確率の分布
・離散値（飛び飛びの値）であれば表に示せる

# 期待値

### 離散値
```math
E(f) = \sum_{k=1}^{n} P(X=x_k) f(X=x_k)
```
### 連続値
```math
E(f) = \int P(X=x_k) f(X=x_k) dx
```

# 分散と共分散

### 分散
・データの散らばり具合
・データの各々の値が期待値からどれだけズレているのか平均したもの

```math
\begin{align}
Var(f) &= E \Bigl( \bigl( f_{(X=x)} - E_{(f)} \bigr) ^2 \Bigr) \\
&= E \bigl( f^2_{(X=x)} \bigr) - \bigl( E_{(f)} \bigr) ^2
\end{align}
```

### 共分散
・２つのデータ系列の傾向の違い
・正の値を取れば似た傾向、負の値を取れば逆の傾向、ゼロに近いと関係性に乏しい

```math
\begin{align}
Cov(f, g) &= E \Bigl( \bigl( f_{(X=x)} - E_{(f)} \bigr) \bigl( g_{(Y=y)} - E_{(g)} \bigr) \Bigr) \\
&= E(fg) - E(f)E(g)
\end{align}
```

# 分散と標準偏差

分散は2乗してしまっているのでルートを取ることで元の単位に戻す。

```math
\begin{align}
σ &= \sqrt{Var(f)} \\
&= \sqrt{ E \Bigl( \bigl( f_{(X=x)} - E_{(f)} \bigr) ^2 \Bigr) }
\end{align}
```

# 様々な確率分布

### ベルヌーイ分布
・コイントスの表と裏のように2種類のみの結果しか得られない場合の分布
・表と裏で出る割合が違っても扱える
・二項分布で試行回数$n=1$のとき

```math
P(x|μ) = μ^x (1-μ)^{1-x}
```

・裏が$x$回出る（$x$は$0$か$1$）
・$μ$は裏が出る確率（$x=1$の時の確率）

### マルチヌーイ（カテゴリカル）分布
・ベルヌーイ分布の多値バージョン（さいころのように6種類の結果が得られるなど）
・さいころの各面の出る割合が違っても扱える
・多項分布で試行回数$n=1$のとき

### 二項分布
・ベルヌーイ分布の多試行版

```math
\begin{align}
P(x|λ, μ) &= {_nC_x} \, λ^x (1-λ)^{n-x} \\
&= \frac{n!}{x!(x-n)!} λ^x (1-λ)^{n-x}
\end{align}
```

### ガウス分布
・釣鐘型の連続分布

```math
\begin{align}
P(x|λ, μ) &= {_nC_x} \, λ^x (1-λ)^{n-x} \\
&= \frac{n!}{x!(x-n)!} λ^x (1-λ)^{n-x}
\end{align}
```

# 推定
母集団を特徴づける数である母数（パラメーター：平均や分散など）を統計学的に推測すること。
母数（パラメーター）は分母のことではない。
今回は点推定について扱う。

### 点推定
平均値などを1つの値に推定すること

### 区間推定
平均値などが存在する範囲（区間）を推定すること

# 推定量と推定値

### 推定量(estimator)
パラメーターを推定するために利用する数値の計算方法や計算式のこと。推定関数とも。

### 推定値(estimate)
実際に試行を行った結果から計算した値。

・日本語ではあまり区別しないこともある。
・真の値を$θ$とすると$\hat{θ}$（シータハット）のように表す。

# 標本平均
母集団から取り出した標本の平均値。以下の性質がある。

### 一致性
サンプル数が大きくなれば母集団の値に近づく

### 不偏性
サンプル数がいくらであってもその期待値は母集団と同様

```math
E(\hat{θ}) = θ
```

# 標本分散

```math
\hat{σ}^2 = \frac{1}{n} \sum_{i=1}^{n} (x_i - \bar{x})^2
```

一致性は満たすが不偏性は満たさないため、不偏分散を考える。

### 不偏分散

```math
\begin{align}
s^2 &= \frac{n}{n-1} \times \frac{1}{n} \sum_{i=1}^{n} (x_i - \bar{x})^2 \\
&= \frac{1}{n-1} \sum_{i=1}^{n} (x_i - \bar{x})^2
\end{align}
```