数学拒否系プログラマのための確率統計の基礎(1)

# 概要・想定する読み手

昨今はずいぶんと文系プログラマが増えてきたように思えます。
センター数ⅠＡが６点だった私がエンジニア顔できるのですから、いい時代になったものです。

とはいえ、最近はそんな数学拒否系プログラマも飽和してきたので、数学を再勉強することにしました。
分野は確率統計です。データサイエンティストを目指します。
基本的に自分用のメモとして書きますが、同類の方から見てもわかるよう、がんばって綺麗にまとめます。

# 標本空間(Ω/sample space)

* 試行の結果起こることの全体
  * 1枚のコイン投げ：$Ω=\{表,裏\}$
  * 1回サイコロを振る：$Ω=\{1, 2, 3 ,4 , 5, 6\}$

# 事象(event)

* 標本空間Ωの部分集合
* 各事象には確率が定義されるはず
   * ならば、どうやって確率を定義するかという問題
      * サイコロの目は、1/6である
      * 確率の定義は、各事象の和が1となる正の実数
   * 例．正四面体ダイスを考える。$Ω=\{1,2,3,4\}$
      * 事象全体の集合（べき集合）は$2^4=16$通り
         * $Φ=\{ \{1\}, \{2\}, \{3\}, \{4\},  \{1,2\}, \{2,3\}, ... , \{1,2,3,4\} \}$ 
    * 1が出る確率$P(\{1\})$と、1または2が出る確率$P(\{1,2\})$を考える
      * どっちが確率が高いか？無論、1または2が出るほうだ
         * $P(\{1\}) \leq P(\{1,2\})$
      * 一般に、二つの事象$A, B$に対して、
         * $A \subset B \Rightarrow P(\{A\}) < P(\{A\}) $
      * また、$P(\{1\}) + P\{2\} = P(\{1,2\})$であり、一般化すると、
         * $A \cap B = Φ$に対して、$P(\{A\}) + P\{B\} = P(\{A,B\})$
  * 一般的に考える
     * べき集合の一般的な公式
         1. 冪集合の数について：$Φ=2^{|Ω|}$
         2. 補集合も冪集合内に含まれていることについて：$A \subset Ω \Rightarrow \bar{A} \subset B$
         3. 和集合について：$A \cap B = Φ$に対して、$P(\{A\}) + P\{B\} = P(\{A,B\})$
    * 上記の一般的な公式を拡げると、完全加法族（冪集合の拡張概念）
       1. $P(A) \geq 0 $ for all $ A \subset \bf{A}$($\bf{A}$は完全加法族)
       2. $P(Ω) = 1$
       3. $A_1, A_2, ..., $が排反なら、$P( \bigcup_{i=1}^{∞}A_i ) = \sum_{i=1}^{∞}P(A_i)$

* 上の公式から$P(\bar{A}) \Rightarrow  1 - P(A)$を示す
  * 証明
     1. $A \subset \bf{A} \Rightarrow \bar{A} \subset \bf{A}$
     2. $A \cup \bar{A} = Ω, A \cap \bar{A} = Φ$
     3. $P(A \cup \bar{A}) = P(Ω) = 1$
     4. $P(A \cup \bar{A}) = P(A) + P(\bar{A})$
     5. 3・4より、$P(\bar{A}) \Rightarrow  1 - P(A)$
         * 証明終了

# 事象の独立性・条件付き確率

* 積の公式
  * $P(B|A) = \frac{P(A \cap B)}{P(A)}$
     * すなわち、$P(A)P(B|A) = P(A \cap B)$
* 全確率の公式
  * $P(A) = P(B)P(A|B) + P(\bar{B})P(A|\bar{B})$
  * 例．箱の中に赤玉が3個、白玉が2個ある。無作為に玉を1つ取り出した時に、2回目に取り出した玉が赤である確率は？（玉は戻さない）
     1. 2回目に赤が出る事象を$A$、1回めに赤が出る事象を$B$とすると、以下のことが自明
         * $P(B) = \frac{3}{5}$
         * $P(\bar{B}) = \frac{2}{5}$
         * $P(A|B) = \frac{2}{4}$
         * $P(A|\bar{B}) = \frac{3}{4}$
     2. よって、全確率の公式を用い、
         * $P(A) = P(B)P(A|B) + P(\bar{B})P(A|\bar{B}) = \frac{3}{5} \frac{2}{4} + \frac{2}{5} \frac{3}{4} = \frac{3}{5}$

# ベイズの公式

* $P(B|A) = \frac{P(B)P(A|B)}{P(A)}$
  * 同時確率(積の公式)は事象を入れ替えても同じ
     * $P(A \cap B) = P(B \cap A)$
  * $P(A \cap B) = P(A)P(B|A) = P(B)P(A|B)$
     * ここからベイズの定理を導ける
* 例題
  * 設問
     * インフルエンザにかかった人の99%は、検査結果が陽性である
     * 健康な人を診断したときも、2%は陽性となる
     * 1000人に1人が罹患している時、陽性の人の内実際に罹患している確率は？
  * 回答
     1. 罹患している事象を$A$、陽性の結果となった事象を$B$とする
         * $P(A) = \frac{1}{1000}$
         * $P(B|A) = \frac{99}{100}$
         * $P(\bar{A})P(B|\bar{A}) = \frac{2}{100}$
         * $P(B) = P(A)P(B|A) + P(\bar{A})P(B|\bar{A}) = \frac{1}{1000} \frac{99}{100} + \frac{999}{1000} \frac{2}{100} = \frac{2097}{100000}$
         * 求めるべきは、$P(A|B)$である
     2. ベイズの定理より、
         * $P(A|B)=\frac{P(A)P(B|A)}{P(B)} = \frac{1}{1000} \frac{99}{100} \frac{100000}{2097} = \frac{11}{233}$

# 確率変数

* 確率変数の基礎知識
  * 確率的に値が変わる変数
  * 通常、イタリック体の大文字で表す
      * 例．$X,Y,...$
  * 確率変数が取りうる値は、イタリック体の小文字で表す
      * 例．$x,y,...$
  * $P(X=x)$で$X=x$となる確率を表す
  * 確率変数には、以下のパターンがある
      * 離散型(discrete)
      * 連続型(continuous)

* 標本空間$Ω=\{x_1, x_2, ..., x_N\}$について
  * $Ω$上の確率変数を$X$<br>　　$P(X=x_n)　($n=1,2,...,N$)$<br>と定める
  * $Pn(1 \leq N)$は$P_n \geq 0$かつ総和が1($ \sum_{n=1}^{N} P_n = 1 $)
  * 平均
     * $E(X) = \sum_{n=1}^{N} x_n P_n$
  * 1回サイコロを降って出る目を$X$とする場合
     * $Ω=\{1,2,3,4,5,6\}$
     * $P(X=x)=\frac{1}{6}　(n=1,2,...,6)$
     * $E(X) = 1 \frac{1}{6} + 2 \frac{1}{6} + ... + 6 \frac{1}{6} = \frac{7}{2}$
    
* 連続型$rv$の場合は$P(X=x)$の代わりに$P(a<X<b)$を与える
  * とくに、$P(a < X < b) = \int_a^b f(x)dx $
     * $f(x)$は$f(x) \geq 0$を満たす関数となる場合を考える
     * $f(x)$を確率密度関数(probability density function)という
     * 釣り鐘の、特定範囲の面積を指す
         * 範囲$(a,b)$は、開区間でも閉区間でも面積の誤差は無限小なので、気にしない
  * 平均
     * $E(X) = \int_{-∞}^∞ x f(x)dx$
         * ∞とはすなわち、確率変数が取る値全体

# ひと区切り
数学拒否系プログラマのための確率統計の基礎(2) に続きます。