統計学実践ワークブックまとめ(第1~第4章)

## 第1章 事象と確率

### 1. 事象と確率
- **確率**：試行によって起こりうるすべての結果を標本空間 $\Omega$ と定義し、$\Omega$ の部分集合から区間 [0,1] 上の実数への関数 $P$ を確率とみなす。
    - 次の性質を満たす:
        1. $A \subset \Omega \Rightarrow P(A) \geq 0$
        2. $P(\Omega) = 1$
        3. $A_1$ と $A_2$ が排反ならば $P(A_1 \cup A_2) = P(A_1) + P(A_2)$

### 2. 条件付き確率とベイズの定理
- **条件付き確率**：2つの事象 $A$ と $B$ があって、$P(B) > 0$ のとき、

$$
P(A|B) = \frac{P(A \cap B)}{P(B)}
$$

を$B$を与えたときの$A$の条件付き確率と呼ぶ。

- **ベイズの定理**：$B_1, ..., B_n$ を互いに排反な事象で、$P(B_k) > 0$、かつ $\bigcup_{k=1}^{n} B_k = \Omega$ を満たすとき、事象 $A$ に対して、$B_j$ の条件付き確率は

$$
P(B_j|A) = \frac{P(A|B_j)P(B_j)}{\sum_{i=1}^{n} P(A|B_i)P(B_i)}
$$

このとき、$P(A)$ を事前確率、$P(B_j|A)$ を事後確率とよぶ。

### 3. 確率変数と確率関数
- **確率変数**：$\Omega$ を確率が定義されている標本空間とするとき、$\Omega$ から実数 $R$ への関数 $X$ を確率変数とよぶ。通常は $X$ と書く。

- **確率関数**：確率変数 $X$ をとる範囲を $\chi$ とし、このとき $X$ 上に定義された確率を確率関数という。

### 4. 期待値と分散
- **期待値**：確率変数 $X$ とその確率関数 $p(x)$ において $X$ の期待値は次の式で定義される。

$$
E[X] = \sum_{x} x p(x) = \mu
$$

- **分散**：$X$ の分散は次の式で定義される。

$$
V[X] = E[(X-\mu)^2] = \sum_{x} (x-\mu)^2 p(x)
$$

- **分散の公式**：分散の式を変形すると、以下の式が導出できる。

$$
V[X] = E[X^2] - E[X]^2
$$

- **連続確率変数**：確率変数 $X$ が連続である場合、確率密度関数 $f(x)$ を次のように定義する。

$$
f(x) = \lim_{\epsilon \to 0} \frac{P(x-\epsilon < X \leq x+\epsilon)}{\epsilon}
$$

- **期待値と分散**：連続確率変数 $X$ の期待値と分散は次の式で定義される。

$$
E[X] = \int_{-\infty}^{\infty} x f(x) \, dx
$$

$$
V[X] = \int_{-\infty}^{\infty} (x-\mu)^2 f(x) \, dx
$$

## 第2章 確率分布と母関数

### 1. 累積分布関数
- **累積分布関数**：確率変数 $X$ の累積分布関数は $F(x) = P(X \leq x)$ と書く。
  - これは $x_i \leq x$ を満たす、すべての $x$ について $P(x_i)$ を足し合わせたもの。

$$
F(x) = \sum_{x_i \leq x} P(x_i)
$$

- **連続確率変数**：連続確率変数の場合、累積分布関数 $F(x_i)$ は次の式で定義される。

$$
F(x) = \int_{-\infty}^{x} f(x_i) \, dx_i
$$

### 2. 生存関数
- **生存関数**：生存時間を $t$ としたとき、$T$ 以上である確率を表すのが生存関数で、次の式で定義される。

$$
S(t) = P(T \geq t) = \int_{t}^{\infty} f(x) \, dx
$$

### 3. ハザード関数
- **ハザード関数**：生存時間 $T$ において、ある時刻 $t$ まで生存した個体が、その後の微小時間 $\Delta t$ の間に死亡する条件付き確率がハザード関数 $h(t)$。

$$
h(t) = \lim_{\Delta t \to 0} \frac{P(t \leq T < t+\Delta t | T \geq t)}{\Delta t}
$$

- **ハザード関数を確率密度関数と生存関数で表す**：

$$
h(t) = \frac{f(t)}{S(t)} = -\frac{d}{dt} \log S(t)
$$

- **導出**：
1. 条件付き確率の定義により、

    $$
    P(t \leq T < t+\Delta t | T \geq t) = \frac{P(t \leq T < t+\Delta t \cap T \geq t)}{P(T \geq t)}
    $$
    
    $$
    = \frac{P(t \leq T < t+\Delta t)}{P(T \geq t)} = \frac{F(t+\Delta t) - F(t)}{S(t)}
    $$
    
    $$
    P(t \leq T)\text{：累積分布関数} 
    $$
    
    $$
    P(T \geq t)\text{：生存関数}
    $$ 
    
    よって、

    $$
    h(t) = \lim_{\Delta t \to 0} \frac{P(t \leq T < t+\Delta t | T \geq t)}{\Delta t} = \lim_{\Delta t \to 0} \frac{F(t+\Delta t) - F(t)}{\Delta t S(t)} = \frac{f(t)}{S(t)}
    $$

2. 生存関数 $S(t)$ の対数微分をとると、

    $$
    \frac{d}{dt} \log S(t) = \frac{1}{S(t)} \frac{dS(t)}{dt}
    $$
    
    したがって、
    
    $$
    h(t) = -\frac{d}{dt} \log S(t)
    $$

### 4. 同時確率関数と条件付き確率密度関数
- **同時確率関数**：
  - 2つの確率変数 $X,Y$ について、$X=x$ かつ $Y=y$ となる同時確率関数を以下のように定義する。

$$
p(x,y) = P(X=x,Y=y)
$$
- 右辺の式は以下を意味する

$$
P(X=x, Y=y) = P(X=x \cap Y=y)
$$

- **周辺確率関数**：
  - 周辺確率関数 $P_X(x)$ は、全ての $y$ についての $P(x,y)$ の和を取ることで求められる。（$y$を消去する）

$$
P_X(x) = \sum_y P(x, y)
$$

- **条件付き確率関数**：
  - $X = x$ が与えられたときの $Y$ の条件付き確率関数は以下のように定義される。

$$
P_{Y|X}(y|x) = \frac{P(x, y)}{P_X(x)}
$$

- **連続確率変数の場合**：
  - 同時確率密度関数は、範囲 $x_1 \leq X \leq x_2, y_1 \leq Y \leq y_2$ において以下のようになる。

$$
P(x_1 \leq X \leq x_2, y_1 \leq Y \leq y_2) = \int_{x_1}^{x_2} \int_{y_1}^{y_2} f(x,y) \, dx \, dy
$$

  - $X$ に関する周辺確率密度関数 $f_X(x)$ は次のように定義される。

$$
f_X(x) = \int_{-\infty}^\infty f(x, y) \, dy
$$

  - $X=x$ で与えられたときの $Y$ の条件付き確率密度関数 $f_{Y|X}(y|x)$ は以下のように定義される。

$$
f_{Y|X}(y|x) = \frac{f(x, y)}{f_X(x)}
$$

## 第3章 分布の特性値

### 1. 同時分布の特性値
- **共分散**：2つの確率変数 $X$, $Y$ の間の関係性を示す指標であり、次の式で定義される。

$$
\mathrm{Cov}[X, Y] = E[(X - E[X])(Y - E[Y])]
$$

  - **公式**：上記の定義を頑張って計算すると以下が導出できる。

$$
\mathrm{Cov}[X, Y] = E[XY] - E[X]E[Y]
$$

- **相関係数**：各確率変数を標準化して計算したものを相関係数といい、次の式で定義される。

$$
\rho_{X,Y} = \frac{\mathrm{Cov}[X, Y]}{\sigma_X \sigma_Y}
$$

### 2. 条件付き特性値
- **条件付き期待値**：$X$ が与えられたときの $Y$ の条件付き期待値は次の式で定義される。

$$
E[Y|X] = \int_{-\infty}^{\infty} y f_{Y|X}(y|x) \, dy
$$

- **条件付き分散**：$X$ が与えられたときの $Y$ の条件付き分散は次の式で定義される。

$$
V[Y|X] = E[Y^2|X] - (E[Y|X])^2
$$

### 3. 期待値と分散の性質
- **期待値の性質**：確率変数 $X$, $Y$ と定数 $a$, $b$, $c$ について

$$
E[aX + bY + c] = aE[X] + bE[Y] + c
$$

- **分散の性質**：確率変数 $X$, $Y$ と定数 $a$, $b$ について

$$
V[X + Y] = V[X] + V[Y] + \mathrm{Cov}[X, Y]　\text{（独立なら共分散=0）}
$$

- **条件付き期待値の性質**：確率変数 $X$, $Y$ について

$$
E[E[X|Y]] = E[X]
$$

- **条件付き分散**：確率変数 $X$, $Y$ について

$$
V[X] = E[V[X|Y]] + V[E[X|Y]]
$$

## 第4章 変数変換

### 1. 重積分の変数変換
- **１次元の場合**：1変数関数の積分では変数変換 = 置換積分。$t_1, t_2$ を $x(t)$ がそれぞれ $x_1, x_2$ になる $t$ の値とし、$x = x(t)$ と変数変換すると、以下のように表せる。

$$
\int_{x_1}^{x_2} f(x) \, dx = \int_{t_1}^{t_2} f(x(t)) x'(t) \, dt
$$

座標が変換された伸縮率を調整するために $x'(t)$ が必要。

- **2次元の場合**：$x, y$ から新しい座標 $u, v$ に移ることを考える。ここで新しい座標系が $x, y$ と $u, v$ の関係を以下のように表せるとする。

$$
\Phi(u, v) = (x(u, v), y(u, v))
$$

このとき、$x, y$ でみた時の積分領域 $D$ が、$u, v$ では $E$ になるとする。また、変数変換をしたものを $g(u, v)$ と表す。

$$
g(u, v) = f(x(u, v), y(u, v))
$$

![変数変換.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3621732/c2c5bd18-f65c-5cf3-5d9c-dbc300869420.jpeg)

このとき、重積分

$$
\iint_D f(x, y) \, dx \, dy
$$

は、ヤコビアンを用いて $u, v$ での重積分として、以下のように表せる。

$$
\iint_D f(x, y) \, dx \, dy = \iint_E f(x(u, v), y(u, v)) |J(u, v)| \, du \, dv = \iint_E g(u, v) |J(u, v)| \, du \, dv
$$

ヤコビアンと呼ばれる関数 $J(u, v)$ は以下の行列式で表す：

$$
J(u, v) \equiv \frac{\partial (x, y)}{\partial (u, v)} = \det \begin{vmatrix}
\frac{\partial x}{\partial u} & \frac{\partial x}{\partial v} \\
\frac{\partial y}{\partial u} & \frac{\partial y}{\partial v}
\end{vmatrix}
$$

💡行列式の役割は体積拡大率を表すもので、ヤコビアン行列は変換することで比率が変化した面積（体積）の倍率調整の役割を果たす。

### 2. データの変換
- **対数変換**：対数変換（Logarithmic Transformation）は、データの分布を正規化したり、外れ値の影響を軽減したりするために使用される。特に、右に歪んだ（右裾が長い）データ分布に適用されます。

  - 数式
  通常の対数変換は次の式で行う: $y = \log(x)$
  - 条件
    - $x > 0$、データが正である必要がある

- **Box-Cox変換**: Box-Cox変換（Box-Cox Transformation）は、データの分布を正規化するために使われます。対数変換の一般化バージョンであり、対数変換を含む様々な変換を行います。

  - 数式

$$
y(\lambda) = \begin{cases}
\frac{x^{\lambda} - 1}{\lambda} & \text{ if } \lambda \neq 0 \\
\log(x) & \text{ if } \lambda = 0
\end{cases}
$$

  - 条件
    - $x > 0$: データが正である必要がある

  ※ロジット、プロビット変換は第18章で記載する。

## 参考文献
- 日本統計学会公式認定 統計検定準1級対応 統計学実践ワークブック
- データ解析のための数理統計入門 （著者：久保川　達也）
- 数研講座シリーズ 大学教養 微分積分（著者：加藤　文元）
- 統計学のための数学入門30講 (科学のことばとしての数学)（著者：永田　靖）