統計WEB Step1. 基礎編まとめpart3（検定～分析）

「統計WEB Step1. 基礎編」のまとめ
※高校数学の内容は一部省略する。

https://bellcurve.jp/statistics/course/

## 23. 検定の前に
### 検定とは
確率をもとに結論を導く方法。
「最初に仮説を立て、実際に起こった結果を確率的に検証し、結論を導く」という手順で行う。
結論を導くには「背理法」を用いる。

* 背理法
「最初に仮説を設定し、仮説が正しいとした条件で考えて矛盾が起こった場合に仮説が間違っていると判断する」方法

#### 検定を行う上での注意点
* 導かれた結論は「絶対に正しい」と考えることはできない
検定は確率をもとに判断を行うため。
* 「滅多にない」とする基準は先に決めておかなくてはならない

### 検定で使う用語
#### 帰無仮説と対立仮説
* 帰無仮説（きむかせつ）$H_0$
検定の最初に立てる仮説。この仮説を元に検定し結論を導く。
* 対立仮説$H_1$
帰無仮説に対する仮説。本来証明したい仮説。

#### 検定統計量とP値
* 統計検定量（統計量）
帰無仮説が正しいと仮定したときに、観測した事象よりも稀なことが起こる確率を計算するための値。
* P値
帰無仮説が正しいと仮定したとき、観測した事象よりも稀なことが起こる確率。

#### 有意水準と棄却
* 有意水準（危険率）
帰無仮説を棄却する基準となる確率。検定を行う前に決めておく必要がある。

* 棄却
仮説を捨てること。

:::note info
* P値が有意水準よりも大きい場合
帰無仮説は棄却されないが、帰無仮説が正しいと結論づけられない。
⇒「対立仮説が正しいと結論づけられない」ということしか言えない。

* P値が有意水準よりも小さい場合
帰無仮説は棄却される。
⇒対立仮説が正しいといえる。
:::

### 有意水準と検出力
#### 有意水準（α）
帰無仮説を棄却する基準となる確率。
第1種の過誤(帰無仮説が正しいのに棄却してしまう)を犯す確率。
（例）有意水準が0.05のとき
「5%以下の確率で起こる事象は、100回に5回以下しか起こらない事象だ。したがってこのようなまれな事象が起こった場合、偶然起こったものではないとしてしまおう」という意味

#### 検出力（1-β）
帰無仮説が正しくないときに、正しく帰無仮説を棄却する確率。
βは第2種の過誤(対立仮説が正しいのに誤って帰無仮説を棄却しない)を犯す確率。

### 第1種の過誤と第2種の過誤
第1種の過誤の確率(α)と第2種の過誤の確率(β)両方はトレード・オフの関係になっているので同時に低くすることはできない。
両方の確率のバランスをとることが重要。

<table>
	<tbody>
		<tr>
			<td colspan="2" rowspan="2"></td>
			<td colspan="2">真実</td>
		</tr>
		<tr>
			<td>帰無仮説が正しい</td>
			<td>対立仮説が正しい</td>
		</tr>
		<tr>
			<td rowspan="2">検定の結果</td>
			<td>帰無仮説を棄却しない<br>（対立仮説が正しいとは言えない）</td>
			<td>正しい</td>
			<td>第2種の過誤(β)</td>
		</tr>
		<tr>
			<td>帰無仮説を棄却する<br>（対立仮説が正しい）</td>
			<td>第1種の過誤(α)</td>
			<td>正しい（1-β）</td>
		</tr>
	</tbody>
</table>

### 検定統計量と棄却域・採択域
#### 検定統計量
* 統計量z（=z値）
平均が0、分散が1となるようにデータを標準化した値。
```math
\displaylines{
z = \frac{\overline{x}-\mu}{\sqrt{\frac{\sigma^2}{n}}}
}
```
（$\bar{x}$：データの平均。$\mu$：母平均。$\sigma^2$：母分散。n：サンプルサイズ）
$\sqrt{\frac{\sigma^2}{n}}$は標本平均の標準誤差＝標本平均の標準偏差を表す。

* 統計量t（=t値） 
サンプルサイズがnの場合、統計量tは自由度n-1のt分布に従う。
※t検定：統計量tを用いた検定
```math
\displaylines{
t = \frac{\overline{x}-\mu}{\sqrt{\frac{s^2}{n}}}
}
```
（$s^2$：不偏分散）

#### 棄却域と採択域
* 棄却域
帰無仮説$H_0$が棄却される領域

* 採択域
帰無仮説$H_0$が棄却されない領域

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3756185/9c167446-faaa-0990-6cc2-80f48361e6b9.png)
> 画像参照：23-5. 検定統計量と棄却域・採択域
> https://bellcurve.jp/statistics/course/9317.html

### 両側検定と片側検定
（例）帰無仮説$H_0$を「薬A中の成分Bの含有量は100mgである」としたとき、対立仮説について検定する。

対立仮説$H_1$の種類
* 薬A中の成分Bの含有量は100mgではない
⇒両側検定
* 薬A中の成分Bの含有量は100mgより多い
* 薬A中の成分Bの含有量は100mgより少ない
⇒片側検定


## 24. 平均値の検定
条件：母集団が正規分布に従う

《検定の流れ》
1. 仮説を立てる（帰無仮説と対立仮説）
2. 有意水準αを設定する
3. 適切な検定統計量を決める
4. 棄却ルールを決める
5. 検定統計量を元に結論を出す

### 母平均の検定（両側t検定）
《検定の流れ》
①仮説を立てる（帰無仮説と対立仮説）
②有意水準αを設定する
　（例）有意水準5%(α=0.05)とする。
③適切な検定統計量を決める
　母分散が分からない場合、不偏分散$s^2$を用いる統計量tを使う。
```math
\displaylines{
t = \frac{\overline{x}-\mu}{\sqrt{\frac{s^2}{n}}}
}
```
（$\bar{x}$：データの平均。$\mu$：母平均。$s^2$：不偏分散。n：サンプルサイズ）

④棄却ルールを決める
　t分布の場合、自由度はn-1
⑤検定統計量を元に結論を出す
　③の式からtを求める。
　自由度n-1のt分布の両側5％点から、棄却域を求める。
　求めたtが棄却域に入っている（帰無仮説が棄却される）か確認する。

　（画像例）自由度9のt分布
 ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3756185/d9962f48-e69c-8cd9-783a-1698f192b5d7.png)
> 画像参照：24-1. 母平均の検定（両側t検定）
> https://bellcurve.jp/statistics/course/9405.html

### 母平均の検定（片側t検定）
①～④までは両側t検定と大体同じ。
⑤検定統計量を元に結論を出す
　③の式からtを求める。
　自由度n-1のt分布の片側5％点から、棄却域を求める。
　求めたtが棄却域に入っている（帰無仮説が棄却される）か確認する。

### 2標本t検定とは
2つの独立した母集団があり、それぞれの母集団から抽出した標本の平均に差があるかどうかを検定すること

#### 対応がない場合の2標本t検定の方法
（例）1組と2組の生徒
帰無仮説：「母平均が等しい」
母分散が分からない場合、不偏分散$s^2$を用いる統計量tを使う。
```math
\displaylines{
t = \frac{\overline{x_1}-\overline{x_2}-(\mu_1 - \mu_2)}
{\sqrt{s^2(\frac{1}{n_1}+\frac{1}{n_2})}}
}
```
※自由度：$n_1 + n_2 -2$
※1群目のデータについて
　$\bar{x_1}$：データの平均。$\mu_1$：母平均。$s^2$：不偏分散。$n_1$：サンプルサイズ

帰無仮説：「母平均が等しい」が正しい場合、$(\mu_1 - \mu_2)=0$になる。
```math
\displaylines{
t = \frac{\overline{x_1}-\overline{x_2}}
{\sqrt{s^2(\frac{1}{n_1}+\frac{1}{n_2})}}
= \frac{\overline{x_1}-\overline{x_2}}
{s \sqrt{\frac{1}{n_1}+\frac{1}{n_2}}}
}
```

プールした分散$s^2$を使う。
※プールした分散：2つの標本の不偏分散を1つにまとめたもの

```math
\displaylines{
s^2 = \frac{(n_1-1)\times s_1^2 + (n_2-1)\times s_2^2}{n_1 + n_2 - 2}
}
```
※1群目のデータについて
　$s_1^2$：不偏分散。$n_1$：サンプルサイズ
　2群目も同様。
 
#### 対応がある場合の2標本t検定の方法
（例）投薬前後の血圧
「対応のあるデータの差」を用いて検定を行う。
帰無仮説：「対応のあるデータの差の平均は0である」

### 対応のない2標本t検定
（例）1組と2組の算数のテストの平均点を比較する。
《検定の流れ》
①仮説を立てる（帰無仮説と対立仮説）
　帰無仮説：「1組と2組の算数のテストの平均点は等しい」
　対立仮説：「1組と2組の算数のテストの平均点には差がある」
②有意水準αを設定する
　（例）有意水準5%(α=0.05)とする。
③適切な検定統計量を決める
　母分散が分からない場合、不偏分散$s^2$を用いる統計量tを使う。
```math
\displaylines{
t = \frac{\overline{x_1}-\overline{x_2}}
{\sqrt{s^2(\frac{1}{n_1}+\frac{1}{n_2})}}
= \frac{\overline{x_1}-\overline{x_2}}
{s \sqrt{\frac{1}{n_1}+\frac{1}{n_2}}}
}
```
※1群目のデータについて
　$\bar{x_1}$：データの平均。$\mu_1$：母平均。$s^2$：プールした不偏分散。$n_1$：サンプルサイズ


④棄却ルールを決める
　自由度は$n_1 + n_2 -2$のt分布
　1組と2組の算数のテストの平均点に差があるかどうかを調べることが目的なので、両側検定を行う。

⑤検定統計量を元に結論を出す
　まず、$s^2$を求める。その後、③の式からtを求める。
　自由度$n_1 + n_2 -2$のt分布の両側5％点から、棄却域を求める。
　求めたtが棄却域に入っている（帰無仮説が棄却される）か確認する。

### 対応のある2標本t検定
（例）被験者5人に対して薬の投与前と投与後の血圧を測定した時の、血圧の差を比較する。
　　※投与前後の血圧を測定しているため、各被験者の血圧差や、被験者の血圧平均を求められる状態。
《検定の流れ》
①仮説を立てる（帰無仮説と対立仮説）
　帰無仮説：「投薬前後の血圧は等しい＝投薬によって血圧は下がらなかった」
　対立仮説：「投薬によって血圧に差があった＝投薬によって血圧は下がった」
②有意水準αを設定する
　（例）有意水準5%(α=0.05)とする。
③適切な検定統計量を決める
　母分散が分からない場合、不偏分散$s^2$を用いる統計量tを使う。
```math
\displaylines{
t = \frac{\bar{d}-\mu}{\sqrt{\frac{s^2}{n}}}
}
```
※$\bar{d}$：投薬による血圧の差の平均。$\mu$：差の母平均。n：サンプルサイズ


④棄却ルールを決める
　自由度はn-1=5-1=4のt分布
　血圧が下がったかどうかのみを考えればよいので、片側検定を行う。

⑤検定統計量を元に結論を出す
　投薬前後での血圧の差が0かどうかを検定するため、$\mu$=0となる。
　まず、$s^2$を求める。
```math
\displaylines{
s^2 =\frac{1}{n-1}\sum_{i=1}^n (x_i-\bar{x})^2
}
```
　※$x_i$：各被験者の血圧の前後差。$\bar{x}$：投薬による血圧の差の平均
 
　その後、③の式からtを求める。
　自由度n-1=4のt分布の片側5％点から、棄却域を求める。
　求めたtが棄却域に入っている（帰無仮説が棄却される）か確認する。


## 25. さまざまな検定
検定の流れは今までと同じ。
母集団が正規分布に従わない場合でも、標本が十分に大きい場合には標本平均の分布は正規分布に従うことから（中心極限定理）、標準正規分布N(0, 1)を用いて検定を行う。

### 母比率の検定
「③適切な検定統計量を決める」で統計量zを求める。
サンプルサイズnが十分に大きい時、
```math
\displaylines{
z = \frac{\hat{p}-p_0}{\sqrt{\frac{p_0(1-p_0)}{n}}}
}
```
※$\hat{p}$：標本比率。$p_0$：母比率

### 二項分布を用いた検定
「③適切な検定統計量を決める」で統計量zを求める。
二項分布$B_i(n,p)$の場合、確率変数Xについて、
「期待値E(X)=np、分散V(X)=np(1-p)」が成り立つ。
サンプルサイズnが十分に大きい時、
```math
\displaylines{
z = \frac{X-np}{\sqrt{np(1-p)}}
}
```

### ポアソン分布を用いた検定
「③適切な検定統計量を決める」で統計量zを求める。
確率変数Xがポアソン分布に従うとき、「期待値E(X)=分散V(X)=λ」が成り立つ。
サンプルサイズnが十分に大きい時、
```math
\displaylines{
z= \frac{X-n\lambda}{\sqrt{n\lambda}}
}
```

### 適合度の検定
調査によって得られたクロス集計表がある場合、実測度数がある特定の分布に適合（一致）するかどうかを検定すること。カイ二乗分布を用いて検定する。

「③適切な検定統計量を決める」で統計量を求める。
カイ二乗分布に従うカイ二乗統計量（＝カイ二乗値$\chi^2$）使う。
①「理論値」からの「実測値」のズレを2乗したものを、「理論値」の値で割る
②①の和$\chi^2$を求める

### 独立性の検定
クロス集計表において、分類基準間に関連があるかどうかを検定すること。カイ二乗分布を用いて検定する。

「③適切な検定統計量を決める」で統計量を求める。
①理論値を算出する
②「理論値」からの「実測値」のズレを2乗したものを「理論値」で割る
③②の和$\chi^2$を求める

### 母比率の差の検定
「③適切な検定統計量を決める」で統計量zを求める。

```math
\displaylines{
z = \frac{\hat{p_1}-\hat{p_2}}{\sqrt{\hat{p}(1-\hat{p})(\frac{1}{n_1}+\frac{1}{n_2})}}
}
```
※1群目のデータについて
　$\hat{p_1}$：標本比率。$n_1$：サンプルサイズ
※$\hat{p}$：2つの標本比率を1つにまとめた標本比率（プールした標本比率）

```math
\displaylines{
p = \frac{n_1\hat{p_1}+n_2\hat{p_2}}{n_1+n_2}
}
```

## 26. 相関分析
### 散布図
2つの要素からなる1組のデータが得られたときに、2つの要素の関係を見るためにプロットしたグラフ。
2つの要素の間に何らかの関係がある場合、これらのデータ間には「相関関係」があるという。
横軸：1つ目の要素
縦軸：2つ目の要素

### 正の相関と負の相関
* 相関関係
2つの事象の間にある何らかの関係

* 正の相関関係
横軸の値（x）が増加すると縦軸の値（y）も増加するという関係

* 負の相関関係
xが増加するとyが減少するという関係

* 相関関係なし（無相関）
xが増加してもyに増減の傾向が見られない

* 因果関係
2つの事象のうち一方が原因となって他方の結果があるという関係

### 相関係数
直線的な相関関係の強さを表す指標のひとつに「相関係数(ピアソンの積率相関係数)」がある。
2つのデータ（xとy）の関係性がどれだけ強いかを表す。
共分散を使うと2つの確率変数X,Yとの相関係数を計算できる。

```math
\displaylines{
r_{xy}=\frac{xとyの共分散}{(xの標準偏差)(yの標準偏差)}
=\frac{Cov(X, Y)}{\sqrt{V(X)V(Y)}}
= \frac{\frac{1}{n}\sum_{i=1}^n(x_1-\overline{x})(y_i-\overline{y})}{\sqrt{\frac{1}{n}\sum_{i=1}^n(x_i-\overline{x})^2}\times \sqrt{\frac{1}{n}\sum_{i=1}^n(yi-\overline{y})^2}}
}
```
* 共分散
xとyそれぞれの平均値に対する、xとyのペアの値の散らばり方を表す。
共分散が正
→xとyのペアの値が共に正もしくは負
→相関係数が正の値

:::note info
相関係数rの特徴
* rは-1から1までのいずれかの値をとる
* |r|が1に近いほど相関が強く、0に近いほど相関が弱い（≠無相関）
* |r|が0に近くても、何らかの関係がある場合がある
* rは単位を持たない値であり、データの単位がどのようなものであっても計算できる
:::

#### 無相関の検定
標本から算出した相関係数を使って、母集団の相関係数が0かどうかを検定すること。
帰無仮説：「母相関係数は0（無相関）である」
⇒棄却されると「2つの要素間で相関関係がある」

自由度n-2のt分布で検定する。
```math
\displaylines{
t = \frac{|r|\sqrt{n-2}}{\sqrt{1-r^2}}
}
```
※r：標本から算出した相関係数。n：サンプルサイズ

#### 母相関係数の信頼区間
①標本から算出した相関係数rを変換する（フィッシャーのz変換）
```math
\displaylines{
z = \frac{1}{2}\log\frac{1+r}{1-r}
}
```

②同様に、母相関係数$\rho$をz変換する。変換後$\zeta$（ゼータ）とする
```math
\displaylines{
\zeta = \frac{1}{2}\log \frac{1+\rho}{1-\rho}
}
```

③zはサンプルサイズnが大きい時に、平均$\zeta$、分散$\frac{1}{n-3}$の正規分布$N(\zeta,\frac{1}{n-3})$に従う。
 zを標準化する
```math
\displaylines{
\zeta = \frac{z-\zeta}{\sqrt{\frac{1}{n-3}}}
=\sqrt{n-3}(z-\zeta)
}
```

### 偏相関係数
見かけ上の相関がある場合は、相関係数ではなく第3の因子の影響を除いた相関係数である「偏相関係数」を用いて相関関係を評価する。
1つ目の因子をx、2つ目の因子をy、3つ目の因子をzとする。
zの影響を除いたxとyの偏相関係数は以下のようになる。
```math
\displaylines{
r_{xy･z} = \frac{r_{xy}-r_{xz}r_{yz}}{\sqrt{1-r_{xz}^2}\sqrt{1-r_{yz}^2}}
}
```

### 層別解析
データの中にいくつかの異なる性質の集団が含まれている場合、データを分割して解析すること
（例）散布図を2つに分けるなど

## 27. 回帰分析
### 単回帰分析
* 回帰
目的変数yについて説明変数xを使った式（回帰方程式または回帰式）で表すこと
* 回帰分析
回帰式を求めること

* 単回帰式
説明変数xが1つだけ使われている回帰式
* 単回帰分析
単回帰式を求めること

* 重回帰式
説明変数xが複数使われている回帰式
* 重回帰分析
重回帰式を求めること

#### 単回帰式y= β0 + β1xにおけるβ0とβ1の求め方
実際のデータには測定誤差など様々な誤差を含んでいると考えられる。
```math
\displaylines{
y = \beta_0 + \beta_1x + u
}
```
※u：誤差（真の回帰式から実際のデータまでのズレ）
※$\beta_0$と$\beta_1$は直接求めることはできない。

実際のデータがn個ある場合、真の回帰式から求められるi番目の値は$(x_i, \beta_0 + \beta_1x_i)$となる。
よって、誤差は$u_i = y_i - (\beta_0 + \beta_1x_i)$となる。

最小二乗法を使って、$e_i$の二乗和を考え、この二乗和が最小となるように$\hat{\beta_0}$と$\hat{\beta_1}$を算出する。
```math
\displaylines{
\sum_{i=1}^ne_i^2 = \sum_{i=1}^n(y_i-(\hat{\beta_0}+\hat{\beta_1}x_i))^2
}
```
※$\hat{\beta_0}$：$\beta_0$の推定値。偏回帰係数
※$e_i$：残差。データを回帰式に代入して得られた値と、実際のデータとの差を表す。誤差$u_i$ではない。

#### β0とβ1の求め方
```math
\displaylines{
\hat{\beta_1} = \frac{\sum_{i=1}^n(y_i-\overline{y})(x_i-\overline{x})}{\sum_{i=1}^n(x_i-\overline{x})^2}
\\
\hat{\beta_0} = \overline{y} - \hat{\beta_1}\overline{x}
}
```

:::note info
誤差$u_i$の仮定している条件
* $u_i$の期待値は0である：$E(u_i) = 0$
* $u_i$の分散は常に\sigma^2である：$V(u_i) = \sigma^2$
* 異なる誤差$u_i$ 、$u_j$は互いに独立である：$Cov(u_i, u_j) = 0$
* 誤差$u_i$は正規分布に従う
これらの条件から、 は互いに独立に同一の正規分布$N(0, \sigma^2)$に従うと仮定される。
:::

### 最小二乗法
観測値と予測値の誤差の二乗和が最小になるように予測値の未知のパラメーターを求める方法。
```math
\displaylines{
E = \sum_{i=1}^n(y_i-(\hat{\beta_0}+\hat{\beta_1}x_i))^2
}
```

#### 回帰式の特徴
* 推定値$\hat{y}$の平均値は、実際の観測値$y_i$の平均と等しい
* 回帰直線は$(\overline{x}, \overline{y})$を通る

### 重回帰分析
説明変数xが複数使われている重回帰式を求めること。
```math
\displaylines{
y = \beta_0 + \beta_1x_1 + \beta_2x_2 + ･･･ + \beta_ix_i
}
```

#### 偏回帰係数
$\beta_i$の推定値。
ある偏回帰係数は、それ以外の説明変数の値を固定した場合、その説明変数が1増加するとyがどれだけ増加/減少するかを示す。

#### 標準偏回帰係数
説明変数xおよび目的変数をそyれぞれ標準化した値から算出される偏回帰係数のこと。
標準偏回帰係数は重回帰式における各変数の重要性を表す指標であり、標準化偏回帰係数同士の大小を比較できる。

#### 偏回帰係数の有意性の検定
定数項も含めた各会期残差偏回帰係数$\hat{\beta_i}$が0であるかについての検定結果。
帰無仮説：「偏回帰係数=0」

偏回帰係数$\hat{\beta_i}$を標準誤差で割った値について、自由度(n-k-1)のt分布を用いて検定を行う。
```math
\displaylines{
t_i = \frac{\hat{\beta_i}-0}{se(\hat{\beta_i})}
}
```
※n：サンプルサイズ。k：説明変数の数

この検定により有意の場合、偏回帰係数は0ではない。
（その説明変数の目的変数に対する影響は統計的に有意である）


#### 偏回帰係数の信頼区間
偏回帰係数の有意性の検定で用いた自由度(n-k-1)のt分布を使うと、次の式から偏回帰係数$\hat{\beta}$の(100(1-α)%)信頼区間を求めることができる。
```math
\displaylines{
\hat{\beta_i}-t_{\frac{\alpha}{2}}(n-k-1)\times se(\hat{\beta_i})\leq \beta_i 
\leq \hat{\beta_i} + t_\frac{\alpha}{2}(n-k-1) \times se(\hat{\beta_i})
}
```
※n：サンプルサイズ。k：説明変数の数
  $t_\frac{\alpha}{2}(n-k-1)$：自由度(n-k-1)のt分布における上側確率が$\frac{\alpha}{2}$となる値（t値）

#### ダミー変数
カテゴリカルデータや2値型データのようなもともと数値でないデータに対して、0と1を用いて数量化した変数のこと。

### 予測値と残差
* 予測値
データから回帰式を推定すると算出できる値$\hat{y}$
* 残差（回帰残差）
データを回帰式に代入して得られた値と、実際のデータとの差eを表す（）。
```math
\displaylines{
e_i = y_i-(\hat{\beta_0}+\hat{\beta_1}x_i)
}
```
※$e_i$：i番目のデータの残差

#### 残差と誤差
* 誤差u
求めようとする「真の回帰式」から算出される値と実際のデータとの差
（計算で求められない）

*残差e
実際のデータを用いて「推定された回帰式」から算出される値と実際のデータとの差
（計算で求められる）

#### 残差の性質
* 残差の総和は0である
```math
\displaylines{
\sum_{}e_i = 0
}
```
* 説明変数$x_i$と残差$e_i$の積和は0である
 （説明変数と残差との間には相関がない（＝無相関である））
```math
\displaylines{
\sum_{}x_ie_i = 0
}
```

#### 残差の評価
《回帰式を評価する方法》
* 決定係数を算出する方法
* 残差のばらつきを見る「残差分析」

回帰式がデータに対して妥当であれば、残差は適当にばらつく。（分散均一性）
これをチェックするために、各データの残差を左から順番に並べた「残差プロット」というグラフを作成する。
横軸：データの番号
縦軸：残差の値

残差プロットでは、縦軸の「0」に対して、残差がどのようにばらついているかを確認する。
* 残差が縦軸「0」に対して均一に分散している
⇒問題なし
* 大きく外れている値が少数ある
⇒外れ値である可能性がある
* 残差が徐々に大きくあるいは小さくなっていたり、何かしらの傾向が見られる
⇒推定された回帰式が妥当ではない可能性がある

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3756185/51cccfff-40d2-2ca1-00d3-2fefa53bfbb9.png)
> 画像参照：27-4. 予測値と残差
> https://bellcurve.jp/statistics/course/9704.html

### 決定係数と重相関係数
* 決定係数$R^2$
    * データに対する、推定された回帰式の当てはまりの良さ（度合い）を表す
    * 0から1までの値をとる
    * 1に近いほど、回帰式が実際のデータに当てはまっていることを表す
    * 説明変数の数が増えるほど1に近づく



* 重相関係数R
    * 実際に観測された目的変数の値と、重回帰式をあてはめて計算した推定値（理論値）との相関係数
    * 0から1までの値をとる
    * 1に近いほど分析の精度は高い

#### 決定係数の求め方
決定係数は、「回帰変動が全変動に対してどれだけ多いか＝残差変動が全変動に対してどれだけ少ないか」を表す。
実際のデータと推定された回帰式から「全変動」「回帰変動」「残差変動」の3つを求める必要がある。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3756185/2fa898fc-e9f3-da0b-7bfc-873e05067090.png)
> 画像参照：27-5. 決定係数と重相関係数
> https://bellcurve.jp/statistics/course/9706.html

* 「全変動」：実際のデータとデータ全体の平均値との差を表す（上の図の緑の部分）
* 「回帰変動」：推定された回帰式から得られた予測値とデータ全体の平均値の差を表す（上の図の紫の部分）
* 「残差変動」：実際のデータと推定された回帰式から得られた予測値との差を表す（上の図の赤の部分）

:::note info
全変動＝回帰変動 ＋ 残差変動
決定係数＝回帰変動の平方和 / 全変動の平方和
:::

#### 自由度調整済み決定係数
決定係数は説明変数の数が増えるほど1に近づく。
説明変数の数が多い場合、この点を補正した「自由度調整済み決定係数（自由度修正済み決定係数）」を使う。
```math
\displaylines{
R^2_f = 1- \frac{
\frac{残差変動の平方和}{n-k-1}
}{
\frac{全変動の平方和}{n-1}
}
\\
= 1- \frac{
\frac{\sum_{i=1}^n(y_i-\hat{y_i})^2}{n-k-1}
}{
\frac{\sum_{i=1}^n(y_i-\bar{y})^2}{n-1}
}
}
```

### 回帰の有意性の検定
複数の説明変数における回帰係数の効果を同時に検定する
（回帰式そのものが目的変数に対して効果があるかを検定する）場合、F分布を用いて回帰の有意性を検定する。

#### 回帰の有意性の検定とは
回帰変動のばらつきが相対的に大きいかどうかだけを見ればよいので、この検定では「片側検定」を行う。

```math
\displaylines{
F=\frac{回帰変動の平均平方}{残差変動の平均平方}=\frac{MSR}{MSE}
\\
= \frac{
\frac{\sum_{i=1}^n(\hat{y_i}-\bar{y})^2}{k}
}{
\frac{\sum_{i=1}^n(y_i-\hat{y_i})^2}{n-k-1}
} ～F(k,n-k-1)
}
```
※$y_i$：実際のデータ。$\hat{y_i}$：回帰式から推定された値
 $\bar{y}$：データ全体から求められる平均値
 自由度：(k,n-k-1)

残差変動の平均平方（残差変動のばらつき）に対する回帰変動の平均平方（回帰変動のばらつき）について
* 相対的に大きい
⇒ 回帰変動による効果は有意である
⇒回帰式そのものが目的変数に対して効果がある
⇒偏回帰係数のいずれかが0ではない
* 相対的に小さい
⇒回帰変動による効果は有意であるとはいえない

#### 分散分析表
回帰の有意性の検定を行う際には、次のような分散分析表を作成する場合がある。

<table>
	<tbody>
		<tr>
			<td>要因</td>
			<td>平方和</td>
			<td>自由度</td>
			<td>平均平方</td>
			<td>F値</td>
		</tr>
		<tr>
			<td>回帰変動</td>
			<td>回帰変動の平方和 (SSR)<br>$\sum_{i=1}^n(\hat{y_i}-\bar{y})^2$</td>
			<td>p</td>
			<td>回帰変動の平均平方 (MSR)<br>$\frac{\sum_{i=1}^n(\hat{y_i}-\bar{y})^2}{p}$</td>
			<td>$\frac{MSR}{MSE}$</td>
		</tr>
		<tr>
			<td>残差変動</td>
			<td>残差変動の平方和 (SSE)<br>$\sum_{i=1}^n(y_i-\hat{y_i})^2$</td>
			<td>n-p-1</td>
			<td>残差変動の平均平方 (MSE)<br>$\frac{\sum_{i=1}^n(y_i-\hat{y_i})^2}{n-p-1}$</td>
			<td>-</td>
		</tr>
		<tr>
			<td>全体変動</td>
			<td>全変動の平方和 (SST)<br>$\sum_{i=1}^n(y_i-\bar{y})^2$</td>
			<td>n-1</td>
			<td>-</td>
			<td>-</td>
		</tr>
	</tbody>
</table>

## 28. 等分散性の検定とWelchのt検定
### F分布
自由度が$k_1,k_2$のカイ二乗分布$\chi_1～\chi^2(k_1)$、$\chi_2～\chi^2(k_2)$が互いに独立である場合、次の式から算出されるFが従う確率分布のこと。自由度$(k_1,k_2)$のF分布に従う。
t分布やカイ二乗分布と同様、自由度によって形が異なる分布。
t分布やカイ二乗分布と異なり2つの自由度から分布の形が決まる。
```math
\displaylines{
F = \frac{\chi_1^2/k_1}{\chi_2^2/k_2}
}
```

#### F分布の実際の使い方
帰無仮説「2標本の母分散は等しい」とした場合、2標本の不偏分散を用いて母分散が等しいかどうかを検定する「等分散性の検定」に使われる。

:::note info
F分布の性質
* 期待値と分散
確率変数Xが自由度(m, n)のF分布に従っている時
```math
\displaylines{
E(X) = \frac{n}{n-2} \quad (n>2)
\\
V(X) = \frac{2n^2(m+n-2)}{m(n-2)^2(n-4)} \quad (n>4)
}
```

* t分布とF分布の関係
標準正規分布N(0, 1)に従うZと自由度nのカイ二乗分布Wがあり、これらが互いに独立であるとき、次の式から算出されるtは自由度nのt分布に従う。
```math
\displaylines{
t^2 = \frac{Z^2}{\frac{W}{n}}
}
```
tが自由度のnのt分布に従うとき、$t^2$は自由度(1, n)のF分布に従う。
:::

### F分布表
#### t検定を行うための前提条件
* 標本は母集団からランダムに選ばれていること
* 母集団の分布は正規分布に従うこと
* 2標本t検定を行う場合には、2つの母集団の母分散が等しいこと
⇒F分布に従う統計量FとF分布表を使って検定できる。

#### F分布表の読み方
F分布は自由度によって分布の形が変わるため、統計数値表の読み方が標準正規分布表の場合と異なる。

### 母分散の比の信頼区間の求め方
確率変数が正規分布$N(\mu_1,\sigma_1^2)$と$N(\mu_2,\sigma_2^2)$に従う2つの母集団からそれぞれサンプルサイズが$n_1,n_2$の標本を抽出したとき
```math
\displaylines{
F = \frac{s_1^2/\sigma_1^2}{s_2^2/\sigma_2^2}
}
```

* 確率変数X自由度$(k_1,k_2)$のF分布に従う時、その逆数である1/Xは自由度$(k_2,k_1)$のF分布に従う
* 自由度$(k_1,k_2)$のF分布における上側100α%点の値が$F_\alpha(k_1,k_2)$のとき、自由度$(k_2,k_1)$のF分布における下側100α%点の値は$F_{1-\alpha}(k_2,k_1)=\frac{1}{F_\alpha(k_1,k_2)}$として算出できる

### 等分散性の検定
検定の流れは今までと同じ。
「③適切な検定統計量を決める」で統計量Fを求める。
等分散性の検定においてF統計量を算出するときには2つの分散のうち、大きな値の方を分子にする。
```math
\displaylines{
F = \frac{s_1^2}{s_2^2}
}
```
※$s_1^2$：1群目の不偏分散

「④棄却ルールを決める」で、自由度$(k_1,k_2)$のF分布を行う。
2つの分散が等しいかどうかを検定するので、両側検定を行う。

### Welchのt検定
2標本t検定を行う場合、前提条件の1つとして「2つの母集団の分散が等しいこと」が必要。
* 等分散ではないとは言えない場合（帰無仮説「2標本の母分散は等しい」が棄却されない場合）
⇒t検定
* 等分散ではないと言える場合（帰無仮説「2標本の母分散は等しい」が棄却される場合）
⇒Welchのt検定

#### Welchのt検定
2標本t検定と同様に平均値の差の検定方法。
2標本t検定とは異なり2標本の母分散が等しいとは限らない場合に使うことができる。

```math
\displaylines{
t = \frac{\bar{x}_1-\bar{x}_2}{\sqrt{\frac{s_1^2}{n_1}+\frac{s_2^2}{n_2}}}
}
```
※1群目について
 $\bar{x}_1$：標本平均。$n_1$：サンプルサイズ。
  $s_1^2$：不偏分散

#### 多重性の問題
「検定を複数回行うと、第1種の過誤の確率が大きくなる」という問題のこと。
※第1種の過誤：帰無仮説が正しいのに棄却してしまう

#### ボンフェローニ法
* 多重比較検定
多重性を考慮した検定
* ボンフェローニ法
多重比較検定法の1つ。
有意水準αのもとでk個の事象について検定を行う場合、誤って有意であると判定してしまう確率（第1種の過誤の確率）を抑えるため、新たに$\frac{\alpha}{k}$を有意水準として検定する。
※事象kの数が大きくなると新有意水準が非常に小さくなるため検出力が低下する。

## 29. 一元配置分散分析
### 分散分析とは
データの「分散」をもとにした分析方法。
3群以上からなるデータ（例えば1組、2組、3組の算数のテスト等）や1つのデータに2つの要素を含むデータ（薬A、B、Cをそれぞれ10mg、20mg投与した場合の効果等）の母平均の差を検定したりする。

「27. 回帰分析」の分散分析表と同じものを使う。

#### 分散分析で使う用語
* 要因
データの値に変化を与える要素。

* 因子
要因の中でも特に、母平均に差をもたらすと考えられることから研究対象となる（あるいは注目する）要因。

* 水準
1つの要因に含まれる項目（グループ）。
（例）1組、2組、3組の算数のテストの場合、「組」の水準数は3

* ◯元配置
データに含まれる因子の数。
（例）1組、2組、3組の算数のテストの場合、含まれる因子の数は「組」のみであることから「一元配置のデータ」となる。

#### 分散分析の種類
* 一元配置分散分析
1つの因子からなるデータを分析する方法で、因子に含まれる水準間の平均値の差を見ることができる。
（例）1組、2組、3組の算数のテストの場合、1組、2組、3組の算数のテストの平均点に差があるかどうかを検定できる。

* 二元配置分散分析
2つの因子からなるデータを分析する方法で、各因子における水準間の平均値の差を見ることができる。
また、2つの要因が組み合わさることで現れる相乗効果の有無の確認もできる。
（例）薬A、B、Cをそれぞれ10mg、20mg投与した場合の効果についてのデータがある場合、
     二元配置分散分析を用いて薬の種類によって得られる平均値に差があるか、あるいは薬の投与量によって得られる平均値に差があるかどうかを検定できる。

* 多元配置分散分析
3つ以上の因子からなるデータを分析する方法

### 一元配置分散分析の流れ
分散分析のポイント：「データ全体の平均値から因子の各水準の平均値がどのくらいずれているか」を見ること

#### 分散分析のイメージ
①以下の3つに分けて考える。
* データ全体の平均値からの各データのズレ
* データ全体の平均値からの因子の各水準の平均値のズレ
* それ以外のズレ（因子の各水準の平均値からの各データのズレ）

「全体の平均値からの各データのズレ」=「全体の平均値からの因子の各水準の平均値のズレ」+「それ以外のズレ」
※ズレは2乗和として求める。

②分散分析表を使って検定する。
* 平方和：各ズレの二乗和の値が入る
* 平均平方：平方和を自由度で割ったもの。要因と残差のみを求める
* F値：$\frac{s_1^2}{s_2^2}$。要因の平均平方が「分子」、残差の平均平方が「分母」

<table>
	<tbody>
		<tr>
			<td>因子</td>
			<td>平方和</td>
			<td>自由度</td>
			<td>平均平方</td>
			<td>F値</td>
		</tr>
		<tr>
			<td>要因</td>
			<td>データ全体の平均値からの因子の各水準の平均値のズレ</td>
			<td>因子の水準数 - 1（※1）</td>
			<td>平方和/自由度</td>
			<td>要因の平均平方/残差の平均平方</td>
		</tr>
		<tr>
			<td>残差</td>
			<td>それ以外のズレ</td>
			<td>全体の自由度 - 要因の自由度（※2）</td>
			<td>平方和/自由度</td>
			<td></td>
		</tr>
		<tr>
			<td>全体</td>
			<td>データ全体の平均値からの各データのズレ</td>
			<td>全データの個数 - 1</td>
			<td></td>
			<td></td>
		</tr>
	</tbody>
</table>

③統計量Fから検定を行う
分散分析では必ず「片側検定」を行う。
統計量F（表のF値）を、自由度(表の※1,※2)のF分布を使って検定する。
残差のばらつき（それ以外のズレ）に対する要因のばらつき（全体の平均値からの因子の各水準の平均値のズレ）が相対的に大きいかどうかを検定する。
* 大きい場合：要因による効果は有意である
* 小さい場合：要因による効果は有意であるとはいえない

#### 各水準の母平均の信頼区間
```math
\displaylines{
\bar{x}_j - t_{\alpha/2}(df_E) \times \sqrt{\frac{V_E}{n_j}} \leq \mu \leq 
\bar{x}_j + t_{\alpha/2}(df_E) \times \sqrt{\frac{V_E}{n_j}}
}
```
※$\bar{x}_j$：水準jの標本平均。$df_E$：残差の自由度
  $V_E$：残差の自平均平方。$n_j$：水準jのサンプルサイズ

## 30. 二元配置分散分析
因子を2つ含むデータから、各因子における水準間の平均値の差を検定するための分析方法

### 二元配置分散分析の分散分析表
分散分析のポイント：「データ全体の平均値から因子の各水準の平均値がどのくらいずれているか」を見ること
元配置分散分析とは異なり「交互作用」（因子①×因子②）の有無についても解析することができる。

<table>
	<tbody>
		<tr>
			<td>因子</td>
			<td>平方和</td>
			<td>自由度</td>
			<td>平均平方</td>
			<td>F値</td>
		</tr>
		<tr>
			<td>因子①</td>
			<td>データ全体の平均値からの因子①の各水準の平均値のズレ（※3）</td>
			<td>因子①の水準数 - 1（※1）</td>
			<td>平方和/自由度</td>
			<td>平均平方/残差の平均平方</td>
		</tr>
		<tr>
			<td>因子②</td>
			<td>データ全体の平均値からの因子②の各水準の平均値のズレ（※4）</td>
			<td>因子②の水準数 - 1（※2）</td>
			<td>平方和/自由度</td>
			<td>平均平方/残差の平均平方</td>
		</tr>
		<tr>
			<td>因子①×因子②</td>
			<td>データ全体の平均値からの因子①×因子②の平均値のズレ - ※3 - ※4 （※5）</td>
			<td>※1×※2 （※7）</td>
			<td>平方和/自由度</td>
			<td>平均平方/残差の平均平方</td>
		</tr>
        <tr>
			<td>残差</td>
			<td>※6 - ※3 - ※4 - ※5</td>
			<td>全体の自由度 - ※1 - ※2 - ※7</td>
			<td>平方和/自由度</td>
			<td></td>
		</tr>
		<tr>
			<td>全体</td>
			<td>データ全体の平均値からの各データのズレ（※6）</td>
			<td>全データの個数 - 1</td>
			<td></td>
			<td></td>
		</tr>
	</tbody>
</table>

#### 交互作用について
因子①×因子②（交互作用）は、因子①や因子②だけでは説明できない効果のことで、2つの因子が組み合わさることで初めて現れる効果

#### 分散分析におけるF検定について
測定誤差などによって生じる誤差（偶然誤差）のバラつき（＝残差の平均平方）と比較して、
データ全体の平均値から因子の各水準の平均値のズレ（＝因子の平均平方）が十分に大きいかどうかを検定する。
* 有意な結果となった場合
⇒データ全体の平均値から因子の各水準の平均値のズレが偶然誤差よりも有意に大きい
⇒因子の水準間の平均値には差がある

#### 各水準の母平均の信頼区間
* 因子AとBの交互作用が有意である場合
Aにおける水準j、かつBにおける水準kの母平均の信頼区間は、以下のようになる。
```math
\displaylines{
\bar{x}_{jk} - t_{\alpha/2}(df_E) \times \sqrt{\frac{V_E}{n_{jk}}} \leq \mu \leq 
\bar{x}_{jk} + t_{\alpha/2}(df_E) \times \sqrt{\frac{V_E}{n_{jk}}}
}
```
※$\bar{x}_{jk}$：水準jkの標本平均。$df_E$：残差の自由度
  $V_E$：残差の自平均平方。$n_jk$：水準jkのサンプルサイズ

* 因子AとBの交互作用が有意でない場合
Aにおける水準j、Bにおける水準kの母平均の信頼区間をそれぞれ求める。
※一元配置分散分析のときの信頼区間と同じ。
```math
\displaylines{
\bar{x}_j - t_{\alpha/2}(df_E) \times \sqrt{\frac{V_E}{n_j}} \leq \mu \leq 
\bar{x}_j + t_{\alpha/2}(df_E) \times \sqrt{\frac{V_E}{n_j}}
\\
\bar{x}_k - t_{\alpha/2}(df_E) \times \sqrt{\frac{V_E}{n_k}} \leq \mu \leq 
\bar{x}_k + t_{\alpha/2}(df_E) \times \sqrt{\frac{V_E}{n_k}}
}
```
※$\bar{x}_j$：水準jの標本平均。$df_E$：残差の自由度
  $V_E$：残差の自平均平方。$n_j$：水準jのサンプルサイズ

### 交互作用とは
2つの因子が組み合わさることで初めて現れる相乗効果のこと。
* 交互作用効果：交互作用による効果のこと 
* 主効果：交互作用に対して、1つの因子に絞った場合の効果のこと

#### 交互作用図
（例）肥料の量・土の種類の因子について、「土の種類」ごとに「収量の平均値」の折れ線グラフを作る。
 横軸：肥料の量
 縦軸：収量
 ※「肥料の量」ごとに「収量の平均値」の折れ線を描いてもよい。（横軸：土の種類）

#### 交互作用が有意である場合
「交互作用効果」があるかどうかを検定した結果が、「二元配置分散分析の分散分析表」の交互作用の行である。

（例）肥料の量・土の種類の因子について、「収量」の交互作用の場合
 帰無仮説：「肥料の量と土の種類の組み合わせによる収量への影響はない（肥料の量と土の種類の交互作用効果はない）」
 有意水準5%の片側検定において、帰無仮説を棄却し、対立仮説を採択する場合
 ⇒肥料の量によって、土の種類の収量への効果が異なる
 ⇒収量に対する肥料の量と土の種類の効果は一様ではない
 
<table>
	<tbody>
		<tr>
			<td>因子</td>
			<td>検定結果</td>
		</tr>
		<tr>
			<td>因子①<br>（例）肥料の量</td>
			<td>帰無仮説を棄却</td>
		</tr>
		<tr>
			<td>因子②<br>（例）土の種類</td>
			<td>帰無仮説を棄却</td>
		</tr>
		<tr>
			<td>因子①×因子②</td>
			<td>帰無仮説を棄却</td>
		</tr>
	</tbody>
</table>


#### 交互作用が有意でない場合
（例）肥料の量・土の種類の因子について、「土の種類」ごとに「収量の平均値」の折れ線グラフを作る。
 横軸：肥料の量
 縦軸：収量

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3756185/029c3af2-861f-81eb-67da-261c8f05f051.png)
> 画像参照：30-5. 交互作用とは
> https://bellcurve.jp/statistics/course/10090.html

 
 ⇒土の種類ごと（土A、土Bなど）の折れ線グラフは平行になる。
 ⇒縦軸（収量）の増え方は土の種類によって変わらない。
 ⇒肥料の量および土の種類の水準間で作物の収量の平均値に差がある
<table>
	<tbody>
		<tr>
			<td>因子</td>
			<td>検定結果</td>
		</tr>
		<tr>
			<td>因子①<br>（例）肥料の量</td>
			<td>帰無仮説を棄却</td>
		</tr>
		<tr>
			<td>因子②<br>（例）土の種類</td>
			<td>帰無仮説を棄却</td>
		</tr>
		<tr>
			<td>因子①×因子②</td>
			<td>帰無仮説を棄却しない</td>
		</tr>
	</tbody>
</table>

## 31. 実験計画
よい結果を得るために最も効果的な実験を計画し、その実験で得られたデータに対して最適な解析手法を採択する手順のこと。

### フィッシャーの3原則
* 反復（replication）
複数の処理を比較する際に、それぞれの処理に対して同じ条件で2回以上の繰り返し実験（評価）を行うこと。
反復によって、偶然誤差の大きさを評価することができる。

* 無作為化（randomization）
実験の順序や場所などが複数ある場合に、比較したい処理群を無作為に（ランダムに）割り付けること。

* 局所管理（local control）
実験を行う時間（午前/午後）や場所を区切ってブロックを作り、そのブロック内でのバックグラウンドができるだけ均一になるように管理すること。
系統誤差を小さくすることができる。

#### 乱塊法
「反復」と「無作為化」に加えて「局所管理」も盛り込んだ実験デザイン。
実験計画において実験全体を無作為化するのではなく、局所管理の考えに基づくブロック内に1セットの実験を集めて無作為化を行う方法のこと。

### 効果量
「検出したい差の程度」や「変数間の関係の強さ」のことで、その実験の効果を見るための指標。
※P値はその値より極端な値をとる確率を示したものに過ぎないため、その実験において実際にどの程度の効果があったかを知ることはできない。
 サンプルサイズが大きいほうが平均値のばらつきは少ないため、例えば同じ平均値の2群を比較した場合にはサンプルサイズが大きい方がP値は小さくなる。

* 効果量を表す指標
    * d族：差の大きさを表す
    * r族：相関の強さを表す

#### d族の効果量
2標本の平均値がどれだけ離れているかを表す。
※1群目について
 $\bar{x}_1$：標本平均。$n_1$：サンプルサイズ。$S_1^2$：不偏分散。$s_1^2$：不偏分散

* Cohenのd
```math
\displaylines{
d = \frac{|\overline{x}_1 - \overline{x}_2|}{S_c}
\\
S_c = \sqrt{\frac{n_1 S_1^2 + n_2 S_2^2}{n_1 +n_2}}
}
```

* Hedgesのg
```math
\displaylines{
g = \frac{|\overline{x}_1 - \overline{x}_2|}{s_d}
\\
s_d = \sqrt{\frac{(n_1 - 1)s_1^2 + (n_2 - 1)s_2^2}{n_1 +n_2 -2}}
}
```

### 検出力（1-β）
帰無仮説が正しくないときに、正しく帰無仮説を棄却する確率。
βは第2種の過誤(対立仮説が正しいのに誤って帰無仮説を棄却しない)を犯す確率。

図より、
青色の曲線：帰無仮説による分布
オレンジ色の曲線：対立仮説による分布
オレンジ色で塗られた部分：検出力（1-β）

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3756185/fdadcfcd-1ea4-4ffc-d69f-1ff560753b94.png)
> 画像参照：31-4. 検出力
> https://bellcurve.jp/statistics/course/12767.html

* 検出力が小さい場合
⇒第2種の過誤を犯す確率が高くなる
* 多くの場合、検出力を0.8に設定
⇒「80％の確率で、有意差があるときにそれを正しく検出できる」
* 検出力は効果量が大きいほど大きくなる
* サンプルサイズが大きいほど分布のばらつきは小さくなり、検出力は大きくなる

### 検出力の計算
```math
\displaylines{
1- P\Biggl( X \geq
\frac{\overline{x}-\mu}{\sqrt{\frac{\sigma^2}{n}}}
\Biggr)
}
```
（$\bar{x}$：データの平均。$\mu$：母平均。$\sigma^2$：母分散。n：サンプルサイズ）
$\sqrt{\frac{\sigma^2}{n}}$は標本平均の標準誤差＝標本平均の標準偏差を表す。

### サンプルサイズの設計と検出力分析
信頼性の高い実験を行うために実験の前後で行う分析のこと。

サンプルサイズの設計や検出力分析を行うための4大因子
3つの因子の値が決まると、残りの1つの因子の値が決まる
* 有意水準 α
* 検出力 1-β
* サンプルサイズ
* 効果量

#### 事前分析（A priori）－サンプルサイズの設計
実験前に、検出したい差（＝効果量）から最適なサンプルサイズを算出すること。
サンプルサイズの設計には「有意水準」、「検出力」、「効果量」の値が必要。
有意水準は0.05もしくは0.01、検出力は0.8に設定されることが多い。

* サンプルサイズが小さすぎる場合
⇒本来は差が検出できるはずなのに、その差が検出できず実験自体に意味がなくなってしまう
* サンプルサイズが大きすぎる場合
⇒コストや安全性の問題が発生したり統計的に有意になりやすくなるという問題がある。

#### 事後分析（post hoc）－検出力分析
実験後は、その実験によってどの程度の効果があったのかを知るために検出力分析を行う。
検出力分析には「有意水準」、「効果量」、「サンプルサイズ」の値が必要。
これによりP値が真に効果があったためのものなのか否かという本来のもつ意味を知ることができる。


## 32. その他値
### 外れ値
得られた観測値の中で真の値の推定値からの残差が異常に大きい値のこと
外れ値のうち、測定ミス・記入ミス等原因が分かっているものを「異常値」と呼ぶ場合がある。

外れ値の探索方法
* 箱ひげ図を描く
ひげの範囲から外れた値は外れ値とみなされる。

* 外れ値検定を行う（スミルノフ=グラブス検定）
まず平均値からもっとも遠い値を検定し外れ値かどうかを判断する。次に外れ値を除いたデータで外れ値検定を行うことを繰り返し、外れ値が検出されなくなったら検定を終了する。

* クラスター分析を行う
クラスター分析を行った結果、データを1つしか含まないクラスターは他のデータからかけ離れている可能性が高い。

### 正規性の確認
データの正規性を確認する方法
* ヒストグラムを描く
平均値を中心に左右対称の山型の分布だったら、正規性あり

* Q-Qプロットを描く
    * Q-Qプロット：2つの確率分布を比較するための図。2つの分布が類似している場合、プロットが一直線に並ぶ
    * 正規Q-Qプロット：データが正規分布しているかを判断するための図
        * 縦軸：データの値
        * 横軸：データの期待値を標準化した値（正規分布の理論値）
        * 作成手順
            * ①データを小さい順に並べたものを準備する
            * ②正規分布の累積分布関数を準備する
            * ③①と②のデータからそれぞれ分位数を取得する（k/(データの数)%点の値 {k:1,2,...,n}を取得する）
            * ④①のデータから取得した分位数を縦軸に、②のデータから取得した分位数を横軸に取り、③で取得した値をプロットする
プロットが一直線に並ぶ場合、データは正規分布している

* 正規性の検定を行う
    * 歪度によるダゴスティーノ検定
    * 尖度によるダゴスティーノ検定
    * 歪度と尖度によるオムニバス検定
    * コルモゴロフ=スミルノフ検定
    * シャピロ=ウィルク検定

### 時系列データと移動平均
株価や気温など時間で細かく変化するデータを眺めると、変動が細かすぎて全体の傾向を掴みにくい場合がある。
「移動平均」を用いることで、変化をより滑らかにしてデータを俯瞰できる。

#### 移動平均の求め方
最も簡単な移動平均は、直近データの単純相加平均を計算することによって求められる。
（移動平均を求めたい中心となるデータから前後のいくつかのデータ（項）を足して、平均をとるという方法。）
※前後の項がないと計算することができない

#### 移動平均の計算方法のまとめ（Nが奇数のとき）
N=2k+1となるようなkを用いると以下のようになる。
```math
\displaylines{
\begin{align}
ma_i &= \frac{1}{n}(x_{i-k}+x_{i-(k-1)}+ \cdots + x_{i-1} + x_{i} + x_{i+1} + \cdots + x_{i+(k-1)} + x_{i+k})
\\
&=\frac{1}{n}\Biggl(x_i + \sum _{j=1}^k(x_{i-j}+x_{i+j})
\Biggr)
\end{align}
}
```

#### 移動平均の計算方法のまとめ（Nが偶数のとき）
N=2kとなるようなkを用いると以下のようになる。
```math
\displaylines{
\begin{align}
ma_i &= \frac{1}{n}(0.5 \times x_{i-k}+x_{i-(k-1)}+ \cdots + x_{i-1} + x_{i} + x_{i+1} + \cdots + x_{i+(k-1)} + 0.5 \times x_{i+k})
\\
&=\frac{1}{n}\Biggl(x_i + 0.5 \times (x_{i-k}+x_{i+k}) \sum _{j=1}^{k-1}(x_{i-j}+x_{i+j})
\Biggr)
\end{align}
}
```

### 時系列データにおける周期変動
時系列データは一般的に「傾向変動」、「循環変動」、「季節変動」、「不規則変動」の4つの変動によって構成されている。

* 傾向変動T(Trend variation)
長期にわたる持続的な変化
* 循環変動C(Cyclical variation)
周期はいっていではないが3～15年ぐらいで周期的に繰り返される変化
* 季節変動S(Seasonal variation)
1年で繰り返される変化
* 不規則変動I(Irregular variation)
観測誤差など諸要因による変化

#### 時系列モデル
4つの変動を使って観測値を表すためのモデルを作ることができる。
* 乗法モデル：観測値＝T×C×S×I（変動の積からなるモデル）
* 加法モデル：観測値＝T+C+S+I（変動の和からなるモデル）

#### 各変動の抽出の流れ(乗法モデルの場合)
①期別平均法を用いて、季節変動(S)を算出する。
 ※期別平均：月別データや四半期データから算出した期毎の平均値のこと
②季節変動(S)を用いて、観測値/S=TCSI/S=TCIを抽出する。
 このように観測値から季節変動の影響を取り除く（季節調整）
③季節調整値（TCI）に対して移動平均法を用いてトレンド（TC）を抽出する。
④トレンド（TC）を用いてTCI/TC=不規則変動（I）を抽出する。

⇒観測値から抽出されたトレンド（TC）を見ることで、データの傾向を捉えたり将来の予測を行うことができる。

### 自己相関
元データと時間をずらしたデータとの相関のこと

* ラグ
元データからずらした量

* コレログラム
ラグと自己相関を表したグラフ。データが周期性をもつかどうかを調べることができる。

### さまざまな指数
* 指数
数値の変化や大小を比率として表したもの

* 3つの価格指数
	* ラスパイレス指数
	* パーシェ指数
	* フィッシャー指数

#### ラスパイレス指数
基準年の購入量や取引量等を重みとして算出した価格指数
```math
\displaylines{
P_L = \frac{\sum_{i=1}^{n}p_{ti} q_{0i}}{\sum_{i=1}^{n}p_{0i} q_{0i}} \times 100
}
```
※$p_{0i}$：基準年の価格。$q_{0i}$：基準年の数量
 $p_{ti}$：比較年の価格。$q_{ti}$：比較年の数量

#### パーシェ指数
比較年の購入量や取引量等を重みとして算出した価格指数
```math
\displaylines{
P_P = \frac{\sum_{i=1}^{n}p_{ti} q_{ti}}{\sum_{i=1}^{n}p_{0i} q_{ti}} \times 100
}
```

#### フィッシャー指数
ラスパイレス指数とパーシェ指数の幾何平均によって算出される
```math
\displaylines{
\sqrt{P_L \times P_P}
}
```