2群のデータが異なることを示すための統計学的検定法の選択方法とRの実行例について

#始めに
2つのサンプルのデータが異なることを客観的に示したいことはよくあることです。
しかし、これらの検定方法には実は複数の手法があります。
また、それぞれに前提条件の確認が必要です。
本稿では、適した検定の選択方法と、これらのRでの実行例を示します。


#手順1. 正規性の確認
まず、2つのサンプルについて正規性が認められるかを確認する必要があります。
これによって最終的に使う検定方法を変える必要があるためです。
また、この正規性を確認する検定ですが、**サンプルサイズ（各データ数）によって**、
Shapiro-Wilk検定、もしくは、Kolmogorov-Smirnov検定を使い分ける必要があります。

##1-1. 各サンプルサイズが2000以下の場合
**Shaprio-Wilk検定**を行います。shapiro.test()を使います。
**帰無仮説は正規分布に従う**と置いているので、**下記例のP値だと0.05以上であり
帰無仮説を棄却できないため、正規分布に従っている**ということになります。

```R
> set.seed(1234)
> testData <- c(rnorm(1000, mean=100, sd=10))
> shapiro.test(testData)

	Shapiro-Wilk normality test

data:  testData
W = 0.99737, p-value = 0.1053
```

##1-2. 各サンプルサイズが2000を超える場合
**Kolmogorov-Smirnov検定**を行います。ks.test()を使います。
2つ目の引数に"pnorm"と指定します。こちらも**帰無仮説は正規分布に従う**と置いています。**下記例のP値だと0.05以上で棄却できないため、正規分布に従っている**ということになります。

```R
> set.seed(1234)
> testData2 <- c(rnorm(4000, mean=100, sd=10))
> ks.test(testData2, "pnorm", mean=mean(testData2), sd=sd(testData2))

	One-sample Kolmogorov-Smirnov test

data:  testData2
D = 0.0091132, p-value = 0.8939
alternative hypothesis: two-sided
```
#手順2. 2つのサンプルの差の検定の実施
##2-1. 正規性が認められた場合
**Welchのt検定**を行います。t.test()を使います。
**帰無仮説は各データの平均値が等しいこと**と置いています。下記例ではp値が0.05未満で棄却されており、等しくないことが示されています。

```R
> testData3a <- c(rnorm(4000, mean=100, sd=10))
> testData3b <- c(rnorm(4000, mean=110, sd=10))
> t.test(testData3a, testData3b)

	Welch Two Sample t-test

data:  testData3a and testData3b
t = -45.563, df = 7997.2, p-value < 2.2e-16
alternative hypothesis: true difference in means is not equal to 0
95 percent confidence interval:
 -10.532282  -9.663403
sample estimates:
mean of x mean of y 
 100.0181  110.1160 
```

細かいことですが、Welchのt検定はStudentと違い、等分散性を仮定しません。
F検定で等分散性を確認後にStudentのt検定を行うことを、学ばれた方も多いと思います。しかし、これは望ましくないと主張している先生方がいらっしゃいますので、現在では避けたほうが良いかもしれません。
##2-2. 正規性が認められなかった場合
**Brunner-Munzel検定**を行います。lawstatライブラリのbrunner.munzel.test()を使います。この手法は正規性が認められない場合の、最も有力な検定手法であることが知られています。
なお、**両群から一つずつ値を取り出したとき，どちらが大きい確率も等しいという帰無仮説を置いています**。下記の場合だと、帰無仮説が棄却されているので、等しくないことが示されています。

```R
> testData4a <- c(rgamma(4000, shape=5, scale=100))
> testData4b <- c(rgamma(4000, shape=7, scale=100))
> brunner.munzel.test(testData4a, testData4b)

	Brunner-Munzel Test

data:  testData4a and testData4b
Brunner-Munzel Test Statistic = 39.097, df = 7980.3, p-value < 2.2e-16
95 percent confidence interval:
 0.7089661 0.7310267
sample estimates:
P(X<Y)+.5*P(X=Y) 
       0.7199964 
```
注意点として、**各々で10以上のデータが必要**とライブラリ開発者が言っていますので、お気をつけください。
また、Welchのt検定を保険的意味合いで一緒にやるのも悪くないようです。経験的にではありますが、ある程度正規性を持っていなくても検定として機能することが知られているようですので。

#注意事項
統計学的検定法で有意であったからといって、現実的に意味のある差であるかどうかは別問題です。そのため、ヒストグラムなどによる可視化を行い、分布差の状況を確認することをおすすめします。

#参考文献
次の資料を参考にさせて頂きました。
1. [Power comparisons of Shapiro-Wilk, Kolmogorov-Smirnov, Lilliefors and Anderson-Darling tests](http://www.de.ufpb.br/~ulisses/disciplinas/normality_tests_comparison.pdf)
2. [井口先生のホームページ: 等分散検定から t検定，ウェルチ検定，U検定への問題点](https://biolab.sakura.ne.jp/welch-test.html)
3. [The Wilcoxon–Mann–Whitney test under scrutiny](https://onlinelibrary.wiley.com/doi/abs/10.1002/sim.3561)
4. [奥村先生のホームページ: Brunner-Munzel検定](https://oku.edu.mie-u.ac.jp/~okumura/stat/brunner-munzel.html)
5. [The Nonparametric Behrens‐Fisher Problem: Asymptotic Theory and a Small‐Sample Approximation](https://onlinelibrary.wiley.com/doi/abs/10.1002/%28SICI%291521-4036%28200001%2942%3A1%3C17%3A%3AAID-BIMJ17%3E3.0.CO%3B2-U)
6. [マン・ホイットニーの U 検定と不等分散時における代表値の検定法](https://www.jstage.jst.go.jp/article/psj/advpub/0/advpub_30.006/_pdf)