仮説検定
誤った帰無仮説を棄却しない誤りのことを第2種の誤り (Type II error) という。第2種の誤りを犯す確率を β で表す。1 − β を検定力または検出力 (power) と呼び、誤った帰無仮説を正しく棄却できる確率を表す。βは真の母数に依存し、自分で決めることが出来ない。日本産業規格では、「帰無仮説が正しくないとき,帰無仮説を棄却しない誤り。ぼんやりものの誤りともいう。」と定義している。なお、ISO では error of the second kind と表記している。
サイン検定(符号検定)
Wilcoxon検定(順位付符号和検定)
Mann-WhitneyのU検定
カイ二乗検定
フィッシャーの直接確率検定
検定の目的からは、母数の有意性の検定、適合度検定(特定の母集団から抽出されたものか)、均一性検定(2標本が同一母集団によるものか:上の例)、独立性検定(2標本が独立か)などに分けられる。
帰無仮説が正しいときに、これを棄却してしまう誤りを第1種の誤り (Type I error) という。第1種の誤りを犯す確率を α で表す。α を危険率とも呼び、有意水準に等しい。有意水準を 5% とした時、5% 以下の発生確率しかない事象が起きると、帰無仮説が間違っていたと考えられる。これは、仮説が正しいのに誤って否定してしまう確率が 5% 存在することになる。日本産業規格では、「帰無仮説が正しいとき,帰無仮説を棄却する誤り。あわてものの誤りともいう。」と定義している。なお、ISO では error of the first kind と表記している。
データから算出した検定統計量が危険域内にあるかどうかを判定する。
通常は統計量が仮定した分布の中で、算出した検定統計量と同じかそれよりも極端な(仮説に反する)値となる確率(これをp値という)を数表などにより求め、これと α とを比較し、p < α ならば危険域の内部にあると判断する。 検定統計量が危険域内にあれば、結論は
帰無仮説は正しくない。したがって棄却する(これから危険域のことを棄却域 (Rejection region) ともいい、それ以外の範囲は採択域 (Acceptance region) という。)
か、さもなくば
α 以下の確率しかない事象が起こった
のいずれかになる。 この場合を α水準で統計学的に有意であるという。例では「薬に対して観察された反応は α水準で統計学的に有意である」といえる。分かりやすくいえば、「帰無仮説の下でこのようなことは偶然に起こりそうもないが、ごく小さい確率 α で起こり得る」ということである。
一方、検定統計量が危険域の外側にあれば、
帰無仮説を棄却するに足る証拠はないというのがただ一つの結論となる。
統計学の目的は(当然であるが)科学的な真理を明らかにすることではなく、数学的な誤謬をできるだけ減らすことにある。