有意
有意水準α (0<α<1) は、どの程度の正確さをもって帰無仮説 H 0 {\displaystyle H_{0}} を棄却するかを表す定数である。有意水準αの仮説検定は、 p < α {\displaystyle p<\alpha } の時に H 0 {\displaystyle H_{0}} を棄却する。このとき、「統計量はα水準で有意である」という。有意水準αは仮説 H 0 {\displaystyle H_{0}} が正しいにもかかわらず仮説検定で棄却してしまう確率(第一種の誤りを犯す確率)に等しい。日本工業規格では、「第一種の誤りの確率の上限値」と定義している 。
有意水準 α {\displaystyle \alpha } の値としては、0.05 (5%) を用いるのが一般的であるが、そのとり方は学問・調査・研究対象によっても違いがあり、社会科学などでは0.1(10%)を用いる場合もあり、厳密さが求められる自然科学では0.01(1%)などを用いる場合もある。また、データ表示に当たっては有意性に段階をつけて複数の有意水準を同時に用いることもあり、たとえば0.05水準で有意ならば * 、0.01水準と0.001水準に対してはそれぞれ ** 、 *** と表示する。
有意であるからといって「偶然ではない」と断定できるわけではなく、「偶然とは考えにくい」という意味に過ぎない。したがって、たとえば有意水準5%で有意という場合には、「実際には偶然に過ぎないのに、誤って『意味がある』と判断している」可能性が多くて5%ある。
逆に、 p > α {\displaystyle p>\alpha } の場合は、「有意差があるとはいえない」とまでしかならない。