第一種過誤と第二種過誤
仮説検定は、2つの標本の分布の違いが無作為な偶然性で説明できるかどうかを判定する技法である。2つの分布に有意な差があると結論付ける場合、その差異が無作為な偶然性では説明できないことを十分注意して判断する必要がある。真ではない仮説を採用する可能性をなるべく小さくするよう注意を払わなければならない。一般に第一種過誤となる確率を .05 か .01 に設定する。これはつまり100例のうち5例か1例で過誤が発生することを意味する。これを「有意水準」と呼ぶ。100例のうち5例というのが十分かどうかは一概には言えないため、有意水準の選択には細心の注意が必要である。例えば、シックス・シグマの品質管理を採用する工場では標準偏差の6倍の幅(±6σ)を管理限界とする(これを外れるのは極めて珍しい)。
統計的手法の利点は無作為な標本抽出にある。つまり、2つの分布の差が治療の前後でどう変化するかを無作為抽出で追跡可能である。しかし、現実がそれほど単純でないのは明らかである。無作為標本を取り出したとき、全く同じ分布となる可能性は極めて小さい。たとえ同じ分布であったとしても、それが偶然の産物なのか、それとも常にそうなるのかは判断できない。