多重比較問題
どちらの例でも、比較の数が増えるにつれて、比較されるグループが少なくとも1つの項目に関して異なって見える可能性が高くなる。ある結果が独立したデータによって一般化されるという確信は、一般的に、単一の比較のみを行った分析よりも、複数の比較を含む分析の一部として観察された場合の方が弱くなるはずである。
たとえば、1つの検定が有意水準5%で実施され、対応する帰無仮説が真であれば、帰無仮説を誤って棄却するリスクは5%だけである。しかし、100個の検定がそれぞれ有意水準5%で実施され、対応する帰無仮説がすべて真である場合、予想される不正確な棄却(偽陽性または第一種過誤としても知られる)の数は5つになる。また、検定が互いに統計的に独立している(すなわち、独立標本で実施されている)場合、誤った棄却が少なくとも1つある確率は約99.4%になる。
このような多重検定で発生する偽陽性率の上昇や網羅率の低下を防ぐ手法が開発されている。