多重比較問題
次の表は、複数の帰無仮説を検定するときに起こりうる結果を定義したものである。m個の帰無仮説があるとし、それぞれをH1, H2, ..., Hm.で表す。 統計的検定を用いて、検定が有意であると宣言された場合、帰無仮説を棄却する。検定が有意でない場合は、帰無仮説を棄却しない。すべてのHi にわたって各検定結果を合計すると、以下の確率変数が得られる。
m は検証された仮説の総数
m 0 {\displaystyle m_{0}} は、真の帰無仮説の数で、未知のパラメータ
m − m 0 {\displaystyle m-m_{0}} は、真の対立仮説の数
V は、偽陽性(第一種過誤)の数(「偽の発見」とも呼ばれる)
S は、真陽性の数(「真の発見」ともいう)
T は、偽陰性(第二種過誤)の数
U は、真陰性の数
R = V + S {\displaystyle R=V+S} は、棄却された帰無仮説(「発見」とも呼ばれ、真または偽のいずれか)の数
m個の仮説検定のうち、 m_{0} は真の帰無仮説で、R は観察可能な確率変数、S, T, U, V は観察不可能な確率変数である。
これにより α { per comparison } = 1 − ( 1 − α ) 1 / m {\displaystyle \alpha _{\{{\text{per comparison}}\}}=1-{(1-{\alpha })}^{1/m}} という式が得られる。これはシダック補正として知られている。もう1つの手順はホルム=ボンフェローニ法で、これは最も厳密な基準に対して最も低いp値( i = 1 {\displaystyle i=1} )のみを検定し、徐々に厳密でない基準に対してより高いp値( i > 1 {\displaystyle i>1} )を検定することにより、単純なBonferroni補正よりも検出力を高くすることができる( α { p e r c o m p a r i s o n } = α / ( m − i + 1 ) {\displaystyle \alpha _{\mathrm {\{per\ comparison\}} }={\alpha }/(m-i+1)} )。
連続的な問題では、事前-事後の確率分布等から m {\displaystyle m} を計算するためにベイズ統計学の手法を採用することができる。ボンフェローニ補正とシダック補正の連続的な一般化はに示されている。