どこでも効果
多くの統計検定は、偶然の同時を仮定した時に任意の結果が得られる確率であるp値を与える。「XはYに影響を与えるか?」を問う時、Xを変動させ、結果として得られるYに有意な変動があるかを見るのが一般的である。もしこのp値が予め決定された統計的有意さの閾値αより小さければ、結果が「有意」であると見なされる。
しかしながら、多数の試験を行う(最初の試験が失敗すれば「他の場所を見る〔look elsewhere〕」)とすると、1/nのp値はn回程度の試験を行えば生じることが期待できる。例えば、なんの効果も存在しない場合において、p < 0.05の事象は、平均的には20回の試験後に見ることができる。これを補正するために、閾値αを試験の数nで割って結果がp < α/nの時に有意となるようにする方法がある(あるいは同じことだが、観測されたp値に試験の数を掛け、np < αの時に有意とする)。
これは最も単純な場合で、実際にはnは試験における自由度の数、つまり実際上独立な試験の数である。もし試験が完全に独立でなければ、この数は試験の数よりも小さくなる。
試験が独立である時、単純にp値をnで割ること(ボンフェローニ補正と呼ばれる)は、厳密なシダック補正に対する一次近似である。
どこでも効果は、失敗した試験が公表されず独立した試験の数nが小さく見積られる時に「有意のインフレーション」をよく引き起こす。ある論文が考慮された対立仮説に言及していないかもしれず、結果が得られなかった論文は単に出版されない。これによって、学術雑誌は統計的な「外れ値」に独占されることになる。
この効果は高エネルギー物理学において特に重要である。それは、この分野では、同じデータに関して非常に多くの数の試験が行われるためである。