偏り
母集団の一部の要素が他よりも標本として選ばれやすい場合に、標本に偏りがあるという。偏った標本は一般に誤った推定量を与える。推定する量が高い、または低いような要素が標本に多く含まれていれば結果は本当の値とは違ってしまう。
有名な例に1936年のアメリカ大統領選の予想がある。Literary Digest誌は200万人の調査から、対立候補がF.D.ルーズベルト候補に勝つ(57%対43%)と予想したが、世論調査会社のギャラップ社は30万人の調査からルーズベルトの勝利を予想し、結局こちらが正しかった。Literary Digestは、標本のサイズが莫大だったにもかかわらず、電話や自動車の保有者リストを元に標本を抽出したために、これらを購入できる富裕層に偏ってしまったのである。
この種の偏りは通常、統計学的なノイズよりも悪いものと考えられる。ノイズの問題は標本を大きくすることで軽くすることができるが、偏った標本ではそのように簡単に解決できない。メタアナリシス(複数の統計調査結果をまとめてさらに解析すること)はうまく用いれば、単独ではノイズを含む調査からよりよいデータを引き出すことができるが、偏りのある調査ばかり用いてメタアナリシスをしても偏りは減らせない。このような偏りを減らすには、適切な標本抽出の手法を、個別分野の知識に基づいて利用する必要がある。