世論調査
正しく世論調査を行っても必ず発生する統計学的な誤差とは別に、世論調査の正確性をゆがめる、回答者のバイアス(偏り)がいくつか存在する。
調査員が調査対象者の自宅を直接訪問し、面接での聴取を行う。または事前に回答調査書を配布して調査対象者に記入してもらい、後日調査書を回収する方式。
手間と時間がかかるが、調査員が直接説明したり物理的な資料を提示したりするため、他の方式と比べて誤解の恐れが少ないので、日本の内閣府では月例で実施されている。
大手マスコミでは時事通信社とNHKがこれを行っている。
NHKでは「面接調査」と呼び、「調査の王道」としている。しかし、NHKの2005年のレポートによると、全国でこれを行うには約18000人の調査員が必要となり、調査にかかる経費は莫大なものになるほか、調査員の募集、調査説明会の実施、実査時の調査員の管理など、準備や実施事務も膨大な作業量となる。また、NHKの面接調査における1978年と2003年のデータを比較すると、プライバシー意識の高まりなどから「調査拒否」が増えているほか、「外出」「深夜帰宅」なども増え、面接調査の回答率が78.1%から61.5%まで低下している。そのため、2005年時点でほとんどの放送局では面接調査は廃止された。NHKでもRDD方式による電話世論調査と併用されている。
標本調査で必ず生まれる誤差を、「標本誤差(サンプリング・エラー)」と言う。
まず、標本誤差をどの程度まで許容できるかを考える。許容できる誤差の範囲を、「許容誤差」という。統計学的には、許容誤差は5%が目安となる。次に、どの程度の割合で、標本誤差が許容誤差の範囲内に収まるようにすればいいかを考える。これを、「信頼水準」または「信頼係数」という。統計学的には、信頼水準は95%が目安となる。総務省も95%を基準としている。これはつまり、世論調査において、20回調査をしたら19回は標本誤差が許容誤差の範囲に収まればよいというのが、日本国(内閣府)の基準ということである。
そのような標本数を算出するための公式は、「 n = λ 2 p ( 1 − p ) d 2 {\displaystyle n={\lambda }^{2}{\tfrac {p(1-p)}{d^{2}}}} 」(n:標本数、p:回答比率、d:標本誤差、λ:信頼水準)である。無限に数が多い母集団(「無限母集団」という。日本国における実際の母集団の数は約1億2000万)を対象に、信頼水準を95%として、標本誤差を5%以下とするために必要な人数を、「λ=1.
全インターネット利用者の世論を調査した「ネットユーザー世論調査」に関しても、そもそもインターネットを通じて標本の無作為抽出を行うシステムが存在しないため、全インターネット利用者からインターネットを通じて標本の無作為抽出を行うことが出来ず、実現していない。
日本国民からRDD方式で標本を無作為抽出した後、その人がもしインターネットユーザーだった場合に「モニター」に選出して意識を調査する、という形の「ネット視聴率調査」を、市場調査会社のニールセンが導入している。ただし、これも「インターネットを通じて作為的に標本を抽出したパネル調査よりは精度が高い」というだけで、全ネットユーザーからの無作為抽出ではないため「全ネットユーザーを代表する標本」にはなりえない。
インターネット利用者から「インターネットを通じて」「作為的に」抽出された標本を対象とした、精度の低い「インターネット調査」としては、調査会社に登録されたモニターなど、調査対象者を事前に固定して行う調査方法(パネル調査)が存在する。例えばニコニコ動画では、ニコニコ動画のユーザーに調査対象を固定した「月例ネット世論調査」というパネル調査を行っている。「パネル調査」以外のインターネット調査の方法としては、webバナーなどをクリックしたユーザーを対象にして調査サイトに誘導する形式(オープン調査)があるが、これらは無作為抽出ではないため、仮に「世論調査」と称していても世論調査としては有効ではなく、国民世論どころか全インターネット利用者さえも代表していない。
調査内容が自宅にハガキなどで送られてくるので、これに回答して郵送する方式。