世論調査
一度断られても、重ねて協力をお願いする。調査は原則午後10時まで(予約ができれば午後11時まで)行い、仕事などで帰宅が遅い人からも回答してもらえるようにする。留守番電話や呼び出し音だけなどの場合は、時間を変えて複数回電話をかける。複数回線の電話を契約している人が抽出された場合は、電話の本数に応じた調整をかける。同居する有権者が多い世帯よりもひとり暮らしの世帯の場合は調査に当たる確率が高いので、その分の調整をかける。固定電話と携帯電話のそれぞれの結果を合算する時も、固定電話と携帯電話の両方を持っている人が抽出された場合や、固定電話と携帯電話の総数などに応じた調整をかける。さらに、地域別、性別、年代別の構成比のゆがみをなくす補正をかける。
デュアルフレーム調査を行うときは、固定電話と携帯電話とでのウェートの置き方に注意しないといけない。例えば日経リサーチにおけるRDD方式を用いた電話世論調査の場合、標本の母集団は全国の有権者なので約1億、RDD方式で作成された標本の抽出枠が携帯電話・固定電話のそれぞれで約2億3000万、その中で実際に電話を掛ける標本の大きさは携帯電話3000人・固定電話2000人となっている。
例えば、面倒くさいので回答者が調査を早く終わらせるために適当に答えたり、人種差別や性差別などの一般的に悪とされる本心を隠すために正反対の回答をしたり、といったバイアスである。
特に投票意向に関係する世論調査においては、秘密投票という方式が持つ特性上、「世論調査員に公言しにくい候補に投票する」ことが可能であり、回答バイアスが世論調査の結果と投票結果に大きな差を及ぼす場合がある。2016年アメリカ合衆国大統領選挙、隠れトランプなどがその例とされる。
統計学的には、標本数が少なくても、ある程度信頼できる数字が得られる。例えば、許容誤差を10%まで緩めれば、信頼度95%で仮に無限母集団でも、標本数がたった96人でOKである。つまり統計学的には、全くバイアスがないと仮定した場合、96人に世論調査を行うだけで、信頼度95%で±10%の正確さで1億3000万人の「民意」を見ることができる。
選挙の結果として見られる「真の支持率」が、公式から導き出せる誤差の範囲だった場合、世論調査は統計学的に見て正確だったということが言えるし、この範囲ではなかった場合、標本誤差の範囲内となる信頼区間から5%の確率で外れてしまったか(「有意水準」または「危険率」と言い、信頼度95%の場合、5%の確率でこの危険がある。仮に信頼度99.99%でも危険率がゼロではない限りは危険であり、「当選確実」が出てバンザイをした後に落選してしまうことがまれにある)、もしくは統計学的な誤差とは別に、どこかにバイアスがあったということが言える。
世論調査の正確性をゆがめる「バイアス」に関しては後述する。ちなみにこの「バイアス」に関しては、どれだけ標本数が大きくても、たとえ全数調査だったとしても、調査の正確性をゆがめてしまう。
例えば、質問者の態度が気に入らないので回答しない、といったバイアスである。
回答率は調査の主体によっても左右される。例えば、「○○新聞の調査に対しては回答を拒否し、△△新聞の調査には応じる」などである。特に政治的問題では、調査主体に好意的な回答者の回答率が高くなり、そうではない回答者の回答率は下がる。
例えば、死刑廃止を訴えるアムネスティ・インターナショナル日本支部が1996年の衆議院総選挙候補者に行ったアンケートでは、当時与党であった自民党候補者の回答率が低かった。おおむね、公的機関や大手マスメディアの調査に対する回答率は比較的高いが、回答率が低すぎる場合、有効回答者の回答をサンプル全体に当てはめることはできない。選挙プランナーと称する三浦博史は「1社だけでは不正確なマスコミの調査も、複数の調査を合わせれば、精度の高い結果になる」としている。
2020年6月、ドナルド・トランプ米大統領は、CNNが行った2020年アメリカ大統領選挙に向けた世論調査について「偏向した質問事項とゆがんだ抽出方法を通じ、米国の有権者を欺く狙いがある」として調査結果の撤回と謝罪を要求した。調査結果では、トランプ大統領の対抗馬であるジョー・バイデンが大幅にリードしている結果を示していた。これに対して、CNNの執行副社長は「アメリカの政治家や選挙陣営がCNNの世論調査の結果を気に入らないという理由で法的措置を示唆してきたのは初めてだ」として謝罪を拒否した。
母集団に存在するのに、標本抽出枠に必ず含まれない標本が存在することで生まれる誤差を、「カバレッジ誤差」という。
例えば、住民基本台帳を標本抽出枠として使った場合、2012年以前の住民基本台帳には在日外国人が記載されていなかったため、在日外国人を含んだ全ての日本国民による実際の世論との間に誤差が発生する恐れがあった。また、RDD方式で作成された電話番号を標本抽出枠として使った場合、2016年以前のRDD方式では携帯電話が含まれていなかったため、携帯電話しか所有しない国民を含んだ全ての日本国民による実際の世論との間に誤差が発生する恐れがあった。
上記の点を改善しても、無戸籍者や、固定電話も携帯電話も持たない国民が抽出枠に含まれないことによるカバレッジ誤差は避けられない。
20世紀に、討論型世論調査 ( deliberative poll ) が、ジェイムズ・フィシュキンによって提唱された。
21世紀、日本においては、将来の原発政策をめぐって討論型世論調査が採用された。