世論調査
質問誘導の一種で、「よく解らない」や「無回答」などと回答する回答者に、「強いて言えば」「どちらかと言うと」などと重ね聞きすることにより、「はい」か「いいえ」に回答を誘導するバイアスである。
例えば日本の大手マスコミのうち、読売新聞と日経新聞は重ね聞きをしているので、「無回答」が少なくなり、「はい」「いいえ」が多い。一方、朝日新聞と毎日新聞は重ね聞きをしないので、「無回答」「分からない」が他社よりも多く、「はい」「いいえ」が他社よりも少ないという偏りが、2009年の朝日新聞論説委員のレポートで指摘されている。世論調査の数字を同じ会社で比較する時は問題ないが、同じ時期の世論調査の数字をマスコミ各社で比較する時に問題となる。
理論は省いて結果だけ書くと、携帯電話では知らない番号の電話に出てくれない人が多いので、携帯電話によるRDD方式では一定の回答数が得られないのではないかという疑問があったが、実際は一定の回答数が得られることが分かり、携帯電話による電話調査を行うことによってカバレッジ誤差の問題が改善することが確認された。また、電話調査と並行して行われた郵送調査との比較によって、「「電話に出ない人」の意見を吸い上げていない」ことの影響がほとんどないことも確認された。
誤差については、固定電話と携帯電話のサンプルの統合や、無回答の調整のためのウェートによる誤差の拡大は、調査結果の解釈に影響しない程度に十分小さいことが分かった。また、携帯電話調査では、回答者に占める女性の割合が男性より低かったが、性別の補正をしても誤差幅への影響が十分小さいことが分かった。
結果として、デュアルフレーム調査がより良い調査の為に有効であることが分かったので、読売新聞社は2016年4月に世論調査の方法をデュアルフレーム調査に切り替えた。
ここで言う「正確性」とは、「統計学的な意味での世論調査の正確性」という意味であって、「世論調査の信ぴょう性が云々」という話ではない。まず高校数学の「統計」の範囲を理解していることが望ましい。「誤差」と「バイアス」を混同しないように注意。
上記のように、世論調査は統計学的な理論に基づいてなるべく厳密に行われており、その正確性は統計学的に担保されている。標本調査は全数調査でない以上、「誤差」は統計学的に避けられないが、標本誤差の範囲も統計学的に保証されているからこそ、日本国(内閣府)は世論調査を行っている。
まず、そもそもの問題として、調査対象全体(母集団)から無作為に標本抽出(サンプリング)を行わなければ結果は不正確なものとなる。例えば、A候補の支持者のみを作為的にサンプリングして世論調査を行った場合、母集団におけるA候補の支持率の真の値に関わらず、調査結果におけるA候補の支持率は有意に高くなる。
大手雑誌である『リテラリー・ダイジェスト』誌は、230万人もの世論調査の末、ルーズベルトの落選を予想した。対して、はるかに少ない調査を行ったギャラップ社は再選を予想し、ルーズベルトが再選した。その予想の的中により、ギャラップ社は一躍脚光を浴びた。
『リテラリー・ダイジェスト(英語版)』誌の予想が外れたのは、当時としては珍しい電話を使った世論調査の特性を見落としていたからといわれている。当時は電話の普及率40%で、早くから電話が普及していた富裕層と、それ以外の層で、普及率に差があった。共和党支持者は富裕層に多いため、ランドン候補に有利なデータが出てしまったとの分析である。それに対しGraham Waldenはリ社の調査結果の偏向は調査方法(普及率が40%の電話)によるよりも、1,000万の聞き取りに対し230万の有効回答しか得られなかったこと、またリ社の読者層は保守派であることによる回答者層の偏りによるものであると指摘している。