世論調査
日本国民からRDD方式で標本を無作為抽出した後、その人がもしインターネットユーザーだった場合に「モニター」に選出して意識を調査する、という形の「ネット視聴率調査」を、市場調査会社のニールセンが導入している。ただし、これも「インターネットを通じて作為的に標本を抽出したパネル調査よりは精度が高い」というだけで、全ネットユーザーからの無作為抽出ではないため「全ネットユーザーを代表する標本」にはなりえない。
インターネット利用者から「インターネットを通じて」「作為的に」抽出された標本を対象とした、精度の低い「インターネット調査」としては、調査会社に登録されたモニターなど、調査対象者を事前に固定して行う調査方法(パネル調査)が存在する。例えばニコニコ動画では、ニコニコ動画のユーザーに調査対象を固定した「月例ネット世論調査」というパネル調査を行っている。「パネル調査」以外のインターネット調査の方法としては、webバナーなどをクリックしたユーザーを対象にして調査サイトに誘導する形式(オープン調査)があるが、これらは無作為抽出ではないため、仮に「世論調査」と称していても世論調査としては有効ではなく、国民世論どころか全インターネット利用者さえも代表していない。
正しく世論調査を行っても必ず発生する統計学的な誤差とは別に、世論調査の正確性をゆがめる、回答者のバイアス(偏り)がいくつか存在する。
まず、そもそもの問題として、調査対象全体(母集団)から無作為に標本抽出(サンプリング)を行わなければ結果は不正確なものとなる。例えば、A候補の支持者のみを作為的にサンプリングして世論調査を行った場合、母集団におけるA候補の支持率の真の値に関わらず、調査結果におけるA候補の支持率は有意に高くなる。
例えば、面倒くさいので回答者が調査を早く終わらせるために適当に答えたり、人種差別や性差別などの一般的に悪とされる本心を隠すために正反対の回答をしたり、といったバイアスである。
特に投票意向に関係する世論調査においては、秘密投票という方式が持つ特性上、「世論調査員に公言しにくい候補に投票する」ことが可能であり、回答バイアスが世論調査の結果と投票結果に大きな差を及ぼす場合がある。2016年アメリカ合衆国大統領選挙、隠れトランプなどがその例とされる。
例えば、質問者の態度が気に入らないので回答しない、といったバイアスである。
回答率は調査の主体によっても左右される。例えば、「○○新聞の調査に対しては回答を拒否し、△△新聞の調査には応じる」などである。特に政治的問題では、調査主体に好意的な回答者の回答率が高くなり、そうではない回答者の回答率は下がる。
例えば、死刑廃止を訴えるアムネスティ・インターナショナル日本支部が1996年の衆議院総選挙候補者に行ったアンケートでは、当時与党であった自民党候補者の回答率が低かった。おおむね、公的機関や大手マスメディアの調査に対する回答率は比較的高いが、回答率が低すぎる場合、有効回答者の回答をサンプル全体に当てはめることはできない。選挙プランナーと称する三浦博史は「1社だけでは不正確なマスコミの調査も、複数の調査を合わせれば、精度の高い結果になる」としている。
例えば、質問文の前に「政治改革への期待が膨らむ○○候補ですが」「黒い交際が噂される○○候補ですが」などといったポジティブ・ネガティブな前書きがあった場合、回答もそのイメージに引きずられてしまうバイアスである。
意図的かどうかにかかわらず、『設問文によって回答が誘導される』『ある設問の存在が以降の設問の回答に影響を与える(キャリーオーバー効果)』といった世論誘導が行われないよう実施しなければならない。さらに、「あいまいな回答」や「無回答・分からない」という回答の扱い方が難しいため、統計学的に母集団を推定するうえでは問題もある。
ニュースに関心のない国民の場合、質問に回答する以前に質問の内容自体を理解できないため、「何が問題となっているか」などニュースの背景を詳細に説明する必要があり、それが結果として質問誘導につながるという問題もある。
質問誘導の一種で、「よく解らない」や「無回答」などと回答する回答者に、「強いて言えば」「どちらかと言うと」などと重ね聞きすることにより、「はい」か「いいえ」に回答を誘導するバイアスである。
例えば日本の大手マスコミのうち、読売新聞と日経新聞は重ね聞きをしているので、「無回答」が少なくなり、「はい」「いいえ」が多い。一方、朝日新聞と毎日新聞は重ね聞きをしないので、「無回答」「分からない」が他社よりも多く、「はい」「いいえ」が他社よりも少ないという偏りが、2009年の朝日新聞論説委員のレポートで指摘されている。世論調査の数字を同じ会社で比較する時は問題ないが、同じ時期の世論調査の数字をマスコミ各社で比較する時に問題となる。
調査範囲のバイアスである。例えば固定電話の所有者のみを調査対象とした場合、携帯電話しか持たない人が多い若年層をうまくフォローできない。逆に携帯電話の所有者のみを調査対象とした場合、固定電話しか持たない人が多い老年層をうまくフォローできない。
これはカバレッジ誤差を生む原因となる。
調査元やその子会社からコールセンターなどに丸投げされ、労働力を派遣労働で賄ったり、調査に厳しいノルマがあるなどの過酷さから調査の精度が落ちるという指摘もある。2020年6月にフジサンケイグループのフジテレビ(FNN)と産経新聞が合同で2019年5月から2020年5月の間に行った世論調査で調査業務委託先・アダムスコミュニケーションが計14回に渡り、架空の回答を1回につき、百数十件不正入力していたことが発覚し、フジテレビと産経新聞の両社と又委託先の日本テレネットが謝罪したが、前述の委託先における労働環境の悪さや調査元のチェック体制精度の低下からこの捏造が発生する一因を作ったとの意見もある。
常に同じ条件で世論調査を行うのであれば年・月単位の期間比較は可能であるが、選択肢間の比較を行うためには母集団(日本国民)における年齢・職業などの割合の推移に合わせてデータを加工する必要がある。政党支持率や選挙投票先を問う世論調査において、主要メディアはこうした加工を行なわずに発表しているため、統計情報としての取扱いには注意を要する。
統計調査としての世論調査の結果の正確性(誤差の範囲など)や、あるいはそもそも統計学的に正しい手法で世論調査が行われているかどうかを知るためには、サンプルサイズや具体的な調査方法など、透明性の高い情報公開を要するが、世論調査の結果だけしか公開されない場合がある。
世論調査を行う多くのマスコミ関係企業は公益財団法人日本世論調査協会に加盟しており、たとえライバル企業同士でも正しい世論調査の遂行のために協力し合っているが、もし世論調査を受注するリサーチ事業者が未加盟だった場合、「日本世論調査協会倫理綱領」や「実践綱領」などの規定遵守義務がなく、家族構成、政治的見解、宗教的傾向、消費傾向などの個人情報を調査後に保存し、メーカーなどに販売・使用されるなど反社会的な個人情報転売が行われるケースも発生している。
個別訪問面接聴取法に比べ、短期間で安価に実施できる長所がある反面、対面による調査でしか個人情報提供に応じない者、電話の使い方が分からない年齢の者、などの回答が反映されないため、回答者の年齢・職業などに偏りが発生する可能性がある。
世帯員に少なくとも一人は固定電話か携帯電話を持つ人がいる世帯の者への調査に限定されるため、世帯員が誰も電話を所有していない世帯の者や、電話が使えない病院に入院療養中の医療弱者などの意見が反映されず、また電話を使うことが出来ない障害者、日本語が話せない外国人、など、相当数の社会構成員、特に社会的弱者が不可避的に母集団から外れやすくなるため、主題や設問によっては大きな回答の偏りが生じ得る。
メディア史学者の佐藤卓己はRDD方式の本質的な問題点を2つ挙げている。一つ目は「私生活の空間に突然侵入する電話に快く回答してくれる人が、「民意」の平均像からは逸脱していること」であり、2つ目は回答者が質問内容を十分に考えているとは限らないことである。
なお、RDD方式は固定電話のみを対象とする、平日の日中にしかかけない、電話に出た人をサンプリングする(なので日中に家にいて電話を受けやすい主婦や老人が多くサンプリングされる)、などの誤解をしている人がいるが、そのようなことは無い。少なくとも朝日新聞社や日経リサーチ社のRDD方式では、携帯電話も対象とし、世帯員が電話に出るまで(朝日新聞社では夜の10時か11時まで)何度もかけ直し、電話に出た世帯員ではなくサンプリングされた本人に交代してもらって世論調査を行っている。
代表的世論調査としてギャラップ調査が挙げられる。ギャラップ調査とは、商業的世論調査機関であるアメリカ世論調査所 (American Institute of Public Opinion) ギャラップ社 (Gallup Organization) が行う世論調査の総称である。調査は大統領選挙の予想が特に有名。
ジョージ・ギャラップ (George Horace Gallup) (1901年~1984年)とはアメリカの心理学者、統計学者である。世論の統計的調査法を創始し、1935年に米国世論調査所を設立した。
ギャラップ社は、現在では世界30カ国以上にオフィスをもち、多くの調査員が活躍している。同社の調査結果は、アメリカの新聞社をはじめとする多数のマスメディアに取り上げられている。
1936年、大統領選挙において、民主党のフランクリン・ルーズベルト (Franklin D. Roosevelt) と、共和党のアルフレッド・ランドンという2人の候補がいた。大手雑誌である『リテラリー・ダイジェスト』誌は、230万人もの世論調査の末、ルーズベルトの落選を予想した。対して、はるかに少ない調査を行ったギャラップ社は再選を予想し、ルーズベルトが再選した。その予想の的中により、ギャラップ社は一躍脚光を浴びた。
『リテラリー・ダイジェスト』誌の予想が外れたのは、当時としては珍しい電話を使った世論調査の特性を見落としていたからといわれている。当時は電話の普及率40%で、早くから電話が普及していた富裕層と、それ以外の層で、普及率に差があった。共和党支持者は富裕層に多いため、ランドン候補に有利なデータが出てしまったとの分析である。それに対しはリ社の調査結果の偏向は調査方法(普及率が40%の電話)によるよりも、1,000万の聞き取りに対し230万の有効回答しか得られなかったこと、またリ社の読者層は保守派であることによる回答者層の偏りによるものであると指摘している。
20世紀に、討論型世論調査 ( deliberative poll ) が、ジェイムズ・フィシュキンによって提唱された。
21世紀、日本においては、将来の原発政策をめぐって討論型世論調査が採用された。
河北新報社の記者は平日の日中に電話に出るのは高齢者ばかりだということと、世論調査が好きな記者はいないことを明かしている。理由として無言で電話を切られること、記者による質問を意に介さず持論を喋り続ける人たちを上げて、「ストレスが多い作業」と明言している。
2020年6月、ドナルド・トランプ米大統領は、CNNが行った2020年アメリカ大統領選挙に向けた世論調査について「偏向した質問事項とゆがんだ抽出方法を通じ、米国の有権者を欺く狙いがある」として調査結果の撤回と謝罪を要求した。調査結果では、トランプ大統領の対抗馬であるジョー・バイデンが大幅にリードしている結果を示していた。これに対して、CNNの執行副社長は「アメリカの政治家や選挙陣営がCNNの世論調査の結果を気に入らないという理由で法的措置を示唆してきたのは初めてだ」として謝罪を拒否した。