世論調査
日本で世論調査を行った場合、母集団は日本国民となるが、標本を抽出する実際の対象となる、母集団を代表する要素が記述されたリスト(標本抽出枠)をまず用意する必要がある。
母集団を代表する要素が記述されたリストは、例えば住民基本台帳が用いられる。日本では戸籍機能がほぼ完全に機能しているので、住民基本台帳を用いて作成した抽出枠は、標本抽出の結果から推定したい目標となる母集団(目標母集団)とほぼ完全に一致していると考えられるが、実際には目標母集団と完全に一致している必要はなく、抽出枠が母集団を代表してさえいればよい(このような母集団を、「枠母集団」という)。例えば電話帳を抽出枠とした場合、電話番号が電話帳に記載されていない国民や、電話を持たない国民がいるため、母集団とのズレ(カバレッジ誤差)が発生する懸念があるが、これらが無視できるか、補正できると考えた場合、電話帳を枠母集団として使うこともできる。なお、現代ではもっと手軽で精度の高い乱数番号法(Random digit dialing, RDD)が普及しているので、電話帳を使うことはない。
住民基本台帳を抽出枠とした場合、抽出枠は約1億3000万(個)となる。また、政治に関する調査などで母集団を日本の有権者のみとした場合、抽出枠は選挙人名簿が主に使われ、約1億(個)となる。ここから抽選が行われて数千人くらいが無作為に抽出される。
個別訪問面接聴取法に比べ、短期間で安価に実施できる長所がある反面、対面による調査でしか個人情報提供に応じない者、電話の使い方が分からない年齢の者、などの回答が反映されないため、回答者の年齢・職業などに偏りが発生する可能性がある。
世帯員に少なくとも一人は固定電話か携帯電話を持つ人がいる世帯の者への調査に限定されるため、世帯員が誰も電話を所有していない世帯の者や、電話が使えない病院に入院療養中の医療弱者などの意見が反映されず、また電話を使うことが出来ない障害者、日本語が話せない外国人、など、相当数の社会構成員、特に社会的弱者が不可避的に母集団から外れやすくなるため、主題や設問によっては大きな回答の偏りが生じ得る。
メディア史学者の佐藤卓己はRDD方式の本質的な問題点を2つ挙げている。一つ目は「私生活の空間に突然侵入する電話に快く回答してくれる人が、「民意」の平均像からは逸脱していること」であり、2つ目は回答者が質問内容を十分に考えているとは限らないことである。
なお、RDD方式は固定電話のみを対象とする、平日の日中にしかかけない、電話に出た人をサンプリングする(なので日中に家にいて電話を受けやすい主婦や老人が多くサンプリングされる)、などの誤解をしている人がいるが、そのようなことは無い。少なくとも朝日新聞社や日経リサーチ社のRDD方式では、携帯電話も対象とし、世帯員が電話に出るまで(朝日新聞社では夜の10時か11時まで)何度もかけ直し、電話に出た世帯員ではなくサンプリングされた本人に交代してもらって世論調査を行っている。
標本調査(サンプリング)とは、無作為に抽出された一定数の人々(標本)に設問して回答を収集するという、統計学に基づいた調査である。標本調査は標本誤差を伴うことが避けられないが、標本の抽出を正しく行うと、統計学的な見地から考えてかなり正確に近い結果が得られる。世論調査においては、これを「世論」あるいは「民意」などと呼ぶ。
標本調査を行う多くの世論調査は統計学の中心極限定理を正確性のよりどころとしている。母集団自体が特殊な性質を満たす集合でない限り、「標本平均」は「母集団の真の平均」に近づき(大数の法則)、分散は標本数の逆数に比例して小さくなる。
なお、日本で統計調査を行っている総務省統計局は、これからの社会を生きる子供たちが標本調査の前提となる統計的な知識や技能を身に付けておくことは必須であると考えており、平成24年度以降の新学習指導要領で統計の教育を施しているほか、インターネットで小中学生レベルの統計学を学べる「なるほど統計学園」と、高校レベルの統計学を学べる「なるほど統計学園高等部」というWebサイトを設けている。
学術的な面で世論調査の正確性を担保するのが統計学だが、倫理的な面で日本の世論調査の正確性を担保するのが公益財団法人日本世論調査協会である。フジサンケイグループ、東京スポーツ新聞社などを除くほぼ全ての大手マスコミと(日経系は日経リサーチが、時事通信社系は中央調査社が加盟しているが、フジサンケイ系は産経新聞社が2009年1月9日をもって退会したため未加盟)、内閣府や国民生活センターなど世論調査を行う行政機関、慶応義塾大学メディア・コミュニケーション研究所や統計数理研究所など世論調査を研究する学術機関が加盟しており、正しい世論調査を行うために民・官・学で互いに協力し合っている。
例えば、質問文の前に「政治改革への期待が膨らむ○○候補ですが」「黒い交際が噂される○○候補ですが」などといったポジティブ・ネガティブな前書きがあった場合、回答もそのイメージに引きずられてしまうバイアスである。
意図的かどうかにかかわらず、『設問文によって回答が誘導される』『ある設問の存在が以降の設問の回答に影響を与える(キャリーオーバー効果)』といった世論誘導が行われないよう実施しなければならない。さらに、「あいまいな回答」や「無回答・分からない」という回答の扱い方が難しいため、統計学的に母集団を推定するうえでは問題もある。
ニュースに関心のない国民の場合、質問に回答する以前に質問の内容自体を理解できないため、「何が問題となっているか」などニュースの背景を詳細に説明する必要があり、それが結果として質問誘導につながるという問題もある。
調査対象者が少数の場合、無作為抽出ではかえって標本誤差が大きくなると判断される場合などに、見識のある調査者が自らの経験とカンで代表的標本を選んだほうが正しい結果が出る場合もあり、身近な例では週刊少年漫画雑誌の編集長が読者アンケートから「隠れた支持があるので連載続行」などと決める場合などに使われるほか(これは潜在的な読者の対象となる全日本国民の中から、読者アンケートに応募してきた人間のみを抽出する、「応募法」と呼ばれる手法である)、世論調査では大規模調査の前に前もって行われる試験調査などに使われることがあるが、客観性が無く企画した本人たち以外には価値を認められないデータとなる可能性があるため、通常は世論調査には用いられない。
統計調査における有意抽出に関しては、自ら応募してきた人のみを調査対象とする応募法(voluntary response sampling)、世代や年齢別にサンプリング数を割り当てて、その中から割り当てた数だけの協力者を募って調査する割当法(quota sampling)、調査者が主観でサンプリング対象の「典型」を設定して、その典型的な標本のみ(例えば「典型的日本人」としての新橋駅前のサラリーマンなど)を抽出する典型法(typical case sampling)、知人の紹介に頼って標本を集める機縁法(chain sampling、紹介を繋げて行くに従って雪だるま式にサンプルサイズが膨れ上がるので「雪だるま法(Snowball sampling)」ともいう。
統計学的な手法を用いて世論を明らかにする調査が世論調査である。逆に言うと、統計学的に正しい調査の手法を用いないものは世論調査ではない。統計学の威力に関しては、統計学を利用した世論調査の方法を確立したギャラップ社のジョージ・ギャラップ曰く、『I could prove God statistically』(私は神の存在を統計的に証明できる)とのこと。
統計調査には「標本調査(サンプリング)」と「全数調査(センサス)」がある。全数調査とは、ある社会集団の構成員の全員を調査する方法であり、これを用いると正確な結果が得られるが、例えば日本国で世論調査を行う場合、約1億2千万人の対象に対してこれを行う必要があり、非常に時間と手間がかかるため、世論調査では標本調査が用いられる。なお、日本政府が5年に一度行う国勢調査では、全数調査が行われる。