JMRA InnovationCast Vol.7

すべての標本調査には偏りがある
総調査誤差（Total Survey Error）で調査の質を考えるプロフィール
■講演者：
萩原 雅之

トランスコスモス・アナリティクス株式会社取締役フェロー
マクロミル総合研究所所長 日本世論調査協会個人会員
青山ビジネススクール、早稲田大学ビジネススクール講師
著書『次世代マーケティングリサーチ』(2011)■ナビゲーター：石原 聖子（石原事務所）
メーカーで市場調査・マーケティング・お客様満足推進のマネジメントを長年担当
日本マーケティング学会会員
Copyright : Masashi Hagihara 2021

2

本日の論点■ 世論調査におけるIVR（オートコール）利用の是非• 毎日新聞はなぜ世論調査手法を変更したのか■ 社会調査におけるWeb調査利用の是非• 日本学術会議はなぜWeb調査の活用を提言したのか■ 総調査誤差（Total Survey Error）で考える• 確率標本でも代表性や精度が担保されるわけではない■ マーケティングリサーチからの視点
Copyright : Masashi Hagihara 2021

3

電話世論調査は時代の変化に対応してきた• 電話帳からの抽出（1990年代まで）• RDD (Random Digit Dialing）に移行
03-xxxx-xxxx

045-xxx-xxxx• RDDに携帯電話番号を追加
090-xxxx-xxxx

固定電話所有の減少

080-xxxx-xxxx

毎日新聞の新しい調査手法• 固定RDDでIVR（自動音声応答）• 携帯RDDで応諾者にSMS送信、Web回答
Copyright : Masashi Hagihara 2021

電話帳掲載者の減少？
4毎日新聞の新しい世論調査手法（2020年4月より）
固定RDD

携帯RDD

IVR（自動音声応答）
回答承諾

回答承諾
SMSリンク送信

プッシュで回答

スマホ画面で回答
回答完了

IVRの問題点
 世帯内抽出ができない（固定） 回答承諾者が少ない
 回収率を算出できない
IVR/SMSの優位点
 回答者のペースで回答できる
 タテマエ回答を低減する
 若年層の回答を得やすい※ 毎日新聞の月例調査では目標サンプル携帯700件・固定300件
Copyright : Masashi Hagihara 2021

5海外ではIVRやOnlineも「世論調査」とされる
手法は多様Live — Live telephone interviews,including cellphones.

Landline — Live telephoneinterviews, not including cellphones.

IVR — Interactive voice response,otherwise known as automated polls
or “robopolls.”

Online — Poll conducted by

品質で格付けinternet; generally, this means by
web browser, but it’s inclusive of text
message or application-based pollingof mobile phones.

Mail — By U.S. mail or other “snailmail” service.

Copyright : Masashi Hagihara 2021

Source: https://fivethirtyeight.com/

6Web調査に対する研究者の危惧“ある学会の年度大会での発表の半数以上がウェブ調査を利用しており、しかも多くはボランティア・パネルであったという例がある”
大隅 昇 統計数理研究所名誉教授“無作為抽出標本を用いないWeb調査の結果が独り歩きして、人々に日本全体を代表する結果であるかのように解釈されているという危機感”
佐藤嘉倫 東北大学大学院文学研究科教授

Copyright : Masashi Hagihara 20217

日本学術会議社会学委員会による提言
提言「Web調査の有効な学術的活用を目指して」（2020.7.10 公表）■ 社会調査の直面する問題高い回収率を期待することは困難となり、たとえ無作為抽出で得られたサンプルであっても、相応の偏りを前提とせざるをえない。（p.13)
社会調査の代表性は、むしろランダムであるということよりも、どの程度サンプルの偏りを評価できるかが肝心ともいえる。(p.14）■ 学術的活用への提言
総調査誤差の考え方を踏まえたうえで、Web調査の問題点を正確に理解し、解決可能な問題点は解決したうえで調査を行うべき。（p.15）
出所: http://www.scj.go.jp/ja/info/kohyo/kohyo-24-t292-3-abstract.html
Copyright : Masashi Hagihara 2021

8代表性に影響を与える「相応の偏り」とは
RDD電話世論調査の場合
目標母集団
（有権者）

推測

標本抽出枠
（電話所有）
カバレッジ誤差
★

事後調整
（補正）
調整誤差
★★★

設定サンプル（RDDリスト）

標本誤差

回収サンプル（回答完了）

★
無回答誤差
★★★★
Copyright : Masashi Hagihara 2021

パネルを使ったWeb調査の場合
目標母集団
（生活者）

推測

標本抽出枠
（パネル）
カバレッジ誤差
★★★★

事後調整
（補正）
調整誤差
★★

設定サンプル（依頼リスト）

標本誤差★

回収サンプル（回答完了）
無回答誤差★

9

総調査誤差（Total Survey Error）
測定に関する誤差

代表性に関する誤差

構成概念

目標母集団
カバレッジ誤差

妥当性

標本抽出枠

測定

標本誤差

測定誤差

統計学

設定サンプル
無回答誤差

回答回収サンプル

処理誤差

調整誤差

編集済回答

事後調整
最終結果

Copyright : Masashi Hagihara 2021

出所：「総調査誤差」をめぐって : ロバート M.グローヴス、ラース ライバーグ論文を中心に「よろん」2012 年 110 巻 p. 18-31

10総調査誤差（Total Survey Error）
測定に関する誤差

代表性に関する誤差

構成概念

目標母集団
標本抽出枠

測定

標本誤差

統計学

設定サンプル

無作為抽出によるネジ不良品検査の場合は統計学のみで正しく推測できる
Copyright : Masashi Hagihara 2021

最終結果

11

総調査誤差（Total Survey Error）
測定に関する誤差

代表性に関する誤差

構成概念

目標母集団

カバレッジ誤差

妥当性

標本抽出枠

測定

標本誤差

測定誤差

設定サンプル

統計学「現実的な」対象者抽出の困難さ
無回答誤差

回答

回収サンプル

処理誤差
デジタル手法の優位性

精度の評価がカバレッジに偏重「実質的な」回収率の低さ
調整誤差

編集済回答

事後調整

安易な重み付けによる歪の拡大最終結果
Copyright : Masashi Hagihara 2021

出所：「総調査誤差」をめぐって : ロバート M.グローヴス、ラース ライバーグ論文を中心に「よろん」2012 年 110 巻 p. 18-31

12

総調査誤差フレームの重要性と知見を知る２冊■ ウェブ調査の科学：調査計画から分析まで（2019）
ロジャー・トゥランジョーほか（著）、大隅 昇ほか（翻訳） 誤差を２つの種類に大別する。関心のある母集団を回答者がどの程度うまく代表しているかに関わる誤差、そして個々の回答の正確さや妥当性に関わる誤差である（p.3）
 ウェブ調査には、測定誤差を他のデータ収集方法よりも低減する可能性のある重要な特徴がいくつかある（p.198）■ ビット・バイ・ビット -- デジタル社会調査入門（2019）
マシュー・J.サルガニック（著）、 瀧川 裕貴ほか（翻訳） 誤差には２つの要因が存在する。あなたが誰に語りかけるかに関する問題（代表性）とあなたがその会話から何を得るかに関する問題（測定）だ（p.93）
 デジタル時代には確率サンプリングをすることが実際的にはむずかしくなり、非確率サンプリングの新たな機会が生み出される（p.101）
Copyright : Masashi Hagihara 2021

13

マーケティングリサーチにとっての「代表性」
 精度の高い実態把握は必要だが、それ自体が目的ではない。
 アウトカム（企業や社会にとって望ましい結果）を導くための戦略策定、行動指針（打ち手）のためにデータが収集・分析される。
 そのため代表性より有用性が求められる。スピード、コスト、情報価値を考慮しながら、適切な調査手法が選択される。
 人間はネジではない。
Copyright : Masashi Hagihara 2021≠14

ご視聴ありがとうございました
課題への打開策は他にもいろいろあると思います。
ぜひ教えてください。意見交換しましょう。
「もっとうまいやり方がある」「うちではこうしている」･･･ など、ご意見・ご提言をJMRA宛にお送りください。
ご質問・ご意見は⇒ office@jmra-net.or.jp

本キャストの過去動画は ⇒ https://www.jmra-net.or.jp/activities/seminar/2020/20210107.html
過去のご質問・ご意見は ⇒ https://www.jmra-net.or.jp/activities/seminar/2020/20210107v.html