Web 調査方式による複数パネル間の比較実験○前田忠彦*1 ・中谷吉孝*2・横田有一*2・中田清*2・中島一郎*2・上嶋幸則*2・大隅昇*1（*1: 統計数理研究所）（*2: （株）博報堂）

1. はじめに1.1. 研究の経緯と概要
本研究は前田他(2005)で報告した調査方式（調査モード）の比較実験調査（2005 年の本大会で発表）の後，継続して行ってきた一連の調査研究である。これはまた大隅(2000〜2004)などで報告された産学協同研究プロジェクトを継続・展開したもので，本研究は「Web 調査の品質管理」に必要な条件を整理するとともに，調査方式間の比較研究を行うことを目的とした計画的研究の一環である。
前田他(2005)，前田・大隅(2006)では，異なる自記式調査の方式（郵送調査と Web 調査）間の比較を主目的とした検討結果を報告した。本報告で扱う 2006 年 3 月実施の実験調査は，謝辞に述べる 5社の協力を得て実施したもので，調査方式として Web 調査のみを利用し，複数のパネル，複数の実査条件間の比較を目的としている。なお，実査に先立ち協力各社との間で合意形成を行い，また後述するようになるべく標準化した環境の中で実査を進めた。
1.2. 調査の具体的な目的
本稿で報告する調査の目的は，次の点を具体的に検討することである。
• 複数社が保有する登録者集団（パネル型）を用いて，なるべく実査条件を揃えた場合に，パネル間の違いがどの程度見られるかを観察する。ただし今回の実験では，実査条件を各社の通常の実査方式に近い条件をある程度保持したうえで，調査方式の一部を標準化した場合の差を見ることに焦点をあてた。
• 同一パネルで「常時オープン型」と「先着順型」の 2 つの調査条件を設けた場合に，この両者間で差が見られるかどうかを検討する。
ここで「常時オープン型」とは実査期間中アンケートをオープンしておき，調査依頼を受けたモニターは常に回答可能な状態で行うことであり，「先着順型」とは実査期間中であっても，回答者数が後述する層別の割当数（回収目標数）に達した時点で，層毎に終了してゆく場合を指す。

2. 実験調査の設計
2.1. 調査の条件
5 社が保有する調査パネル（7 サイト，A〜G と略記）を利用して同一内容の調査を実施した。調査は次のような設計により実施した。
(1) 調査の条件： 常時オープン型：サイト ABDF，先着順型：サイト CEG。5 社の内 2 社が両方の条件のサイトを各 1 サイト用意した。
(2) 調査エリア：首都圏（埼玉県，千葉県，東京都，神奈川県）および京阪神圏（京都府，大阪府，兵庫県）(3) 対象者：調査エリアに居住（パネル登録情報による）する 15〜69 歳男女，本人または家族にマスコミ，広告代理店，市場調査会社関連の勤務者がいないことを参加条件とした。
(4) 調査方式（調査モード）：インターネット調査（Web 調査）(5) 調査時期：2006 年 3 月 23 日(木)10 時〜3 月 29 日(水)10 時，1 サイトのみ 4 月に再実施した結果を用いている。
(6) サンプル数：各サイトとも 600 サンプルを回収目標として層への割当を行った。この際，「常時オープン型」は期間中実査を継続した結果の回収数を 600 名とするための初期の案内メール
1/4

配信計画数を各社で設定した。層化要因は性・年齢(８区分) エリア(2 区分)とし，16 層に 2005年国勢調査の人口を母集団サイズとする比例割当を行った。どのサイトでもリマインダー（督促）は実施していない(7) 調査項目（質問数）と調査票：78 項目。質問内容は社会調査で多用される項目と，市場調査で多用される項目に二分される。これらを（初期画面を除き）質問内容ごとに 7 ページに配分し，ページ内ではスクロール方式により先に進む画面とした。質問形式・質問文は全て共通としたが，外見・プログレスバーの有無等，調査票画面はサイト間で若干異なる部分がある。
(8) 調査票画面の動作・回答制御の条件：同一回答者の二重回答は許容せず，各質問への無回答は許容，ページ間の往復は可とした。ページ間の回答行動の履歴はすべて記録した（トラッキングによるログ情報の取得）。これらは参加各サイトの通常行っている実施方式とは異なる場合があった。ログ情報は後述する回答行動の分析用のデータとして使用した。

2.2. 調査実施の基本結果
以下の表 1 に計画標本と有効回答数，無回答の内訳などを含む調査実施の要約表を示す。
【表 1. 調査要約表】

回収率のサイト間の差が大きいが，これは常時オープン型，先着順型の差違よりも，依頼発信数に対する各社対処の差による。各サイトとも回答中断，アクセスのみなどの発生があるが，こうした事象の発生は日常的にある程度の割合で生じるものであり，調査品質を測る「調査要約表」として常時こうした情報を掌握し開示する必要がある。

3. 調査結果
調査結果として得られた知見のいくつかの事項について要約する。

3.1. 登録者集団の人口統計学的特徴
各サイトの登録者集団（登録者パネル）の主な特徴として，性別，年齢区分の構成分布などに若干2/4の差違が見られた。インターネット調査ではよく知られた事象であり，登録パネルの属性構成に差違があることが改めて確認された。なおこの結果は調査実施時に各サイトから提供された情報による。

3.2. 分析１：回収標本の属性
本研究の先着順型の条件では性・年齢は（ほぼ）事前の想定に基づく比率が回収される。常時オープン型では必ずしもそれが保証されないが，この条件で実施した 4 サイトの中でも，指定割付比率に比べて男性の比率が低く，サイトＦ（常時オープン）でややその傾向が目立つ，相対的に見ると，サイトＡとＤ）で年輩層の比率が高く，他は若年層の比率が高い，といった傾向の差は見られた。また
その他の対象者属性としては，ほぼ同時期に行われた無作為抽出をベースとした留置調査に比べて，今回の各サイトの回答者は，家族人数が小さく，一戸建て住宅の居住者が少なく，既婚者が少なく，単身世帯＋1 世代世帯がやや多い，という特徴も見られた。
3.3. 分析２：回答分布の差：結果の例示
回答分布のサイト間の差を比較することが本研究の目的の一つであった。便宜的に質問を「世論調査型項目」と「市場調査型項目」に区分して考え，複数回答(MA)項目のカテゴリを 1 項目とカウント
すると，項目数は前者 23 項目，後者は 207 項目になる。サイト間の回答分布に関する検討結果を要約すると以下の通りである。サイト間の差は常時オープン型の 4 サイトと先着順型の 3 サイトの間での系統的に認められるというよりも，7 つのサイトにまたがっていろいろなパターンで認められた。7サイト間の回答比率が有意な差（尤度比カイ 2 乗検定，有意水準 5%）を示したのは，世論調査型に区分される 23 項目中 9 項目，市場調査型に区分される 207 項目中 38 項目であった。
例えば世論調査型で差が大きかった項目の例として，「現在の生活の満足度」は「満足（十分満足，一応満足）」の回答比率に最大 10.5 ポイント，「階層帰属意識」は「中（中の上＋中の下）」の回答比率に最大 10.8 ポイントの差が見られたケースが挙げられる。市場調査型の項目内では，商品の情報源（よく見聞きするメディア；MA 項目）として「新聞広告」を挙げる回答に着目すると，3 種の商品（缶・ペットボトル飲料，薄型大画面テレビ，携帯電話）にわたって，同一の 2 サイトが最大・最小の比率であり，その差も 10 ポイント程度ある，などの結果が目を引く。後者の結果は，少なくとも部分的には，次に述べる MA 項目に関する回答行動のサイト間差を反映したものと解釈される。
3.4. 分析３：回答行動の分析
本研究では各サイトで回答トラッキングを行い，いくつかの指標による回答行動の分析を行った。
【表 2 . 7 つのサイトにおける回答所要時間の数値要約】

例えば表 2 は 7 つのサイトの「回答所要時間」の分布を四分位数と中央値により数値要約した情報であり，中央値には長い順に順位を付した。また表の右半分では MA（複数回答）項目 3 項目（EQ4〜EQ6）に対する回答数の順位（多い順）も示している。これによると，常時オープン型のサイト Dで回答所要時間が長いと共に，MA 項目の選択数が多いという特徴が見られる。逆にサイトＦ（常時3/4

オープン），サイトＧ（先着）は反応個数が少なく，回答時間の中央値も短い。すなわち，サイト間で回答者の回答行動に差があり，また回答所要時間と MA 項目選択個数には関連があることが示唆される。これは複数サイトについて同時的にトラッキングを行って初めて得られる情報である。

3.5. 分析４：回答にみるモニター登録状況
インターネット上でアンケート調査のモニター募集を行っている主な会社名を 41 社挙げ，各社モニターへの登録の有無について回答を求めた。7 サイトの回答者(総数で n=4,799)をまとめた集計結果
で上位 10 社（本調査に参加しているサイトとは限らない）に着目し，2 社のモニターに共に登録している回答の比率（同時登録率）を，10 社から 2 社を選ぶ 45 通りの組み合せについて求めた。同時登録率の最小値は 10.2%，最大値は 40.3%，その単純平均は 17.2%であった。各サイトの登録率の上位10 社を勘案すると，登録者の割合が多いサイトでは，複数サイトに同時に登録（重複登録）している登録者（モニター）がある割合で存在することを示している。

4. まとめ
本研究の結果，および関連して本稿で述べたことをまとめると，次のようになる。
• 各サイトの登録者集団（登録者パネル）の主な特徴として，性別，年齢区分の構成分布などに若干の差違が見られた。
• 当初予想された「先着順型」，「常時オープン型」の間には，特定傾向の差が見られなかった。
ただし市場調査型項目の一部にパネル間での系統的な回答差を認めた。
• 調査要約表は，調査実施に関する基本的な情報を提供する資料として重要である。例えば発信数の設定とそれに対する回収数の割合を記述することは，従来型の調査法での回収率の記述に対応するような調査実施に関する基本情報と言える。とくに Web 調査特有の発信数，回収数，アクセス数間の関連を検証することが重要である。
• 回答行動と調査参加頻度の関係など，回答行動のトラッキングで取得したログデータを分析することによって初めて明らかになる情報があり，調査品質のモニタリングに寄与する。

5. 謝辞
本研究は，次の 5 社（社名アイウエオ順）の協力を得て実施した（50 音順）：アイブリッジ株式会
社，(株)インテージ・インタラクティブ，(株)マクロミル，(株)ライフメディア，楽天リサーチ株式会社。プロジェクトに参加いただいた各社ならびにご担当者各位に感謝申し上げます。また一部のサイトは(株)東京サーベイ・リサーチに実査管理をお願いした。同社には従来からの産学協同プロジェク
トで一貫して様々なご協力をいただいており，ここに合わせて御礼を申し上げます。
本研究は統計数理研究所の平成 17, 18 年度共同利用研究「社会環境の変化に対応した新たな調査法の研究」（課題番号 17-共研-1032, 18-共研-1006）に基づくものである。一部の調査実施にあたり，平成 18 年度日本学術振興会科学研究費補助金（課題番号 16330114）の補助を受けた。

6. 参考文献[1] 前田忠彦・大隅 昇・中谷吉孝・上嶋幸則・渡會 隆・簑原勝史・野田善治 (2005). 自記式調査における実査方式間の比較研究, 日本行動計量学会第 33 回大会発表論文抄録集.
[2] 前田忠彦・大隅 昇（2006）,自記式調査における実査方式間の比較研究‐Web 調査の特徴を調べるための実験的検討‐，ESTRELA, No.143.12-19.
[3] 大隅 昇 (2000，2004).「調査環境の変化に対応した新たな調査法の研究」報告書.
[4] 大隅 昇(2006). インターネット調査の抱える課題と今後の展開 ESTRELA, No.143.2-11.
[著者連絡先：代表 前田 忠彦 E-mail: maeda@ism.ac.jp]
4/4