日本データベース学会和文論文誌
一般論文

Vol. 20-J, Article No. 9, 2022年 3月

がデータの質や検定力の維持に悪影響を及ぼすことを示していオンラインアンケートにおける不適

る． Simonら [2] は，人間の認知的資源には限りがあることによ

切回答自動検出に向けた回答操作ロって生じる，アンケート調査において回答要求に対する努力を最小化しようとする傾向を努力の最小限化（Satisficing）と定義しグの統計分析

た．このSatisficingを検出することができれば，不適切な回答に対して適当な処理を施すことで，より真実に近い知見を得ること

後上正樹1

松田裕貴2

荒川豊3

ができると考えられる．

安本慶一4

そこで，Oppenheimerら [3] はIMC（Instructional Manipulation

Check）， Maniaciら [1] はARS（Attentive Responding Scale）おオンラインアンケートにおいて，なるべく楽に早くアンケート

よびDQS（Directed Question Scale）というSatisficing検出手法を

タスクを完了しようとする「Satisficing（努力の最小限化）」とい考案した．これらの手法は検出用の質問をオリジナルの質問票にう態度が調査結果の信頼性を低下させる問題がある．この問題に追加してSatisficingを検出するもので，Satisficing関連の研究で一対し，回答時間が明らかに短い回答を除外するなどの措置が考案

般的に使用されている [4–6]．しかし，追加する必要がある質問されてきたが，回答時間だけでは完全に除外することができな

は回答者をテストするような内容であるため，挿入することで疑い．そこで我々は，回答時間だけでなく，回答中の画面操作を観われているように感じるなど，回答者の心理的負荷が増加する可測することで，より高精度にSatisficingが検出可能になるのでは能性がある．これにより，適切に回答している回答者のモチベー

ないかという仮説を立てた．世界中で利用されているオープンソ

ションを低下させ，Satisficingを発生させてしまう原因となり得ースアンケートシステムLimeSurveyの拡張機能として，回答中

るため，このような質問を挿入することは望ましくない．そこでの画面操作ログ（回答操作ログ）を記録できるプラグインを開発

尾崎ら [7] は，従来のような質問の挿入を不要とする機械学習にし，本システムを用いてクラウドソーシング上でアンケート実験

よる不適切回答の検出を試みた．様々な機械学習手法を用いた結を行った．実験は，回答者は各自のスマートフォンを用いて，リ果，不適切回答の検出率が最も高かったモデルで65.5%と報告さッカート形式と自由記述形式の質問から成るアンケートに回答

れている．

してもらうものであり，アンケートの途中にはSatisficingを検出

本研究ではスマートフォンの回答操作ログを記録し，ログデするために考案されている既存の質問を挿入した． 1000人に対ータから生成する操作特徴量に基づくSatisficing検出手法によりして回答を依頼し，収集した回答内容および回答操作ログから，検出率の向上を目指す．この目標に対して本稿では，オープン

Satisficingを表現する可能性が考えられる特徴量を生成し，特徴

ソースアンケートシステムLimeSurveyの拡張機能として，回答量ごとにSatisficingである群とSatisficingでない群の母平均の差の操作ログを記録するプラグインを開発し [8]，1000人を対象にア検定を行った．結果として，既存の特徴量であるテキストの文字

ンケート実験を行った．収集した回答操作ログからSatisficingを数，連続同一回答数，中間回答数に加え，開発したプラグインで表現すると考えられる特徴量を生成し， Satisficingである群（以のみ取得可能なスクロール速度，選択肢の変更回数，リッカート

下，Satisficing群）とSatisficingでない群（以下，正常群）それぞ形式の回答時間などに統計的有意差があることを明らかにした．

れから得られる各特徴量について母平均の差の検定を行なった．

また，スクロール速度やテキストの変更回数に関しては，絶対値

結果として，既存の特徴量であるテキストの文字数，連続同一回

では差がない一方で，回答者ごとのベースラインとの差では有意答数，中間回答数に加え，開発したプラグインでのみ取得可能なな差が確認できた．

スクロール速度，選択肢の変更回数，リッカート形式の回答時間などに統計的有意差があることを明らかにした．また，スクロー

1

はじめに

ル速度やテキストの変更回数に関しては，絶対値では差がない一方で，回答者ごとのベースラインとの差では有意な差が確認されオンラインアンケートは社会科学分野の調査研究や民間企業のた．

マーケティング活動等に用いられている．クラウドソーシングサ

本稿の構成は次の通りである． 2章で関連研究について述べる．

ービスとの相性が良く，紙ベースのアンケートよりも手軽かつ低3章でSatisficingと関係があると思われる回答操作ログについてコストで大量かつ広範囲に回答を依頼できる利点がある．しか述べる． 4章では回答操作ログデータを記録するアンケートシス

し，アンケート調査では回答者が必ずしも適切に回答するとは限テムについて述べる． 5章でそのシステムを用いたアンケート実らない． Maniaciら [1] は，オンラインアンケートにおける努力験について説明し，6章で分析結果と考察を述べる．最後に，7章の最小限化を後述する様々な手法を用いて調査し，不適切な回答

で本稿のまとめと今後の展望を述べる．
1 非会員

2 関連研究奈良先端科学技術大学院大学

gogami.masaki.gg8@is.naist.jp
2 非会員

奈良先端科学技術大学院大学／JSTさきがけ

Oppenheimerら [3] は，アンケート実施前の教示が回答者にyukimat@is.naist.jp
3 非会員

伝達されているかどうかを確認することでSatisficingを検出す

九州大学

るIMC （Instructional Manipulation Check） と い う 手 法 を 考 案

arakawa@ait.kyushu-u.ac.jp
4 非会員

奈良先端科学技術大学院大学した． また， IMCを用いて2つの大学の学生（それぞれ213人，

yasumoto@is.naist.jp

1日本データベース学会和文論文誌
一般論文

Vol. 20-J, Article No. 9, 2022年 3月

144人） を 対 象 と し て 調 査 を 行 な っ た 結 果， そ れ ぞ れ46%，

表1

35%がIMCに違反した不適切回答であったと報告されている．

Satisficing検出のために記録する特徴量

ログデータの種類

単位

質問形式

独自追加

リッカートの回答時間

s

リッカート

−

自由記述の回答時間

s

自由記述

−

回

リッカート

⃝

と報告されている．このように，適切な認知的コストが払われ選択肢の変更回数
テキストの変更回数回

自由記述

なかった回答は世界的に一定数存在し，導かれる意思決定を誤テキストボックスの再フォーカス回数

回

自由記述

⃝
⃝

三浦ら [9] が日本で実施した調査では， 2社のクラウドソーシ
ングサービス上で各1800人を対象としたアンケートにおいて，それぞれ51.2%， 83.8%がIMCに違反した不適切な回答であったってしまう原因となる可能性が考えられるため問題視されていスクロール長px

全体⃝

る [10, 11]．

スクロール速度

px/s

全体

⃝

逆スクロール回数回

全体⃝

非操作時間が長すぎる回数

回

全体

⃝

アンケート全体の回答時間s−

うSatisficing検出手法を考案した． これらの手法は，本来調査全体最大連続同一回答数

問

リッカート

−

したい内容ではないいくつかの質問をアンケートに組み込んで

中間回答数

問

リッカート

−

使用する． ARSにはInconsistencyとInfrequencyという2種類があ

文字数

文字

自由記述

−

こ の 問 題 に 対 し て， Maniaciら [1] は， ARS （The Attentive

Responding Scale）およびDQS （Directed Question Scale）といる． Inconsistencyは，内容は同じだが文章が微妙に変更された質問対に対する回答の差分に注目するものである．11の質問対に対する差分の合計が11以上であればSatisficingであると定義されて本研究では機械学習モデルの特徴量として，スマートフォンのいる． Infrequencyは，常識的に誰もが選択すると想定される選回答操作特徴を用いることで高精度にSatisficingが検出できるモ択肢が存在する質問を設け，その想定選択肢と実際に選択されたデルの構築を最終的な目標としている．そのために本稿では，特選択肢の差分に注目するものである． 11問の差分の合計が12以

徴量ごとにSatisficing群と正常群の間で統計的な差があるかどう上であればSatisficingであると定義されている．また，DQSはリか検証した．なお，本研究で回答に用いる端末をスマートフォン

ッカート形式の選択肢の文章中で回答指示（どの選択肢を選択さに限定した理由は，オンラインアンケートの回答に用いられる端

せるか，あるいはどの選択肢も選択させない等）を与え，その指末としてスマートフォンがPCに取って代わってきている背景が示に従わなかった場合Satisficingであると判断する．

あるためである [16]． Rogerら [17] は，PC，タブレットおよび三浦ら [12] は，これらのSatisficing検出手法を効率よく，かつ

スマートフォンにおいて，アンケートの回答の質にどのような変正確に検出するために， ARSとDQSで挿入しなければならない化があるのかを調査した．この際，評価基準としたのは回答時間

複数の質問から最低限必要なものを絞り込むことを試みた．しかや未回答率および連続同一回答数である．結果として，スマートしながら，当該実験結果においては確定的な絞り込みは実現でフォンはPCおよびタブレットに比べて回答時間が長い傾向が観きなかったと述べられている．このように質問票に工夫を施し察された．一方で，結果の信頼性についてはどの端末についてもてSatisficingを検出する手法が検討されているが，これらの手法

特に差はないと結論づけており，スマートフォンによる回答増加

で挿入する質問はいわばひっかけ問題のようなものであるため，

が回答の質についてネガティブでないことが示されている．

疑われているように感じるなど，回答者の心理的負荷を増加させ

3 Satisficingを検出するための特徴量る可能性がある．そうなると，適切な回答者のモチベーションを低下させ， Satisficingを発生させてしまう原因となり得る．さSatisficingを検出するために有効であると考える特徴量を表1にらに，Peiら [13] は，IMCとDQSを自動で正解するディープラー

示す．表中の「質問形式」欄では，各データがリッカート形式もニングモデルを構築し，75.65%の精度を報告していることから，

しくは自由記述形式のどちらの質問形式に対応するのかを表して

これらのスクリーニング質問を用いた検出手法は将来的に信頼性いる．また，「全体」の項目は質問形式に関係なくアンケート全が脅かされる可能性がある．

体に関する特徴量である．「独自追加」欄では，既存のアンケー

そこで，スクリーニング質問を追加することなくSatisficing検トシステムで記録可能であった特徴量については「−」印，我々出を実現するために，尾崎ら [7] はPCによって回答された結果が新たに記録する特徴量については「 ⃝ 」印で記載している．スについて，機械学習を用いてSatisficingの検出を試みた．説明変クロールや回答の変更に関する特徴量は今までのアンケートシス

数には，性別，年齢，回答時間，連続同一回答数，ハマラノビ

テムでは記録できなかった．他の既存の特徴量についても，今まス距離，ハマラノビス距離のp値など，回答結果から得られる情で報告されているものを概ねカバーする．

報を用いて，様々な機械学習モデルを適用し，最も検出率が高「回答時間」は，これまでの研究でも不適切回答検出のためのいモデルで65.5%という結果を報告している． また，我々はこ特徴量として用いられてきた．アンケート調査会社等でも，「アれまでの研究で，スマートフォンの回答操作ログの機械学習にンケート全体の回答時間」が短すぎるサンプルを調査結果から除基づくSatisficing検出モデルを構築しており，DQSとARSの両方外する例がある [18, 19]．このようなフィルタリングに引っかかでSatisficingと判定されたサンプルを85.9%の再現率で検出可能

らない不適切回答者や，アンケートのある部分のみ不適切な回答であることを確認している [14, 15]．

をする回答者なども存在し得る．しかしながら，依然として回答
時間はSatisficingに強く関係する特徴量であると考える．本稿で2

日本データベース学会和文論文誌
一般論文

Vol. 20-J, Article No. 9, 2022年 3月

特徴量として扱う回答時間は，「リッカートの回答時間」と「自由記述の回答時間」に分け，それぞれの形式の質問に対する平均

アンケート配信

回答時間とする．

LimeSurvey

回答結果「選択肢の変更回数」，「テキストの変更回数」，「テキストボッ

回答結果
Operation Logger

クスの再フォーカス回数」は，正確な回答を試みている状態が表

データベースれると考えられる．そのため，少なくとも雑な回答をしようとしスマートフォン

た場合には発生しないと推測する．したがって，これらの特徴量もSatisficingに関連すると考える．
「スクロール長」は，一回のスクロール操作による画面移動量

サーバと定義する．また，「スクロール速度」は「スクロール長」を一回のスクロール操作にかかる時間で除算した値と定義する．これ

図1

らは質問間の移動という操作を表す一つのパラメータとして捉え

回答操作記録アンケートシステムの概観

ることができる． Satisficingが発現している場合は，早く終わらせたい思いから質問間の移動が粗くかつ速くなると考えられる．

び被験者内での相対的な値も有効な特徴量になり得ると考えた．

「逆スクロール回数」は， 100 px以上の逆向きのスクロール

そこで，テキスト文字数，テキストの変更回数，選択肢の変更回を1回と定義した． 100 pxとした理由は，LimeSurveyのアンケー数，逆スクロール回数に関しては被験者間の偏差を，テキストのトを一般的なスマートフォンで回答する際に前の質問に戻るため

変更回数，スクロール長，スクロール速度に関しては被験者ごとに必要とする移動量であることに基づく．これは，アンケートののベースラインとの差を算出し，特徴量に追加した．被験者ごと回答中に前の質問の回答を変更したくなったり，ページ冒頭の質のベースラインは，アンケート内の4，5ページ目において計測し問文を読み直す際の操作を表していると考えられる．このようなた．

操作は丁寧な回答を裏付けるものであるため，逆スクロール回数4がほとんどないような場合はSatisficingが発現している可能性が高いと考えられる．

回答操作記録アンケートシステム

4.1 システム構成「非操作時間が長すぎる回数」は，画面に触れていない時間

我々は， 2章で述べた特徴量を記録するシステム構成を設計が基準値以上の回数である． この基準値はリッカート形式でした [8]． その際，システムの普及性を考慮した結果，新規には10秒，自由記述形式では40秒と定義した．この基準値を上回

アンケートシステムを作るのではなく，既存のシステムを拡張る非操作時間は，回答にかかるであろう想定時間の範囲を超えてする方法が最も合理的であると判断した． ClickTale等のWebサいるため，何か他の作業をしながら回答している状態であると見

イトの顧客体験改善のためにユーザのページ内行動を可視化なす．ながら操作は質問への注意を逸らす要因であるため，このするサービスがあるが，汎用性が高い反面，アンケートに特特徴量が大きい場合はSatisficingが発現している可能性が高いと化した特徴量の記録はできない． そこで，オープンソースの考えられる．

オンラインアンケートシステムであるLimeSurveyに着目した．

「連続同一回答数」は，リッカート形式の質問において同じ選

LimeSurveyの標準機能で記録できるデータは，最終的な回答内択肢を連続で回答する回数である． Satisficingがない状態でも同容，回答開始時刻，回答終了時刻，ページごとの回答時間である．

一回答になる場合はあるが，Satisficingが発現している回答者は一方， Google FormやSurvey Monkey等とは異なり， Javascript

その数が異常に多くなる場合がある [20]．

（以下js）を用いて独自のプラグインを作成することが可能であ「中間回答数」は，リッカート形式の質問において中間の「どる． 我々は，この仕組みを用いて，表1に示す回答操作ログをちらでもない」のような選択肢を選択する回数である．これに関取得するLimeSurveyプラグインを独自に開発し，回答操作が記してもSatisficingがない状態でも中間回答になる場合はある．一録可能なアンケートシステムを構築した．本システムの概観を方で， Satisficingが発現しており，自分の意見を確認して表明す

図1に示す．本プラグインの導入方法は，これら3つのファイル

るというコストをかけず実質的に回答を放棄するような場合に中をLimeSurveyをホスティングするサーバに配置し，質問設定画

間の選択肢を選択する傾向がある [21]．そのため，中間回答数の面のヘルプ文章欄にてjsファイルの読み込み設定をするのみであ多さがSatisficingの検出に寄与すると考えられる．

る．なお，回答者側はソフトウェアの追加や設定の変更が一切必「文字数」は，自由記述形式の質問1問あたりの文字数とす

要ない．

る．質問文で文字数や具体度の指定がない場合，回答者は一文

4.2 提案システムで記録されるデータで回答する場合と，数文に渡って具体的に回答する場合がある．

開発したプラグインで記録されるデータの詳細について述べ

この差がSatisficingに関連していると考えられ，文字数少ない方

る．データを取得するイベントはタッチイベント，選択肢のタッがSatisficing傾向が強いであろうと考える．

プ，テキストの入力の3種類である．
タッチイベントは， touchstart， touchmove， touchendの3種類

また，リッカートの回答時間，スクロール長，スクロール速度について，分散を捉える変動係数を特徴量に追加した．さらに，であり，それぞれスクリーンが指を検知した瞬間，指がスクリー

これまでに記載した特徴量は絶対的な値であるが，被験者間およン上で動いている間，指がスクリーンを離れた瞬間のタイミン

3日本データベース学会和文論文誌
一般論文

Vol. 20-J, Article No. 9, 2022年 3月

表2

提案システムの動作確認済みモバイル端末環境

ChromeSafariFirefox

Opera

iOS

✓

✓

✓

✓

Android

✓

N/A

✓

✓

グで発火する.これらのタイミングにおける時刻，画面内の座標，

図2

質問項目の概略

ページ上端からの移動量，タッチイベントの種類を取得し，デー
タベースに格納する．これにより，「スクロール長」，「スクロール速度」，「逆スクロール回数」を検出することができる．

ればSatisficingであるとされる．三浦ら [5] が用いたIMCに関し選択肢をタップしたタイミングでは，回答時刻，質問のID，選ては，今回用いる質問票が特別な教示を必要としないため，適さ択肢のIDを取得する．これにより，リッカート形式の「質問単位ないSatisficing指標であると判断して使用しなかった．

の回答時間」と「選択肢の変更」を検出することができる．

5.2

テキストを入力したタイミングでは，回答時刻，質問のID，入アンケート内容

アンケート実験で用いた質問票の概略を図2に示す． この質

力内容，レコード生成理由を取得し，データベースに格納する．

問票は三浦ら [12] が公開している質問票 [22] のうち， Big5尺

これにより，自由記述形式の「質問単位の回答時間」と「テキス度，自尊感情尺度，認知欲求，アンケートへのモチベーション

トの変更」が検出できる．テキストの記録単位の程度を検討した

およびDQS， ARSから成るリッカート形式部分をベースとし，結果，1レコードを生成するタイミングは「入力のない時間が1秒

次の3点を変更した． 1点目は，後述する1〜6および15〜17ペー経過」，「デリートから入力への切り替わり」，「入力からデリート

ジの追加である． 2点目は， ARSの質問対を回答者に悟られにへの切り替わり」，「フォーカスアウト」とした．なお，本システ

くくするためにダミー質問を11問追加した点である． 3点目は，

ムは表2の「 ✓ 」印で示す環境で所望の動作を確認した．

DQSの質問が5ページ連続してページ末尾に配置されていたため，
DQSの質問箇所を悟られないために3問に減らし，ページ末尾や

クラウドソーシングを用いたアンケート実験

5

冒頭を避けて配置した点である．最終的に，全17ページ，128問（5段階リッカート形式124問，自由記述形式4問）で，回答目安時

４章で述べた回答操作記録アンケートシステムを用いて実施し間が約15分の質問票とした．

たアンケート実験について説明する．なお，本研究は奈良先端科
学技術大学院大学人を対象とする研究に関する倫理審査委員会の1〜3ページ目は基本情報を取得するための質問である． 4ペー

承認を受けて実施した（承認番号： 2020-I-2）．本実験は，オン

ジ目は被験者IDをプラグインのシステムと共有するためのもの

ラインアンケートが実際に実施されているクラウドソーシングのである． 5ページ目は被験者ごとのスクロール速度およびスクロ

環境で行なった．クラウドソーシングサービスはYahoo!クラウール長のベースラインを測定するための質問である．質問内容とドソーシングを用いて，被験者数は1000人とした．被験者の募集

してはいずれかの選択肢を選択するように指示するもので，一般に際して，ワーカーをプラットフォーム上の指標（ブラックリス

的な質問よりも認知的コストが低く，Satisficingが発現しにくいトなど）でフィルタリングせず，全てのワーカーが1回のみ回答

状態でのスクロール行動を測定した．これは，後述する特徴量でできるものとした．回答者には報酬として5円相当のポイントをある被験者内の相対的スクロール速度および相対的スクロール長付与した．実験で用いたSatisficing指標とアンケート設計についを算出するために測定した． 6ページ目は被験者ごとのDelete率て以下で述べる．

のベースラインを測定するための質問である．指示文章の入力

5.1

時のDelete数を文字数で除算したものを各被験者のDelete率のベ

Satisficing指標

本実験では，回答者単位でSatisficingか否かのラベルを与えースラインとした．これは後述する特徴量である被験者内の相る指標として既存研究2種類用いた． 1つ目がDQSであり，回対的Delete率を算出するために測定した． 7〜14ページ目は心理

答の指示文を質問と同列に設置し，その指示に従わなかった状態を評価する質問票等を用いた． そのうち， 8， 10， 12ペー場合Satisficingであるとする指標である．今回は3問のDQSを設ジ目にDQSの質問を， 9 ， 11ページ目にARSの質問を配置した．

置し， 1問以上指示に反した回答をした場合にSatisficingである

15〜17ページ目では，簡単な自由記述形式の質問を設けた．なと定義した． 2つ目がARS （Attentive Responding Scale）であお，メインの内容である7ページ目以降は必須回答設定をOFFとり，これにはさらにInconsistencyとInfrequencyという2種類があした．また，自由記述形式の文字数も一つの特徴量であるため，る． Inconsystencyは，内容が同じで文章を微妙に変更した質問

文字数指定もなしとした．

対に対する回答の差分に注目するものである． 11の質問対に対

6 実験結果および考察する差分の合計が11以上であればSatisficingであるとされる [1]．

Infrequencyは，常識的に誰もが選択すると想定される選択肢が

被験者1000人のうち，回答操作ログデータの使用に同意し存在する質問を設け，その想定選択肢と実際に選択された選択肢

た817人のデータを分析対象とした． まずは回答結果を基に，の差分に注目するものである． 11問の差分の合計が12以上であDQS・ARSそれぞれでSatisficingラベルを付与した． DQSに関
4

日本データベース学会和文論文誌
一般論文

Vol. 20-J, Article No. 9, 2022年 3月

表3

DQS，ARSの該当者数および割合

Satisficing
カテゴリ

該当者数［人］

割合［%］

no DQS

遵守

732

90

DQS

違反

85

10

no ARS

遵守

672

82

OR

違反

128

16

AND

違反

17

2

ラベル

*

[s]

*

[s]

(a) DQS(b) ARS

図3 選択肢の変更回数
表4

正常群に対するSatisficing群の母平均の大小と検定結果

特徴量

母平均の
大小a)

*

有意差b)

DQS

*

[px/s][px/s]

ARS

リッカートの回答時間

Low

∗

∗

自由記述の回答時間

Low

−

−

選択肢の変更回数

Low

∗

∗

テキストの変更回数

Low

−

−

テキストボックスの再フォーカス回数

Low

−

−

スクロール長Low−−

スクロール速度

High

∗

∗

逆スクロール回数

Low

−

−

非操作時間が長すぎる回数

Low

−

−

最大連続同一回答数

High

∗

∗

中間回答数

High

∗

∗

文字数

Low

∗

∗

リッカートの回答時間の変動係数

High

−

∗

(a) DQS(b) ARS
図4

*

*

[s]

スクロール長の変動係数

Low

−

−

スクロール速度の変動係数

High

−

−

文字数の偏差High−−

テキストの変更回数の偏差

High

∗

−

選択肢の変更回数の偏差

High

∗

∗

逆スクロール回数の偏差

High

−

−
−

テキストの変更回数の自己BLとの差

High

∗

スクロール長の自己BLとの差

High

∗

∗

スクロール速度の自己BLとの差

High

∗

∗

スクロール速度[s](a) DQS
図5(b) ARS
リッカートの回答時間「AND」の和集合とした．
全特徴量の検定結果を表4に示す．「母平均の大小」欄では，正常群とSatisficing群の母平均を比較したとき， Satisficing群の方a) 正常群の母平均に対しSatisficing群の母平均が大きい（High）か小さい（Low）かを示す．

が大きい（High）か小さい（Low）かを示す．「有意差」欄では，b) 「−」印は有意差がないこと，「∗」印は有意差があることを表す．

統計的な有意差があるか否かを示している．「−」印は有意差がないこと，「∗」印は有意差があることを表している．
しては， DQS 3問のうち全問指示に従った場合は「no DQS」，

また，有意差が認められた特徴量の一部について，正常群

1問以上指示に従わなかった場合は「DQS」というラベルを割とSatisficing群との比較を図3，4，5，6に示す．図中の「∗」印はり当てた． ARSはInconsistencyとInfrequencyの2種類あるため，有意水準5%で有意差があったことを表している．これらの図にどちらもSatisficingでないサンプルを「no ARS」，どちらか1つ

おいて注目すべき部分は，ひげからはみ出ているサンプルであるがSatisficingであるサンプルを「OR」，どちらもSatisficingであと考える．例として図6(a)を見ると，「no DQS」群のひげよりもるサンプルを「AND」というラベルに割り当てた．各ラベルに上部にプロットされたサンプルの値は，「DQS」群にはほとんど対応するサンプル数を表3に示す．次に， Satisficing群と正常群存在しない．これら大きく外れた特徴は，次の課題である機械学の母平均の差を有意水準5%とするウェルチのt検定によって検定習モデルによるSatisficing検出において，重要な特徴となり得る

した．ここで，Satisficing群と正常群の割り当ては表3の「カテゴと考えられる．
表4を見ると，各種変動係数は統計的な差がほとんど見られリ」欄に示す通りとし，ARSに関してはSatisficing群を「OR」と5

日本データベース学会和文論文誌
一般論文

Vol. 20-J, Article No. 9, 2022年 3月

*

*

[文字]

[回]

[文字]

(a) DQS[回](b) ARS
図6(a) DQS

文字数(b) ARS

図7 逆スクロール回数

ない結果となったことから，各種特徴量のばらつきの大きさ[px]

はSatisficing検出において寄与度が低い可能性が示唆された．ま[px]

た，偏差に関しては，絶対値では有意差があった文字数について有意差は見られなかった．一方で，テキストの変更回数は絶対値では有意な差が見られなかったものの，偏差ではDQSに限って有意差が見られた．各種ベースラインとの差に関しては，概ね有意な差が認められた．
有意差が見られなかった特徴量の例として，逆スクロール回
数とスクロール長の結果をそれぞれ図7， 8に示す．逆スクロー(a) DQS

ル回数に関しては，Satisficing状態では少なくなるだろうという(b) ARS
図8

スクロール長仮説に沿った統計的な差を示す結果にはならなかった．しかし，
図7ではDQS，ARS共にひげよりも大きい値をとるサンプルはや
はり正常群に属している．これより，統計的には差があったと

*
[px]

*
[px]

は言えないものの，Satisficingを検出する機械学習モデルにおいては重要な特徴量である可能性がある．スクロール長に関して
は，絶対値では有意差がなかったにも関わらず，図9に示すベー
スラインとの差を取った特徴量ではDQS， ARS共に有意な差が認められた．テキストの変更回数に関しても，表4を参照するとベースラインとの差をとった特徴量の方が有意な差が見られた（DQSのみ）．これより，絶対的な特徴量よりも回答者個人のベー(a) DQS

スラインを考慮した特徴量がSatisficing検出に寄与する可能性が図9示唆された．

7(b) ARS

スクロール長の自己ベースラインとの差

まとめと今後の展望
本稿では，オンラインアンケートの信頼性を毀損する可能性

今後は実験を継続してデータ数を増やし，上記のような知見をがあるSatisficingの検出に向けて，オープンソースアンケートシ

踏まえてSatisficingを検出する機械学習モデルの開発に取り組む．

ステムLimeSurvey向けに開発したプラグインを用いたアンケー

また，アンケートページごとの各特徴量の推移なども特徴量に盛ト実験の結果について述べた． 本プラグイン導入することで，り込むなど，精度向上に寄与する新たな特徴量を模索する．さらこれまでの既存アンケートシステムでは記録できなかった回答に，質問の順序による回答操作への影響などについても調査する

操作ログデータを記録することが可能となった．これらのデー必要がある．

タから生成した各種特徴量について，正常群とSatisficing群の謝辞

母平均の差の検定を行なった結果，スクロールや回答の変更等にSatisficingが表出するという仮説の妥当性を示す統計的な有意本研究の一部は，科研費（18H03233）および， JSTさきがけ

差が確認された．また，スクロール速度やテキストの変更回数に（JPMJPR2039）の助成で行われた． また， 大阪大学人間科学

関しては，絶対値では差がない一方で，回答者ごとのベースライ

研究科の三浦麻子教授が公開している質問票を，本稿のアンンとの差を取った値では有意な差が確認できた．これより，絶対ケート実験のベース質問票として用いさせて頂いた． さらに，的な特徴量よりも回答者個人のベースラインを考慮した特徴量

Satisficing検出質問を含むアンケート設計についてご教示頂いた．

がSatisficing検出に寄与する可能性が示唆された．

ここに同氏に対して謝意を表する．

6

日本データベース学会和文論文誌
一般論文

Vol. 20-J, Article No. 9, 2022年 3月

参考文献[1] Michael R. Maniaci, Ronald D. Rogge, “Caring about carelessness:
Participant inattention and its effects on research,” Journal of Research
in Personality, Vol. 48, pp. 61–83, 2014.
[2] Herbert A. Simon, “Rational Choice and the Structure of the Environment,” Psychological Review, Vol. 63, No. 2, pp.129–138, 1956.
[3] Daniel M. Oppenheimer, Tom Meyvis, Nicolas Davidenko, “Instructional manipulation checks: Detecting satisficing to increase statisticalpower,” Journal of Experimental Social Psychology, Vol. 45, No. 4,
pp. 867–872, 2009.
[4] Asako Miura, Tetsuro Kobayashi, “Survey satisficing inflates stereotypical responses in online experiment: The case of immigration
study,” Frontiers in Psychology, Vol. 7, Article 1563, pp. 1–10, 2016.
[5] 三浦麻子, 小林哲郎, “オンライン調査における努力の最小限化が回答行動に及ぼす影響,” 行動計量学, Vol. 45, No. 1, pp. 1–11, 2018.
[6] David J. Hauser, Norbert Schwarz, “It’s a trap! Instructional manipulation checks prompt systematic thinking on "tricky" tasks,” SAGE
Open, Vol. 5, No. 2, pp. 1–6, 2015.
[7] 尾崎幸謙, 鈴木貴士, “機械学習による不適切回答者の予測,” 行動計
量学, Vol. 46, No. 2, pp. 39–52, 2019.
[8] 後上正樹, 松田裕貴, 荒川豊, 安本慶一, “オンラインアンケートの回
答信頼性検証に向けた回答時画面操作ログ取得システム,” 情報処理学会研究報告, Vol. 2020-HCI-186, No. 35, pp. 1–6, 2020.
[9] 三浦麻子, 小林哲郎, “オンライン調査モニタのSatisficeに関する実験的研究,” 社会心理学研究, Vol. 31, No. 1, pp. 1–12, 2015.
[10] David R. Mandel, “Do framing effects reveal irrational choice?,” Journal of Experimental Psychology: General, Vol. 143, No. 3, pp. 1185–
1198, 2014.
[11] Melanie Revilla, Carlos Ochoa, “What Are the Links in a Web Survey
Among Response Time, Quality, and Auto-Evaluation of the Efforts
Done?,” Social Science Computer Review, Vol. 33, No. 1, pp. 97–114,
2015.
[12] 三浦麻子, 小林哲郎, “オンライン調査における努力の最小限化（Satisfice）を検出する技法：大学生サンプルを用いた検討,” 社会
心理学研究, Vol. 32, No. 2, pp. 123–132, 2016.
[13] Weiping Pei, Arthur Mayer, Kaylynn Tu, and Chuan Yue, “Attention
Please: Your Attention Check Questions in Survey Studies Can Be
Automatically Answered,” Proceedings of The Web Conference 2020,
pp. 1182–1193, 2020.
[14] 後上正樹, 松田裕貴, 荒川豊, 安本慶一, “オンラインアンケート回答
時のスマートフォン画面操作状況に基づく不適切回答検出,” 情報処理学会インタラクション2021, pp. 11–20, 2021.
[15] Masaki Gogami, Yuki Matsuda, Yutaka Arakawa and Keiichi Yasumoto, “Detection of Careless Responses in Online Surveys Using
Answering Behavior on Smartphone,” IEEE Access, Vol.9, pp.5320553218, 2021.
[16] Peter Lugtig, Vera Toepoel, “The Use of PCs, Smartphones, andTablets in a Probability-Based Panel Survey: Effects on Survey Measurement Error,” Social Science Computer Review, Vol. 34, No. 1, pp.
78–94, 2016.
[17] Roger Tourangeau, Hanyu Sun, Ting Yan, Aaron Maitland, Gonzalo Rivero, Douglas Williams, “Web Surveys by Smartphones andTablets: Effects on Data Quality,” Social Science Computer Review,Vol. 36, No. 5, pp. 542–556, 2018.
[18] NTTコ ム オ ン ラ イ ン ・ マ ー ケ テ ィ ン グ ・ ソ リ ュ ー シ ョ ン 株 式
会 社, “回 答 結 果 の 品 質： 回 答 結 果 の 品 質 向 上 の た め の 取 り 組
み,” http://research.nttcoms.com/service/qpolicy4.html（2021年5月14日閲覧）.
[19] 株 式 会 社 マ ク ロ ミ ル, “モ ニ タ の 品 質 管 理 ポ リ シ ー： 品 質 を 高めるシステム機能,” https://www.macromill.com/advantage/
monitor_policy.html（2022年1月29日閲覧）.
[20] Yujin Kim, Jennifer Dykema, John Stevenson, Penny Black, D. Paul
Moberg, “Straightlining: Overview of Measurement, Comparison ofIndicators, and Effects in Mail–Web Mixed-Mode Surveys,” Social
Science Computer Review, Vol. 37, No. 2, pp. 214–233, 2019.
[21] Hans Baumgartner, Jan-Benedict E.M. Steenkamp, “Response Styles
in Marketing Research: A Cross-National Investigation,” Journal ofMarketing Research, Vol. 38, No. 2, pp. 143–156, 2001.
[22] Asako Miura, Tetsuro Kobayashi, “Supplemental materials for "Satisficing" studies by Miura, A. and Kobayashi, T.,” https://osf.io/
6gu3q/（2022年1月29日閲覧）.

7