情報処理学会 インタラクション 2021
IPSJ Interaction 2021

INT21002
2021/3/10

オンラインアンケート回答時のスマートフォン画面操作状況に基づく不適切回答検出
後上 正樹1,a)

松田 裕貴1,2

荒川 豊3

安本 慶一1

概要：アンケートにおいて，なるべく楽に早くタスクを完了しようとする「Satisﬁcing（努力の最小限化）」という態度により，結果の信頼性が低下する問題がある．より正確な結果を得るためには，Satisﬁcing を検出して分析対象から除外するなどの前対処が必要となる．これまでに，回答時間に基づく検出手法や，指示違反や矛盾を問う質問群を追加する手法が考案されてきた．しかし，前者では回答時間を故意に水増しした回答を適切に除外することができない．また，後者は回答者を疑ってスクリーニングするようなもの
であり，回答者のモチベーションを損ねて Satisﬁcing を助長してしまう原因となる．そこで我々は，回答
時間だけでなく回答中の画面操作を利用することで，より高精度に Satisﬁcing が検出可能になるのではな
いかという仮説を立てた．しかしながら，（1）画面操作が記録可能なアンケートシステムが存在せず，（2）
また，記録できたとしてどのような特徴が Satisﬁcing と関連しているのか不明であった．そこで，我々は世界中で利用されているオンラインアンケートシステム LimeSurvey 用の画面操作記録プラグインを開発し，多人数（5692 人）の様々な画面操作ログを収集して，機械学習による Satisﬁcing 検出を行なった．
Leave One Out 交差検証による評価の結果，検出率は 85.9%を達成し，同様のタスクに取り組んだ先行研
究の検出率 55.6%を大幅に上回るものとなった．また，本稿で新たに提案した特徴量の中では，スクロールに関連する特徴の寄与率が高い結果となった．

Detection Method of Inappropriate Responses in Online Surveys
Using Smartphone Screen Operation Log

1. はじめに
近年，オンラインアンケート調査が社会科学関連の研究にも用いられている．また，2015 年からは総務省が実施しと定義した．以降，Satisﬁcing がアンケート結果から導かれる知見の妥当性を損うことが指摘されてきた [4], [5]．そこで，より真実に近い知見の獲得のために，Satisﬁcing を検出する手法が考案されてきた．

ている国勢調査にも用いられ始めた [1]．オンラインアン

例えば，Oppenheimer ら [6] は，教示文の中に「何も回ケートは一度に大量のデータを取得できる等の利点がある．

答せず次のページに移動してください」などの指示文を挿

しかし，アンケート調査では回答者が必ずしも正確に回答入する IMC（Instructional Manipulation Check）を提案するとは限らない．この問題に関して，Simon ら [2] は，し，これを用いたアンケート実験を行なった．この指示に人間は何らかの目的を達成するための認知的努力を最低

違反した場合は Satisﬁcing であると見なされる．2 回の実限に抑えるという認知心理学の概念を考案した．Krosnick

験の結果，Satisﬁcing の割合は 46%，35%であったと報告

ら [3] は，これをアンケート調査の領域に適用し，回答要されている．これらの値を見ると，Satisﬁcing によってア求に対して努力を最小化しようとする傾向を “Satisﬁcing”

ンケート結果から得られる知見が歪む可能性は容易に想像
できる．

1

2

3

a)

奈良先端科学技術大学院大学
Nara Institute of Science and Technology
国立研究開発法人科学技術振興機構 さきがけ
JST PRESTO
九州大学
Kyushu University
gogami.masaki.gg8@is.naist.jp© 2021 Information Processing Society of JapanIMC の他にも，DQS（Directed Question Scale）や ARS（Attentive Responding Scale）という，指示違反や矛盾を問う質問を追加する手法がある．しかし，これらの方法では回答者を疑うような質問を用いるため，回答者に心理11情報処理学会 インタラクション 2021
IPSJ Interaction 2021

的負担を与えてしまう．これにより，適切に回答してアンケートに協力している回答者の内発的動機が損なわれてし

INT21002
2021/3/10

2. 関連研究

まい，その質問自体が Satisﬁcing を引き起こしてしまう可三浦ら [11] は，Oppenheimer ら [6] が考案した IMC を能性が考えられる．さらに，Pei ら [7] は，IMC と DQS の用いたアンケート実験を日本で実施した．2 つの調査会社

質問に自動で回答するディープラーニングモデルを構築しで同一のアンケートを行なった結果，Satisﬁcing の割合はた．これは，従来の Satisﬁcing 検出手法の信頼性を損なう

51.2%，83.8%であったと報告されており，日本においてもことを意味すると言える．

Satisﬁcing が問題であることは明らかである．

尾崎ら [8] は，このような検出用の質問を追加する必要

IMC の他にも，いくつかの Satisﬁcing 検出手法が考案がない，機械学習を用いた検出を試みた．様々な機械学習

されている．リッカート形式の質問の中に検出用の質問をアルゴリズムを試した結果，不適切回答の検出率が最も高

追加して用いられる手法として，DQS（Directed Question

いモデルで 55.6%であったと報告されているが，実用の観Scale），ARS（Attentive Responding Scale）がある [12]．

点から十分な精度とは言えない．いくつものアルゴリズム

DQS は，IMC と同じく，回答指示に対する違反を基にを試した結果としておおよそ 40%後半 ∼ 50%前半の検出

Satisﬁcing を検出する．IMC では教示文の中に回答指示を率となっている点から，検出率向上に対するボトルネック

記載する一方，DQS では質問項目の中に回答指示を記載す

は，アルゴリズムの種類および性能ではなく特徴量の質でる．ARS は，回答の矛盾・非常識度を基に Satisﬁcing を検ある可能性が考えられる．

出する．さらに，SC（Seriousness Check）という “真面目

そこで我々は，近年オンラインアンケートの回答に利用に回答したかどうか” を 2 択で直接的に尋ねるという手法

されることが増加しつつあるスマートフォン [9] の画面操も存在する [13]．また，三浦ら [14] は，Satisﬁcing を効率作に着目し，不適切回答を高精度に検出することを目指

よく，かつ正確に検出するために，Lasso によって ARS やす．後上ら [10] が開発した回答時の画面操作が記録できる

DQS で用いられる質問項目から最低限必要な項目を絞り込

アンケートシステムを用いてクラウドソーシング上でアン

むことを試みた．しかしながら，当該実験結果においてはケートを実施し，画面操作データを収集した．このデータ

確定的な絞り込みは実現できなかったと述べられている．

から特徴量を生成し，教師あり学習による不適切回答検出

これらの検出手法では，回答者が適切に回答しているかモデルを構築した．正解ラベルは，後述する Satisﬁcing 指どうかを疑うような質問を用いるため，回答者がアンケー標である DQS と ARS の両方が Satisﬁcing であるサンプ

トに協力する内発的動機が損なわれてしまい，検出手法

ルを正例，それ以外のサンプルを負例とする二値とした．

自体が Satisﬁcing の原因となる可能性が考えられる．さら

Leave One Out 交差検証によるモデルの評価を行なったとに，Pei ら [7] は，IMC と DQS の質問に自動で回答する

ころ，不適切回答の検出率 85.9%という結果が得られた．

ディープラーニングモデルを構築し，約 78.5%の精度で正この結果から，尾崎ら [8] と大差のない不適切回答の定義解したと報告した．この結果は，上述の検出手法の信頼性上で，本手法が検出率を大幅に向上（55.6%→85.9%）可能を脅かす結果であると言える．

であることを確認した．

アンケート調査会社 [15] では，回答時間が極端に短い回

さらに，質問数と検出率の関係を検証するために，特徴

答，規則性のある回答，矛盾する回答などを無効回答とす

量生成に用いる画面操作データの対象ページ数を 3，9 ペーる例がある．また，深井ら [16] は，ページ数，質問数，文ジと制限した結果，検出率はそれぞれ 79.7%，80.9%であっ

字数，スクロール速度，読速度などから，不適切回答であた．全 17 ページを対象とした場合の 85.9%という結果もると決定づける回答時間の閾値を算出し，閾値以下の所要踏まえると，検証した範囲内においては，質問数が多いほ

時間の回答を除去する手法を提案した．ただし，スクロー

どより高精度に検出できる可能性が示唆された．一方で，

ル速度や読速度など個人に依存する要素は回答者によらず

17 問（3 ページ）程度の質問数でも約 80%の検出率を維持定数としており，事前実験によって計測した被験者群の平することが確認された．

均値が用いられた．この手法によって閾値以下の回答時間

本稿の構成は次の通りである．2 章で関連研究についてのサンプルを除外した結果，連続同一回答の含有率が 0.66

紹介する．3 章で Satisﬁcing と関連すると考えられる画面倍に減少したと報告されている．これらの検出手法で用い操作について述べる．4 章では，検討した画面操作を記録られるデータであれば，余分な質問を追加せずとも取得でするアンケートシステムについて述べる．5 章では，そのきる．しかし，故意に回答時間を水増しした回答や，無作システムを用いたアンケート実験と，Satisﬁcing 指標およ

為な回答を検出することができない問題がある．

び不適切回答の定義について説明する．6 章では，実験でこのように，様々な Satisﬁcing を検出するための手法が収集したデータを用いて構築した不適切回答検出モデルに検討されているが，検出手法自身が回答者のモチベーショ

ついて説明し，検出結果とそれに対する考察について述べンを低下させる原因となったり，悪意のある回答者に対する．最後に，7 章で本稿のまとめと今後の展望を述べる．

る脆弱性があったりするため，ストレスフリーかつより堅© 2021 Information Processing Society of Japan12

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

牢な Satisﬁcing 検出手法が求められている．

INT21002
2021/3/10

表 1 Satisﬁcing に関連すると考えられるデータ
単位

質問形式

独自追加

リッカートの回答時間

s

リッカート

−

自由記述の回答時間

s

自由記述

−

選択肢の変更回数回

リッカート

続同一回答数，ハマラノビス距離およびその p 値が用いら⃝

テキストの削除回数

回

自由記述

⃝

れた．様々な機械学習アルゴリズムを試した結果，不適切

スクロール長px

全体⃝

回答の検出率が最も高かったブースティングアルゴリズム

スクロール時間s

全体⃝の検出率が 55.6%であったと報告されている．いくつものスクロール速度

px/s

全体

⃝

アルゴリズムを試した結果としておおよそ 40%後半 ∼50%

逆スクロール回数回

全体⃝

非操作時間が長すぎる回数

回

全体

⃝

尾崎ら [8] は，機械学習を用いることで，検出用の質問を挿入することなく検出する手法を試みた．対象とした回答
用端末は PC であり，特徴量には性別，年齢，回答時間，連前半の検出率となっている点から，精度向上を阻むボトル

特徴量

最大連続同一回答数

問

リッカート

ネックはアルゴリズムではなくデータの質である可能性が

−

中間回答数

問

リッカート

−

考えられる．また，性別や年齢は実際のアンケートでは対

文字数

文字

自由記述

−

象者の性質として限定される可能性があるため，特徴量として用いるのは望ましくない．

する平均回答時間とした．

また，近年オンラインアンケートの回答に用いられる端「選択肢の変更回数」「テキストの削除回数」は，少なく末として，スマートフォンが PC に取って代わってきていとも雑な回答をしようとした場合には発生しないと推測さる [9]．これを受けて，Roger ら [17] は，PC およびタブれる．したがって，適切に回答するために検討している状

レットとスマートフォンでアンケート結果の質にどのよう態を表現する画面操作であると捉え，これらも Satisﬁcing

な変化があるのかを調査した．この際，評価基準としたのに関連すると考えた．

は回答時間や未回答率および連続同一回答数である．結果「スクロール長」は，一回のスクロール操作による画面として，スマートフォンは PC およびタブレットに比べて移動量と定義した．「スクロール時間」も同様に一回のスク回答時間が長い傾向が観察された．しかし，結果の信頼性

ロール操作にかかった時間とし，「スクロール速度」は「スについてはどの端末についても特に差はないと結論づけてクロール長」を「スクロール時間」で除算した値とした．

いる．

これらは質問間の移動という行動を表す一つのパラメータ

PC と同等の信頼性があり，携帯性が高いスマートフォとして捉えることができる．Satisﬁcing 状態では，早く終ンは今後オンラインアンケートに回答する端末としての使

わらせたいという思いから質問間の移動操作が粗くかつ速用が増加することが見込まれる．そこで本稿では，スマー

くなると考えられる．

トフォンの画面操作データを用いた機械学習による不適切回答検出手法を提案し，検出率の向上を目指す．

3. Satisﬁcing に関連する画面操作の検討「逆スクロール回数」は，100px 以上の逆向きのスクロー
ルを 1 回と定義した．100px とした理由は，LimeSurvey のアンケートを一般的なスマートフォンで回答する際に前の質問に戻るために最低限必要な移動量であるためである．

Satisﬁcing に関連するデータとして考えられる項目をアンケートの回答中に前の質問の回答を変更する場合や，

表 1 に示す．表中の「質問形式」欄では，各画面操作が本

ページ冒頭の質問文を読み直す際の行動を表していると考稿で扱うリッカート形式もしくは自由記述形式のどちらにえられる．このような行動は丁寧に回答しようとしている

関するものなのかを表している．なお，項目「全体」は質状態を裏付けるものであるため，逆スクロール回数がほと問形式に関係なくアンケート全体に関する特徴量であるこんどないような場合は Satisﬁcing 状態にある可能性が考えとを表す．また，「独自追加」欄では，− 印の今までに考られる．

案されていたデータに加えて，独自に追加したデータを ⃝印で示す．

「非操作時間が長すぎる回数」は，画面に触れていない
時間が基準値以上の回数である．この基準値はリッカート

回答時間は，これまでの研究でも不適切回答検出に用い形式では 10 秒，自由記述形式では 40 秒と定義した．このられてきた．アンケート調査会社等でも，アンケート全体

基準値を上回る非操作時間は，回答にかかるであろう想定の回答時間が短すぎるサンプルを調査結果から除外する例

時間の範囲を超えているため，何か他の作業をしながら回がある [15]．このようなフィルタリングに引っかからない答している状態であると見なす．Gould ら [18] はアンケー

不適切回答者や，アンケートのある部分のみ不適切な回答

トページからの一時離脱を捕捉したが，本画面操作ではスをする回答者なども存在し得る．しかしながら，依然としマートフォン上で発生しないアナログなながら操作にも対て回答時間は Satisﬁcing に強く関係する特徴量であると考応できる．ながら操作は質問への注意を逸らす要因である

える．本稿で扱う回答時間は，「リッカートの回答時間」とため，この回数が多い場合は Satisﬁcing 状態にある可能性「自由記述の回答時間」に分け，それぞれの形式の質問に対が高いと考えた．

© 2021 Information Processing Society of Japan13

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

INT21002
2021/3/10

アンケート配信「最大連続同一回答数」は，リッカート形式の質問にLimeSurvey

おいて同じ選択肢を連続で回答する回数の最大値である．

回答結果

Satisﬁcing でない場合でも同一回答になることはあるが，Satisﬁcing 状態ではその最大値が大きくなる可能性が考え

回答結果
Operation Logger

データベーススマートフォン

られる [19]．
「中間回答数」は，リッカート形式の質問において中間の「どちらでもない」のような選択肢を選択する回数であサーバ

る．これに関しても，Satisﬁcing でない状態でも中間回答を選択する場合はある．一方で，Satisﬁcing が発現してお図 1

画面操作記録アンケートシステムの概観

り，自分の意見を確認して表明するという認知的コストを払わず実質的に回答を放棄するような場合に，中間の選される．なお，回答者側はソフトウェアの追加や設定の変択肢を選択する傾向がある [20]．そのため，中間回答数は更が一切必要ない．

Satisﬁcing に関連すると考えられる．
「文字数」は，自由記述形式の質問 1 問あたりの文字数と4.2 画面操作の記録方法

する．質問文で文字数や内容の具体度の指定がない場合，

Operation Logger においてデータを取得するトリガー

回答者は一文で回答する場合と，数文に渡って具体的に回となるイベントを大別すると，タッチイベント，選択肢の答する場合がある．このような差が Satisﬁcing に関連して

タップ，テキストの入力の 3 種類である．

おり，文字数少ない方が Satisﬁcing 傾向が強いのではないかと推測される．

4. 画面操作記録アンケートシステム

タ ッ チ イ ベ ン ト の 種 類 は ，touchstart，touchmove，

touchend の 3 種類であり，それぞれスクリーンが指を検知した瞬間，指がスクリーン上で動いている間，指がス
クリーンを離れた瞬間のタイミングで発火する. これらの我々は，3 章で述べた画面操作を記録するシステムを開タイミングにおける時刻，画面内の座標，ページ上端から発した [10]．4.1 節では，システム構成の検討の流れを簡の移動量，タッチイベントの種類を取得し，データベース

単に説明し，開発したシステムの構成について述べる．4.2に格納する．これにより，「スクロール長」，「スクロール時

節では，本システムが画面操作を記録する方法について述間」，「スクロール速度」，「逆スクロール回数」
，
「非操作時

べる．

間が長すぎる回数」を検出することができる．
選択肢をタップしたタイミングでは，回答時刻，質問の4.1 システム構成
検討段階では，Web ページの改善のためにページ上でのユーザの行動をヒートマップ等で可視化する ClickTale [21]ID，選択肢の ID を取得する．これにより，リッカート形
式の「質問単位の回答時間」と「選択肢の変更」を検出することができる．

などのサービスについても検討した．しかしながら，汎用

テキストを入力したタイミングでは，回答時刻，質問の性が高い反面，アンケートに特化した画面操作データの記ID，入力内容，レコード生成トリガの種類を取得し，デー録はできない点が挙げられた．システムの普及性を考慮

タベースに格納する．これにより，自由記述形式の「自由し，新たにアンケートシステムを構築せず，既存のシステ

記述の回答時間」，「テキストの削除回数」が検出できる．

ムを拡張する方法を採用した．そこで，オープンソースのテキスト入力中の記録単位を検討した結果，1 レコードを

Web アンケートシステムである LimeSurvey に着目した．

生成するタイミングは「入力のない時間が 1 秒経過」，
「デ

LimeSurvey は，Google Form [22] や Survey Monkey [23]リートから入力への切り替わり」，「入力からデリートへの等とは異なり，JavaScript を用いて独自のプラグインを切り替わり」，「フォーカスアウト」とした．

作成することが可能である．我々はこの仕組みを用いて，
表 1 に示す画面操作データを記録するプラグイン（以降，Operation Logger と呼ぶ）を独自に開発し，画面操作が5. クラウドソーシングを用いたアンケート
実験

記録可能なアンケートシステムを構築した．本システム

4 章で述べた Operation Logger を用いて，機械学習によの概観を図 1 に示す．Operation Logger の導入方法は，

る不適切回答検出モデルを構築するためのデータ収集を目

LimeSurvey をホスティングするアプリケーションサーバ

的としてアンケート実験を実施した．5.1 節では，実験の上に JavaScript と PHP のファイルを 3 つ配置し，サービ

手続きについて述べる．5.2 節では，Satisﬁcing 指標およス内の質問設定画面で JavaScript ファイルの読み込み設定

び，それに基づく不適切回答の定義について述べる．5.3

をするのみである．これにより，標準機能で記録される回節では，Satisﬁcing 指標の質問を含むアンケート内容につ答結果データと共に画面操作データがデータベースに格納いて述べる．

© 2021 Information Processing Society of Japan14

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

5.1 実験手続き
本実験は，オンラインアンケートが実際に実施されているクラウドソーシングの環境として，Yahoo!クラウドソー

INT21002
2021/3/10

表 2 Satisﬁcing 指標および正解ラベルの各クラスの該当者数と割合
Satisﬁcing 指標
クラス
該当者数 [人]割合 [%]

DQS

シングを用いた．回答者の募集に際して，ワーカーをプ
ラットフォーム上の指標（ブラックリストなど）でフィル
タリングせず，全てのワーカーが 1 回のみ回答できるもの

ARS

not Satisﬁcing

4,520

91

Satisﬁcing

420

9

not Satisﬁcing

4,066

82

Satisﬁcing

874

18

適切

4693

95

不適切

247

5

正解ラベル

とした．回答者には報酬として 5 円相当のポイントを付与した．
本稿で提案する手法はタッチスクリーンが搭載されていメイン質問

れば，スマートフォンに限らずタブレットやノート PC にも対応可能であると考えられる．ただし，画面サイズが一

ページ番号

1

2

3

4

5

6

7

8

質問数

1

1

1

1

7

1

8

8 22 16 21 16 11 11

9 10 11 12 13 14 15 16 17

1

1

1

定以上異なると，質問文や選択肢の画面上の配置が大幅に変わり，画面操作の各特徴量の分布に大きな影響を及ぼす．本実験ではそういった回答環境による特徴量の分布の

DQS
基本属性
ベースライン計測

ARS

リッカート
自由記述

ばらつきを抑制するために，回答に用いる端末をスマートフォンに限定することとした．なお，スマートフォンには

図 2 質問項目の概略

多様な画面サイズの機種が存在するが，実用性の観点から
特に機種の制限は設けなかった．スマートフォンに限定すちらか１つでも Satisﬁcing であるサンプルを ARS 全体のるために，クラウドソーシングサイト上のタスク説明欄と「Satisﬁcing」とした．

アンケートのスタート画面でスマートフォンで回答するよ

これら 2 つの指標を基に，本稿では正解ラベルである

うに指示する文章を記載した．また，Operation Logger 側「不適切回答」を「DQS，ARS 両方の指標で Satisﬁcing でで JavaScript によって回答に用いた端末タイプを記録し，ある回答者」と定義した．5692 人の回答者のうち，画面操

スマートフォン以外の回答は分析対象から除外した．アン

作データの利用に同意した 4940 人について，各指標およケート回答後のページでは，画面操作データの使用に対す

び正解ラベルの各クラスの該当者数を表 2 に示す．最終的る同意を問う質問を設け，同意しなかった場合，データはに正解ラベルは，「不適切回答（正例）」が 247 件，「適切回

使用せずに破棄する旨と，その場合でも報酬は支払われる答（負例）」が 4693 件であった．これを次章の機械学習に旨を記述した．なお，本研究は奈良先端科学技術大学院大よる二値分類の正解ラベルとして用いる．

学人を対象とする研究に関する倫理審査委員会の承認を受けて実施した（承認番号：2020-I-2）．

5.3 アンケート内容

5.2 不適切回答の質問票は三浦ら [14] が公開している質問票 [24] のうち，

アンケート実験で用いた質問票の概略を図 2 に示す．こ
本稿では,「不適切回答」を DQS（Directed Question

Big5 尺度，自尊感情尺度，認知欲求，アンケートへのモチ

Scale）と ARS（Attentive Responding Scale）の 2 つの指ベーションおよび DQS，ARS から成るリッカート形式部

標に基づいて定義した．指標を 2 つ用いたのは，これらが分をベースとし，次の 3 点を変更した．1 点目は，後述す異なる視点から Satisﬁcing を検出するためである．

る 1∼6 および 15∼17 ページの追加である．2 点目は，ARS

DQS [12] は，回答の指示文を質問と同列に設置し，その質問対を回答者に悟られにくくするためにダミー質問をの指示に従わなかった場合 Satisﬁcing であるとする指標で11 問追加した点である．3 点目は，DQS の質問が 5 ペーある．本稿では，3 問の DQS 質問のうち 1 問以上指示にジ連続してページ末尾に配置されていたため，DQS の質問

反した回答をした場合に「Satisﬁcing」とした．ARS [12]箇所を悟られないために 3 問に減らし，ページ末尾や冒頭には，Inconsistency と Infrequency という 2 種類がある．

を避けて配置した点である．最終的に，全 17 ページ，128

Inconsystency は，内容が同じで文章を微妙に変更した質問（5 段階リッカート形式 124 問，自由記述形式 4 問）で，問対に対する回答の差分に注目するものである．11 の質

回答目安時間が約 15 分の質問票とした．

問対に対する差分の合計が 11 以上であれば Satisﬁcing で

次に，各ページの質問について説明する．1∼3 ページはあるとされる．Infrequency は，常識的に誰もが選択する

回答者の基本属性を尋ねる質問である．4 ページ目は回答と想定される選択肢が存在する質問を設け，その想定選択

者 ID をプラグインのシステムと共有するためのものであ肢と実際に選択された選択肢の差分に注目するものである．5 ページ目は回答者ごとのスクロール操作のベースラ

る．11 問の差分の合計が 12 以上であれば Satisﬁcing であインを計測するための質問である．例として，ベースラるとされる．本稿では，Inconsistency と Infrequency のど

イン計測ページとメイン質問ページの実際のアンケート© 2021 Information Processing Society of Japan15

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

INT21002
2021/3/10

図 4 ランダムダウンサンプリングと Leave One Out 交差検証の(a) ベースライン計測ページ
図 3(b) メイン質問ページ

実際のアンケート画面のスクリーンショット例

データの分割方法

用いて，機械学習による不適切回答の検出を行なった．本
稿では，「不適切回答の検出」という課題を「適切 or 不適

画面のスクリーンショットをそれぞれ図 3 (a)，(b) に示

切の二値分類」問題とした．6.1 節では，分類モデルのアルす．回答者は下方向にスクロールしつつ回答を進めていく

ゴリズムおよび検証方法に関して述べる．6.2 節では，検形式となっている．ベースライン計測ページの質問内容

出率向上を目指した特徴量の追加・選択の方法について述は，図 3 (a) に示す「あまりあてはまらないを選んでくだべる．6.3 節では，6.2 節の各過程における分類結果についさい」といった，ある特定の選択肢を選択するように指示て報告する．また，質問数と外れ値に対する分類モデルのするものである．一般的な質問よりも認知的コストが低

頑健性について検証する．

く，Satisﬁcing が発現しにくい状態でのスクロール行動を計測する．これは，後述する特徴量であるスクロール速度

6.1 機械学習モデルの回答者内偏差を算出するために計測した．6 ページ目は尾崎ら [8] は数ある機械学習モデルの中で，ブースティ

回答者ごとに，自由記述形式質問におけるテキストの削除

ングアルゴリズムが最も不適切回答の検出率が高かったと回数のベースラインを計測するための質問である．指定し報告している．この知見に倣って本稿でも，決定木をベーた文章を入力する際の削除回数を，各回答者のベースラスとした勾配ブースティングアルゴリズムである Light-

インとした．これは後述する特徴量であるテキストの削GBM [25] を用いた．ハイパーパラメータのチューニング

除回数および削除率の回答者内偏差（delete num Selfdev，には，ベイズ最適化アルゴリズムを用いた自動最適化ツー

delete rate Selfdev）を算出するために計測した．指定する

ルである Optuna [26] を用いた．モデルの精度評価には文章は削除が発生するような長さおよび内容にする必要がAccuracy，Precision，Recall，F1 Score を用いた．ただし，あったため，次に示す内容とした．

本稿の目的は不適切回答の検出であることから，その検出「吾輩は猫である。名前はまだ無い。どこで生れたかと率を表す Recall に注目すべきであると考える．

んと見当がつかぬ。何でも薄暗いじめじめしたところでモデルの汎化性能の検証は，対象サンプルを１つだけテニャーニャー泣いていた事だけは記憶している。吾輩はこスト用として交差検証する Leave One Out 交差検証によっこで初めて人間というものを見た。」て行なった．本稿で扱うデータは正例と負例の比率が不均

7 ページ目以降がメインの質問であり，7∼14 ページは衡であったため，図 4 に示すように負例をランダムにダウ

主に先述の三浦らの質問票をベースとして作成した質問でンサンプリングし，正例：負例=1：1 として評価した．こ構成されている．そのうち，8, 10, 12 ページ目に DQS ののとき，汎化性能評価の観点から，ダウンサンプリングは質問を，9, 11 ページ目に ARS の質問を配置した．15∼17

5 回行ない，精度および特徴量重要度はその平均値とした．

ページ目では，簡単な自由記述形式の質問を設けた．なお，
メインの内容である 7 ページ目以降は必須回答設定を OFFとした．また，自由記述形式の文字数も一つの特徴量であるため，文字数指定もなしとした．

6. 機械学習による不適切回答検出
5 章で述べたアンケート実験によって収集したデータを© 2021 Information Processing Society of Japan

6.2 特徴量の追加・選択
用いた特徴量の一覧を表 3 に示す．また，特徴量の追加・選択を行ない，3 段階でモデルを改良した際の各モデルで用いた特徴量を示す．「大小関係」欄では，各特徴量について，不適切回答群の平均値が適切回答群の平均値よりも大きいか小さいかを表す．まず，オリジナルモデルで16

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

INT21002
2021/3/10

図 5 特徴量同士の相関（図中の丸印は特徴選択モデルで削除対象とした特徴量を表す）は，表 1 に示した特徴量を基にした絶対的な特徴量のみを用いた．
次に，オリジナルモデルの各種特徴量に対する変動係数，

図 6 相対的特徴量追加モデルの特徴量の寄与率（図中の丸印は特徴
選択モデルで削除対象とした特徴量を表す）

回答者内および回答者間の偏差を特徴量に追加した（このモデルを「相対的特徴量追加モデル」と呼ぶ）．変動係

与率が高い結果となった．これは，削除回数では考慮でき

数は，標準偏差を平均値で除した値である．各種画面操作

ない，「文字数に応じて変化する削除の発生確率」を削除率

データのばらつきを特徴量とする際に，回答者ごとに異なでは考慮できているためであると考えられる．

る平均値で標準化したばらつきとするために標準偏差ではなく変動係数を用いた．回答者内の偏差は，各回答者につ6.3 結果いて，アンケート冒頭に設置したベースライン計測ページ

3 つの不適切回答検出モデルの評価結果を表 4 に示す．

で計測したベースラインとアンケート全体の平均値との差特に注目すべき Recall を含め，全ての指標でモデルを改良である．回答を進めるにつれて不注意な回答が増加するとするにつれて精度が向上していることが確認できる．最終いう傾向 [27] を考慮し，アンケート冒頭との差が不適切回的なモデルの Recall は 85.9%であった．また，本分類問題

答の検出に寄与するのではないかと考えた．回答者間の偏において Precision が低いということは，適切な回答を不差は，ある回答者の値と回答者全体の平均との差である．

適切であると誤って分類してしまう確率が高いということ

これは，回答者全体の平均的な回答行動との違いを表してであるため，コストをかけて収集した適切なデータを無駄いるため，不適切回答の検出に寄与するのではないかと考にしてしまうことに繋がる．また，偽陽性のサンプルを除えた．

くことは調査の内部妥当性を不用意に損ねることになる．

さらに，図 5 に示す特徴量の相関行列のうち，相関係数

これらの観点から，Precision も Recall とともに大切な指が 0.5 以上のペアについて，片方を削除する特徴選択を行標であると言える．Precision はオリジナルモデルから特なった（このモデルを「特徴選択モデル」と呼ぶ）．この徴選択モデルにかけて 2.3%向上した．これらの結果から，

とき，図 6 に示す相対的特徴量追加モデルにおける特徴量

スマートフォンにおける画面操作データを用いることで，の寄与率が低い方の特徴量を削除した．該当する特徴量を尾崎ら [8] と大差のない不適切回答の定義において，その図 5，6 中に丸印でマークしている．ここで，削除された

検出精度を飛躍的に向上（55.6%→85.9%）可能であること

特徴量は相対的なものよりも絶対的なものが多いことが確を確認した．

認できる．すなわち，本稿で新たに考案した特徴量の中でさらに，質問数と検出率の関係を検証するために，特徴

は，回答者内・回答者間偏差などの相対的な特徴量の方が選択モデルにおいて，特徴量生成の対象ページ数（ベース分類に寄与する傾向があると言える．画面操作の種類としライン算出に用いたページ数は除く）を 3 ページ（平均 17ては，スクロール長やスクロール速度など，スクロールに問），9 ページ（90 問）に制限した場合，検出率はそれぞれ関する特徴量の寄与率が高いことが確認された．また，テ79.7%，80.9%であった．先述の全 17 ページ（128 問）をキストの削除については，削除回数よりも削除率の方が寄対象とした場合の 85.9%という結果も踏まえると，検証し© 2021 Information Processing Society of Japan17

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

INT21002
2021/3/10

表 3 特徴量の説明と各モデルでの使用不使用
単位

大小
関係*1

オリジナル
モデル

相対的特徴量追加
モデル

特徴選択
モデル

リッカートの回答時間の平均

s

小

⃝

⃝

⃝

リッカートの回答時間の変動係数

−

大

⃝

⃝

⃝

answer time text

自由記述の回答時間の平均

s

小

⃝

⃝

×

reselect num

選択肢の変更回数の平均

回

小

⃝

⃝

×

特徴量名

説明

answer time likert
answer time likert Cov

reselect num Dev

reselect num の回答者間偏差

回

小

×

⃝

⃝

delete num

文字の削除回数の平均

回

小

⃝

⃝

×

delete num Dev

delete num の回答者間偏差

回

小

×

⃝

×

delete num Selfdev

delete num の回答者内偏差

回

大

×

⃝

×

delete rate Selfdev

文字数に対する文字の削除回数の回答者内偏差

回

大

×

⃝

⃝

scroll length

スクロール長の平均

px

大

⃝

⃝

⃝

scroll length Cov

スクロール長の変動係数

−

小

⃝

⃝

⃝

scroll length Selfdev

scroll length の回答者内偏差

px

大

×

⃝

⃝

scroll duration

スクロール時間の平均

s

小

⃝

⃝

×

scroll duration Cov

スクロール時間の変動係数

−

大

⃝

⃝

⃝

scroll duration Selfdev

scroll duration の回答者内偏差scroll speed

スクロール速度の平均

scroll speed Cov
scroll speed Dev

s

小

×

⃝

×

px/s

大

⃝

⃝

×

スクロール速度の変動係数

−

小

⃝

⃝

⃝

scroll speed の回答者間偏差

px/s

大

×

⃝

⃝

scroll speed Selfdev

scroll speed の回答者内偏差

px/s

大

×

⃝

⃝

reverce scroll num

逆向きスクロール回数の平均

回

大

⃝

⃝

⃝

reverce scroll num Dev

reverce scroll num の回答者間偏差

回

大

×

⃝

×

long interval num

非操作時間が長すぎる回数

回

小

⃝

⃝

⃝

straight lining num

連続同一回答数の最大値

問

大

⃝

⃝

⃝

middle answer num

中間回答数

問

大

⃝

⃝

⃝

text num

文字数の平均

文字

小

⃝

⃝

×

text num Dev

text num の回答者間偏差

文字

小

×

⃝

⃝

*1 各特徴量の平均値について，不適切回答群が適切回答群よりも大きいか小さいかを表す．

不適切回答検出モデルの評価結果

80500
Detection rate
TP
400
FN

60

300

40

200

20

100

評価指標

オリジナル
モデル

相対的特徴量追加
モデル

特徴選択
モデル

Accuracy

0.844

0.850

0.862

Precision

0.841

0.848

0.864

Recall

0.849

0.852

0.859

F1 Score

0.845

0.850

0.862

た範囲内においては，質問数が多いほどより高い精度で検出できる可能性が示唆された．一方で，17 問（3 ページ）
程度の質問数でも約 80%の検出率を維持することが確認さ

Number of respondents

100

Detection rate

表 4

0
0

1

2
3
4
5
6
7
8
Number of features exceeded the quartile range toward misprediction

90

図 7 特徴選択モデルの外れ値の数と不適切回答の検出率

れた．
また，本稿で用いた機械学習モデルは決定木をベースとに算出し，真陽性と偽陰性のサンプル数との関係を図 7 にしたモデルであるため，例えば，不適切回答では適切回答

プロットした．横軸は外れ値の数を表す．棒グラフは真陽よりも少ないはずの自由記述の文字数が多いなど，ミス性と偽陰性それぞれのサンプル数，折れ線グラフは不適切

リーディングな方向の外れ値は検出率を低下させる原因と回答の検出率を表す．折れ線グラフより，外れ値が多くななる．そこで，このような外れ値に対する特徴選択モデル

るに従って検出率が低下する傾向が確認できる．5 つ以上の頑健性を検証した．まず，全データを正例（不適切回答になると検出率は 50%以下になってしまう一方で，正例の群）と負例（適切回答群）に分け，それぞれの群で各特徴

約 80%を占める 3 つ以下の範囲で 86%以上の検出率を維持

量の平均値と四分位範囲を算出した．その平均値を比較しするモデルとなっており，本稿で用いた特徴量の外れ値にて導かれた適切回答群と不適切回答群の大小関係を表 3 の対して一定の頑健性を持つと考える．

「大小関係」欄に示す．次に，ミスリーディングな方向，つまり表 3 に示す大小関係に対して逆向きに四分位範囲を超える特徴量（以後，「外れ値」と呼ぶ）の数をサンプルごと© 2021 Information Processing Society of Japan

7. まとめ
本稿では，回答時の画面操作を観測することで，オンラ

18情報処理学会 インタラクション 2021
IPSJ Interaction 2021

インアンケートの信頼性を毀損する Satisﬁcing に基づく不INT21002
2021/3/10[3]

適切回答の高精度な検出を目指した．この目標に対して，
画面操作が記録可能なアンケートシステムが存在しなかったため，既存システムの実装を変更することなく画面操[4]作が記録できる LimeSurvey 用のプラグイン（Operation

Logger）を開発した．これを用いてクラウドソーシング上で 5692 人を対象とした大規模なアンケートを実施し，回答結果とともに回答時の画面操作データを収集した．そし[5]て，不適切回答検出に寄与すると見込まれる特徴量を検討し，収集した画面操作データから生成して不適切回答を検出する機械学習モデルを構築した．検出率の向上を目指し，[6]

回答者内および回答者間の偏差などの相対的な特徴量の追加や，特徴量同士の相関に基づく特徴選択を実施した．結果として，検出率 85.9%という結果が得られ，先行研究の[7]

精度を大幅に改善することに成功した．また，検出率は質
問数が少ない場合も大幅に低下することはないが，多い方[8]が高くなる可能性が示唆された．さらに，本稿で用いた特徴量の外れ値に対しても一定の頑健性を備えたモデルであ[9]ることが確認された．新たに提案した特徴量に関しては，
スクロールに関する特徴量の寄与率が高い結果となった．
また，絶対的な特徴量よりも回答者内・回答者間の偏差な[10]

どの相対的な特徴量の方が分類に寄与する可能性が高いことが確認された．
今後はさらに実用に向けて，例えば自由記述質問に文字[11]

数の制限がある場合や質問文が長い場合など，本稿のアンケートと異なる性質のアンケートに対する検出率を検証し，[12]

汎用的なモデルの実現を目指す必要がある．また，本稿で述べた検出手法をもとに，不適切回答を準リアルタイムに検出し，不適切な回答者に注意を促すよう介入するシステ[13]

ムの実現が期待される．そのシステムが実現できれば，介入のない従来システムとの比較による評価を行なう．さら[14]に，アンケートページごとの各特徴量の推移なども特徴量に盛り込むなど，精度向上に寄与する新たな特徴量を模索

[15]

する．
謝辞 本研究の一部は，科研費（18H03233）および，JST[16]

さきがけ（JPMJPR2039）の助成で行われた．また，大阪大学人間科学研究科の三浦麻子教授が公開している質問票
を，本稿のアンケート実験のベース質問票として用いさせ[17]て頂いた．さらに，Satisﬁcing 検出質問を含むアンケート
設計についてご教示頂いた．ここに同氏に対して謝意を表

[18]

する．
参考文献
[1]
[2]

総務省統計局： 国勢調査のあゆみ，https://www.stat.
go.jp/data/kokusei/2015/kouhou/ayumi.html.
Simon, H. A.: Rational Choice and the Structure of theEnvironment, Psychological Review, Vol. 63, No. 2, pp.
129–138 (1956).

© 2021 Information Processing Society of Japan[19]

Krosnick, J. A.: Response strategies for coping with thecognitive demands of attitude measures in surveys, Applied Cognitive Psychology, Vol. 5, No. 3, pp. 213–236(1991).
Berinsky, A. J., Margolis, M. F. and Sances, M. W.:
Can we turn shirkers into workers?, Journal of Experimental Social Psychology, Vol. 66, pp. 20–28 (online),
DOI: https://doi.org/10.1016/j.jesp.2015.09.010 (2016).
Rigorous and Replicable Methods in Social Psychology.
Steger, D., Schroeders, U. and Gnambs, T.: A MetaAnalysis of Test Scores in Proctored and Unproctored
Ability Assessments, European Journal of Psychological
Assessment, Vol. 36, pp. 174–184 (2020).
Oppenheimer, D. M., Meyvis, T. and Davidenko, N.: Instructional manipulation checks: Detecting satisﬁcing toincrease statistical power, Journal of Experimental Social Psychology, Vol. 45, No. 4, pp. 867 – 872 (online),
DOI: https://doi.org/10.1016/j.jesp.2009.03.009 (2009).
Pei, W., Mayer, A., Tu, K. and Yue, C.: Attention
Please: Your Attention Check Questions in Survey Studies Can Be Automatically Answered (2020).
尾崎幸謙，鈴木貴士： 機械学習による不適切回答者の予測，行動計量学， Vol. 46, No. 2, pp. 39–52 (2019).
Lugtig, P. and V., T.: The Use of PCs, Smartphones,
and Tablets in a Probability-Based Panel Survey: Eﬀects
on Survey Measurement Error, Social Science Computer
Review, Vol. 34, pp. 78–94 (2016).
後上正樹，松田裕貴，荒川 豊，安本慶一： オンラインア
ンケートの回答信頼性検証に向けた回答時画面操作ログ取得システム，情報処理学会研究報告，Vol. 2020-HCI-186,
No. 35, pp. 1–7 (2020).
三浦麻子，小林哲郎： オンライン調査モニタの Satisﬁce
に関する実験的研究，社会心理学研究，Vol. 31, No. 1, pp.
1–12 (2015).
Maniaci, M. R. and Rogge, R. D.: Caring about carelessness: Participant inattention and its eﬀects on research,
Journal of Research in Personality, Vol. 48, pp. 61–83(2014).
増田真也，坂上貴之，森井真広： 調査回答の質の向上のための方法の比較，心理学研究，Vol. 90, No. 5, pp. 463–472(2019).
三浦麻子，小林哲郎： オンライン調査における努力の最小限化（Satisﬁce）を検出する技法：大学生サンプルを用いた検討，社会心理学研究，Vol. advpub (2016).
NTT コ ム オ ン ラ イ ン・マ ー ケ テ ィ ン グ・リ サ ー チ 株
式会社： 回答結果の品質：回答結果の品質向上のための取り組み，http://research.nttcoms.com/service/
qpolicy4.html.
深井裕二，河合洋明： Moodle アンケートに対応した Satisﬁce 回答の適応的除去システムの開発，工学教育，Vol. 65,
No. 3, pp. 60–65 (2017).
Tourangeau, R., Sun, H., Yan, T., Maitland, A., Rivero,
G. and Williams, D.: Web Surveys by Smartphones andTablets: Eﬀects on Data Quality, Social Science Computer Review, Vol. 36, No. 5, pp. 542–556 (2018).
Gould, S. J. J., Cox, A. L. and Brumby, D. P.: Diminished Control in Crowdsourcing: An Investigationof Crowdworker Multitasking Behavior, ACM Transactions on Computer-Human Interaction, Vol. 23, No. 3(online), DOI: 10.1145/2928269 (2016).
Kim, Y., Dykema, J., Stevenson, J., Black, P. andMoberg, D. P.: Straightlining: Overview of Measurement, Comparison of Indicators, and Eﬀects inMail–Web Mixed-Mode Surveys, Social Science Computer Review, Vol. 37, No. 2, pp. 214–233 (online), DOI:

19

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

[20]

[21]
[22]
[23]
[24]

[25]

[26]

[27]

INT21002
2021/3/10

10.1177/0894439317752406 (2019).
Baumgartner, H. and Steenkamp, J.-B. E.: Response
Styles in Marketing Research: A Cross-National Investigation, Journal of Marketing Research, Vol. 38, No. 2,
pp. 143–156 (online), DOI: 10.1509/jmkr.38.2.143.18840(2001).
CONTENTSQUARE: Clicktale, https://www.ctale.
jp/.
Google, LLC: Google Forms, https://www.google.
com/forms/about/.
SurveyMonkey:
SurveyMonkey,
https://www.
surveymonkey.com/.
三浦麻子，小林哲郎： Supplemental materials for ”Satisﬁcing” studies by Miura, A. and Kobayashi, T., https://osf.io/6gu3q/.
Ke, G., Meng, Q., Finley, T., Wang, T., Chen, W., Ma,
W., Ye, Q. and Liu, T.-Y.: LightGBM: A Highly Efﬁcient Gradient Boosting Decision Tree, Proceedings ofthe 31st International Conference on Neural Information Processing Systems, NIPS’17, Red Hook, NY, USA,
Curran Associates Inc., p. 3149–3157 (2017).
Akiba, T., Sano, S., Yanase, T., Ohta, T. and Koyama,
M.: Optuna: A Next-Generation Hyperparameter Optimization Framework, Proceedings of the 25th ACM
SIGKDD International Conference on Knowledge Discovery & Data Mining, KDD ’19, New York, NY, USA,
Association for Computing Machinery, pp. 2623—-2631(2019).
Bowling, N. A., Gibson, A. M., Houpt, J. W.
and Brower, C. K.: Will the Questions Ever End?
Person-Level Increases in Careless Responding During Questionnaire Completion, Organizational Research Methods, p. 1094428120947794 (online), DOI:
10.1177/1094428120947794 (2020).

© 2021 Information Processing Society of Japan

20