2023 年度情報処理学会関西支部 支部大会

C-06

会話型インタフェースを用いたオンラインアンケートの回答態度改善手法の検討
A Study of Methods for Improving Response Attitudes in Online Surveys
Using Conversational Interfaces

1.

平良 繁幸 †松田 裕貴 †福光 嘉伸 †

諏訪 博彦 †

安本 慶一 †

Shigeyuki Taira

Yuki Matsuda

Yoshinobu Fukumitsu

Hirohiko Suwa

Keiichi Yasumoto

はじめにの介入方法を提案する．提案手法では，後上ら [4, 5] のオンラインアンケートは，従来の紙媒体でのアンケー開発したプラグインを拡張したものを用いて，回答中のトと比較して，クラウドソーシングサービスとの相性がユーザーの画面操作をリアルタイムに記録し，得られる良く，紙媒体のアンケートより低コストで大規模なデー特徴量を用いた機械学習による Satisﬁcing 検出を行う．

タを取得することができる．そのため，オンラインアさらに，アンケートを対話形式で実施し，得られた回答ンケートは社会科学分野の調査研究や民間企業のマーにテキストマイニングを適用することでユーザーの性格ケティング活動等に広く用いられている．しかし，アン特性を推定する．最終的には，Satisﬁcing と分類されたケート調査においてユーザーが必ずしも適切な回答を行ユーザーに対して，推定した性格特性に適した介入を実うとは限らない．例えば，回答の対価として報酬を付与施し，ユーザーの行動変容を実現する．

する場合，ユーザーは回答の正確さよりも回答時間の短縮を優先し，可能な限り迅速に報酬を獲得しようとするように行動することがある．他にも，質問の内容が正しく伝わっていなかった場合や，ユーザーの集中力が低下している場合には，ユーザーの悪意の有無に関わらず，結果的に不適切な回答が発生することが考えられる．こ
こでいう不適切な回答とは，ユーザーの本心とは異なる回答のことを示す．
このような問題に対して Simon ら [1] は，人間の認知的資源には限りがあり，それによって生じる，アンケート調査において回答者が回答要求に対する努力を最小化しようとする傾向を努力の最小化（Satisﬁcing）と定義した．この Satisﬁcing について，Maniaci ら [2] は，オンラインアンケート調査における Satisﬁcing を, 後述する様々な手法を用いて調査し，Satisﬁcing によって生じる不適切な回答はデータの質に悪影響を及ぼすことを示している．また，三浦ら [3] の調査では，1800 人を対象としたオンラインアンケートを２つの調査会社で実施した結果，それぞれ全体の 51.2 ％,83.8 ％が不適切な回答をしていたと報告されており，Satisﬁcing によって生じる不適切な回答は，調査結果の解釈を困難なものとさせるという点で，極めて望ましくない．よって，オンラインアンケート調査において，Satisﬁcing を検出し適切な処理を施すことは，より真実に近い知見を得るために極めて重要であると考えられる．
本稿では，スマートフォン上でのオンラインアンケートを対象として Satisﬁcing をリアルタイムに検知する方法と，会話型インタフェースを用いた行動変容のため†

奈良先端科学技術大学院大学，Nara Institute of Scienceand Technology

2.

関連研究

Satisﬁcing の検出を目的とした手法として，Oppenhimer ら [6] の IMC（Instructional Manipulation Check）
や，Maniaci ら [2] の ARS（Attentive Responding Scale）
・DQS（Directed Question Scale）がある．これらの手法
は検出用の質問をオリジナルの質問票に追加して回答の正確性や一貫性から Satisﬁcing を検出するものであり，Satisﬁcing 関連の研究で一般的に使用されている．しかし，追加する必要がある質問は回答者を試すような内容であるため，挿入することで疑われているように感じるなど，回答者の心理的負荷が増加する可能性があり，適切に回答している回答者のモチベーションを低下させ，かえって Satisﬁcing を発生させる要因となり得る．また，単純に質問数が増加するという点でも，追加の質問を挿入することは望ましくない．そこで，後上ら [4, 5] は，検出用の質問を用いずに Satisﬁcing を検出することを目的として，機械学習による検出手法を提案している．この手法では，専用のプラグインを用いて取得したユーザーのアンケート回答時の画面操作ログ（スクロール速度，選択肢の変更回数，テキストの変更回数等）を特徴量として既存の ARS，DQS といった検出方法との比較を行い，各特徴量の有用性を示している．しかし，この手法ではアンケートの回答が全て完了した後に検出を行なっているため，検出した Satisﬁcing に対する処理としては，データから省くといった対応に限られる．このことから，これまでに提案された手法では，同一人物が一度しか実施することができないタスク等，データの母集団が限られている場合，Satisﬁcing の影響によって最終的に得られるデータが不足してしまう恐れがある．また，検出された Satisﬁcing 群を取り除いたユーザー群が，母集団の図 1: システム構成特徴を有しているかという点で疑問が残る．

タから分析に有益である情報を抽出し，感情分析やクラタスクに対するユーザのエンゲージメントや作業のスタリングを行う手法であり，本研究では，ユーザーが質を向上させるための研究や，行動変容を促すことを対話形式のアンケートに回答する過程で取得できる会目的とした介入方法に関する研究も多数行われている．

話の内容から，ユーザーの性格特性を推定するために用Sihang ら [7] は，クラウドソーシング上でのマイクロタいる．

スクを対象とし，従来の Web インタフェースの代わりに3.1

会話型インタフェースを用いることで，ユーザーのエンゲージメントを向上させる手法を提案している．Jeﬀrey

提案手法の概要

提案手法の概要およびワークフローについて，以下に詳細を述べる．

ら [8] は，長時間の作業中に適度な休憩を与えることで，ユーザーのエンゲージメントを大幅に改善できることを1. オンラインアンケートを作成し，会話型インタフ明らかにした．Peng ら [9] は，クラウドソーシングのマェースを介して対話形式でユーザーからの回答取

イクロタスクにおいて，少量の娯楽をタスクの間に提供得を行う．

することで作業の品質を維持しながら，ユーザーのエンゲージメントを大幅に改善できることを明らかにした．

2. この際，アンケート回答システム上では，ユーザーの回答時の画面操作ログを定常的に収集する．ままた，大山ら [10] は，参加型センシングを対象として，た，会話型インタフェースとユーザーの会話内容

ボタンのタップと携帯電話を振る行為の 2 種類によってに対しテキストマイニングを行い，ユーザーの性貢献の意思表示を行うことで速く回答を行う不適当な行格特性を推定する．

為を抑制する方法を提案した．Zhang ら [11] は，ユーザに対する情報提示によりユーザの歩数の増加を促す行動

3. 得られた画面操作ログを入力とし，機械学習モデルによって Satisﬁcing を検出する．

変容において，提示する情報の対話スタイル（情報の粒度や婉曲表現の度合い）によって行動変容の効果が変化することを明らかにしている．これらの既存研究では，

4. Satisﬁcing と分類されたユーザーに対し，推定された性格特性を考慮した介入を実施し，行動変容エンゲージメントを向上させる点に留まっており，一度を促す．

Satisﬁcing と推定されたユーザーを改善させるような介入はされていない．よって，リアルタイムに Satisﬁcingの検出を行い，介入によって行動変容を促すことで，適切な回答を得る重要性は高いと考えられる．

3.

提案手法

3.2

システム設計

提案システムの構成を図 1 に示す．提案システムは，対話形式でのアンケート調査の実施や，ユーザーの性格特性に合わせた介入を行う会話型インタフェース，アンケート回答時の画面操作ログを取得する機能，ユーザー

本研究の目的は，スマートフォン上でオンラインアンとの会話からテキストマイニングによってユーザーの性ケートを実施する際に，回答者の Satisﬁcing 傾向をリア格特性を推定する機能，リアルタイムで Satisﬁcing を検ルタイムで検出するとともに，ユーザーの性格特性ごとに適した介入方法によって行動変容を促すことにより，回答態度を改善させることである．また，本研究では，ユーザーの性格タイプ推定にテキストマイニングを用いる．テキストマイニングとは，入力されたテキストデー出する機能で構成される．

3.2.1

会話型インタフェース

対話形式でのアンケート調査を実施する会話型インタフェースの詳細について述べる．本研究では，会話型

人間のパーソナリティの性格を分析する理論の一つで，表 1: 抽出する特徴量心理学の分野において広く扱われている．Big5 尺度の特徴量

単位

独自追加

回答時間

s

–

前問までとの回答時間の変化%○

非操作時間s○

非操作時間が長すぎる回数回–

テキストの削除回数回–

アンケート回答時の不適切回答の検出を行う機能に

連続同一回答数問–

ついて述べる．本研究では，機械学習による分類を各設

文字数

文字–

問の回答時に行うことで，Satisﬁcing をリアルタイムでタップ回数回○検出する．機械学習のアルゴリズムは，実験を行い取得

特徴として，人の性格を外向性，誠実性，協調性，開放性，神経症的傾向の５項目で評価し，類型的ではなく特性的に分析を行うものである．

3.2.4

不適切回答検出機能

タップ間隔s○

した特徴量の傾向を基に最適なものを選択する．また，前問までとのタップ回数の変化%○

Satisﬁcing になる前後の特徴量を比較することで，分類前問までとのタップ間隔の変化%○に有用な特徴量を選択する．

–： 後上ら [4, 5] による特徴量，○： 新規に追加する特徴量

3.2.5

行動変容のための介入機能

Satisﬁcing が検出された際に，回答中のユーザーに行動変容を促す機能について述べる．本研究では，行動変インタフェースとしてチャット UI とチャット AI である容の方法として会話型インタフェースによる介入を行う．

ChatGPT を用いる．具体的には，取得したオンラインア

ユーザーの性格特性をテキストマイニングによって推定ンケートの設問を，ChatGPT を介して対話形式に変換し，性格特性ごとの適切な介入方法を ChatGPT にプロし，チャットアプリ内のボットからの問いかけとして出力ンプトとして入力することで，適切な回答をするよう行する．ユーザーからの返答に対しても同様に ChatGPT動変容を促すことが可能であると考えられる．

を介した出力を行うことで，対話形式でのアンケート調査を実装する．

3.2.2

画面操作記録機能

画面操作を記録する機能について述べる．画面操作ロ
グ取得には，後上ら [4, 5] が作成した Operation Loggerを，チャットアプリに対応するよう拡張し用いる．
次に，画面操作データから抽出する特徴量について述べる．本研究では，後上ら [4, 5] が用いている特徴量を拡張し，リアルタイムに抽出可能な特徴量を追加する．
表 1 に用いる特徴量とその単位を示す．特徴量のうち後

4.

実験計画

本章では，実際に行う実験の概要や計画について述べる．本稿の手法は，リアルタイムの介入を行うことでユーザーの回答中の行動変容を目的として提案される．以下に，目的を達成するための実験概要を示す．

(1) テキストマイニングを用いて，Big5 に基づいた性格特性の推定が可能なモデルを開発するために，オンラインアンケートを作成し，学習データを取得する実験を行う．

上らの提案したものは “–”，新たに考案し追加するもの
は “○” を独自追加の列に示している．作業内容を見ず(2) 提案手法の Satisﬁcing の検出・分類を行う分類モデ

意図的に速く回答を行う場合では，同じ回答を内容を見ルを開発するために，オンラインアンケートを作成ずに繰り返したり速く回答することがあるため，現状のし，学習データを取得する実験を行う．

連続同一回答数や問題間の回答時間などの特徴量が有用であると考えられる．注意散漫や疲労により集中が切れた場合では，前問から作業速度が下がることや作業が止まることがあるため，問題間の回答時間の変化や非操作時間などの特徴量が有用であると考えられる．

3.2.3(3) オンラインアンケートをチャットアプリ上でユーザーに与え，画面操作データをシステムによってリアルタイムに取得し，特徴量を抽出する．会話型インタ
フェースとの会話記録を取得し，テキストマイニン
グによる性格特性の推定を実施する．

テキストマイニングによる性格特性推定機能

テキストマイニングを用いてユーザーの性格特性を推定する機能について述べる．本研究では，テキストマイニングによる推定を各設問の回答時に行うことで，ユーザーの性格特性を定常的に推定する．また，性格特性を推定する指標として Big5 尺度を採用する．Big5 尺度は，(4) Satisﬁcing である時と Satisﬁcing でない時の特徴量の傾向の違いを分析することで，学習に用いる特徴量とデータの特性に適切なアルゴリズムを選択し，分類モデルの作成を行う．分類モデルの精度評価には，Accuracy，Precision，Recall，F1 Score を用い，

汎化性能の検証は，10-fold cross validation によっ[5] Masaki Gogami, Yuki Matsuda, Yutaka Arakawa,て行う．不適切回答の検出方法としては，1 つの設

and Keiichi Yasumoto. Detection of Careless Re-

問が終わるごとに分類を行うことで逐次的な検知を

sponses in Online Surveys Using Answering Be-行う．分類にかかる実行時間として，次の設問への回答が終わるまでに検出が出来ることを要件とする．

havior on Smartphone. IEEE Access, Vol. 9, pp.
53205–53218, 2021.

(5) 分類モデル作成後に，介入によってどの程度の確率[6] Daniel M Oppenheimer, Tom Meyvis, and Nico-

で Satisﬁcing が改善されるかの実験を行い，行動変

las Davidenko. Instructional manipulation checks:
Detecting satisﬁcing to increase statistical power.

容を促す介入の手法について，効果を測定する．

Journal of experimental social psychology, Vol. 45,

まとめ5.

No. 4, pp. 867–872, 2009.

本研究はスマートフォンを用いたオンラインアンケー
トを対象とし，ユーザーの Satisﬁcing 傾向をリアルア[7] Sihang Qiu, Ujwal Gadiraju, and Alessandro Boz-

イムに検知する手法と，ユーザーの性格特性に適した介zon.

入によって行動変容を促す方法を組み合わせることで，Conversational Microtask Crowdsourcing. In Pro-Improving Worker Engagement Through

回答の品質を向上するためのシステムを提案した．提案

ceedings of the 2020 CHI Conference on Human

手法ではアンケート回答中の画面操作をリアルタイム

Factors in Computing Systems, CHI’20, pp. 1–12,に記録し，特徴量を抽出することでアンケート回答中に2020.

Satisﬁcing を検出できるよう検討を行った．また，ユー[8] Jeﬀrey M Rzeszotarski, Ed Chi, Praveen Paritosh,

ザーの性格特性についてテキストマイニングを用いて推and Peng Dai. Inserting micro-breaks into crowd-

定し，性格特性を考慮した介入方法によって行動変容をsourcing workﬂows. In The First AAAI Confer-促すよう検討を行った．

ence on Human Computation and Crowdsourcing,

今後の予定としては，各システムおよびアンケートのHCOMP’13, pp. 62–63, 2013.

開発を行い実験を実施し，提案手法の有効性を検証する[9] Peng Dai, Jeﬀrey M Rzeszotarski, Praveen Par-

ことが挙げられる．

itosh, and Ed H Chi. And Now for Something

謝辞

Completely Diﬀerent: Improving Crowdsourcing

本研究の一部は，JST さきがけ（JPMJPR2039）の助Workﬂows with Micro-Diversions. In Proceedingof The 18th ACM Conference on Computer Sup-成を受けて行われたものです．

ported Cooperative Work and Social Computing,

参考文献

CSCW’15, pp. 628–638, 2015.

[1] Herbert A Simon. Rational choice and the structure of the environment.

Psychological review,Vol. 63, No. 2, p. 129, 1956.

[10] Kohei Oyama, Yuki Matsuda, Rio Yoshikawa,Yugo Nakamura, Hirohiko Suwa, and Keiichi Yasumoto. A Method for Expressing Intention for[2] Michael R Maniaci and Ronald D Rogge. Caring

Suppressing Careless Responses in Participatory

about carelessness: Participant inattention and its

Sensing. In 18th EAI International Conference oneﬀects on research. Journal of Research in Person-

Mobile and Ubiquitous Systems: Computing, Net-ality, Vol. 48, pp. 61–83, 2014.

working and Services, MobiQuitous’21.

[3] 三浦麻子, 小林哲郎. オンライン調査モニタの satis-[11] Zhihua Zhang, Juliana Miehle, Yuki Matsuda,

ﬁce に関する実験的研究. 社会心理学研究, Vol. 31,

Manato Fujimoto, Yutaka Arakawa, Keiichi Ya-No. 1, pp. 1–12, 2015.

sumoto, and Wolfgang Minker. Exploring the Im-[4] 後上正樹, 松田裕貴, 荒川豊, 安本慶一. オンライン
アンケート回答時のスマートフォン画面操作状況に基づく不適切回答検出. 第 25 回一般社団法人情報処理学会シンポジウム・インタラクション 2021, pp.

11–20, 2021.

pacts of Elaborateness and Indirectness in a Behavior Change Support System.
Vol. 9, pp. 74778–74788, 2021.

IEEE Access,