DEIM Forum 2019 E5-3

スマートフォンのセンサ情報を用いたユーザのストレス検知手法の検討
阿部 和樹†

田村 柾優紀†中村 聡史††

山中 祥太††††明治大学大学院先端数理科学研究科 〒164-8525 東京都中野区中野 4-21-1††明治大学総合数理学部 〒164-8525 東京都中野区中野 4-21-1†††ヤフー株式会社 〒102-8282 東京都千代田区紀尾井町 1-3 東京ガーデンテラス紀尾井町紀尾井タワー
E-mail: †ai3ekzk@gmail.com, mogamusa31@gmail.com ††satoshi@snakamura.org†††syamanak@yahoo-corp.jp
あらまし スマートフォンで利用するアプリや Web サービスには，使いづらい UI や画面読み込みによる遅延な
ど，ユーザがストレスを感じる場面が多数存在する．これらの問題に対してサービスの開発者はユーザテストやフィードバックから問題箇所の特定などを行うが，ストレスを感じる場面の検知は人手で行われるため，サービスにおける問題箇所を完全に特定することは難しい．そのため，ユーザがストレスを感じる場面を人手ではなく自動で検知することにより，開発者がサービスの問題点をより特定しやすくなると考えた．そこで本研究ではユーザがス
トレスを感じた際の身体の動きに着目し，それらの特徴をスマートフォンのセンサによって捉えることで，ユーザがストレスを感じたかどうかを判定する手法を検討する．具体的には，スマートフォンに搭載されている加速度セ
ンサ，
角速度センサを利用し，それらのデータの特徴から機械学習によってユーザのストレス状態の判定を行った．
判定実験の結果，69.1%の精度で判定できることがわかったが，より正確にストレス状態を判定するためには心拍など定量的にストレスを計測できる方法によってストレス状態を明確にする必要があるなどの課題が見つかった．
キーワード ストレス，スマートフォン，センシング，機械学習

1. は じ め にする．しかし，これらの手法は専用の装置を使用する

スマートフォンは日常の様々な場面で活用されてことや，測定のための環境が必要となるため，実際にお り ， 多 種 多 様 な ア プ リ ・ Web サ ー ビ ス が ス マ ー ト フ

サービスを利用する場面とは状況が異なると考えられ

ォンによって利用されている．しかし，それらスマー

る．また，測定するための装置の装着により，ユーザ

トフォンにおけるサービスの利用において，ユーザがの体験が損なわれるなど，意図しないストレスの場面

ストレスを感じる場面が多数存在する．例えば，画面が発生することも考えられる．そのため，ストレスをの 読 み 込 み に 時 間 が か か る 場 面 ，Web ペ ー ジ に 頻 出 す

検出する仕組みをサービスに手軽に組み込めることがるバナー広告などの意図しない部分をタッチしてしま

望ましいと考えられる．

う場面，画面上のテキストのコピー範囲をうまく指定できないなどの場面がある．

ここで，ユーザがスマートフォンのサービスに対してストレスを感じる場面において，ユーザが特徴的な

このようなストレスを感じる場面を減らすために行動を起こすことが考えられる．例えば，イライラすは，サービスの使いやすさ（ユーザビリティ）を向上ることによって乱暴な操作になってしまうことや，同させる必要がある．サービスの開発者は，これらのユじボタンを繰り返しタップすること，不必要な画面のーザビリティの向上のため，サービスをリリースする

操 作 を 行 う こ と な ど の 行 動 が 考 え ら れ る ．こ の よ う な ，前のユーザテストや，実際に利用しているユーザから平常時とは異なるスマートフォンの操作を自動で検出のフィードバックによってサービスの改善を行う．しすることができれば，ユーザがストレスを感じる場面

かし，これらは人手によってサービスの問題点を探しを発見することに繋がると考えられる．

出しているため，すべての問題点を把握するには膨大

そこで我々は，これらの平常時とは異なる行動の検な労力が必要であるうえに，細かい問題点などは補足

出について，スマートフォンの動きに関する情報に着しきれない可能性が考えられる．

目する．本研究では，スマートフォンの動きに関するそのため，ユーザがストレスを感じる場面を自動的情報として，スマートフォンに搭載されている加速度に検出することができれば，サービスにおけるユーザ

センサ，角速度センサから得られる情報を利用し，そビリティの向上に繋がると考えられる．ここで，人のれらをもとにユーザがストレスを感じる場面を検出す

ストレスを検出する研究としては，心拍数や発汗などる方法を検討する．実際にユーザがサービスに対しての 生 理 的 反 応 か ら ス ト レ ス を 測 定 す る 研 究 [ 1]が 存 在

ストレスを感じる場面を作り，ストレスを感じる場面

におけるセンサ情報を収集する．また，それらの情報をもとに，機械学習によってユーザのストレス状態を推定する方法を試みる．

3. デ ー タ セ ッ ト 構 築
本研究では，スマートフォンの動きに関するセンサ
情報をもとに，ユーザがストレスを感じている場面を検出することを目的とする．そこで，実際にスマート

2. 関 連 研 究

フォンの利用においてストレスを感じる環境を作り，

ユーザビリティの向上のため，サービスの問題点をそれらを利用している間のセンサ情報を取得する．3

発見するための様々な研究が存在する．例えば，ユー

章ではこれらのセンサ情報を集約したデータセット構

ザビリティを評価する方法の１つとして，ユーザビリ

築について説明し，4 章ではデータからストレスを感ティに関するガイドラインや専門家の意見をもとに評じている場面を検出可能かについて判定実験を行う．

価 を 行 う ヒ ュ ー リ ス テ ィ ッ ク 評 価 法 [2]が 存 在 す る ．ま3.1. データ収集タスク

た ，坂 井 ら の 研 究 [3]で は ，ユ ー ザ の 視 線 ロ グ の デ ー タ

データセット構築のため，ストレスを感じる場面にか ら Web サ ー ビ ス の ユ ー ザ ビ リ テ ィ を 評 価 す る 方 法

ついて実際のサービスで起こりうる状況を再現したデを提案している．これらに対して，コストや労力をかータ収集タスクを用意する．

け ず に サ ー ビ ス の 問 題 点 を 検 出 す る た め ，Paterno ら の

今回はデータ収集タスクとして，漫画ビューアによ研 究 [ 4]で は サ ー ビ ス の 利 用 に お け る ユ ー ザ の 行 動 のって漫画を読むタスクを用意し，読んでいる途中にペ記録から問題点を検出するツールの開発を行っている．

ージ読み込みによる遅延が発生する環境を用意した．

ま た ，Eardley ら の 研 究 [5]で は ，使 い づ ら い ユ ー ザ イ ン

タスクでは，実験協力者にスマートフォンによって漫

タフェースにおけるスマートフォンの操作について，画を 1 冊読んでもらう．その際，ページの遷移時に強ユーザの手の使い方やスマートフォンのサイズによる制的にページの読み込みを発生させ，普通より遅れて

操 作 方 法 の 変 化 を 調 査 し て い る ．ま た ， Tajima ら の 研

ページが表示するようにした．遅延発生時のページ遷究 [6]で は ，Web ペ ー ジ の 入 力 フ ォ ー ム に お い て 入 力 ミ

移の様子を図 1 に示す．このページの読み込みは，通スを起こしやすいユーザインタフェースに対し，それ信速度が十分でない状況において画像の読み込みが遅らの入力ミスを自動でユーザに提示する方法を提案しれてしまうという実際の状況を想定している．このよている．これらの研究のように，サービスの問題点をう な サ ー ビ ス に お け る 情 報 の 読 み 込 み（ ロ ー デ ィ ン グ ）発見するための様々な方法が存在する．本研究では，は，スマートフォンのスムーズな利用の妨げとなるた

このようなサービスの問題点を検出する方法の１つとめ，ユーザがストレスを感じやすい場面であると考えして，ユーザがサービスにストレスを感じる場面を発られる．また，漫画のように続きが気になるコンテン

見することを目的とする．

ツの閲覧時に，読み込みによって待たされることで，また，ユーザのストレスを検出するための様々な研よりストレスを感じやすい環境を作ることができると究が存在する．ストレスは人の自律神経の変化が関係考えられるため，データ収集タスクとして選定した．

するため，それらを生理的反応から計測する方法とし

なお，今回のデータ収集タスクでは実際に通信速度をて，心拍数・発汗・呼吸などによって測る方法が存在遅くするのではなく，プログラム側の操作によって強す る [1]．ま た ，特 定 の 装 置 を 使 う こ と で ，ス ト レ ス を制的に遅延を発生させる．

計 測 す る 研 究 も 存 在 す る ．小 川 ら の 研 究 [7]で は メ ガ ネ型 デ バ イ ス で あ る JINS MEME[8]を 利 用 し て ， 精 神 的
負荷がかかる作業場面を眼電位のデータから推定する
方 法 を 提 案 し て い る ． ま た ， Hernandez ら の 研 究 [9]では ，PC を 利 用 す る ユ ー ザ に つ い て ，セ ン サ を 搭 載 し た
マウスとキーボードを用意し，それらのデバイスから得られる情報とストレスの関係を調査している．このように，ストレスを検出するための様々な方法が存在するが，ストレスを測るための専用の装置が必要であるなど，実際にサービスを利用する場面に適していないという問題がある．本研究では，スマートフォンの©赤 松 健 『 ラ ブ ひ な 』（ M anga109 [10 ]）センサ情報を利用し，サービスに容易に組み込むこと※タスクで実際に使用した漫画とは異なるができるストレス検出方法を検討する．
図 1 遅延発生時のページ遷移

タスクで使用した漫画作品は 1 巻で完結となる作品

これらのデータ収集タスクにおいて，遅延が起きてを使用した．また，遅延が発生する状況として，連続いる遅延発生区間と，漫画を読んでいる読書区間につする 6 ページにおける 5 回のページ遷移時にそれぞれいて図 3 に示す．図のように，遅延があるページにつ遅延を起こした．これは，漫画の先が気になる状況にいては少し遅れてから読書が開始される．この遅延発おいて立て続けに遅延することにより，ストレスが増

生区間は実験協力者が待たされている状態にあり，実幅するのではないかと考えたためである．遅延時間は

験協力者がストレスを感じやすい場面であると考える．

最 大 10 秒 の ラ ン ダ ム な 時 間 で 発 生 す る よ う に 設 定 しこれにより，遅延が発生した場面において収集したデた ．こ れ ら の 連 続 す る ペ ー ジ に お け る 遅 延 発 生 を ，1 冊

ータはストレスを感じている状態のデータと考えられ，

あ た り 最 大 10 シ ー ン 発 生 さ せ る た め ， 5 回 ×10 シ ー

遅延がない場面において収集したデータと異なり，特ン の 最 大 50 回 の 遅 延 発 生 の タ イ ミ ン グ が 存 在 す る ．

徴的な動きのデータとなっている可能性が考えられる．

3.2. 構築内容

次章では，これらの遅延発生区間が含まれる場面のデ

前節で述べたデータ収集タスクによって，ユーザがータと遅延がない場面のデータを自動で判別できるか

ストレスを感じる場面におけるスマートフォンのセンを実験によって明らかにし，ストレスを感じる場面をサ情報を収集する．センサ情報としては，スマートフ

検出することが可能であるかについて検証する．

ォンに搭載されている加速度センサ，角速度センサの情報に加え，それらのセンサ情報から計算される姿勢
情報（スマートフォンの回転方向の情報）の 3 種類の情報を取得し，データとして記録した．ここで，加速度センサ，角速度センサではそれぞれ X 軸，Y 軸，Z軸の 3 軸の情報があり，姿勢情報ではロール（X 軸の回 転 方 向 ），ピ ッ チ（ Y 軸 の 回 転 方 向 ）の 2 軸 の 情 報 が存在する．そのため，取得するデータとして合計 8 種
図 3 遅延発生区間と読書区間

類の数値が存在する．スマートフォンにおける各デー
タの扱いを図 2 に示す．データの記録は漫画の読書中に 常 に 行 い ， 30fps の 間 隔 で デ ー タ を 記 録 し た ．

4. ス ト レ ス 判 定 実 験
前章で構築したデータセットを利用し，ユーザがス
トレスを感じている場面を自動で検出可能かについて実験を行う．本章では，機械学習によってデータからユーザのストレスを判定することを試みる．

4.1. 概要
ユーザがストレスを感じる場面を自動で検出する
ため，スマートフォンのセンサ情報から機械学習によってユーザのストレスを判定する．今回は，ユーザがストレスを感じている状態をストレス状態，それ以外の状態を非ストレス状態とし，それぞれの状態を判定するための 2 値分類の問題に取り組む．
まず，3 章で収集したデータセットをもとに，データから特徴量の抽出およびデータごとにストレス状
態・非ストレス状態のラベルの付与を行うことで，学習データの生成を行う．次に，それらの特徴を学習し
図 2 スマートフォンの各センサの様子たモデルを作成し，データを実際に判定することでモデルの精度を検証する．

データ収集タスクに使用したスマートフォンはサム ス ン の Galaxy S8+で あ る ． デ ー タ 収 集 タ ス ク の た め

4.2. 学習データの生成
スマートフォンで取得したセンサ情報から，学習にの シ ス テ ム の 実 装 は Java を 用 い て 開 発 を 行 っ た ．ま た ，

利用する特徴量を生成する．データセットでは，加速実 験 協 力 者 は 大 学 生 の 20 代 男 性 8 名 で あ り ， そ れ ぞ

度・角速度および姿勢についての情報を収集した．これの実験協力者がタスクについて 1 試行（漫画 1 冊分

こで，データセット構築でも述べたように，加速度とのタスク）とすることとした．

角速度についてはそれぞれ X 軸，Y 軸，Z 軸の 3 軸，

姿勢についてはロール，ピッチの 2 軸の情報がそれぞに限定することなく汎用的に利用できる可能性が考えれ存在する．データはそれぞれの軸について値をもつ

られる．

ため，合計 8 種類のデータが存在する．

また，データ数が不足している可能性を考慮し，デ

本実験ではこれらのデータについて，遅延発生区間

ータセットの精度の検証には交差検定を利用する．今を含めた漫画 1 ページの読書におけるセンサ情報の最回は，データ数の 4 分の 1 をテストデータとして利用

大値，最小値および平均値の 3 パターンの値を特徴量

し，すべてのデータを重複なくテストデータとして扱として生成した． 8 種類のデータそれぞれに 3 次元のう 4 分 割 交 差 検 定 （ 4-fold ク ロ ス バ リ デ ー シ ョ ン ） を

値 が 生 成 さ れ る た め ， 合 計 24 次 元 の 特 徴 量 を 生 成 す

利用する．

る．生成した特徴量をまとめたものを表 1 に示す．

これらの実験協力者各 8 人＋全員のデータによる 9
種類の学習モデルについて，それぞれ交差検定の平均

表 1 生成した特徴量と次元数値をストレス判定の精度として求める．

加速 度

角速 度

姿勢

X軸

X軸

ロー ル

Y軸

Y軸

ピッ チ

Z軸

Z軸

4.4. 結果実 験 協 力 者 8 人（ A〜 H）お よ び 全 員 の 判 定 実 験 に おける学習データの件数と精度を表 2 に示す．実験協力
者ごとにデータ数が異なることについては，遅延発生の時間がランダムに設定されていたためである．

各特徴それぞれに最大・最小・平均の 3 次元が存在

合計

24 次元

また，ストレス状態・非ストレス状態のラベルについては，遅延発生区間が含まれる読書場面のデータをス ト レ ス 状 態 と す る ．実 験 協 力 者 1 人 あ た り 最 大 50 回の遅延があったため，それぞれの遅延発生のタイミン
グに該当するデータをストレス状態，それ以外の読書
中のデータを非ストレス状態としてラベルの付与を行った．遅延発生のタイミングについては，次のページ

表 2 より，個人のデータのみを利用する場合では，
平 均 65.1%の 精 度 で ス ト レ ス 状 態 ・ 非 ス ト レ ス 状 態 の判定が可能であり，精度の最大値は実験協力者 A の72.8%で あ っ た ．ま た ， 全 員 の デ ー タ を 利 用 す る 場 合の 判 定 精 度 は 69.6%で あ り ， 個 人 の デ ー タ の み を 利 用
する場合よりも比較的低い精度となることがわかった．
表 2 判定実験の精度の比較
実験協力者
データ数
判 定 精 度 (%)

A

82

72.8

間としている．また，非ストレス状態のデータ数の方

B

96

55.2

が多かったため，アンダーサンプリングによってそれ

C

94

57.7

D

90

65.8

分 に つ い て 合 計 698 件 （ ス ト レ ス 状 態 ・ 非 ス ト レ ス 状

E

84

70.5

態 そ れ ぞ れ 349 件 ） の デ ー タ が 生 成 さ れ た ． こ れ ら を

F

92

60.8

G

76

72.4

H

84

65.6

平均 (A〜H)

87

65.1

全員

698

69.1

へ遷移を開始してから，ページが表示されるまでの区

ぞれのラベルのデータ数を揃えた．
これらの結果，データセット構築の実験協力者 8 人

学習データとして扱い，機械学習によるストレス判定
実験に利用する．

4.3. 判定実験
学習データをもとに，ストレス状態・非ストレス状態を判定する 2 値分類の判定実験を行う．今回は分類
問題の学習アルゴリズムとしてランダムフォレストを使 用 し た ． 機 械 学 習 に は Python の ラ イ ブ ラ リ で あ る
scikit-learn[11 ]を 利 用 す る ．

また，全員のデータを利用した判定実験の結果につ判定実験では，データセット構築の実験協力者 8 人

いて，漫画 1 ページを読むのにかかった時間（ページについて，それぞれの個人のデータのみを利用してス

滞在時間）および遅延発生区間の時間（遅延時間）のトレス状態・非ストレス状態を判定する実験と，全員違いによる比較を行う．

のデータを利用して判定する実験を行う．全員のデー

表 3 は，ページ滞在時間について 5 秒刻みのグルー

タを利用した判定実験で作成される学習モデルは，どプに分け，各グループにおけるストレス状態のデータの実験協力者のデータであってもストレス状態・非ス

数 と そ の 再 現 率 を 示 し た も の で あ る ．表 3 の 再 現 率 は ，トレス状態を判定できるようになるため，ユーザ個人判定実験の結果より，ストレス状態のデータを正しく

80%以 上 と な っ て い る ． こ れ ら の 結 果 は ， 遅 延 時 間 が判別した割合となっている．
表 3 よ り ， ス ト レ ス 状 態 の 全 デ ー タ 349 件 の 再 現 率
が 69.6%で あ る の に 対 し て ，10 秒 〜 15 秒 の グ ル ー プ に長いほど，ストレス状態のデータを正しく判定することが可能であることを示している．

お け る 再 現 率 が 80.9%，15 秒 以 上 の グ ル ー プ に お け る

また，ランダムフォレストは複数の決定木を用いて再 現 率 が 92.1%と 値 が 大 き く 上 回 る 結 果 と な っ た ． こ

分類を行うアンサンブル学習の手法であるため，複数れらの結果は，漫画 1 ページに対して長い時間をかけの決定木同士を比較することによって各特徴量の重要て読んでいる場面ほど，ストレス状態のデータを正し度を評価することができる．これにより，実験に利用く判定することが可能であることを示している．

し た 24 次 元 の 特 徴 量 に つ い て 重 要 度 を 評 価 す る ． また，特徴量は加速度 3 軸，角速度 3 軸，姿勢 2 軸の 8

表 3 ページ滞在時間ごとの再現率
滞在時間
データ数
再現率

種類のデータそれぞれについて，単位時間の最大値，最小値，平均値を計算している．そのため，8 種類の0 秒〜5 秒75

49.3%

データごとに最大値，最小値，平均値の重要度を合計

5 秒 〜 10 秒

69.0%
80.9%

し，データごとの重要度を評価する．なお，重要度の10 秒 〜 15 秒

168
68

15 秒 以 上

38

92.1%

者 8 人および全員のデータによる各学習における重要

全体

349

69.6%

度の平均を求め，8 種類のデータの重要度を比較した

また，表 4 は遅延時間について 2 秒刻みのグループに分け，各グループにおけるストレス状態のデータ数とその再現率を示したものである．

合 計 は 1.0 に な る よ う に 正 規 化 さ れ て い る ． 実 験 協 力

結果を図 4 に示す．図 4 では，加速度，角速度，姿勢の情報ごとに色分けを行っている．
図 4 よ り ，比 較 的 重 要 度 が 高 い の は X 軸 の 加 速 度 お
よ び 姿 勢 情 報 の ロ ー ル（ X 軸 の 回 転 方 向 ）で あ っ た が ，各特徴の重要度にそれほど大きな差は見られなかった．

表 4 遅延時間ごとの再現率
遅延時間
データ数
再現率

5. 考 察判定実験の結果，個人のデータのみによる学習の精

138
106

51.4%
78.3%

度 は 平 均 65.1%で あ り ， 全 員 の デ ー タ に よ る 学 習 の 精

6 秒〜8 秒

64
24

84.4%
87.5%

全員のデータを用いた汎用的な学習モデルであっても，

8 秒 〜 10 秒

17

82.4%

全体

349

69.6%

0 秒〜2 秒
2 秒〜4 秒
4 秒〜6 秒度 は 69.1%で あ る こ と が わ か っ た ．こ れ ら の 結 果 よ り ，
個人のデータに限定した学習モデルと同様の精度となることがわかった．しかし，どちらの学習モデルについても判定精度が低く，ストレス状態・非ストレス状態を十分には判定できていないと考えられる．これに表 4 よ り ， ス ト レ ス 状 態 の 全 デ ー タ 349 件 の 再 現 率
が 69.6%で あ る の に 対 し て ， 遅 延 時 間 が 0 秒 〜 2 秒 のグループを除いたすべてのグループの再現率が上回る

ついては，データセット構築の実験協力者も 8 人と少ないため，さらに人数を増やすことによってデータ数を増やす必要が考えられる．

結果となった．特に，4 秒以上のグループは再現率が

図 4 各特徴の重要度の比較

ここで，ページ滞在時間の違いによる再現率の比較

験 協 力 者 に 対 し ， 精 度 が 55.2%と 低 い 実 験 協 力 者 も 存を行ったところ，ページ滞在時間が長いほどストレス在していた．このように，個人によって不満に感じる状態のデータの再現率が高いことがわかった．この結度合いに差があり，精度に影響を及ぼしていると考え

果より，漫画の 1 ページを長く鑑賞している場面ほどられる．そのため，今後はデータセット構築の実験協

ストレスを検出しやすい可能性を示している．これに力者を増やすとともに，よりデータ収集タスクと同じ

ついては，滞在時間が長いことより，実験協力者が漫状況に馴染みのある実験協力者を集めることが課題と画を集中して読んでいる場面である可能性が考えられなる．

る．そのような場面において遅延によって焦らされることで，平時より大きなストレスを感じている可能性

6. プ ロ グ レ ス バ ー に よ るス ト レ ス 判 定実 験があり，判別が容易になったと考えられる．また，遅判定実験の結果より，判定精度が低かった原因の 1

延時間が長いほど再現率が高いことより，長く待たさつとして，ストレス状態・非ストレス状態のラベルのれるほどストレス状態を判定できるという結果となっ付与が正確でなかったことが考えられる．そこで，スた．しかし，これらのページ滞在時間および遅延時間

トレス状態・非ストレス状態をより正確に定義するたについて，時間が長いグループのデータが短いグルーめの新しいデータセット構築を行い，判定実験を再度プのデータより少ないため，再現率の差に影響を与え

行 う ． 新 し い デ ー タ セ ッ ト 構 築 で は ，画 面 の 読 み 込 みている可能性が考えられる．よって，このようなペー

時にプログレスバーを提示することで，実験協力者のジ滞在時間・遅延時間が長い場合のデータを更に収集

ストレスを制御する方法を試みる．

し，時間が短い場合のデータと同程度の数を集めるこ

6.1. データ収集とによって比較する必要が考えられる．

3 章のデータセット構築と同様に，漫画の読書中にまた，特徴量の重要度の評価では，突出して重要と

ページ読み込みによる遅延が発生するタスクを用意し判断された特徴は存在しなかった．これについては，た．ここで新しいデータセット構築では，ページ読み学習の精度が低い原因の１つとして，有益な特徴を抽込みにおいてストレスを感じにくい状況をつくるため，出しきれていない可能性が考えられる．よって，今後

ページ読み込みの進捗を可視化したプログレスバーを

は時系列を考慮したデータの抽出など，様々な特徴抽提示することとする．プログレスバーは，情報の読み出の方法を検討する必要がある．

込みについてどの程度読み込みが完了したかを可視化

また，判定実験の結果は 2 値分類における学習の精したものであり，これらの提示はユーザが感じる待機度としては低いと考えられるため，学習の方法やデー

時 間 を 短 く 感 じ さ せ る と い う 特 徴 が あ る [12 ]． こ れ に

タセット構築の改良が必要となる．今回の実験で精度より，遅延が発生している区間について提示があるこが低かった理由としては，ストレス状態・非ストレスとがストレスの軽減に繋がると考えられる．よって，状態のラベルの付与が正確でなかった可能性が考えらタスクにおいて遅延発生区間にプログレスバーを提示れる．今回は遅延が発生したタイミングのデータすべする場合と提示しない場合を作り，提示なしをストレてをストレス状態のデータとして扱った．しかし，遅ス状態，提示ありを非ストレス状態としてラベルを付延が発生している区間に限定してユーザがストレスを与することとする．

感じているとは限らず，遅延後に継続してストレスを感じていることも考えられる．これらのデータのスト
レス状態・非ストレス状態のラベルの付与を正しく行うためには，ストレス状態であると判断する指標を並行して取得する必要がある．そのため，データセット
構築時に，従来の研究で用いられている心拍数・発汗などの生理指標も同時に記録し，これらの情報からス
トレス状態を判断する必要が存在する．また，今回のデータセット構築におけるデータ収集タスクにおいて，タスクに対してストレスを感じない実験協力者が存在していた可能性も考えられる．特に，今回は漫画を読図 5 プログレスバーの提示による違い

むタスクとしたが，普段から漫画を読まないなど，タスクに対して馴染みのない実験協力者は不満を抱かな

新しいデータ収集タスクでは，図 5 のようにプログいことが考えられる．個人のデータのみによる推定実

レスバーの提示ありと提示なしの場面を用意する．ペ験 の 結 果 に つ い て も ， 判 定 精 度 が 最 も 高 い 72.8%の 実

ー ジ の 読 み 込 み に よ る 遅 延 は 1 冊 の 漫 画 に 対 し て 10回発生し，プログレスバーの提示あり，提示なしがそって，今回の実験ではストレス状態・非ストレス状態

れぞれ 5 回ずつ発生することとする．また，遅延の発を判定することが難しいという結果となった．

生 時 間 は 5 秒 〜 14 秒 と す る ．こ こ で ，前 回 の デ ー タ 収

前回の判定実験の精度よりも低い原因の 1 つとして集 タ ス ク で は 1 冊 の 漫 画 に 対 し 遅 延 が 50 回 で あ っ たは，新しいデータセット構築において遅延発生の回数の に 対 し ， 新 し い デ ー タ 収 集 タ ス ク で は 遅 延 を 10 回を減らしたことにより，学習に利用するデータが少なと 少 な く し た ． こ の 理 由 に つ い て は ， 200 ペ ー ジ 前 後くなってしまったことが考えられる．また，データ収の 漫 画 に 対 し て 50 回 の 遅 延 が 起 き る の は 多 す ぎ る と集タスクにおいて，プログレスバーの提示によって待判断したためである．

機時間を短くすることにより，実験協力者が感じるス

こ れ ら の タ ス ク を ，実 験 協 力 者 で あ る 大 学 生 の 20 代

トレスをコントロールすることを試みたが，これらの男性 6 名に対して行い，それぞれの実験協力者がタス

提示がストレスに大きな影響を及ぼすことができなかクについて 2 試行（漫画 2 冊分のタスク）を行うことったことが考えられる．

とした．

6.2. 判定実験

判定精度を上げるための今後の改善としては，心拍などの生体情報やデータ収集タスクの実行中の行動か

新しく収集したデータセットを利用して，再び判定

ら定量的にストレスを計測し，より正確にストレスを実験を行う．4 章の判定実験と同じく，ユーザがスト感じた箇所を定義する必要が考えられる．今回はプロレスを感じている状態をストレス状態，それ以外の状

グレスバーの提示がない遅延発生の区間がストレスを態を非ストレス状態とし，それぞれの状態を判定する

感じる場面と定義したが，プログレスバーの提示が実ための 2 値分類の問題に取り組む．

際にストレスの軽減に繋がったかについて十分な検証

今回の判定実験では前節で述べたように，ストレスができていないという問題がある．よって，ストレス状態・非ストレス状態のラベルを遅延発生時のプログを観測するために一般的に利用される心拍などの利用

レスバーの有無によって付与する．よって，プログレ

により，より明確にストレス状態を定義する必要があ

スバーの提示なしのデータをストレス状態のデータ，ると考えられる．また，遅延発生区間の前後にもストプログレスバーの提示ありのデータを非ストレス状態

レスを感じている可能性など，どのタイミングでストのデータとした．また，特徴量については 4 章の判定

レスを感じているか曖昧であるという問題も存在する．

実験と同じく，ストレス状態・非ストレス状態におけ

これらについても，定量的なストレスの計測によってるセンサ情報について，遅延発生区間の平均値・最大モニタリングすることで，どの区間において実験協力

値・最 小 値 を 特 徴 量 と す る ．こ れ ら を 学 習 デ ー タ と し ，者がストレスを感じていたかを明確化することができ

データセット構築の実験協力者 6 人分について合計ると考えられる．よって今後は，定量的にストレスを120 件（ ス ト レ ス 状 態・非 ス ト レ ス 状 態 そ れ ぞ れ 60 件 ）計測する方法を組み入れ，ストレスをできるだけ正確のデータが生成された．

に評価した上で判定実験を行う必要がある．

これらの学習データをもとに，ストレス状態・非ス
トレス状態を判定する 2 値分類の判定実験を行う．分

7. ま と め

類のアルゴリズムはランダムフォレストを使用し，4

本研究では，サービス開発者がサービスの問題点を

分 割 交 差 検 定 （ 4-fold ク ロ ス バ リ デ ー シ ョ ン ） に よ っ

自動的に検出することを可能にするために，スマートて，交差検定の平均値をストレス判定の精度として求フォンのセンサ情報からユーザがストレスを感じていめる．

る場面を検出する方法を検討した．そのため，実際の6.3. 結果・考察

スマートフォンの利用状況を想定したタスクを用意し，判 定 実 験 の 結 果 ， 120 件 の デ ー タ に 対 す る 判 定 精 度

ユーザのストレス時のセンサ情報をデータセットとしは 55.0%と 低 い 結 果 に な っ た ． ま た ，120 件 の デ ー タて収集した．また，それらのデータをもとに機械学習において，遅延中にページの移動などの操作が行われによってストレス判定実験を行ったところ，個人のデた デ ー タ が 21 件 存 在 し た ．こ れ は ，遅 延 が 発 生 し て いー タ の み の 学 習 で 平 均 65.1%， 全 員 の デ ー タ に よ る 学

る間に前のページを見返すなど，読み込みが終わるま

習 で 69.1%の 精 度 で 判 定 で き る こ と が わ か っ た ．ま た ，で他のページを読むために操作したものと考えられる．

プログレスバーの提示の有無によってストレス状態を

ま た ，こ れ ら の 操 作 は プ ロ グ レ ス バ ー の 提 示 あ り で 11制御する新しいデータセットを収集し，判定実験を行件 ，提 示 な し で 10 件 起 こ っ て い た た め ，判 定 に お け る

っ た が ， 精 度 は 55.0%と 低 い 結 果 と な っ た ．

ノ イ ズ に な っ て い た 可 能 性 も 考 え ら れ る ． し か し ， 21

今後はより厳密にストレス時のデータを収集する

件 の デ ー タ を 除 い た 99 件 に よ っ て 学 習 お よ び 判 定 をため，他のストレスを検出するための指標を利用し，行 っ た と こ ろ ， 精 度 は 52.5%と 低 い 結 果 と な っ た ． よより多くのデータ収集を行う．また，これらのストレス判定を利用することで，実際のサービスの問題点をどの程度検出できるかについて調査を行っていく予定である．
謝辞

本 研 究 の 一 部 は ， JST ACCEL（ グ ラ ン ト 番 号

JPMJAC1602） の 支 援 を 受 け た も の で あ る ．

参

考

文

献

[1] 中 川 千 鶴 . 特 集 ③ 人 間 工 学 の た め の 計 測 手 法 第4 部：生 体 電 気 現 象 そ の 他 の 計 測 と 解 析（ 5）－ 自律 神 経 系 指 標 の 計 測 と 解 析 － . 人 間 工 学 , Vol. 52,
No. 1, pp. 6-12, 2016．
[2] J. Nielsen. Usability inspection methods. Conference
Companion on Human Factors in Computing Systems,
pp. 413-414, 1994.
[3] 坂 井 誠 , 中 道 上 , 島 和 之 , 中 村 匡 秀 , 松 本 健 一 .
WebTracer: 視 線 を 利 用 し た Web ユ ー ザ ビ リ テ
ィ 評 価 環 境 . 情 報 処 理 学 会 論 文 誌 , Vol. 44, No. 11,
pp. 2575-2586, 2003．
[4] F. Paternò, A. G.Schiavone, A. Conti. Customizable
Automatic Detection of Bad Usability Smells in
Mobile Accessed Web Applications. Proceedings ofthe 19th International Conference on HumanComputer Interaction with Mobile Devices andServices, pp. 1–11, 2017.
[5] R. Eardley, A. Roudaut, S. Gill, S. J. Thompson.
Understanding Grip Shifts: How Form Factors Impact
Hand Movements on Mobile Phones. Proceedings ofthe 2017 CHI Conference on Human Factors in
Computing Systems, 2017.
[6] Kazuki Tajima, Satoshi Nakamura. WePatch: A System
Enabling Users to Improve Bad User Interfaces on theWeb, OzCHI 2017, pp. 448-451, November 2017,
Brisbane, QLD, Australia.
[7] 小 川 剛 史 , 佐 藤 博 則 , 狩 川 大 輔 , 高 橋 信 . ラ イ フ
ログデバイスを用いた複雑タスク環境下におけるワークロード推定に関する研究. ヒューマンイ
ン タ フ ェ ー ス 学 会 論 文 誌 , Vol. 19, No. 4, 2017．
[8] JINS MEME|TURN IT ON – 見 る か ら ， 知 る へ ，( 最 終 閲 覧 日 2019 年 1 月 10 日 ) https://jinsmeme.com/ja/[9] J. Hernandez, P. Paredes, A. Roseway, M. Czerwinski.
Under pressure: sensing stress of computer users.
Proceedings of the SIGCHI Conference on Human
Factors in Computing Systems, 2014.
[10] A. Fujimoto, T. Ogawa, K. Yamamoto, Y. Matsui, T.
Yamasaki, K. Aizawa. Manga109 dataset and creationof metadata. Proceedings of the 1st International
Workshop on coMics ANalysis Processing andUnderstanding, pp. 2:1-2:5, 2016.
[11] F. Pedregosa, G. Varoquaux, A. Gramfort , V. Michel,
B. Thirion, O. Grisel, M. Blondel, P. Prettenhofer, R.
Weiss, V. Dubourg, J. Vanderplas, A. Passos, D.
Cournapeau, M. Brucher, M. Perrot, E. Duchesnay.
Scikit-learn: Machine Learning in Python, The
Journal of Machine Learning Research, pp. 2825-2830,
2011.
[12]松 井 啓 司 , 中 村 聡 史 , 鈴 木 智 絵 , 山 中 祥 太 . 周 辺
視野への視覚刺激提示によるプログレスバーの主観的な待機時間短縮手法. 情報処理学会 研究
報告ヒューマンコンピュータインタラクション(HCI), 2019-HCI-181 (25), 1-6 (2019-01-14).