「マルチメディア，分散，協調とモバイル(DICOMO2021)シンポジウム」 令和3年6月-7月

観光客の感情・満足度推定のための簡易なデータ収集システムの提案
林 涼弥1,2,a)

松田 裕貴1,2,3

平野 陽大1

藤本 まなと1,2

諏訪 博彦1,2

安本 慶一1,2

概要：情報処理技術を活用して質の高い観光支援を行うスマートツーリズムに注目が集まっており，様々な観光支援システムが提案されている．しかし，それらは観光客が抱く個々の感情や満足度といった心理状態は考慮されていない．観光客の感情や満足度は，個々の観光客の性格や嗜好によって異なることが想定されるため，より有用な観光支援システムの実現には，個々の心理状態の考慮が重要と考えられる．
我々は，これまで観光中にとる仕草（頭部運動，身体運動，表情，声色）にその心理状態が現れると仮定
し，それらを収集，分析することで，観光客の心理状態を推定する手法を提案してきた．しかし，従来システムは，眼鏡型ウェアラブルデバイスをはじめとする複数のデバイスを装着して観光する必要があり，観光者の負担が大きいという問題を抱えている．本稿では，観光客の心理状態推定のためのデータ収集をより簡単に行うためのシステムを提案する．

Simple Data Collection System
for Tourists’ Emotion and Satisfaction Estimation
RYOYA HAYASHI1,2,a)

YUKI MATSUDA1,2,3 YODAI HIRANO1 MANATO FUJIMOTO1,2
HIROHIKO SUWA1,2 KEIICHI YASUMOTO1,2

サイトへ投稿してもらう方法や，アンケート調査を取る方

1. はじめに法が一般的である [1], [2], [3], [4]．しかし，これらは情報

情報処理技術を活用して，質の高い観光支援を行うス
マートツーリズムに注目が集まっている．例えば，観光地の網羅性や心理的バイアスの影響を無視できないという問
題を抱えている．

の混雑度やイベント情報を，スマートフォンを介してリア従来研究では，アンケート調査によらない，客観的なルタイムに入手できるシステムが挙げられる．ただし，こ

データに基づいた観光客の感情・満足度推定手法を検討しうした観光支援システムは，観光客が抱く個々の感情や満ている [5]．これまでに，観光中の無意識的な仕草（頭部運足度といった心理状態が考慮されていない．観光客の感情

動，身体運動，表情，声色）にその心理状態が現れると仮や満足度は，同じ観光地を訪れた場合でも，観光客それぞ定し，観光客の周囲の天気情報とあわせて，それらを収集，れの性格や嗜好によって異なることが想定される．より有分析することで，観光客の心理状態をマルチモーダルに推用な観光支援システムの実現には，個々の観光客の心理状定する手法を提案してきた．

態を考慮することが重要と考えられる．

しかし，従来研究で提案してきた感情・満足度推定のた

観光客の感情や満足度を収集する方法として，レビュー

めのセンシングデータ収集システムは，眼鏡型ウェアラブ
ルデバイスをはじめとする複数のデバイスを装着して観光

1

2

3

a)

奈良先端科学技術大学院大学
Nara Institute of Science and Technology
理化学研究所革新知能統合研究センター（AIP）
RIKEN Center for Advanced Intelligence Project (AIP)
国立研究開発法人科学技術振興機構 さきがけ
JST PRESTO
hayashi.ryoya.ho3@is.naist.jp© 2021 Information Processing Society of Japanする必要があり，煩わしいという問題を抱えている．本稿
では，感情・満足度推定のためのデータ収集をより簡単に行う手法を提案する．これまでに，スマートフォンで撮影される自撮り動画から取得される表情・声色に関する特徴― 1006 ―天気

観光客の自撮り動画

地理的要因

心理状態ラベル
70 %
感情状態

満足度

谷ら [9] は，オフィスワーカーの心身と環境センシングを

心
理
状
態
推
定
モ
デ
ル

目的としたデータ収集システム WorkerSense を提案している．本システムは，第一にオフィスワーカーの生体情報を収集するため，常時装着が容易な腕時計型の生体センサ

Fitbit Charge 3 を採用している．第二に，温湿度や騒音な
どのオフィスワーカーの周囲の環境情報を収集するため，小型で常時携行しやすいオムロン環境センサ 2JCIE-BL を採用している．これらのセンサは BLE（Bluetooth Low

図 1

観光客の心理状態推定モデルの構築

Energy）によってスマートフォンと接続，さらにそれらを統括するアプリケーションを構築することで，ユーザの負量が，感情・満足度推定に重要な特徴量である可能性が確認されている [6]．そのため本稿では，スマートフォンを中担にならないデータ収集システムを実現している．
松田ら [10] は，ユーザー参加型の都市センシングを目的としたデータ収集スマートフォンアプリケーション Par-心としたデータ収集システムを検討する．
また，観光地の湿度や，地理的な変化が，感情・満足度

moSense を提案している．本システムで使用するセンサに影響を与える可能性が確認されているため [6]，これらのは，9 軸センサ（加速度・ジャイロ・地磁気），方位センサ，

データも収集するシステムの構築方法について検討する．

光センサ，GPS 情報など，全てスマートフォン内蔵のセン

具体的には，観光者の負担にならない環境センサを利用しサを利用するため，ユーザは別途センシングデバイスを用た観光地の天気情報の収集を行う．さらに，スマートフォ

意する必要はなく，容易に都市センシングができる．

ンで GPS 情報を収集することで，観光者の移動の変化を

Zhang ら [11] は，スマートフォンで収集可能なセンシン

捉えるシステムを検討する．それらのデータをもとに心理グデータに基づいてユーザの感情を認識する Android ア

状態推定モデルを構築し，観光客の感情・満足度の自動推

プリケーション MoodExplorer を提案している．本アプリ
は，GPS 情報，スマートフォン画面のオン・オフ状態，マ定を目指す（図 1）．

イク，光センサ，加速度，ジャイロ，方位センサ，電話・

2. 関連研究

SMS などの使用状況をバックグラウンド状態で収集，サー

本章では，関連研究について述べる．ここでは，周辺環バへ送信するシステムとなっている．大学生 30 人の 1 ヶ境が人の心理状態に与える影響に関する研究と，デジタル

月分のセンシングデータと自己申告の感情ラベルを収集しデバイスを利用した心理状態の収集に関する研究についてた実験の結果，本アプリで 76 ％の精度の感情認識を達成

述べる．

している．

2.1 周辺環境が人の心理状態に与える影響から，ユーザのストレス状態を推定する手法を提案してい濱谷ら [12] は，スマートフォンで収集されるログデータ

Howarth ら [7] は，24 名の男子大学生を対象に毎日の気る．彼らは，ユーザの論理的な位置情報（自宅，職場といっ分を記録・報告してもらい，その時の天気との関係を調査た意味のある位置情報）を考慮することで，スマートフォ

している．調査の結果，人の集中力は湿度が高いと低下す

ンログデータのみを用いてストレス状態を推定する場合とる傾向があることを確認している．さらに，不安な気持ち

比較して，その推定精度が向上することを示している．

が日照時間や気温の影響を受ける可能性を述べている．た他にも，スマートフォン画面のタッチ操作を検出してだし，単純に気温が高ければ人の気分が良くなるというわ

収集する手法など [13], [14], スマートフォンで収集可能なけではない．Denissen ら [8] によれば，冬では気温が高い

様々なデータを利用して人の心理状態を推定する手法は多と，人の気分にポジティブな影響を与えるが，夏では逆にく提案されている．

人の気分にネガティブに働く，といったように，季節でその傾向は変化することを確認している．ただし，これらの人の心理状態と天気との関係についての研究は，そのほとんどがアンケート調査によってデータ収集を行っており，

3. 従来の観光客感情・満足度推定のためのデー
タ収集システムの概要とその問題点
図 2 は，従来の観光客感情・満足度推定のためのデータ
収集システム [5] を利用した観光実験の様子である．本章

データ収集システムが提案されているわけではない．

では，この従来システムの概要と問題点について述べる．

2.2 デジタルデバイスを利用した心理状態の収集
スマートフォンなどのデジタルデバイスを利用して人の心理状態や周囲環境を収集するシステムはこれまでに多数提案されている．

© 2021 Information Processing Society of Japan

3.1 眼鏡型ウェアラブルデバイスによる視線の動きの収集
観光中に得られる情報は，その多くが視覚を通して得られる．そのため，従来研究では，観光客が観光地などに対― 1007 ―が普及したことで，観光客は観光地で自撮り写真（動画）を撮影することが増えた．従来研究では，こうした写真や眼鏡型デバイス
スマートフォン

モーション・環境センサ
データ記録用

スマートフォン

×2

動画に映る観光客の表情や声色に，観光中の心理状態が反映されると仮定している．動画の収集のため，本研究ではAndroid スマートフォンを採用している．
なお，この Android スマートフォンにインストールされたアプリケーションを介して，心理状態ラベルも収集して腕時計型デバイス

データ記録用PCいる．

3.4 腕時計型ウェアラブルデバイスによる生体情報の収集
観光客の心理状態は，心拍数などの生理信号にも反映されると仮定している．生理信号の計測のために，腕時

図 2 従来システムを利用した観光実験の例

計型ウェアラブルデバイス Empatica E4 を採用している．
して抱く興味・関心（心理状態）は，視線の動きに現れるとE4 で計測されたデータは，Bluetooth で接続された Apple

仮定している．視線の動き（眼球運動）の計測には，眼鏡

iPhone XS にインストールされたアプリケーションを介し型ウェアラブルデバイス Pupil Labs アイトラッカ [15] をて記録している．そのため，観光者には，SenStick データ

採用している．アイトラッカで計測されたデータは，USB

記録用 iPod Touch と同様に，Empatica E4 のデータ記録

ケーブルで接続された Apple MacBook Pro に記録してい用の iPhone を背中のポケットに収納した状態で観光してる．そのため，図 2 のようにアイトラッカが接続されたもらう必要がある．

PC を背負った状態で観光しており，観光者にとっては大きな負担となっている．

3.5 システム全体を通しての問題点

3.2 マルチセンサボードによる頭部・身体運動および周数のデバイスを装着してもらわなければならない．その内上記の通り，従来のデータ収集システムは，観光客に多訳は，眼鏡型デバイス 1 機とそのデータ記録用 PC 1 機，

辺環境情報の収集
観光中は頭を動かして様々なものを見たり，観光地内，

マルチセンサボード 1 機とそのデータ記録用スマートフォ

あるいは別々の観光地間を移動したりすることが多い．そン 1 機，腕時計型デバイス 1 機とそのデータ記録用スマーのため，従来研究では，こうした頭部運動や身体運動は心トフォン 1 機，自撮り動画撮影・心理状態ラベリング用

理状態が反映されたものになると仮定している．頭部・身スマートフォンが 1 機で，合計で 7 機のデバイスとなる

体運動の計測には，SenStick マルチセンサボード [16] を採（図 2）．これら全てのデバイスを観光客に装着してもらう用している．センサは，眼鏡型ウェアラブルデバイスのつことで，観光客心理状態推定のためのデータ収集を行ってるの部分に装着している．

いる．しかし，観光客が 7 機のデバイスを装着することでまた，SenStick は周囲の環境情報を収集可能である．従感じる負担の大きさや，観光客ひとりあたりに 7 機のデバ

来研究では，観光中の心理状態は，その時の周囲環境，特イスを用意するコストを考えると，実際の観光シーンへのに天気に左右されると仮定している．例えば，観光中に雨適用は現実的ではない．

が降ると視界が悪くなって観光を十分に楽しむことができ

本稿では，こうした問題を改善する，実際の観光シーンなくなったり，夏の蒸し暑い状況下で屋外を観光すると，へ簡単に適用できるデータ収集システムを提案する．これ

不快感を覚える可能性が考えられる．こうした状況を反映

までは，観光客の心理状態が反映されると考えられるあらするため，環境情報のうち，気温・湿度・気圧を計測してゆるデータを収集してきたが，収集したデータを分析したいる．

結果，心理状態推定に大きく寄与するデータ，ほとんど寄SenStick で計測されたデータは，Bluetooth で接続され与しないデータがそれぞれ明らかになっている [6]．次章

た Apple iPod Touch にインストールされたアプリケー

で，収集するデータの種類を見直し，心理状態推定に大きションを介して記録している．そのため，観光者にはデーく寄与することが明らかになったデータの収集を中心とす

タ記録用の iPod Touch を背中のポケット（PC の上部）にる新しいデータ収集システムについて述べる．

収納した状態で観光してもらう必要がある．

4. より簡易な観光客感情・満足度推定のためのデータ収集システムの構築

3.3 自撮り動画による観光客表情・声色の収集
近年はスマートフォン内臓のカメラを利用して，手軽に

図 3 は，提案するシステムの全体構成を示している．観

観光地の写真や動画を撮影することができる．特に，SNS

光客の行動データと観光中の周囲環境を収集するため，観© 2021 Information Processing Society of Japan― 1008 ―自撮り動画収集

ユーザ情報・観光地（目的地）情報収集

☆

次に行く

あなたの名前を

観光スポットを入力してください

入力してください

EmoTour

観光中 ...

ボタンをタップしたら観光をはじめてください

カメラを起動して自撮り動画を撮影してください観光が終了したらボタンをタップして

START
回答する

回答する

ユーザ情報

スポット情報

ください

カメラ起動

FINISH

スマホ（モーション，GPS）
環境センサ（気温，湿度，気圧）

表情・声色

心理状態ラベル収集

続いてあなたの今の感情をあなたの今の満足度をあなたの今の TEQ を

あなたの今の心理状態を教えてください教えてください教えてください教えてください観光を続けますか？

70 %

・感情状態
・満足度

終える

回答する

回答する

感情状態ラベル

満足度ラベルTEQ ラベル観光を続ける

続ける

回答する

回答する

アプリを
終了してください。

観光を終える・TEQ

お疲れ様でした。

☆
サーバーへ送信

図 3 提案システム

光客にはスマートフォン 1 機と環境センサ 1 機を携帯したすることで代用する．頭部運動の計測は，観光者の頭部に状態で観光してもらう．また，ひとつの観光スポットをひセンサデバイスを装着する負担の大きさを考慮し，本シス

とつのセッションと定義し，セッションごとの心理状態ラ

テムでは採用しないこととする．一方で新たに，スマートベルを設定する．ここで，従来システムと提案システムのフォンで GPS 情報を取得することで，観光中の移動の変変更点を述べる．

化を捉えるシステムとする．

4.1 システムの変更点

れまでのデータ分析によれば，それらの特徴量は，感情・第三に，観光中の表情・声色のセンシングについて，こ
第一に，これまでは眼鏡型ウェアラブルデバイスを用い満足度推定モデル構築の際に，その重要度が高い傾向が確て，視線の動きおよび眼球運動を計測してきたが，前述の認されているため [6]，現行の方法を踏襲し，スマートフォ

通り，観光者の負担が大きいという問題を抱えている．まンによる自撮り動画を収集する．

た，これまでの実験で収集したデータを分析した結果，視第四に，観光中の環境データの収集ついては，これまで

線の動きおよび眼球運動に関する特徴量は，構築した心理

SenStick マルチセンサボードを採用してきたが，今回新た状態推定モデルに対する寄与度が低いことが明らかになっにオムロンの環境センサ（2JCIE-BL）を採用する．このた [6]．さらに，観光者によっては正しくセンシングできて

環境センサは，SenStick と比べて長時間駆動でき，これにいない可能性が示唆された．以上のことから，今回提案すより長時間の観光のデータ収集に対応できる．環境センサ

るシステムでは，視線センシングは採用しないこととする．

で，気圧・気温・湿度を常時収集する．

第二に，頭部運動・身体運動のセンシングについて，そ

第五に，目的地である観光地は，観光者が自由に選べるの計測方法を変更する．これまでは，SenStick マルチセン

システムとした．従来のシステムで実験を行った際は，あサボードを用いて，頭部運動・身体運動を計測してきたが，らかじめ指定した観光地およびルートに沿って観光する方

本システムではその一部をスマートフォンで代用する．特法を採用してきたが，その制約を無くしている．

に，身体運動の計測に関して，スマートフォン内蔵のモーションセンサにより加速度・ジャイロ・地磁気を常時計測© 2021 Information Processing Society of Japan― 1009 ―表 1 収集データ

スマートフォン

収集データ

GPS

移動経路

モーション

身体運動

（加速度・ジャイロ・地磁気）

常時

カメラ

表情

（自撮り動画）

声色

環境センサ

環境情報

天候

2JCIE-BL（気温・湿度・気圧）

スマートフォン

心理状態ラベル

デバイス

収集頻度

常時

標高
感情状態

セッション

満足度

終了時

センシングデータデバイス

従来システム

収集データ

Pupil Labs
アイトラッカ

視線の動き

Empatica E4

生体情報マルチセンサボード
SenStick

提案システム収集データ

オムロン環境センサ
2JCIE-BL

環境情報

○

モーション

○

4.2 収集データ

W
NE
GPS

○

ス，収集頻度とあわせて表 1 に示す．また，図 4 は従来

ラベル

感情

本システムで収集するデータの一覧を，使用するデバイ

スマートフォン

スマートフォン

○自撮り動画
スマートフォン

TEQ

デバイス

満足度

スマートフォン

○

70 %

W
NE
TEQ

システムと比較した時の，使用するデバイス・収集データの変更点を示したものである．今回使用するデバイスはス
図 4

マートフォン（iOS または Android）と環境センサ（オム使用デバイス・収集データの変更点

ロン，2JCIE-BL）のみであり，観光者の観光中の負担を少なくしたうえでのデータ収集が可能である．スマートフォ

期待通りの満足度が得られた

センサにより，加速度，ジャイロ，地磁気を収集する．これにより，観光中の観光者の身体運動，例えば歩数や歩行

非常に興味が湧いたなどがわかる．第二に，スマートフォン内蔵のモーション

期待満足度

り，どこを観光したか，どの経路で観光地間を移動したか

全く興味が湧かなかった

ンでは，第一に GPS データを収集する．これにより観光者の観光中の位置情報および移動経路の把握が可能にな

速度がわかる．第三に，スマートフォンの内蔵カメラで，観光者の自撮り動画を収集する．観光者には，ひとつの観光スポットをめぐった後に自撮り動画を撮影してもらい，

期待はずれの満足度であった

観光スポットで抱いた簡単な感想等を述べてもらう．これ

興味・関心

により，観光者の表情および声色を把握する．第四に，ス

図 5

Example of Touristic Experience Quality（TEQ）[17]

マートフォンアプリケーションにより心理状態ラベルを収集する．心理状態ラベルは，感情状態，満足度状態，TEQ

デルに基づき，感情状態を Positive グループ（Excited，をそれぞれ，自撮り動画の撮影後に，手動で入力してもら

Happy/Pleased，Calm/Relaxed），Neutral グループ（Neu-う．それぞれのラベルの詳細については次節で述べる．

tral）, Negative グループ（Sleepy/Tired，Bored/Depressed，

スマートフォンの他に，観光者には環境センサを携帯しDisappointed，Distressed/Frustrated，Afraid/Alarmed）のてもらう．これにより，観光中の周囲環境情報，具体的に3 グループ・9 カテゴリに分割した．観光者は，スマートは，観光地の天気情報（気温・湿度）と観光者の移動によ

フォンアプリによってこの 9 カテゴリの中から，その時点

る標高の変化（気圧から算出）がわかる．

で抱いた感情に一番近い項目を選択できる．
■ 満足度

4.3 心理状態ラベルの収集

満足度は，国土交通省の観光満足度調査に利用される 7

本研究では，観光客の心理状態ラベルとして，感情状態，

段階リッカート尺度を採用する．観光者は 0（不満足）〜

満足度，TEQ の 3 つの指標を収集する．これらは，ひと6（満足）の間から，自らの満足度を選択できる．なお，平つの観光スポットを観光した後に，観光者自身で，スマー常時（観光開始前）の満足度は 3 としている．

トフォンアプリによって手入力してもらう形で収集する．

■ Touristic Experience Quality（TEQ）
前述の感情状態ラベルのみでは，不十分な点もある．例

ここで，それぞれの指標について詳細を述べる．

えば，観光者が感情状態のうち，「疲れた」を選択した場■ 感情状態
感 情 状 態 は ，Russell ら が 定 義 す る Valence（Posi-合，観光スポットに対して面白くないと感じて選択したの

tive/Negative）と Arousal（Active/Passive）の 2 軸で感か，観光スポットとは関係なく身体的に疲れたために選択

情状態を表現する空間モデル [18] を採用する．このモしたのか，両方の可能性が考えられるが，「疲れた」という© 2021 Information Processing Society of Japan― 1010 ―ラベルだけでは，その判断ができない．
本研究では，新たな心理状態の評価指標として，図 5 のような観光体験の質（TEQ： Touristic Experience Quality）という 2 次元の評価指標を導入している [17]．横軸は，訪れた観光スポットにどの程度興味・関心が湧いたか，縦軸
は，訪れた観光スポットで期待通りの満足度が得られたかを表す．値は両軸とも [-1,1] の範囲を設定しており，観光スポットで抱いた興味・関心をより柔軟に選択できる．
心理状態を 2 次元空間で表すことで，前述の「疲れた」という 1 つラベルに対して，それが意味するところがわかる．例えば，観光スポットに対して面白くないと感じていた場合，期待外れであった場合は，空間の左下にプロットされる．一方で空間的の右上にプロットされているにも関わらず，「疲れた」を選択している場合，それは観光スポットに対する興味関心とは関係なく，身体的に疲れている可能性が考えられる．

5. まとめ
本研究は観光中の観光客の心理状態を，客観的なデータに基づいて自動推定することを目指している．本稿では，
これまで煩雑さを抱えていた観光客の心理状態推定のためのデータ収集方法について改めて議論し，より簡単に，より観光客の負担を減らしてデータ収集できるシステムを提案している．
提案システムは，観光客が装着するデバイスの数を大幅に削減している．特に，これまで観光客にとって負担となっていた眼鏡型ウェアラブルデバイスによる眼球運動の収集と SenStick によって収集していた頭部運動の収集をを行わないこととしている．SenStick よって収集していた，身体運動に関してはスマートフォン内蔵のモーション
センサで収集することとし，周囲環境情報に関しては新たに小型の環境センサを採用し，観光者にそれを携帯してもらうことで収集することとしている．また，新たにスマー

4.4 アプリケーション画面の遷移
アプリケーションの OS は，iOS および Android に対応する．ここで，観光する際のアプリの使い方を，観光の一連の流れにあわせて順に述べる．
まず，観光開始時にアプリを起動すると，ユーザ情報（自分の名前）の入力が促される．ユーザ情報を入力することで次の画面に遷移できる．画面が遷移すると，次に向かう
目的地（観光スポット）情報の入力が促される．こちらも同様に情報を入力することで次の画面に遷移できる．画面が遷移すると，観光開始ボタンが表示される．観光者は観トフォン内蔵の GPS で，観光中の移動情報（位置情報）を収集することとしている．
加えて，観光者情報・観光するスポット情報・心理状態
ラベリングの入力とセンサデータの収集を，一元的に管理できるスマートフォンアプリを構築し，データ収集の煩雑さを低減させるシステムとしている．
今後は構築したシステムを利用して，実際の観光地でのデータ収集，収集したデータの分析を行い，心理状態推定システムの実現を目指す．

光を開始するタイミングでこのボタンをタップする．ボタ

謝辞 本研究の一部は，日本学術振興会科学研究費補助

ンをタップすると，GPS，モーション，環境情報の計測が金（JP19K24345），および，JST さきがけ（JPMJPR2039）

開始される．

の助成を受けて行われたものです．

その後は，目的の観光スポットを自由に観光する．ひとつの観光スポットをめぐり終えたら，アプリに表示されて参考文献

いる観光終了ボタンをタップする．このタイミングで，各[1]

種データの計測が終了する．観光終了ボタンをタップすると，画面が遷移し，自撮り動画の撮影が促される．ボタン
をタップすることでスマートフォン内蔵のカメラが起動す

[2]
[3]

るため，そこで自撮り動画の撮影を行う．撮影が完了すると，画面が遷移し，前節で述べた 3 種類の心理状態ラベル[4]の入力が促される．
心理状態ラベルのうち，まずは感情ラベルを入力する．
次に，満足度ラベルを入力する．最後に，TEQ を 2 次元の[5]

マップの中で決定する．観光を続ける場合は「観光を続ける」を選択することで，最初の画面に戻るため，以降は同様の画面操作を行い，次のスポットを観光する．一方，観[6]

光を終了する場合，「観光を終了する」を選択することで，アプリが終了する．その際に，取得したデータは全てサーバに送信される．
[7]© 2021 Information Processing Society of Japan― 1011 ―Tripadvisor. http://www.tripadvisor.com/. (accessed
6 May 2021).
Yelp. https://www.yelp.com/. (accessed 6 May 2021).
Joaquı́n Alegre and Jaume Garau. Tourist satisfaction and dissatisfaction. Annals of Tourism Research,
Vol. 37, No. 1, pp. 52–73, 2010.
Ching F. Chen and Fu S. Chen. Experience quality, perceived value, satisfaction and behavioral intentions forheritage tourists. Tourism Management, Vol. 31, No. 1,
pp. 29–35, 2010.
Yuki Matsuda, Dmitrii Fedotov, Yuta Takahashi, Yutaka Arakawa, Keiichi Yasumoto, and Wolfgang Minker.
EmoTour: Estimating emotion and satisfaction of users
based on behavioral cues and audiovisual data. Sensors,
Vol. 18, No. 11, 2018.
林涼弥, 松田裕貴, 藤本まなと, 諏訪博彦, 安本慶一. 天気
情報に着目したマルチモーダルな観光客の満足度推定と特徴量の重要度分析. 社会情報学会関西支部研究会（SSI）,
社会システムと情報技術研究ウィーク（RST ’21）, pp.
1–7, 2021.
Edgar Howarth and Michael S Hoﬀman. A multidimen-

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

sional approach to the relationship between mood andweather. British Journal of Psychology, Vol. 75, No. 1,
pp. 15–23, 1984.
Jaap JA Denissen, Ligaya Butalid, Lars Penke, and Marcel AG Van Aken. The eﬀects of weather on daily mood:a multilevel approach. Emotion, Vol. 8, No. 5, p. 662,
2008.
谷優里, 松田裕貴, 河中祥吾, 大坪敦, 平野陽大, 荒川豊, 安
本慶一. オフィスワーカーの心身と環境センシングのためのアプリケーションの開発と評価. 研究報告モバイルコ
ンピューティングとパーベイシブシステム (MBL), Vol.
2019, No. 34, pp. 1–7, 2019.
松田裕貴, 荒川豊, 安本慶一. 多様なユースケースに対応
可能なユーザ参加型モバイルセンシング基盤の実装と評
価. マルチメディア, 分散協調とモバイルシンポジウム
2016 論文集, Vol. 2016, pp. 1042–1050, 2016.
Xiao Zhang, Wenzhong Li, Xu Chen, and Sanglu Lu.
Moodexplorer: Towards compound emotion detection
via smartphone sensing. Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, Vol. 1, No. 4, pp. 1–30, 2018.
濱谷尚志, 落合桂一, 山本直樹, 深澤佑介, 木本勝敏, 上西康平, 太田順, 寺澤悠理, 沖村宰, 前田貴記. 時空間的なス
マートフォンログ分析に基づく利用者のストレス推定手法. 情報処理学会論文誌, Vol. 62, No. 4, pp. 1113–1127,
2021.
Abhinav Mehrotra, Robert Hendley, and Mirco Musolesi.
Towards multi-modal anticipatory monitoring of depressive states through the analysis of human-smartphoneinteraction. In Proceedings of the 2016 ACM International Joint Conference on Pervasive and Ubiquitous
Computing: Adjunct, pp. 1132–1138, 2016.
John Zulueta, Andrea Piscitello, Mladen Rasic, Rebecca Easter, Pallavi Babu, Scott A Langenecker, Melvin
McInnis, Olusola Ajilore, Peter C Nelson, and Kelly
Ryan. Predicting mood disturbance severity with mobile
phone keystroke metadata: A biaﬀect digital phenotyping study. Journal of medical Internet research, Vol. 20,
No. 7, p. e241, 2018.
Moritz Kassner, William Patera, and Andreas Bulling.
Pupil: An open source platform for pervasive eye tracking and mobile gaze-based interaction. In Proceedings ofthe 2014 ACM International Joint Conference on Pervasive and Ubiquitous Computing: Adjunct Publication,
UbiComp ’14 Adjunct, pp. 1151–1160, 2014.
Yugo Nakamura, Yutaka Arakawa, Takuya Kanehira,
Masashi Fujiwara, and Keiichi Yasumoto. Senstick:Comprehensive sensing platform with an ultra tiny allin-one sensor board for iot research. Journal of Sensors,
Vol. 2017, , 2017.
Dmitrii Fedotov. Contextual Time-Continuous Emotion
Recognition Based on Multimodal Data. PhD thesis,
Ulm University, 2020.
James A. Russell. A circumplex model of aﬀect. Journalof personality and social psychology, Vol. 39, No. 6, pp.
1161–1178, 1980.

© 2021 Information Processing Society of Japan― 1012 ―