社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,
INFORMATION AND COMMUNICATION ENGINEERS

信学技報
TECHNICAL REPORT OF IEICE.

観光中の内的状態推定に向けた観光客の無意識的しぐさの分析髙橋 雄太†

松田 裕貴†,†† Dmitrii Fedotov††† 荒川豊†,††††

Wolfgang Minker††† 安本 慶一†† 奈良先端科学技術大学院大学 情報科学研究科†† 日本学術振興会 特別研究員 DC1††† Institute of Communications Engineering, Ulm University†††† JST さきがけ
E-mail: † {takahashi.yuta.to2, matsuda.yuki.mr3, ara, yasumoto}@is.naist.jp
あらましスマートツーリズムの需要の高まりに伴い，観光客は多様な観光情報を得られるようになっているものの，それらの観光情報は必ずしも個々の観光客の体感（満足度など）を反映したものではない．よりリッチな観光情報を提供するためには，観光客の満足度や感情といった内的状態を認識する必要がある．我々は，観光中の内的状態が観
光中のしぐさ（頭部運動や身体運動）として現れると仮定し, その動きを計測，分析することで内的状態を推定できるのではないかと考えている．本研究では，頭部に装着した加速度・角速度センサで観光中のしぐさをセンシングし，観光客の内的状態（満足度・感情状態）を推定する手法を検討している．本稿では，推定手法のワークフローを提案
するとともに，その実現可能性を検証するために 2 つの観光地（ドイツ・ウルム，日本・奈良）で実験を行った．実験で得られた観光中のしぐさデータを分析した結果，観光客の満足度については，相関分析により頭部運動で最大

R = −0.504，身体運動で最大 R = 0.578 が得られた．さらに，感情状態についても，t 検定によりポジティブ／ネガ
ティブな感情グループの間に有意差を確認した．
キーワード

観光, 満足度推定, 感情推定, モバイルセンシング, ウェアラブルデバイス

Analysis of Tourist’s Unconscious Gesture
Toward Inner State Estimation During Sightseeing
Yuta TAKAHASHI† , Yuki MATSUDA†,†† , Dmitrii FEDOTOV††† , Yutaka ARAKAWA†,†††† ,Wolfgang MINKER††† , and Keiichi YASUMOTO†† Graduate School of Information Science, Nara Institute of Science and Technology†† JSPS Research Fellowships for Young Scientists, DC1††† Institute of Communications Engineering, Ulm University†††† JST Presto
E-mail: † {takahashi.yuta.to2, matsuda.yuki.mr3, ara, yasumoto}@is.naist.jp
Abstract As the demand for “smart tourism” increases, various tourism information becomes available, but theexisting tourist information does not necessarily reflect tourists experience like satisfaction on sightseeing spots. To
provide richer tourism information, we should be able to understand the tourist’s inner state, such as satisfactionlevel and emotion status on sightseeing spots. We assume that tourist’s inner state has a correlation to his/heractions such as head and body movement. Therefore, there is a possibility to estimate the tourist’s inner state
by sensing and analyzing his/her actions during sightseeing. In this paper, we propose a method for estimating
the tourist’s inner state by sensing the tourist’s actions with a head-mounted inertial sensor. We conducted experiments in the two popular sightseeing areas, Ulm, Germany and Nara, Japan. As a result, we confirmed thatfeatures derived from tourist’s unconscious gestures have the correlation to satisfaction level up to R = −0.504(head movement), R = 0.578 (body action). Moreover, we found the features that show the significant diﬀerence
between positive and negative emotion status groups based on t-test analysis.
Key words Tourism, Satisfaction assessment, Emotion recognition, Mobile sensing, Wearable devices

31

ける方法」に頼った情報収集において，その量や質を担保する

1. ま え が き

ためには，観光客がレビューを投稿する動機が欠かせない．動スマートフォンをはじめとするスマートデバイスの普及に伴機としては，レビューサイトから与えられる金銭報酬や，観光い，リアルタイムな都市環境情報（混雑度，渋滞状況など）を地での印象的な体験（非常に良い／悪い体験）が挙げられる．

街のいたる所で取得できるようになった．こうした情報の活用

しかし，この方法はその性質から投稿者に偏りを生みやすく，により，質の高い観光情報（スマートツーリズム）を観光客に評価を歪めてしまう危険性を有している．

提供可能となることが期待される．しかしながら，観光客の観また多くの観光分野の研究では，アンケートによる満足度の

光地での体感（感情や満足度）は，同じ環境状況であったとし調査が採用されている [1], [2]．しかしながら，この手法は継続ても場所や時間，旅行者の趣向などによって異なることが想定

的かつ広範囲にアンケートを実施する必要があるため，持続可される．そのため，よりリッチな観光情報を提供するためには，

能性やデータの網羅性において問題を抱えている．

各観光スポットにおける観光客の感情や満足度といった内的状

そこで，アンケートなどの直接的な調査に依存しない方法と態についても考慮することが重要であると考えられる．

して，センシングに基づく内的状態推定が議論されている．

一般に，観光分野における「観光客の感情状態・満足度」の（注 1）

収集方法としては，TripAdvisor

Resch らは，都市計画のための感情収集システム（Urbanに代表される，ユーザレ

Emotions）を提案している [3]．Urban Emotions は，リスト

ビューやアンケート調査などが未だ主流である．しかし，このバンド型のウェアラブルデバイスからユーザの身体運動，ソー（注 2）

方法は観光客に対する動機付けが難しい

ことから投稿者のシャルメディアから収集されるデータを用いた感情推定を行う．

偏りが生まれやすく，評価を歪めてしまう危険性を有している．

しかしながら，この手法はソーシャルメディアを感情推定の主

また，ユーザの感情状態や満足度を推定する手法については，

軸として取り入れているため，投稿の内容と位置情報が正しく

既に様々な手法が提案されている [1]〜[5]．しかしながら，それ

紐付いている（事後投稿などがない）ことが前提となる．

らの多くは網羅性や推定精度の観点で制約があり，実世界でのShapsough らは，スマートフォンのタイピング動作を基に感利用が難しいのが現状である．

情推定を行う手法を提案している [5]．この手法では機械学習を

そこで，観光中に観光客が抱く内的状態（満足度・感情状態）

用いて，感情を高精度に推定している．しかしながら，観光中が観光中の無意識的なしぐさ（特に頭部や体の動き，以後頭部の内的状態推定を想定すると，観光客に対して頻繁にタイピン

運動，身体運動）となって現れることに着目し，観光客のしぐ

グを依頼することは現実的ではない．

さを継続的に観察することで，観光客の内的状態を推定できな

他のアプローチとしては，モバイルデバイスの対話システム

いかと考えた．本稿では，このアイデアに基づいた内的状態のを介して収集した音声データを基に感情推定を行うものがあ推定手法のワークフローを示すとともに，頭部にモーションセ

る [4]．近年では，音声対話による機器の操作などが現実的なもンサを取り付けた状態で実際に観光地へ赴き，内的状態と観光のとなってきており，観光を含むより多くの場面において音声

中のしぐさにどのような関係が見られるのかについてのフィーの利用が期待できる．しかしながら，音声データだけに基づくジビリティスタディを実施した．

感情推定では精度に問題があり，さらに，静かな部屋での録音

観光客の満足度について相関分析を行ったところ，14 のしぐが必要であるなど環境についても制約が大きい．

さ（頭部運動：11 種類，身体運動：3 種類）について相関関係がRingeval らは，対話システムを介して収集した音声・映像デー見られた．相関係数は，頭部の動きで最大 R = 0.416，身体のタに，生体情報センシングを組み合わせることによる感情推定

動きで最大 R = 0.578 が得られた．さらに，感情状態について手法を提案している [6]．生体情報としては，electrocardiogram

も t 検定による有意差検定を行ったところ，9 の観光中のしぐ(ECG) および Electrodermal activity (EDA) が用いられておさ（頭部運動：7 種類，身体運動：2 種類）について，ポジティ

り，これを感情推定手法に組み込むことによりシステム全体とブな感情（happy など）とネガティブな感情（disappointed なしての推定精度向上を達成している．

ど）の間に統計的有意差を確認できた．これらの結果から，観3. 観光中の内的状態推定手法

光中のしぐさを用いた観光客の内的状態推定の可能性が示唆された．

本研究では，観光中の継続的な観光中のしぐさセンシングに基づく，観光客の内的状態（感情状態・満足度）の推定を目指

2. 関連サービス・関連研究している．本章では観光客の内的状態推定手法のワークフロー

観光情報提供サービスにおいて，観光客の内的状態を収集すを提案する．

る方法としては，ユーザレビューやアンケート調査が依然とし

3. 1 ワークフローて主流である．

観光客の内的状態は直前またはそれよりも前の観光内容に影

TripAdvisor は，観光スポット毎に 5 段階評価およびコメン

響を受け変化するものと考えられるため，我々は，観光客が無トを観光客から収集している．こうした「観光客に直接問いか意識に行う様々なしぐさをセンシングすることにより内的状態を抽出する．図 1 は，本研究の基本的なワークフローを示している．各ステップの詳細については以下で詳述する．

（注 1）：https://www.tripadvisor.com/（注 2）：レビューサイトからの報酬や，観光地での印象的な体験に依存している．

32

ステップ１： 観光地の空間的分割
地点 B

地点 C

セ

ッ
シ
ョ
ン

スポット②

スポット③

スポット①

G

S
地点 D

Place A

地点 X

ステップ 2： 観光行動センシング・ラベリング
地点 A

デバイス

地点 B

地点 C

地点 X

ラベリング

スマホ

図 2 観光客の内的状態ラベル収集アプリ

時間
観光行動センシング
ラベリング

セッション 1

セッション 2

セッション N

3. 2 観光中しぐさのセンシング
観光客の内的状態（特に感情状態）の推定において，人の身ステップ 3： 内的状態推定モデルの構築
観光行動データ

体を直接センシングすることで得られる生体データが有用であることが従来研究により示されている [6]〜[8]．生体データとし内部状態ラベルては，以下の特徴量が利用されている：心臓系（ECG，心拍），70%

皮膚系（EDA），血液系（血圧），脳系（脳波），眼球系（視線，
頭部運動

身体運動

満足度

眼球運動），運動系（ジェスチャー）．しかしながら，本研究の感情状態目的である，観光中の内的状態推定を実現するには，移動中か内的状態推定モデル

つ屋内外という環境においてセンシング可能な生体運動を採用しなければならない．血圧や脳波といったセンシングは大掛か

図 1 観光客の内的状態推定ワークフロー

りな装置が必要であるため，観光時に応用することは難しい．
そこで，本研究では，観光客の内的状態は観光中のしぐさに少なからず影響を与えることに着目した．例えば，ある観光ス

ステップ 1 – 観光地の空間的分割

ポットに興味を感じれば「じっくり見る」という行動，また逆

一般的な観光では，建物やエリアといった，観光スポット単に退屈を感じれば「俯きがちに歩く」や「通り過ぎる」という位での観光情報が求められると考えられる．そこでまず，観光

行動，および，それに伴うしぐさが発生すると考えられる．

エリア全体の地理的空間を少なくとも１つの観光スポットを含

また，観光において五感は特に重要な情報であり，その多く

む小区間（以降，セッション）に分割する．本研究では，各セッは頭部の動きを伴うといえる（触覚についても視覚や聴覚が連ションにおける観光客のしぐさを基に，観光客の内的状態を推動する）．観光スポットはある程度の広さを有していると考え定する．

られるため，頭部運動だけでなく身体全体の動きにも影響が出ステップ 2 – しぐさセンシングとラベリング

ると考えられる．そこで本研究では，観光中のしぐさとして身観光客は頭部にウェアラブルデバイスを装着しており，この体運動と頭部運動を内的状態推定の特徴として採用する．

デバイスは観光客のしぐさを常時測定する．また，観光客には，身体運動および頭部運動は，ウェアラブルデバイス（スマーセッションの終わりに，現在の感情状態と満足度をスマート

トグラスなど）に搭載された慣性センサで容易かつ継続的に測フォンアプリを介して入力してもらい，これをラベルとして利定可能である．また，こうした慣性センサを搭載するウェアラ

用する．セッションごとに同様の手順を繰り返すことで，観光

ブルデバイスは，ヘルスケアの側面から一般ユーザに普及が進

全体のしぐさデータとラベルを収集する．得られるしぐさデー

んでいることから，今後観光分野への応用が期待できる．

タおよびラベルの詳細については 3. 3 節で詳述する．

3. 3 観光客の内的状態ラベル

ステップ 3 - 内的状態推定モデルの構築

観光中のしぐさと内的状態の関連性を見出すため，図 2 に示

最後に，ステップ 2 で収集したしぐさデータとラベルを用いす Android アプリケーションを用いて内的状態ラベルを収集てユーザの内的状態推定モデルを構築する．時系列データを用する．観光客は各セッションの終了時に現在の内的状態をラベいるためモデル構築には再帰型ニューラルネットワークをはじルとして手入力する．本研究では，内的状態として満足度と感めとするアルゴリズムの採用を検討する．

情状態の 2 つの指標を用いる．以下にそれぞれの詳細を示す．

33

⑥
Angry

ACTIVE / AROUS
AROUSED

観光中のしぐさのセンシングには，SenStick（注 3）[12] を用い⑦

た．観光中，被験者に眼鏡をかけてもらい，眼鏡の縁に SenStick

AlarmedAfraidArousedを固定し，しぐさをセンシングする．SenStick には，加速度，
Excited

角速度，地磁気，温度，湿度，気圧，照度，紫外線の 8 種類のAnnoyed⓪

Distressed
ArousalFrustrated⑤

センサが搭載されており，最大 100Hz でロギングが可能であDelighted

る．そして，Bluetooth Low Energy（BLE）を介しデータをHappy
Valence

Distrustful

NEGATIVE

ジを 250dps と設定し，それぞれ 50Hz でサンプリングした．

PleasedDissatisfied④

収集できる．実験中は，加速度のレンジを 2G，角速度のレン

POSITIVE

NeutralDisappointed⑧

4. 2 観光中のしぐさ分析に用いる特徴の抽出と種類①

実験で得られたセンサデータを用いて，観光中のしぐさの特Depressed

徴を抽出する．観光中のしぐさとして，観光中の頭部運動と身RelaxedRelaxed
Calm
Calm

Bored

体運動の 2 種類を抽出し分析に用いる．

③

Tired Sleepy②

頭部運動は，観光中の頭部の動きであり，頭部を上下左右に動かした回数や向き，強さなどの特徴を抽出する．このような

PASSIVE / CALM

運動は，回転運動であるため角速度センサの値から検出するこ

図 3 感情状態の 2 次元空間モデル [9]〜[11]とができる．検出には，まず，頭部の上下と左右の動きと直角
な 2 つのセンサの軸を選び，それぞれの角速度の値をカットオ

満足度 内的状態を数値として表現する指標である．観光客は

フ周波数が 5Hz のバターワースフィルタにかける．そして，00（不満足）〜 100（満足） の間から現在の内的状態を選択す

付近の極大点・極小点を除くため適切な閾値を超える極大点，ることができる．平常時（観光開始前）の内的状態は 50 とし極小点を抽出する．例えば，上下を表す軸の値において，極大て表現される．

点が上を向く動作，極小点が下を向く動作を意味する．

感情状態 内的状態をカテゴリーとして表現する指標である．

身体運動は，観光中の頭部からセンシングできる身体の運動

Russell らは，図 3 に示すように，感情状態を Valence（Posi-

であり，主に歩行動作が当てはまる．歩行動作は地面から足をtive/Negative） と Arousal（Active/Passive） の 2 軸で表現

離すとき，足を着いたときに加速度のピークとして現れる．そする空間モデルを提案している [10]．本研究では感情状態モのため，単純なピークの閾値処理では，正確な検出が難しい．

デルの空間的位置に基づき，感情状態を次の 9 カテゴリへとそこで，Ying らの方法 [13] を参考に歩行を検出する．まず，分割した：⃝
0 excited，⃝
1 happy/pleased，⃝
2 calm/relaxed，

地面に垂直な加速度センサの軸を選択し，カットオフ周波数が⃝3 sleepy/tired，⃝
4 bored/depressed，⃝
5 disappointed，⃝
6

5Hz のバターワースフィルタにかけ，ノイズを除去する．次に，distressed/frustrated，⃝
7 fraid/alarmed，⃝
8 neutral．観光客

以下の式により微分処理を行い，高周波数成分を強調する．

はこの 9 つのカテゴリから現在の内的状態を選択できる．

y(n) =

4. 実験と評価

1{2x(n) + x(n − 1) − x(n − 3) − 2x(n − 4)}8

そして，全ての値の 2 乗させ，大きな値を強調し，以下の式によ

本研究の実現可能性を検証するため，観光客の観光中のしぐり積分することで，スムージングし，小さなピークを除去する．

さと内的状態の関係性について調査する事前実験を実施した．

4. 1 実験の概要

y(n) =

実験環境としては，ドイツ・ウルム，日本・奈良県奈良市の

1{x(n − (N − 1)) + x(n − (N − 2)) + · · · + x(n)}N

このとき，N = 5 とした．そして，これらの操作で得られた

2 つの観光地を採用した．図 4 は各観光地における本実験の観データから極大点を求め，歩行動作を検出する．

光ルートおよび各セッションの概要を示しており，ウルムでは頭部運動から 23 種類，身体動作から 5 種類の計 28 種類の観

8 つ，奈良では 7 つのセッションに分割されている．ウルムの光中のしぐさの特徴を抽出した．表 1 に抽出した特徴をまとめ観光ルートは，都市の中心部を巡る全長約 1.5 km のルートとている．

なっており，ウルム大聖堂のような歴史的な建造物やクリスマ

4. 3 しぐさデータの分析と考察

スマーケットのようなイベント会場がある．奈良の観光ルート

4. 3. 1 階層的クラスター分析

は，郊外にある奈良公園エリアを巡る全長 2 km のルートと観光セッションごとの観光中のしぐさの特徴を抽出し，階層なっており，東大寺をはじめとする寺社が数多く点在し，自然的クラスター分析を行い，しぐさに違いが現れているか確認しや野生動物（鹿）と触れ合うことができる．

た．階層的クラスター分析にはウォード法を用いている．結果被験者として，ウルムでは男性 4 名, 女性 1 名，奈良では男性のデンドログラムを図 5 に示す．U はウルム，N は奈良のセッ

5 名の計 10 名に協力してもらった．被験者には各観光スポット

ションを示しており，数字は図 4 のセッション番号に対応してをルートに沿って自由に観光してもらい，セッション終了時にいる．

観光中の内的状態（満足度・感情状態）を図 2 に示す Android
アプリケーションで回答してもらった．

（注 3）：筆者らが開発した超小型マルチセンサボード

34

セッション U2

ウルム大聖堂セッション U1

セッション N4

東大寺鐘楼

Ulmer Münster

クリスマスマーケット
Ulmer Weihnachtsmarkt

セッション N5

法華堂
エリア

セッション N3

東大寺

セッション N2

GOAL

START

鏡池

セッション U3

ウルム市庁舎Ulmer Rathaus

セッション U4

ウルム市図書館

セッション N1

南大門

Stadtbibliothek Ulm

セッション U8

漁師地区

セッション U6

市壁 Stadtmauer

Fischerviertel

セッション N6
セッション N7

三社託宣池

セッション U5

肉屋の塔

奈良公園
エリア

Metzgerturm

START
セッション U7

GOAL

傾いた家

Schiefes Haus

ラベリング地点

U1
U2
U3
U4
U5
U6
U7
U8

© OpenStreetMap contributors

ラベリング地点

100 m

N1
N2
N3
N4
N5
N6
N7

市場広場にクリスマスシーズン限定の露店が立ち並ぶエリア
世界一の高さを誇る塔を有する大聖堂
外壁一面にフレスコ画が描かれた市庁舎
全面ガラス張りのピラミッド型図書館
ドナウ川のほとりに立ち，北西に 3 度傾いている塔
ドナウ川に面した遊歩道になっている，かつての防壁
小川に向かって世界ー傾いている家，ギネスにも載っている
おしゃれな家が立ち並ぶ漁師町の一角(a) 実験フィールド（ドイツ・ウルム）© OpenStreetMap contributors

100 m

東大寺南に位置する 25.46m の高さの大きな門
東大寺中門の側にある池，池の中央に小さな神殿が祀られている
14.7m の奈良の大仏が祀られている寺院
日本三大名鐘の国宝である梵鐘
小さな商店や，法華堂などのお寺が複数点在するエリア
広い野原がある公園，鹿が多く生息する．
団体写真の背景となる小さな池，睡神社が側に位置する(b) 実験フィールド（日本・奈良）

図 4 実験フィールド

4. 3. 2 内的状態としぐさの関係分析
表 1 に示した，観光中のしぐさから得られる特徴（F1〜F28）と内的状態との関係を分析する．
まず，しぐさと満足度の関係を分析する．満足度は数値で回答可能な比率尺度の指標であるため，しぐさとの相関分析を行った．図 6 は，特徴と満足度を散布図に示した例である．サンプルは観光地別に異なる記号（ドイツ：△，日本：2）で表しており，直線は回帰直線，横軸が観光中のしぐさ，縦軸がラベリングした満足度（0〜100） を示す．有意確率が 5%未満の相
図 5 観光セッションごとの階層的クラスター分析結果

関が見られた特徴に関する分析結果を 表 2 に示す．11 の頭部
運動，3 つの身体運動において相関関係を確認できた．頭部運結果として，ウルムと奈良のセッションで大きく二つにクラ動では，F7（1 秒あたりの左を見た回数）の相関が R = −0.504

スタが分かれており，それぞれのクラスタでも 2 つのクラスと最も大きく，身体運動では，F25（1 歩ごとの時間間隔）の相

タに分かれている．このことから，観光中のしぐさがウルムと関が R = 0.578 と最も大きかった．頭部それぞれの特徴に関し

奈良では大きく異なっていることが確認できる．ウルムでは，て，上下左右それぞれの動作で相関が見られ，上下と左右でま様々なショップや展示物が集まるセッションのクラスタ (U1,

とめた特徴では相関はあまり現れなかった．データを詳細に見U2) と U1, U2 に比べれば観るものが少ないそれ以外のクラス

ると，ウルムと奈良のデータが乖離している場合があり，上方

タ (U3〜U8) に分かれている．そして，奈良では野生動物と触向（F1），左方向（F7〜F8），右方向（F10〜F12），上下（F13），

れ合えるセッションのクラスタ (N1, N2, N7) と寺院や公園の上下左右（F23）の 8 種類については，データの乖離が確認さようなそれ以外のクラスタ (N3〜N6) に分かれている．道や自れた．図 7 にデータが乖離している例を示す．ウルムに比べて然物，建物などのセッションの属性としてクラスタは生成され奈良は野生動物が多く生息しているため周りを振り向く動作がなかった．しかしながら，セッション中の観光対象の数の違い

比較的多くなったことで，このような乖離が生じたと考えられが，クラスタとして概ね表れていることが確認できた．

る．しかし，下方向（F4〜F6）と歩行（F24〜F25，F27）の 6

35ドイツ・ウルム

表 1 観光中のしぐさの分析に用いる特徴

頭部運動

身体運動

日本・奈良

100

特徴の概要

F1

1 秒間あたりの上方向を見た回数

F2

上方向を見る時間間隔（平均）F3上方向を見る時間間隔（標準偏差）F4

1 秒間あたりの下方向を見た回数

F5

下方向を見る時間間隔（平均）F6下方向を見る時間間隔（標準偏差）F7

1 秒間あたりの左方向を見た回数

F8

左方向を見る時間間隔（平均）F9左方向を見る時間間隔（標準偏差）F10

1 秒間あたりの右方向を見た回数

F11

右方向を見る時間間隔（平均）F12右方向を見る時間間隔（標準偏差）F13

1 秒間あたりの上下を見た回数

F14

上下を見る時間間隔（平均）F15上下を見る時間間隔（標準偏差）

F16

上下を見る動作の強度（平均）F17

上下を見る動作の強度（標準偏差）F18

1 秒間あたりの左右を見た回数

F19

左右を見る時間間隔（平均）F20

左右を見る時間間隔（標準偏差）

F21

左右を見る動作の強度（平均）F22

左右を見る動作の強度（標準偏差）F23

1 秒間あたりの上下左右を見た回数

F24

1 秒間あたりの歩数

F25

1 歩ごとの時間間隔（平均）F26

1 歩ごとの時間間隔（標準偏差）

F27

歩行動作の強度（平均）F28

歩行動作の強度（標準偏差）

80

60

満足度

特徴 ID

40

20

0
0

10

20

30

40

F5： 下方向を見る時間間隔
（平均）
100

80

満足度

種類

60

40

20
ドイツ・ウルム
日本・奈良

0
0.4

0.6

0.8

1

1.2

F25： 1歩ごとの時間間隔（平均）

図 6 内的状態（満足度）と観光中のしぐさの関係（F5，F25）

100

80

表 2 観光中のしぐさ分析結果（満足度）

頭部運動

身体運動

60

特徴 ID

相関係数 Rp値

F1-0.3950.0026F4

0.414

0.0013F5-0.3160.0045F6-0.2940.0120F7-0.5040.0001F8

0.338

0.0049F10

0.268

0.0273F11-0.4160.0007F12-0.3650.0055F13-0.3600.0065F23-0.3750.0007数が増えるほど満足度は下がるという関係が得られた．また，

F24-0.4820.0001

データの乖離が見られた特徴も相関が確認されたことから，今

F25

0.578

0.0000

後様々な観光地でデータを収集していき，観光地への依存度合

F27-0.3520.0059いを明らかにしていきたい．

満足度

種類

40

20
ドイツ・ウルム

日本・奈良

0
0

0.1

0.2

0.3

0.4

0.5

0.6

F1： 1秒間あたりの上方向を見た回数

図 7 観光地によって観光中のしぐさに乖離が生じる例

次に，観光中のしぐさと感情状態の関係を分析する．本稿で種類の特徴に関しては，データの乖離が見られず，図 6 に示す

実施した事前実験で収集したデータのみでは 9 カテゴリについように，F5（下方向を見る時間間隔（平均））と F25（1 歩ごとて分析することが困難であるため，図 3 に基づき，ポジティブの時間間隔（平均））では，ウルムと奈良のデータが混合し，ほな感情（感情ラベル ⃝0 〜⃝2 ）とネガティブな感情（⃝
3 〜⃝
8 ）

ぼ同様の傾向を示していることが見てとれる．そのため，観光の 2 つのグループに分類した．図 8 は，各感情グループにおけ

地に依存しない特徴として，「下を向くしぐさ」と「歩行に関る特徴の分布の例を示している．各特徴について，感情グルーするしぐさ」は有効であると考えられる．ここから，観光地に

プの間に統計的有意差があるかどうかを調べるため，有意水準

依存せず下を向く回数が増えるほど満足度は上がり，歩行の回

10% の t 検定を行った．有意差が確認できた特徴に関する分36

p=0.0663

表 3 観光中のしぐさ分析結果（感情状態）

p値

F40.0350F5

0.0663F7

0.0248F80.0318F13

0.0616F16

0.0628F23

0.0570F24

0.0032F25

0.0000

頭部運動

身体運動

p=0.0000
1.2

40
F25： 1歩ごとの時間間隔
（平均）

特徴 ID

F5： 下方向を見る時間間隔
（平均）

種類

30

20

10

1

0.8

0.6

0.4

0
Positive

Positive

Negative

Negative

図 8 内的状態（感情状態）と観光中のしぐさの関係（F5，F25）

文

析結果を表 3 に示す．7 つの頭部運動，2 つの身体運動におい献[1] J. Alegre and J. Garau, “Tourist satisfaction and dissatisfaction,” Annals of Tourism Research, vol.37, no.1, pp.52–73,
2010.
[2] C.-F. Chen and F.-S. Chen, “Experience quality, perceived
value, satisfaction and behavioral intentions for heritage
tourists,” Tourism Management, vol.31, no.1, pp.29–35,
2010.
[3] B. Resch, A. Summa, G. Sagl, P. Zeile, and J.-P. Exner,“Urban emotions – geo-semantic emotion extraction fromtechnical sensors, human sensors and crowdsourced data,”
Progress in location-based services 2014, pp.199–212, Nov.
2014.
[4] W.Y. Quck, D.Y. Huang, W. Lin, H. Li, and M. Dong,“Mobile acoustic emotion recognition,” 2016 IEEE Region
10 Conference (TENCON), pp.170–174, Nov. 2016.
[5] S. Shapsough, A. Hesham, Y. Elkhorazaty, I.A. Zualkernan,
and F. Aloul, “Emotion recognition using mobile phones,”
2016 IEEE 18th International Conference on e-Health Networking, Applications and Services (Healthcom), pp.1–6,
Sept. 2016.
[6] F. Ringeval, F. Eyben, E. Kroupi, A. Yuce, J.P. Thiran,T. Ebrahimi, D. Lalanne, and B. Schuller, “Prediction ofasynchronous dimensional emotion ratings from audiovisual and physiological data,” Pattern Recognition Letters,
vol.66, pp.22–30, 2015.
[7] T.W. AlHanai and M.M. Ghassemi, “Predicting latent narrative mood using audio and physiologic data.,” AAAI,
pp.948–954, 2017.
[8] M. Soleymani, M. Pantic, and T. Pun, “Multimodal emotion recognition in response to videos,” IEEE transactions
on aﬀective computing, vol.3, no.2, pp.211–223, 2012.
[9] G. Paltoglou and M. Thelwall, “Seeing stars of valence
and arousal in blog posts,” IEEE Transactions on Aﬀective
Computing, vol.4, pp.116–123, 01 2013.
[10] J.A. Russell, “A circumplex model of aﬀect,” Journal of personality and social psychology, vol.39, no.6, pp.1161–1178,
1980.
[11] K.R. Scherer, “What are emotions? and how can they
be measured?,” Social Science Information, vol.44, no.4,
pp.695–729, 2005.
[12] Y. Nakamura, Y. Arakawa, T. Kanehira, M. Fujiwara, andK. Yasumoto, “Senstick: Comprehensive sensing platform
with an ultra tiny all-in-one sensor board for iot research,”
Journal of Sensors, vol.2017, pp.1–16, Oct. 2017.
[13] H. Ying, C. Silex, A. Schnitzer, S. Leonhardt, and M.
Schiek, “Automatic step detection in the accelerometersignal,” 4th International Workshop on Wearable andImplantable Body Sensor Networks (BSN 2007)Springer,
pp.80–85 2007.

て，ポジティブ／ネガティブな感情状態間に有意差があることが明らかとなった．このことから，感情状態についても満足度の場合と同様に「下を向く動作の特徴」と「歩行に関する特徴」
が有用であることを示す結果が得られた．
以上の分析結果から，観光中のしぐさ（頭部運動，身体運動）を継続的に測定することで，直近のセッションにおいて観光客が抱いた内的状態を推定できる可能性が示唆された．今後は内的状態推定に向けより詳細な分析を進めるとともに，地域間や観光地の特性の影響についても調査を行う．

5. ま と め
本稿では，スマートツーリズムにおいて，よりリッチな観光情報を提供するため，観光客の無意識のしぐさを観察することに基づき，観光客の満足度や感情状態といった内的状態を推定する手法を提案した．基本的な内的状態推定のワークフローを示すとともに，観光中のしぐさと内的状態の関係性を検証する
ため，2 つの観光地（ドイツ・ウルム，日本・奈良）において実験を行った．実験で得られたセンサデータから観光中のしぐさの特徴を 28 種類抽出し，満足度に関して相関分析を行ったと
ころ．14 の観光中のしぐさ (頭部運動：11，身体運動：3) において，相関関係が確認でき，下を向く動作の特徴や歩行動作の特徴は観光地への依存が少ないことも確認できた．そして，感情状態に関して，ポジティブとネガティブの 2 つに分け，t 検
定により特徴の有意差を確認したところ，9 の観光中のしぐさ(頭部運動：7，身体運動：2) に関して有意差が見られた．このことから，ポジティブとネガティブの 2 値の感情状態を推定できる可能性が示唆された．しかしながら，満足度に比べ，詳細な感情状態の推定は現段階では難しいと考えられる．
本稿では，頭部に装着したセンサのみでの観光中のしぐさの抽出を行ったが，今後は，眼球の動きやウェアラブルセンサから得られる生体情報も取り入れ，満足度と感情との関係を分析し，有効な特徴を探っていきたい．そして，満足度と感情をリアルタイムに推定し，内的情報を地図にマッピングするシステ
ムの構築を行っていきたい．
謝辞
本研究は JSPS 科研費 16J09670,16H01721 の助成を受けた
ものです．

37