観光中の仕草に基づく感情・満足度の推定における観光客属性の影響分析
松田 裕貴1,2 , a)Dmitrii Fedotov3 荒川 豊4,5 諏訪 博彦1,2 Wolfgang Minker3 安本 慶一1,2

概要：スマートフォンをはじめとするスマートデバイスを活用し，観光中に有益な情報が得られる「スマートツーリズム」が注目を集めている．提供される観光情報をより観光客の状況に即したものとするためには，観光客が実地で抱く心理状態（感情・満足度など）を理解し考慮することが重要である．本研究では，観光客の心理状態が観光中の無意識的な仕草，例えば頭や体の動きや表情や声色といった形で現れると仮定し，その仕草を計測，分析することで観光中の観光客の心理状態を推定する手法を検討している．心理状態推定モデルの性能を検証するため，異なる特性をもつ 2 つの観光地（ドイツ・ウルム，日本・奈良）において，計 22 名の被験者に協力してもらい観光実験を行ったところ，国籍，性格や性別といった観光客
属性の違いが推定モデルの精度に影響を与える可能性が示唆された．そこで本稿では，こうした観光客属
性のうち特に国籍に注目し，観光中の感情・満足度推定モデルにどのような影響を与えるかについて統計的な分析を行った．観光客の国籍と推定モデル構築に使用した特徴量における 2 要因の分散分析を行った
結果，感情推定においては，特徴量の差による影響（主効果），および国籍・特徴量の交互作用（相殺作用）が，満足度推定においては，国籍の差による影響（主効果）が認められた．

Analyzing the Eﬀects of Tourists’ Attributes in Behavior-based Emotion
and Satisfaction Estimation During the Sightseeing
YUKI MATSUDA1,2,a)

DMITRII FEDOTOV3 YUTAKA ARAKAWA4,5 WOLFGANG MINKER1,2
WOLFGANG MINKER3 KEIICHI YASUMOTO1,2

1. はじめにたものではないと考える．よりリッチな観光情報を提供するためには，都市環境側の情報だけでなく，観光客の満足

スマートフォンをはじめとするスマートデバイスの普及

度や感情，興味関心といった心理状態を認識する必要があに伴い，リアルタイムな都市環境情報（混雑度，渋滞状況

る．こうした心理状態の収集に関しては，依然としてユーなど）を屋外などの環境下においても取得できるように

ザレビューやアンケートによる情報収集 [1], [2], [3], [4] がなった．また，これらの都市環境情報を考慮した上で動的主流であるが，これらの手法では，情報の網羅性においてに観光情報を生成することで，観光中に有益な情報が得ら問題があることや，レビューを投稿する動機づけの心理的れる「スマートツーリズム」と呼ばれるサービスも提供可

バイアスが無視できない．

能となりつつある．しかしながら，それらの観光情報は必

そこで我々は，客観的なデータ収集に基づき，観光中のずしも個々の観光客の体感（感情・満足度など）を反映し観光客の心理状態を推定する手法を検討している．本研究では，観光客の心理状態が観光中の無意識的な仕草，例え

1
2
3
4
5
a)

奈良先端科学技術大学院大学
Nara Institute of Science and Technology
理化学研究所 革新知能統合研究センター（AIP）
RIKEN Center for Advanced Intelligence Project (AIP)
Ulm University
九州大学， Kyushu University
JST さきがけ，JST Presto
yukimat.jp@gmail.com

c 2019 Information Processing Society of Japan⃝ば頭や体の動きや表情や声色といった形で現れると仮定し，その仕草を計測，分析することで観光客の心理状態を推定できるのではないかと考えている．これまでの我々の研究では，図 1 に示すワークフローに沿い，複数のウェ
アラブルデバイス（アイトラッカー，モーションセンサ）

ステップ１： 観光地の空間的分割

音声データを基に感情推定を行う研究も取り組まれてい

ン

地点 B

地点 C

る [12], [13]．近年では，音声対話による機器の操作などが現実的なものとなってきており，観光を含むより多くの

セ

ッ

シ

ョ

スポット②

場面において音声の利用が期待できる．しかしながら，音

スポット③

スポット①

S

G

地点 A

地点 D

地点 X

地点 B

地点 C

地点 X

究 [15], [16] も行われている他，それらを複数組み合わせ

ラベリング

たマルチモーダルな推定手法も検討されている．

スマホ

時間

観光動作センシング
自撮り動画収集内的状態ラベリング

セッション２

セッション N

自撮り動画

心理状態推定モデル

観光中の無意識的仕草

ることが明らかとなっている [17], [18], [19]．本研究では，観光中の観光客が知らず知らずのうちに取っている「仕ステップ 3： 心理状態推定モデルの構築

眼球運動

しかしながら，センシングに基づく感情認識の研究においては，国籍によって感情表現の形態が異なる可能性があセッション 1

頭部・身体運動ることによる感情推定手法が提案されている [14]．また，
視線や身体の動きのセンシングに基づく感情推定を行う研

自撮り
デバイス

外環境におけるノイズの影響も大きい．そこで，対話シス
テムを介して収集した音声に加え映像データを組み合わせステップ 2： 観光行動センシング・ラベリング
地点 A

声データだけに基づく感情推定では精度に問題があり，屋草」に注目した感情を含む心理状態推定を目指しているた
心理状態ラベルめ [5]，こうした国籍などの観光客が持つ属性が推定へ影響70%を及ぼすと考えられる．以降では，観光中の感情・満足度
満足度

感情状態

RQ: 観光客属性のモデルに与える影響は ...?

図 1 観光客の心理状態推定ワークフローと本稿の仮説

推定モデルへの国籍の違いが与える影響について統計的な分析を行う．

3. 観光中の仕草データと心理状態ラベル
本章では，本研究において観光客の心理状態の推定モデおよびスマートフォン（カメラ）を用いて観光中に観光客ルを構築するために用いてきた，センシングにより収集すが無意識的に取る「仕草」をセンシングし，観光スポット

る「観光中の仕草データ」，および観光客の手入力により収（セッション）ごとに心理状態を推定する手法を提案して集する「心理状態ラベル」について概説する．

いる [5], [6], [7], [8], [9], [10]．

図 2 はデータ収集を行った 2 つの観光地（ドイツ・ウ

心理状態推定モデルの性能を検証するため，異なる特性

ルム，日本・奈良県）における，観光ルートおよび各セッをもつ 2 つの観光地（ドイツ・ウルム，日本・奈良）におション（観光スポット）の概要を示している．ウルムの観

いて，計 22 名の被験者に協力してもらい観光実験を行っ

光ルートは，都市の中心部を巡る全長約 1.5 km のルートたところ，国籍，性格や性別といった観光客属性の違いがとなっており，ウルム大聖堂のような歴史的な建造物やク推定モデルの精度に影響を与える可能性が示唆された [5]．

リスマスマーケットのようなイベント会場がある．奈良のそこで本稿では，こうした観光客属性のうち特に国籍に注

観光ルートは，郊外にある奈良公園エリアを巡る全長 2 km

目し，観光中の感情・満足度推定モデルにどのような影響のルートとなっており，東大寺をはじめとする歴史的建造を与えるかについて統計的な分析を行った．観光客の国籍物が数多く点在するとともに，自然や野生動物の生息地とと推定モデル構築に使用した特徴量における 2 要因の分散も隣接した地域となっている．

分析を行った結果，感情推定においては，特徴量の差によ

我々は，合計 22 名の被験者（日本人 12 名・ロシア人 10る影響（主効果），および国籍・特徴量の交互作用（相殺作

名，22〜31 歳，男性 17 名・女性 5 名）に観光を依頼し，ド用）が，満足度推定においては，国籍の差による影響（主イツにおいて 17 名の被験者から 143 セッション，日本に効果）が認められた．

おいて 5 名の被験者から 40 セッション，合計で 183 セッ

2. 関連研究
アンケートなどの直接的な調査に依存しない，客観的なション（約 25 時間分）のデータを収集した．
以降の節では，収集する仕草データおよび心理状態ラベ
ルについて説明する．

心理状態データの収集手法センシングが議論されている．

Resch らは，リストバンド型のウェアラブルデバイスか

3.1 収集する仕草データと特徴量

らユーザの身体運動，ソーシャルメディアから収集される

観光中の観光客のセンシングに基づき，収集される仕草

データを用いた感情収集システム（Urban Emotions）を

データおよび導出される特徴量について述べる．本研究で提案している [11]．また，対話システムを介して収集したは，仕草データとして次の 3 種類のセンサデータを用いる．

c 2019 Information Processing Society of Japan⃝セッション U2

セッション U1

ウルム大聖堂クリスマスマーケット

セッション N4

東大寺鐘楼

Ulmer Münster

Ulmer Weihnachtsmarkt

セッション U0

セッション N5

法華堂
エリア

セッション N3

基準セッション

東大寺

Neutral Session

セッション N2

GOAL

START

鏡池

セッション U3

ウルム市庁舎Ulmer Rathaus

セッション U4

ウルム市図書館

セッション N1

南大門

Stadtbibliothek Ulm

セッション U8

漁師地区

セッション U6

市壁 Stadtmauer

Fischerviertel

セッション N6
セッション N7

三社託宣池

セッション U5

肉屋の塔

Metzgerturm

奈良公園
エリア

セッション N0

基準セッション
セッション U7

START

傾いた家

GOAL

Schiefes Haus

ラベリング地点

U0
U1
U2
U3
U4
U5
U6
U7
U8

© OpenStreetMap contributors

100 m

広場へ続く路地
市場広場にクリスマスシーズン限定の露店が立ち並ぶエリア
世界一の高さを誇る塔を有する大聖堂
外壁一面にフレスコ画が描かれた市庁舎
全面ガラス張りのピラミッド型図書館
ドナウ川のほとりに立ち，北西に 3 度傾いている塔
ドナウ川に面した遊歩道になっている，かつての防壁
小川に向かって世界ー傾いている家，ギネスにも載っている
おしゃれな家が立ち並ぶ漁師町の一角(a) ドイツ・ウルムにおける観光ルート

ラベリング地点

N0
N1
N2
N3
N4
N5
N6
N7

© OpenStreetMap contributors

100 m

南大門へ続く参道
東大寺南に位置する 25.46m の高さの大きな門
東大寺中門の側にある池，池の中央に小さな神殿が祀られている
14.7m の奈良の大仏が祀られている寺院
日本三大名鐘の国宝である梵鐘
小さな商店や，法華堂などのお寺が複数点在するエリア
広い野原がある公園，鹿が多く生息する．
団体写真の背景となる小さな池，睡神社が側に位置する(b) 日本・奈良における観光ルート

図 2 仕草データと心理状態ラベル収集に用いた観光地の概要

表 1 観光中の仕草データから導出される特徴量
種類

特徴の概要
眼球運動の強度（平均）眼球運動

眼球・視線の動きは感情認識の指標として観光領域にも適眼球運動の統計量（平均・標準偏差）用可能と考えられる．本研究では，Pupil Labs アイトラッ※ 時間窓（1, 5, 10, 20, 60, 120, 180, 240 秒）での統計量を算出

カー [25] を用いて，観光中の観光客の眼球運動をセンシン

上方向に動かす際の時間間隔（平均・標準偏差）※ 右・左・下方向についても同様

1 秒間あたりの上下方向に動かした回数グする．
■ 頭部・身体運動
観光は体の動きを伴うものであるため，観光中の心理

上下方向に動かす際の時間間隔（平均・標準偏差）

状態推定に有用と考えられる．我々は，頭部に装着した

上下方向に動かす動作の強度（平均・標準偏差）

SenStick マルチセンサボード [26] を用いて，観光中の観※ 左右方向についても同様

1 秒間あたりの上下左右方向に動かした回数
1 秒間あたりの歩数
身体運動

観光客は多くの情報を視覚を通して取得することから，
自然と興味・関心を反映すると考えられる．このことから，※ どの程度正対状態から外側に眼球を動かしたかを表す

1 秒間あたりの上方向に動かした回数

頭部運動■ 眼球運動

1 歩ごとの時間間隔（平均・標準偏差）

光客の頭部・身体運動をセンシングする．
■ 自撮り動画（音声・映像）
観光中に観光客は写真や動画を撮影することが考えら

歩行動作の強度（平均・標準偏差）れる．また，SNS の浸透に伴い自撮り写真・動画（セル

動画
（音声）

Low-level descriptors（LLDs）

フィー）についても，撮影されることが増えてきた．こう※ openSMILE [20] を使用し抽出可能な 65 種類の LLD を使用した写真・動画のデータはこれまでも多く心理状態推定に

動画
（映像）

Action Units（AUs）[21], [22]※ OpenFace [23], [24] を使用し抽出可能な AU（01, 02, 04, 05,
06, 07, 09, 10, 12, 14, 15, 17, 20, 23, 25, 26, 28, 45）を使用

用いられてきていることから，観光領域にも適用することができると考えられる．本研究では，スマートフォンを用いて撮影した自撮り動画を使用する．

c 2019 Information Processing Society of Japan⃝さらに，これら 3 種類のセンサデータを処理することに

ACTIVE / AROUS
AROUSED

より，モデル構築のための特徴量を表 1 に示すとおり導出⑧⑦

する．これらの導出過程については，著者らのこれまでのAngry

研究論文 [5] にて詳述している．

AlarmedAfraidArousedExcitedAnnoyed⓪

Distressed
Arousal

3.2 心理状態ラベル

Frustrated

⑥

Happy

本研究の正解データとなる心理状態ラベルは，各セッ

感情状態

PleasedDissatisfied

状態として満足度と感情状態の 2 つの指標を用いる．以下⑤

POSITIVE

NeutralDisappointed

ションへの手入力に基づいて収集する．本研究では，心理にそれぞれの詳細を示す．

Valence

Distrustful

NEGATIVE

ションの終了時に観光客によるスマートフォンアプリケー

Delighted③①

Depressed

心理状態をカテゴリーとして表現する指標でRelaxedRelaxed
Calm
Calm

Bored

ある．本研究では，Russell らが定義している，感④

情状態を Valence（Positive/Negative） と Arousal②

Tired Sleepy

PASSIVE / CALM

（Active/Passive） の 2 軸で表現する空間モデル [27]（図 3）を採用している．我々は，感情状態モデルの空間的位置に基づき，感情状態を次に示す 3 グループ・

9 カテゴリへと分割した．
Positive

Excited (0), Happy/Pleased (1),Calm/Relaxed (2)NeutralNeutral (3)Negative

Sleepy/Tired (4), Bored/Depressed (5),Disappointed (6),Distressed/Frustrated (7),Afraid/Alarmed (8)満足度

心理状態を数値として表現する指標である．本研

究では，国土交通省の観光満足度調査に用いられてい図 3 感情状態の 2 次元空間モデル [27], [28], [29]表 2 全観光客群のデータを用いた推定モデルの評価結果
推定モデル構築に使用した特徴量
眼球運動

感情状態
（UAR）

満足度
（MAE）

Avg.

SD

Avg.

SD

0.432

0.073

1.124

0.178

頭部・身体運動

0.428

0.070

1.187

0.170

眼球＋頭部・身体運動

0.496

0.130

1.171

0.188

自撮り動画（音声）

0.410

0.069

1.124

0.154

自撮り動画（映像）

0.404

0.092

1.101

0.155

自撮り動画（音声＋映像）

0.431

0.098

1.108

0.165

特徴量レベル結合

0.465

0.097

1.204

0.195

モデルレベル結合

0.485

0.098

1.076

0.134

る*1 ，7 段階リッカート尺度を採用している．観光客
は 0（不満足）〜 6（満足） の間から現在の心理状態

い，満足度推定の評価指標としては，mean absolute errorを選択することができる．なお，平常時（観光開始前）（以降，MAE）を用いた．なお，表 2 の各行はモデルを構の心理状態は 3 として表現される．

築する際に使用する特徴量ごとの評価結果を示している．
また，「特徴量レベル融合」は，全ての特徴量を用いてひと

4. 観光客属性の影響分析：国籍に着目して本章では，観光客属性，特に「国籍」に着目し，前述のつのモデルを構築する融合方法，「モデルレベル融合」は，各特徴量を用いて構築したモデルによる推定値を線形的にデータ・ラベルを用いて構築した感情・満足度推定モデル

結合し最終的な推定結果を得る融合方法である [5]．表 2

への影響を分析する．

から，感情については約 50%の UAR，満足度については
約 1.1 の MAE での推定が可能であることが示されている．

4.1 推定モデルと評価結果の概要
前述の観光客の仕草データおよび心理状態ラベルを用いることにより，観光客の心理状態（感情・満足度）推定モデルを構築した．感情推定モデルについては，Positive・

Neutral・Negative の 3 クラス分類モデルを構築し，満足度推定モデルについては，0〜6 の範囲における回帰モデルを構築した．構築したモデルを評価した結果を表 2 に示
す．評価指標としては，心理状態ラベル数が均一でないことを考慮し unweighted average recall（以降，UAR）を用*1

https://www.mlit.go.jp/common/000126596.pdf

c 2019 Information Processing Society of Japan⃝

本実験は日本人・ロシア人の 2 つ国籍を持つ被験者が含まれている．国籍群別に推定モデルを構築し評価した結果を表 3 に示す．感情推定の評価結果から最も UAR が高い
特徴量が異なること，また，満足度推定の評価結果から頭部・身体運動を除き日本人の MAE が低くなっていることが見て取れる．

4.2 統計的な分析
表 3 において見られる結果の差異が，統計的に有意であるかどうかを確認するため，２要因の分散分析（Two-way
ANOVA）を用いた分析を行う．

表 3 観光客の国籍群別のデータを用いた推定モデルの評価結果
感情状態（UAR）

推定モデル構築に使用した特徴量

日本人
Avg.
SD

ロシア人
Avg.
SD

日本人
Avg.
SD

ロシア人
Avg.
SD

眼球運動

0.438

0.086

0.426

0.061

1.001

0.142

1.248

0.114

頭部・身体運動

0.417

0.082

0.438

0.056

1.198

0.228

1.176

0.093

眼球＋頭部・身体運動

0.415

0.067

0.576

0.129

1.093

0.237

1.249

0.071

自撮り動画（音声）

0.447

0.069

0.372

0.048

1.032

0.098

1.217

0.146

自撮り動画（映像）

0.463

0.098

0.346

0.027

1.019

0.110

1.184

0.152

自撮り動画（音声＋映像）

0.445

0.092

0.417

0.106

1.014

0.106

1.201

0.164

特徴量レベル結合

0.423

0.048

0.507

0.117

1.124

0.239

1.285

0.095

モデルレベル結合

0.473

0.064

0.496

0.125

0.995

0.103

1.157

0.112

0.60

Unweighted average recall (UAR) [%]満足度（MAE）

推定モデル構築に使用した特徴量
眼球運動

0.55

頭部・身体運動
眼球＋頭部・身体運動

0.50

自撮り動画（音声）
自撮り動画（映像）
自撮り動画（音声＋映像）

0.45

特徴量レベル結合
モデルレベル結合

0.40

0.35
日本人

ロシア人

観光客の国籍図 4 推定モデル構築に用いた特徴量別の国籍・感情推定評価結果

表 4 ２要因の分散分析結果（感情推定）
平方和

自由度

F 値

p値

主効果（国籍）

0.002

1.0

0.286

0.594

主効果（特徴量）

0.162

7.0

3.208

0.003 *

交互作用

0.270

7.0

5.355

0.000 *

表 5 Tukey–Kramer 法を用いた多重比較結果（感情推定）
特徴量

平均差

下端

上端

有意差

眼球運動

-0.012-0.082

0.059

False

頭部・身体運動0.021-0.045

0.088

False

眼球＋頭部・身体運動

0.161

0.065

0.258

True

自撮り動画（音声）-0.075-0.131-0.020True

自撮り動画（映像）-0.117-0.185-0.049True

自撮り動画（音声＋映像）-0.028-0.122

0.065

False

特徴量レベル結合

0.084-0.000

0.168

False

モデルレベル結合

0.023-0.071

0.117

False

収集コストを抑えられる可能性があるとも捉えることがで■ 感情推定評価結果に関する統計分析
まず，感情推定に関する統計分析を行う．図 4 は，推定モデル構築に使用した特徴量ごとに，横軸に国籍，縦軸にUAR を取る平面へと感情推定評価結果をプロットした交互作用図である．また，表 4 は，感情推定モデルの評価結きる．例えば，ロシア人に関しては，実際に観光客の抱いている感情と表情・声色（自撮り動画）とが結びつきにく
く，対照的に眼球運動や頭部・身体運動が有用であることから，自撮り動画を収集することなく感情推定を行うことが可能であると考えられる．

果に対する２要因の分散分析を行った結果を示している．
この結果から，国籍における主効果は見られなかったが，■ 満足度推定評価結果に関する統計分析

特徴量における主効果が見られることが明らかとなった．

図 5 は，推定モデル構築に使用した特徴量ごとに，横軸

さらに，国籍・特徴量における交互作用が認められたことに国籍，縦軸に UAR を取る平面へと満足度推定評価結果

から，国籍における主効果は，交互作用によって相殺されをプロットした交互作用図である．また表 6 は，満足度推ている（相殺作用が働いている）と解釈することができる．

定モデルの評価結果に対する２要因の分散分析を行った結

表 4 において，交互作用が認められたため，全群に対し果を示している．

て Tukey-Kramer 法による多重比較を行い詳細に分析す

この結果から，感情推定の場合とは異なり，特徴量におる．分析における Family Wise Error Rate（FWER）は5% に設定した．表 5 は多重比較の結果を示している．こける主効果は見られなかったが，国籍における主効果がの結果から，眼球＋頭部・身体運動，自撮り動画（音声），ける交互作用については認められなかった．このことは，

自撮り動画（映像）の特徴量を用いて推定モデルを構築し

図 5 において頭部・身体運動の場合を除く全ての特徴量のた場合において，国籍群間の統計的有意差が認められた．

傾向からも見て取れる．

見られることが明らかとなった．また，国籍・特徴量にお以上より，感情推定モデルの性能を向上させるためには，

以上より，日本人と比較してロシア人の満足度は推定す

使用する特徴量を国籍別に選択してモデルを構築する必要

ることが難しいことが統計的に明らかとなった．推定性能があることが示唆された．これは視点を変えると，データを向上させるためには，特徴量の抽出方法を改良すること

c 2019 Information Processing Society of Japan⃝

推定モデル構築に使用した特徴量

Mean absolute error (MAE)

1.30
1.25

眼球運動
頭部・身体運動

響を与えるかについて統計的な分析を行った．観光客の国

眼球＋頭部・身体運動

1.20

自撮り動画（音声）

1.15

自撮り動画（映像）1.10

特徴量レベル結合

自撮り動画（音声＋映像）

モデルレベル結合

1.05

そこで本稿では，こうした観光客属性のうち特に国籍に注目し，観光中の感情・満足度推定モデルにどのような影籍と推定モデル構築に使用した特徴量における 2 要因の分散分析を行ったところ，感情推定においては，特徴量の差による影響（主効果），および国籍・特徴量の交互作用（相殺作用）が，満足度推定においては，国籍の差による影響（主効果）が認められた．
今後は，他の観光客属性（性別，年齢，性格，嗜好など）の側面から，推定モデルへの影響を調査すると共に，より

1.00

簡易的な方法に基づく手法の検討および，心理状態推定性
日本人

ロシア人

能の向上を目指す．

観光客の国籍図 5 推定モデル構築に用いた特徴量別の国籍・満足度推定評価結果

参考文献
[1]

表 6 ２要因の分散分析結果（満足度推定）
平方和

自由度

F 値

p値

主効果（国籍）

0.964

1.0

44.2040.000 *

主効果（特徴量）

0.287

7.0

1.883

0.076

交互作用

0.209

7.0

1.367

0.223

[2]
[3]

[4]

や，他の特徴量の採用を検討する必要があると考えられる．
また，感情推定の場合とは異なり，特徴量におけるモデルの性能差は認められないという結果が得られたため，収集[5]するコストが高い特徴量（例えば，眼球運動は PC に接続したアイトラッカーを装着する必要がある）を除外し，より簡易な推定を実現できる可能性がある．
[6]

4.3 その他の影響要因についての考察
本稿では，観光客属性として「国籍」に着目した分析を行ったが，我々は他にも推定モデルに影響を与える観光客
属性が存在すると考えている．
例えば，一般的な人の属性（性別，年齢など）や，観[7]

光スポット推薦手法に用いられる性格（Travel Personal-

ity [30]，Big Five Factor [31] など）や嗜好 [32] といった観光客属性は，今後の分析で影響を調査する必要がある．
また，観光中の仕草は，観光地そのものの影響を受ける可能性がある．今回はドイツと日本の 2 つの異なる観光地を用いて実験を行ったが，今後の分析では，観光地の種類[8]を増加させた上で，分析を行う．

5. おわりに本研究では，観光客の心理状態が観光中の無意識的な仕[9]草，例えば頭や体の動きや表情や声色といった形で現れると仮定し，その仕草を計測，分析することで観光中の観光
客の心理状態を推定する手法の実現を目指している．構築した心理状態推定モデルの評価を通じて，国籍，性格や性別といった観光客属性の違いが推定モデルの精度に影響を与える可能性が示唆された．

c 2019 Information Processing Society of Japan⃝[10]

Tripadvisor. http://www.tripadvisor.com/. (accessed 10 May 2019).
Yelp. https://www.yelp.com/. (accessed 10 May2019).
Joaquín Alegre and Jaume Garau. Tourist satisfaction and dissatisfaction. Annals of Tourism Research,
Vol. 37, No. 1, pp. 52–73, 2010.
Ching F. Chen and Fu S. Chen. Experience quality,
perceived value, satisfaction and behavioral intentions
for heritage tourists. Tourism Management, Vol. 31,
No. 1, pp. 29–35, 2010.
Yuki Matsuda, Dmitrii Fedotov, Yuta Takahashi,
Yutaka Arakawa, Keiichi Yasumoto, and Wolfgang
Minker. EmoTour: Estimating emotion and satisfaction of users based on behavioral cues and audiovisual
data. Sensors, Vol. 18, No. 11, 2018.
Dmitrii Fedotov, Yuki Matsuda, Yuta Takahashi,
Yutaka Arakawa, Keiichi Yasumoto, and Wolfgang
Minker. Towards real-time contextual touristic emotion and satisfaction estimation with wearable devices.
2019 IEEE International Conference on Pervasive
Computing and Communications Workshops (PerCom
Workshops ’19), pp. 358–360, 2019.
Yuki Matsuda, Dmitrii Fedotov, Yuta Takahashi,
Yutaka Arakawa, Keiichi Yasumoto, and Wolfgang
Minker. Emotour: Multimodal emotion recognition
using physiological and audio-visual features. Proceedings of the 2018 ACM International Joint Conference
and 2018 International Symposium on Pervasive andUbiquitous Computing and Wearable Computers (UbiComp ’18), pp. 946–951, 2018.
Dmitrii Fedotov, Yuki Matsuda, Yuta Takahashi,
Yutaka Arakawa, Keiichi Yasumoto, and Wolfgang
Minker. Towards estimating emotions and satisfactionlevel of tourist based on eye gaze and head movement.
Proceedings of The Fourth IEEE Conference on Smart
Computing (SMARTCOMP ’18), pp. 399–404, 2018.
Yuki Matsuda, Dmitrii Fedotov, Yuta Takahashi,
Yutaka Arakawa, Keiichi Yasumoto, and Wolfgang
Minker. Estimating user satisfaction impact in cities
using physical reaction sensing and multimodal dialogue system. The Ninth International Workshop on
Spoken Dialog System Technology (IWSDS ’18), pp.
1–6, 2018.
高橋雄太, 松田裕貴, Dmitrii Fedotov, 荒川豊, Wolfgang
Minker, 安本慶一. 観光中の内的状態推定に向けた観光客の無意識的しぐさの分析. 電子情報通信学会技術研究報告, ヒューマンプローブ研究会（HPB）, 2018.

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]

[22]

[23]

[24]

Bernd Resch, Anja Summa, Günther Sagl, Peter
Zeile, and Jan-Philipp Exner. Urban emotions – geosemantic emotion extraction from technical sensors,
human sensors and crowdsourced data. In Progress in
Location-Based Services 2014, pp. 199–212, 11 2014.
Heysem Kaya, Alexey A. Karpov, and Albert Ali
Salah. Robust acoustic emotion recognition basedon cascaded normalization and extreme learning machines. In Advances in Neural Networks - ISNN 2016,
pp. 115–123, 2016.
Wei Y. Quck, Dong Y. Huang, Weisi Lin, Haizhou Li,
and Minghui Dong. Mobile acoustic emotion recognition. In 2016 IEEE Region 10 Conference (TENCON),
pp. 170–174, Nov 2016.
Panagiotis Tzirakis, George Trigeorgis, Mihalis A
Nicolaou, Björn W Schuller, and Stefanos Zafeiriou.
End-to-end multimodal emotion recognition using
deep neural networks. IEEE Journal of Selected Topics in Signal Processing, Vol. 11, No. 8, pp. 1301–1309,
2017.
Wei L. Zheng, Bo N. Dong, and Bao L. Lu. Multimodal emotion recognition using eeg and eye tracking
data. In 2014 36th Annual International Conferenceof the IEEE Engineering in Medicine and Biology Society, pp. 5040–5043, Aug 2014.
Zhan Zhang, Yufei Song, Liqing Cui, Xiaoqian Liu,and Tingshao Zhu. Emotion recognition based on
customized smart bracelet with built-in accelerometer. PeerJ, Vol. 4, p. e2258, 2016.
Jennifer Tehan Stanley, Xin Zhang, Helene H Fung,and Derek M Isaacowitz. Cultural diﬀerences in gazeand emotion recognition: Americans contrast morethan chinese. Emotion, Vol. 13, No. 1, pp. 36–46,
February 2013.
Louisa Pragst, Stefan Ultes, Matthias Kraus, and
Wolfgang Minker. Adaptive dialogue management in
the kristina project for multicultural health care applications. In Proceedings of the 19th Workshop on the
Semantics and Pragmatics of Dialogue (SEMDIAL),
pp. 202–203, 2015.
Juliana Miehle, Wolfgang Minker, and Stefan Ultes.
What causes the diﬀerences in communication styles?
a multicultural study on directness and elaborateness. In Proceedings of the Eleventh International
Conference on Language Resources and Evaluation(LREC 2018). European Language Resources Association (ELRA), May 2018.
Florian Eyben, Martin Wöllmer, and Björn W.
Schuller. Opensmile: the munich versatile and fast
open-source audio feature extractor. In Proceedings ofthe 18th ACM International Conference on Multimedia, MM ’10, pp. 1459–1462. ACM, 2010.
Paul Ekman and Erika L Rosenberg. What the face reveals: Basic and applied studies of spontaneous expression using the Facial Action Coding System (FACS).
Oxford University Press, USA, 1997.
Paul Ekman and Wallace V Friesen. Manual for thefacial action coding system. Consulting Psychologists
Press, 1978.
Tadas Baltrušaitis. Openface. https://github.com/
TadasBaltrusaitis/OpenFace, 2017. (accessed 10
May 2019).
Tadas Baltrušaitis, Peter Robinson, and Louis P.

c 2019 Information Processing Society of Japan
⃝

[25]

[26]

[27]

[28]

[29]

[30]

[31]

[32]

Morency. Openface: An open source facial behavior
analysis toolkit. In 2016 IEEE Winter Conference on
Applications of Computer Vision (WACV), pp. 1–10,
March 2016.
Moritz Kassner, William Patera, and Andreas Bulling.
Pupil: An open source platform for pervasive eye
tracking and mobile gaze-based interaction. In Proceedings of the 2014 ACM International Joint Conference on Pervasive and Ubiquitous Computing: Adjunct Publication, UbiComp ’14 Adjunct, pp. 1151–
1160, 2014.
Yugo Nakamura, Yutaka Arakawa, Takuya Kanehira,
Masashi Fujiwara, and Keiichi Yasumoto. Senstick:Comprehensive sensing platform with an ultra tiny
all-in-one sensor board for iot research. Journal of
Sensors, Vol. 2017, , 2017.
James A. Russell. A circumplex model of aﬀect. Journal of personality and social psychology, Vol. 39, No. 6,
pp. 1161–1178, 1980.
Georgios Paltoglou and Michael Thelwall. Seeing starsof valence and arousal in blog posts. IEEE Transactions on Aﬀective Computing, Vol. 4, No. 1, pp. 116–
123, Jan. 2013.
Klaus R. Scherer. What are emotions? and how
can they be measured? Social Science Information,
Vol. 44, No. 4, pp. 695–729, 2005.
Dev Jani. Relating travel personality to big five factorsof personality. Turizam: međunarodni znanstvenostručni časopis, Vol. 62, No. 4, pp. 347–359, 2014.
Samuel D Gosling, Peter J Rentfrow, and William B
Swann Jr. A very brief measure of the big-five personality domains. Journal of Research in personality,
Vol. 37, No. 6, pp. 504–528, 2003.
Masato Hidaka, Yuki Matsuda, Shogo Kawanaka,
Yugo Nakamura, Manato Fujimoto, Yutaka Arakawa,
and Keiichi Yasumoto. A system for collecting and curating sightseeing information toward satisfactory tour
plan creation. The Second International Workshop on
Smart Sensing Systems (IWSSS ’17), 2017.