情報処理学会研究報告
IPSJ SIG Technical Report

天気を考慮した観光中の感情状態推定手法の検討
林 涼弥1,a)

松田 裕貴1,2,3

藤本 まなと1,2

諏訪 博彦1,2

安本 慶一1,2

概要：観光客に質の高い観光情報支援を行うスマートツーリズムが誕生しつつあるが，こうした観光情報
は必ずしも個々の観光客の体感を反映したものではない．より有益な観光情報を提供するには，個々の観
光客の感情や満足度といった心理状態を認識する必要がある．これまで，その心理状態が観光中のしぐさ（頭部運動，身体運動，表情，声色）として現れると仮定し，その動きを計測，分析することで，心理状態を推定する手法を検討してきた．本稿では，その内的状態が観光中の気象状況にも影響されると仮定し，気象状況の影響を考慮した観光客の感情状態の推定モデルの構築を行った．評価の結果，気象状況（気温・湿度・気圧）の特徴量を加えることによって，感情推定モデルの精度が向上されることを確認した．
キーワード：観光，感情推定，モバイルセンシング，ウェアラブルデバイス，IoT，天気

1. はじめに❶ 観光行動センシング & ラベリング
地点 A

スマートフォンの普及やセンサ技術の進歩により，リア
ルタイムな都市環境情報（混雑度，渋滞状況など）が，い
つでもどこでも取得できるようになった．こうした技術進歩を背景に，観光分野では，観光客に質の高い観光情報支援を行うスマートツーリズムが誕生しつつある．しかし，これらの観光情報は必ずしも個々の観光客の感情状態や満個々の観光客の感情や満足度といった内的状態を考慮する

観光
スポット
②

地点 C

ラベリング

スマホ

時間

観光動作センシング
自撮り動画収集内的状態ラベリング

セッション 1

セッション２

ザレビューやアンケート調査などが依然として主流であセッション N

❷ 心理状態推定モデルの構築
気象状況

観光中の無意識的仕草必要があると考えられる．
一般に観光客の感情や満足度を収集する方法は，ユー

地点 X

頭部・身体運動

眼球運動

自撮り動画

温湿度・気圧心理状態推定モデル

れる．そのため，より質の高い観光情報支援を行うには，

地点 B

自撮り
デバイス

足度を反映したものではない．観光地で抱く感情や満足度
は，観光客の性格や趣味嗜好によって異なることが想定さ

観光
スポット
①

心理状態ラベル

感情状態

仮説 : 観光中の環境（気象状況）は心理状態に影響するのでは？

る [1], [2], [3], [4]．しかし，これらの方法では，レビュー
投稿の動機付けが難しく，情報収集の偏りが生じやすいこ

図 1: 観光客の心理状態推定ワークフローとや心理的バイアスの影響を無視できない．
そこで本研究では，客観的なデータに基づいた観光中の定し，その動きを計測，分析することで，観光客の心理状

観光客の心理状態を推定する手法を検討している．これま態を推定する手法を検討してきた．具体的には，図 1 にでの研究では，観光客の心理状態が観光中の無意識的な仕示すように，複数のウェアラブルデバイス（アイトラッ

草（頭部運動，身体運動，表情，声色）として現れると仮カー，モーションセンサ）およびスマートフォン（カメラ）を用いて観光客の「仕草」をセンシングして，観光スポッ

1

2

3

a)

奈良先端科学技術大学院大学
Nara Institute of Science and Technology
理化学研究所革新知能統合研究センター（AIP）
RIKEN Center for Advanced Intelligence Project (AIP)
国立研究開発法人科学技術振興機構 さきがけ
JST PRESTO
hayashi.ryoya.ho3@is.naist.jp

c 1959 Information Processing Society of Japan⃝ト（セッション）ごとに心理状態を推定する手法を提案している [5], [6]．さらに，本モデルを利用した被験者実験によって得られたデータの分析を行ったところ，国籍や性格，
性別などの観光客属性の違いが，モデルの精度に影響を与えることが明らかとなっている [7]．

1情報処理学会研究報告
IPSJ SIG Technical Report

本稿では，観光中に観光客が抱く感情は，観光中の無意
識的な仕草だけでなく，特に観光中の観光地の気温や湿度，

S

セッション１（祇園商店街）セッション４（八坂神社）

セッション５（円山公園）

気圧などの気象状況にも影響されるのではないか？と仮定し（図 1），気象状況を特徴量として組み込んだ感情状態推定するモデル（Positive・Negative・Neutral の 3 クラス

セッション２（花見小路通）セッション 6
（ねねの道）

分類モデル）の構築を行った．構築したモデルに対し，京セッション３（花見小路通南端〜八坂神社）

都府京都市（祇園・東山エリア）を観光した被験者 24 名

セッション 7
（高台寺）のデータを用いて性能評価した結果，UAR（Unweighted
セッション８（石塀小路）

Average Recall）が，これまでのモデルを適用した場合では 42.3%であったのに対し，観光中の気象状況をモデルにセッション 9（八坂の塔）

加えた場合には 45.6%と，気象状況を考慮ことによって推セッション 10
（二寧坂・産寧坂）

定精度が向上する可能性が確認された．

2. 関連研究
心理状態のデータを収集する手法は，アンケート調査が一般的である．しかし，アンケート調査は必ずしも回答者

普通道

観光地

観光道

自然地

© OpenStreetMap contributors
Tile: Humanitarian map style

セッション 11
（清水寺）

G’

100m
500ft

図 2: 観光ルート（京都市）の地図が正確に回答するとは限らず，データの信憑性に欠ける．
そこで，客観的で信憑性の高い心理状態データを収集するための，センシングによる収集手法が議論されている．

表 1: 観光ルート（京都市）のセッション概要
セッション

属性

名称

1

普通道

祇園商店街

2

観光道

花見小路通

収集されるデータを用いた感情収集システム（Urban

3

普通道

花見小路通南端〜八坂神社

Emotions）を提案している．

4

観光地

八坂神社

音声データに基づいた感情推定に関する研究も取り組ま

5

自然地

円山公園

れている [9], [10]．しかし，音声データに基づく感情推定

6

観光道

ねねの道

7

観光地

高台寺

8

観光道

石塀小路

9

観光地

八坂の塔

映像データを組み合わせて感情推定を行う手法が提案され

10

観光道

二寧坂・産寧坂ている [11]．また，視線や身体の動きをセンシングするこ

11

観光地

清水寺

Resch ら [8] は，リストバンド型のウェアラブル端末を利用して，ユーザの身体運動と，ソーシャルメディアからは現段階で精度に問題があり，特に屋外環境での利用はノイズの影響が無視できない．そこで，音声データに加え，とで感情を推定する研究 [12], [13] も行われている．
センシングによる感情推定の研究においては，国籍

府京都市（祇園・東山エリア）における，観光ルートおよによって感情表現の形が異なる可能性が報告されていび各セッションの概要を示している．本観光実験では，合る [14], [15], [16]．これまでに我々は，観光客の国籍の違い

計 24 名の被験者（22〜37 歳，男性 20 名・女性 4 名）にが，提案する感情・満足度推定モデルに影響を与える可能

観光を依頼し，1 人あたり 11 セッション（約 2 時間），合性を確認している [7]．

計で 264 セッション（約 48 時間分）のデータを収集した．

人間の気分と天候の関係についても，多くの研究が報告

なお，本実験の被験者は，日本人 8 名，ベトナム人 3 名，されている．Howarth ら [17] は，日照時間が多いほど不安ロシア人 3 名，タイ人 2 名，中国人 2 名，フィリピン人 2が減ったり，湿度が高いほど集中力が低下する傾向が見ら

名，インドネシア人 1 名，タンザニア人 1 名，ネパール人れることを確認している．また，Klimstra らは，天候と気

1 名，バングラデシュ人 1 名であり，多種多様な国籍が存

分の関係性には個人差があり，例えば雨の日に気分が落ち在する．収集するデータおよび心理状態ラベルの詳細につ込む人もいれば，気分は天候によって影響しない人もいる

いて以降の節で説明する．

ことが報告されている [18]．

3. センシングデータと心理状態ラベル

3.1 収集データと特徴量
本節では，心理状態推定モデルの構築に利用する観光客

観光客の心理状態推定モデルを構築するため，利用するの各種センシングデータについてそれぞれ概説する．ま

観光中の観光客の各種センシングデータ，および心理状態

た，特徴量については，それぞれ表 2 に示すように導出さラベルについて，本章で説明する．

れる．なお，眼球・頭部・身体運動および音声・映像デー

図 2 および表 1 は，データ収集を行った観光地の京都

c 1959 Information Processing Society of Japan⃝タについては過去の論文において特徴量抽出手法を提案し

2

情報処理学会研究報告
IPSJ SIG Technical Report

表 2: 観光中の仕草データから導出される特徴量
種類

特徴の概要
眼球運動の強度（平均）SenStick から取得可能な気象データとして，気温・湿度・気圧を観光中の気象データとして使用する．サンプリング
周期は 5Hz である．

※ どの程度正対状態から外側に眼球を動かしたかを表す

眼球運動

眼球運動の統計量（平均・標準偏差）※ 時間窓（1, 5, 10, 20, 60, 120, 180, 240 秒）での統計量を算出

1 秒間あたりの上方向に動かした回数

頭部運動

る．感情状態は，各セッションの終了時に観光客がスマー※ 右・左・下方向についても同様

トフォンアプリケーションによって手入力してもらったも

1 秒間あたりの上下方向に動かした回数
上下方向に動かす際の時間間隔（平均・標準偏差）※ 左右方向についても同様

1 秒間あたりの上下左右方向に動かした回数
1 秒間あたりの歩数
1 歩ごとの時間間隔（平均・標準偏差）
歩行動作の強度（平均・標準偏差）
動画（音声）
動画（映像）

気象情報

本稿では，心理状態ラベルのうち「感情状態」に注目す

上方向に動かす際の時間間隔（平均・標準偏差）

上下方向に動かす動作の強度（平均・標準偏差）

身体運動

3.2 心理状態ラベル（感情状態ラベル）のを利用する．
感情状態の指標として，本研究では，Russell らが定義する感情状態を Valence（Positive/Negative）と Arousal（Active/Passive）の 2 軸で表現する空間モデル [26] を採用している．このモデルに基づき，感情状態を 3 グルー
プ・9 カテゴリに分割した：Positive グループ（Excited，

Low-level descriptors（LLDs）

Happy/Pleased，Calm/Relaxed），Neutral グループ（Neu-※ openSMILE [19] を使用し抽出可能な 65 種類の LLD を使用

tral）, Negative グループ（Sleepy/Tired，Bored/Depressed，Action Units（AUs）[20], [21]※ OpenFace [22], [23] を使用し抽出可能な AU（01, 02, 04, 05,
06, 07, 09, 10, 12, 14, 15, 17, 20, 23, 25, 26, 28, 45）を使用

気温・湿度・大気圧 [24] の統計量

Disappointed，Distressed/Frustrated，Afraid/Alarmed）．

4. 気象状態を考慮した感情状態推定（平均・標準偏差）4.1 観光時の気象データの概要ているため詳細はそちらを参照されたい [5]．本稿では，こ本研究で用いる気象データは，前述の通り，被験者の頭れまでの観光客に関するセンシングデータに加えて，環境部に装着した SenStick [24] によって収集されている．図 3

情報（気象データ）を追加の特徴量として取り上げる．

は，観光者 2 名（観光者 A，観光者 B とする）の気象デー■ 眼球運動タをそれぞれ示したものである．ここで，観光者 A は午前

観光中は多くの情報を視覚を通して取得する．そのため，眼球や視線の動きは，観光地などに対する興味・関心を反映すると考えられる．本研究では，Pupil Labs アイトラッ
カ [25] を用い，観光中の観光客の眼球運動を計測する．
■ 頭部・身体運動
観光中は頭の動きや体の動きも多い．そのため，こうした動きも観光中の心理状態を反映すると考えられる．本研
究では，頭部に装着した SenStick マルチセンサボード [24]を用いて，観光中の観光客の頭部・身体運動を計測する．
■ 自撮り動画（音声・映像）

10:00〜12:30 頃の間に，観光者 B は午後 3:00〜5:30 頃の間にそれぞれが同ルートに沿って観光している．赤線で示す
横軸は各セッションの開始のタイミングを表し，Fin は最終セッション（本観光実験ではセッション 11）の終了のタ
イミングを表している．実験においては各セッションの制
限時間などは設けず自由に観光してもらったため，所要時
間は各ユーザ・各セッションによって異なる．以降では，実際に収集された観光中の気象データ（気温，湿度，気圧）の概要を示すとともに，それらの特徴について述べる．
■ 気温データ
観光中における気温の変化を図 3a，図 3b に示す．ま近年の観光客の多くは，観光中に観光地の写真や動画をた，気象庁（JMA：Japan Meteorological Agency）による撮影する．また，SNS の普及により，自撮り写真（動画）

京都地点の温度の観測値（10 分間隔）を併せて示す．図 3aについても，撮影されることが増えた．本研究では，これに示す通り，気象庁の午前の観測値は午前 10:00 から 12:30

らの写真や動画にも，観光客の興味・関心が反映されていにかけて，約 5◦ C 上昇している．また，図 3b に示す通り，

ると考え，スマートフォンを用いて撮影した自撮り動画を

気象庁の午後の観測値は午後 3:00 から 5:30 にかけて，約使用する．

1◦ C 低下している．一方で，SenStick によって計測され■ 観光中の気象データ

た温度は，気象庁の観測値より 4〜8◦ C 程度高くなってお観光中の心理状態は，その時の気象状況にも左右されるり，気象庁の観測値から見て取れる気温の変化と一見対応と考えられる．例えば，観光中に雨が降っていると観光時していない．これは本観光実験で，温度センサが含まれるに傘をさすことにより視界が狭まり十分に観光を楽しめな

SenStick を観光者の頭部に取り付けているために，センサいことが考えられる．また，逆に天気が良く日射が多いよが観光者の体温の影響を受けやすい状態にあることが原因

うな状況下では，発汗に伴い不快感を覚えることが考えらであると考えられる．同様の原因で，体温の変化に反応しれる．本研究では，頭部・身体運動を計測する際に用いるて，温度が細かく変動している可能性が考えられる．

c 1959 Information Processing Society of Japan⃝3

情報処理学会研究報告

Temperaure [ ]IPSJ SIG Technical Report

25
20

SenStick
JMA

15
10

1

2

3

4

5

6

7
Session

8

9

10

8

9

9

10

8

9

11

Fin

Temperaure [ ](a) 午前観光者 A の温度変化

2520

SenStick
JMA

15
10

1

2

3

4

5

6
Session

7

10

11

Fin

(b) 午後観光者 B の温度変化

Humidity [%]

60
50
40

SenStick
JMA

30
20

1

2

3

4

5

6

7
Session

8

11

Fin

(c) 午前観光者 A の湿度変化

Humidity [%]

60
50
40

SenStick
JMA

30
20

1

2

3

4

5

6
Session

7

10

11

Fin

Pressure [hPa](d) 午後観光者 B の湿度変化

1020

SenStick

1015
1010

1

2

3

4

5

6

7
Session

8

9

10

8

9

11

Fin

Pressure [hPa](e) 午前観光者 A の気圧変化

1020

SenStick

1015
1010

1

2

3

4

5

6
Session

7

10

11

Fin

(f) 午後観光者 B の気圧変化

図 3: 観光中における気象情報変化

c 1959 Information Processing Society of Japan⃝4

情報処理学会研究報告
IPSJ SIG Technical Report■ 湿度データ
観光中における湿度変化を図 3c，図 3d に示す．また，

表 3: 推定モデルの評価結果
推定モデル構築に使用した特徴量

気象庁による京都地点の湿度の観測値（10 分間隔）を併せ感情状態（UAR）

眼球＋頭部＋身体運動

0.374て示す．図 3c に示す通り，気象庁の午前の観測値は午前

自撮り動画（音声＋映像）

0.411

10:00 から 12:30 にかけて，湿度はなだらかに低下してい気温・湿度・気圧

0.378

る．また，気象庁の午後の観測値は午後 3:00 から 5:30 に眼球＋頭部＋身体運動

0.381

かけて図 3d のような変化であった．温度データと同様に，＋気温・湿度・気圧

センサを頭部に取り付けているために，SenStick 計測デー

自撮り動画（音声＋映像）

タと気象庁観測値との間に差が見られると考えられる．湿0.350＋気温・湿度・気圧
眼球＋頭部＋身体運動

度の変化は特に個人差が現れており，図 3d の観光者のよ＋自撮り動画（音声＋映像）

うに，セッションの切り替わりの際に湿度が上昇する観光

眼球＋頭部＋身体運動者が確認された．本観光実験では前述の通り，セッション＋自撮り動画（音声＋映像）の切り替わりの際に，自撮り動画の撮影および心理状態ラ＋気温・湿度・気圧

0.423

0.456

ベルをスマートフォンアプリに手入力して貰うため，立ち止まってそれらの作業を行う必要がある．一般に，歩いて

4.3 感情状態推定結果

いる間や動いている間は汗をかきにくいが，立ち止まると構築した感情状態推定モデルの評価を 10 分割交差検証

皮膚の温度が上昇し汗が出やすくなるため，立ち止まったによって行う．評価指標としては，感情状態ラベル数が不際の観光者の汗に反応して，湿度が上昇している可能性が均衡であることを考慮して，Unweighted Average Recall

考えられる．

（UAR）を採用した．

■ 気圧データ

異なる特徴量の組み合わせを用い構築した各モデルの評

観光中における気圧変化を図 3e，図 3f に示す．一般に価結果を表 3 に示す．各行は，組み合わせた特徴量とそれ気圧は，標高により変化し，標高が高くなるほど気圧は低によって構築されるモデルの感情推定結果（UAR）を示し

くなる．本観光実験における特徴的な気圧の変化についてている．観光客の感情状態について，眼球＋頭部＋身体運

見ると，まず，セッション 1 からセッション 3 にかけては

動＋自撮り動画（音声＋映像）の特徴量でモデルを構築し表 1 の通り，標高差のない平坦な道なりであるため，気圧た結果，UAR が 42.3%であった．そこに，気象情報（気の変化が少ない．一方で，セッション 7 の高台寺では，前温・湿度・気圧）の特徴量を結合してモデルを構築すると，後のセッションとの間に標高差（高台寺までの階段）があ

UAR が 45.6%に向上する結果となった．

るため，それに対応した気圧の変化が確認できる．また，セッション 10 の二寧坂・産寧坂では，登り坂であるため，

5. まとめ標高が高くなるにつれて気圧が低くなっていることがわか

本研究では，観光中の観光客の無意識的な仕草（頭部運る．全体としては，祇園四条駅から清水寺にかけて登り坂

動，身体運動，表情，声色）を計測，分析することで，そや階段が多く，標高が高くなるため，観光開始から終了にの心理状態を推定することを目指している．構築した心理

かけて気圧は下がる傾向がみられる．

状態推定モデルの評価を通じて，国籍，性格や性別といっ■ 特徴量抽出た観光客属性の違いが推定モデルの精度に影響を与える可

各セッションの所要時間はそれぞれ異なるため，気象能性が示唆された．

データから導出する特徴量として統計量を採用した．今回

本稿では，観光中の環境情報に着目して，観光中の感情

は，気温，湿度，気圧に関して，各セッションごとの平均推定モデルに与える影響について調査した．観光中に観光と標準偏差をそれぞれ算出して，推定モデル構築のための客が抱く感情が，観光中の無意識的な仕草だけでなく，観特徴量とした．

光中の観光地の気温や湿度，気圧などの気象状況にも影響されると仮定し，気象状況を考慮した感情状態推定モデル

4.2 感情推定モデルの構築の構築を行った．その結果，UAR がこれまでのモデルを観光客のセンシングデータと気象データおよび感情状態

適用した場合では 42.3%であったのに対し，観光中の気象

ラベルを用いて，観光客の感情推定モデルの構築を行う．

状況をモデルに加えた場合には 45.6%と，気象状況を考慮

感情状態ラベルは Positive・Neutral・Negative の 3 つにグことによって推定精度が向上する可能性が確認された．

ループ化できるため，本稿ではこれら 3 クラスを分類する

しかし，現状では感情状態推定モデルの性能は依然とし

機械学習モデルを，ニューラルネットワークを用いて構築て低いことから，精度の改善が望まれる．今後は，他の観した．なお，学習にあたっては各特徴量は一つに統合し計

光情報や観光客属性の側面も考慮した際の推定モデルへの194 次元の特徴量ベクトルとして取り扱っている．

影響を調査し，心理状態推定モデルの性能向上を目指す．

c 1959 Information Processing Society of Japan⃝5

情報処理学会研究報告
IPSJ SIG Technical Report

謝辞

[14]

本研究の一部は，日本学術振興会科学研究費補助金（JP19K24345），および，JST さきがけ（JPMJPR2039）の助成を受けて行われたものです．

[15]

参考文献
[1]
[2]
[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

Tripadvisor. http://www.tripadvisor.com/. (accessed
25 October 2020).
Yelp. https://www.yelp.com/. (accessed 25 October2020).
Joaquı́n Alegre and Jaume Garau. Tourist satisfaction and dissatisfaction. Annals of Tourism Research,
Vol. 37, No. 1, pp. 52–73, 2010.
Ching F. Chen and Fu S. Chen. Experience quality, perceived value, satisfaction and behavioral intentions forheritage tourists. Tourism Management, Vol. 31, No. 1,
pp. 29–35, 2010.
Yuki Matsuda, Dmitrii Fedotov, Yuta Takahashi, Yutaka Arakawa, Keiichi Yasumoto, and Wolfgang Minker.
EmoTour: Estimating emotion and satisfaction of users
based on behavioral cues and audiovisual data. Sensors,
Vol. 18, No. 11, 2018.
Dmitrii Fedotov, Yuki Matsuda, Yuta Takahashi, Yutaka Arakawa, Keiichi Yasumoto, and Wolfgang Minker.
Towards real-time contextual touristic emotion andsatisfaction estimation with wearable devices. 2019
IEEE International Conference on Pervasive Computing and Communications Workshops (PerCom Workshops ’19), pp. 358–360, 2019.
Yuki Matsuda, Dmitrii Fedotov, Yutaka Arakawa, Hirohiko Suwa, Wolfgang Minker, and Keiichi Yasumoto.
Analysis of tourists’ nationality eﬀects on behavior-based
emotion and satisfaction estimation. In 4th International
Conference on Imaging, Vision & Pattern Recognition(IVPR ’20), pp. 1–7, 2020.
Bernd Resch, Anja Summa, Günther Sagl, Peter Zeile,and Jan-Philipp Exner. Urban emotions – geo-semantic
emotion extraction from technical sensors, human sensors and crowdsourced data. In Progress in LocationBased Services 2014, pp. 199–212, 11 2014.
Heysem Kaya, Alexey A. Karpov, and Albert Ali Salah.
Robust acoustic emotion recognition based on cascaded
normalization and extreme learning machines. In Advances in Neural Networks - ISNN 2016, pp. 115–123,
2016.
Wei Y. Quck, Dong Y. Huang, Weisi Lin, Haizhou Li,
and Minghui Dong. Mobile acoustic emotion recognition. In 2016 IEEE Region 10 Conference (TENCON),
pp. 170–174, Nov 2016.
Panagiotis Tzirakis, George Trigeorgis, Mihalis A Nicolaou, Björn W Schuller, and Stefanos Zafeiriou. End-toend multimodal emotion recognition using deep neuralnetworks. IEEE Journal of Selected Topics in Signal
Processing, Vol. 11, No. 8, pp. 1301–1309, 2017.
Wei L. Zheng, Bo N. Dong, and Bao L. Lu. Multimodal emotion recognition using eeg and eye tracking
data. In 2014 36th Annual International Conference of
the IEEE Engineering in Medicine and Biology Society,pp. 5040–5043, Aug 2014.
Zhan Zhang, Yufei Song, Liqing Cui, Xiaoqian Liu, andTingshao Zhu. Emotion recognition based on customized
smart bracelet with built-in accelerometer. PeerJ, Vol. 4,c 1959 Information Processing Society of Japan
⃝

[16]

[17]

[18]

[19]

[20]

[21]

[22]

[23]

[24]

[25]

[26]

p. e2258, 2016.
Jennifer Tehan Stanley, Xin Zhang, Helene H Fung, andDerek M Isaacowitz. Cultural diﬀerences in gaze andemotion recognition: Americans contrast more than chinese. Emotion, Vol. 13, No. 1, pp. 36–46, February 2013.
Louisa Pragst, Stefan Ultes, Matthias Kraus, and Wolfgang Minker. Adaptive dialogue management in the
kristina project for multicultural health care applications. In Proceedings of the 19th Workshop on the Semantics and Pragmatics of Dialogue (SEMDIAL), pp.
202–203, 2015.
Juliana Miehle, Wolfgang Minker, and Stefan Ultes.
What causes the diﬀerences in communication styles? amulticultural study on directness and elaborateness. In
Proceedings of the Eleventh International Conferenceon Language Resources and Evaluation (LREC 2018).
European Language Resources Association (ELRA),
May 2018.
Edgar Howarth and Michael S Hoﬀman. A multidimensional approach to the relationship between mood andweather. British Journal of Psychology, Vol. 75, No. 1,
pp. 15–23, 1984.
Theo A Klimstra, Tom Frijns, Loes Keijsers, Jaap JA
Denissen, Quinten AW Raaijmakers, Marcel AG
Van Aken, Hans M Koot, Pol AC Van Lier, and Wim HJ
Meeus. Come rain or come shine: Individual diﬀerencesin how weather aﬀects mood. Emotion, Vol. 11, No. 6,
pp. 1495–1499, 2011.
Florian Eyben, Martin Wöllmer, and Björn W. Schuller.
Opensmile: the munich versatile and fast open-source
audio feature extractor. In Proceedings of the 18th ACM
International Conference on Multimedia, MM ’10, pp.
1459–1462. ACM, 2010.
Paul Ekman and Erika L Rosenberg. What the face reveals: Basic and applied studies of spontaneous expression using the Facial Action Coding System (FACS).
Oxford University Press, USA, 1997.
Paul Ekman and Wallace V Friesen. Manual for thefacial action coding system. Consulting Psychologists
Press, 1978.
Tadas Baltrušaitis. Openface. https://github.com/
TadasBaltrusaitis/OpenFace, 2017. (accessed 25 October 2020).
Tadas Baltrušaitis, Peter Robinson, and Louis P.
Morency. Openface: An open source facial behavior analysis toolkit. In 2016 IEEE Winter Conference on Applications of Computer Vision (WACV), pp. 1–10, March
2016.
Yugo Nakamura, Yutaka Arakawa, Takuya Kanehira,
Masashi Fujiwara, and Keiichi Yasumoto. Senstick:Comprehensive sensing platform with an ultra tiny allin-one sensor board for iot research. Journal of Sensors,
Vol. 2017, , 2017.
Moritz Kassner, William Patera, and Andreas Bulling.
Pupil: An open source platform for pervasive eye tracking and mobile gaze-based interaction. In Proceedings ofthe 2014 ACM International Joint Conference on Pervasive and Ubiquitous Computing: Adjunct Publication,
UbiComp ’14 Adjunct, pp. 1151–1160, 2014.
James A. Russell. A circumplex model of aﬀect. Journalof personality and social psychology, Vol. 39, No. 6, pp.
1161–1178, 1980.

6