情報処理学会 IoT 行動変容学研究グループ（SIG-BTI）

絵文字による感情の振り返りは Well-being の向上につながるか：スマートウォッチによる感情測定システムの実装

渡邊将太 †1
立命館大学大学院

松村耕平 †2立命館大学

岡藤勇希 †3立命館大学

沓澤岳 †4
産業技術総合研究所

小林吉之 †5
産業技術総合研究所

1. はじめにている非言語形式のコミュニケーションツールであり，視の研究から，自身の感情を正しく認識することは，ネガティから消費者研究などで回答者の感情状態を測定する指標と我々は日常生活の中で様々な感情を経験する．これまでブな感情を軽減するなどの感情に適した行動につながることが明らかになっている [1]．すなわち，感情を認識することによって，自身がより幸せになるための行動計画を立てることが示されている．これは，自分自身がいつ，どういう場所で，どのような状態の時に，感情が良い方向，あるいは，悪い方向へ変化するのか，このような感情を認識することによって Well-being の向上が図れることを示唆している．

しかし，身体的，環境的要因などによって変化する感情を自発的に捉え続け，感情の変化の原因を理解することは困難である．感情を継続的に測定できなければ，感情の変化を知ることはできないし，感情の変化が分かったとしても，その背景となる原因が分からなければ，自身の行動を計画することにつなげることはできない．そのため，(1) 継続的に感情を測定し，(2) 測定時の背景となる情報と結びつけて振り返ること，の 2 つの問題への対応が必要である．

(1) の問題，継続的な感情の測定については，従来，自由記述や尺度などのテキスト形式による方法によって，ユーザ自身が 1 日に複数回，感情を報告することで感情の変化を時系列データとして得る方法（i.e.，経験サンプリング法）が試みられている．しかし，自由記述や多くの質問項目に複数回回答することは負荷が高くなることが指摘されており，継続した測定が難しくなってしまう [2, 3]．そのため，ユーザが継続して感情測定に取り組めるように，より簡易的な測定方法が必要となる．

本研究では，この問題に対して，絵文字による感情測定法に注目する．絵文字は（例えば， ），世界中で常用されCan Emotional Reflection with Emojis Improve Well-being?：Implement Emotion Measurement System with Smartwatches†1†2†3†4†5SHOTA WATANABE, Ritsumeikan University
KOHEI MATSUMURA, Ritsumeikan University
YUKI OKAFUJI, Ritsumeikan University
GAKU KUTSUZAWA, National Institute of Advanced Industrial Science and Technology
YOSHIYUKI KOBAYASHI, National Institute of Advanced
Industrial Science and Technology

覚的に幅広い感情を表現することができる [4]．その利便性して，研究利用が始まっている．絵文字を感情の測定指標として利用することの利点として，容易に感情情報を理解できる特徴から，簡便に自身の感情を報告できることが挙げられる [5]．そのため，絵文字を用いて日常生活中の感情を測定することで，テキスト形式による方法に比べ，ユーザの負荷を抑えた感情測定が可能になることが考えられる．
既存のシステムとして，「エモ日記」という顔のアイコンを用いて感情を記録しているアプリがある [6]．このシステムは感情を容易に記録できるが，記録時の背景情報を取得することができないため，感情の原因を知ることができない．
これでは，（2）の問題に対応することは難しい．以上を踏まえ本論文では，2 章で絵文字を用いて継続的に感情と背景情報を測定できるシステムを実装する．

(2) の問題，測定時の背景となる情報を結びつけ感情を振り返る方法については，先行研究において位置や時間情報，行動を用いた振り返りが試みられており，振り返りによって自身や他者への感情に対する意識が高まり，行動が変化する事例がいくつか見られた [7]．しかし，先行研究では，1日の中で任意のタイミングでの感情報告しか行われていない．すなわち，ユーザはなんらかのイベントがあったときに感情を報告する．また，その報告数は平均 1 日 1〜2 回程度であるため，1 日の感情の変化に対する振り返りを行うことはできない．つまり，先行研究は本研究が目的とする感情が変化した原因について理解するツールではなく，イベントと感情報告を結びつけて記録・共有する体験レビューツールと言える．

本研究では，絵文字による容易な感情測定を用いて，1 日複数回の回答を集めることにより，感情の変化に着目した振り返りができる．この振り返りを通して，感情が変化した原因に対してユーザの理解を促し，自身の行動を変容させることで，Well-being の向上へとつなげていくことを目指している．

本研究では感情の振り返りを，位置情報，時間情報，生体情報，社会活動量を用いて行うことで，自身の感情について78

情報処理学会 IoT 行動変容学研究グループ（SIG-BTI）
より深い理解ができると考える．

位置情報は，日常生活で経験する感情と結びついており [8]，ユーザごとにポジティブやネガティブになりやすい場所があることが考えられる．そのため，位置情報は感情変化の原因を理解する上で重要な要素となる．の感情として感情として，中程度の正の感情としてを選別する．

，強い正の2.2. 感情報告インターフェースの実装

本研究では，感情測定システムを実装するにあたってス

感情は曜日や時間帯で変化することがある [9]．例えば，マートウォッチ Fitbit Sense を用いた．感情測定システム

らくなったりすることがある．時間による感情の変化が予

リ，（2）複数の中から絵文字を選択することで感情を測定す

仕事が終わる金曜日の夜は幸せになったり，朝起きるのがつ想されるため，時間情報も振り返りに重要な要素といえる．
生体情報である心拍数は，自身の状態を表現する手段として使用することができる [10]．そのため，生体情報を振は，（1）感情測定を促す通知を行うスマートウォッチアプ

るスマートウォッチアプリの 2 つから構成される．スマー

トウォッチアプリは，プログラミング言語 XML・CSS・り返りに用いることで自身の状態と感情を結びつけながらTypeScript と Fitbit SDK，データベースとして Google社が提供している Cloud Firestore を用いて実装した．感感情は他者との関わり合いにより変化することがある [9]．

（1）の通知を行うアプリでは，ユーザに対して一定または感情の原因について分析を行えることが考えられる．

情測定システムの詳細について以下で説明する．

我々は，多くの他者と関わり合いながら生活しているため，ランダムな時間間隔で感情測定を促す通知を行うことがで感情がどのように変わるのかを振り返ることが重要だと考示され，通知を行う時刻になるとスマートウォッチが振動

より良い社会活動を行なっていくには社会活動に応じてえる．

以上を踏まえ本論文では，3 章で背景情報と記録された絵文字を結びつけることで，ユーザの感情の認識を支援する振り返りシステムを提案する．視覚的に感情を表現した絵文字を用いることで自身の感情と背景情報について容易にきる．画面には現在時刻とユーザを識別するための id が表する．振動を受け取ったユーザがスマートウォッチを画面をオンにすると，（2）の感情を測定するアプリが自動で立ち上がる．この通知により，ユーザに対して日常のあらゆる時間における感情の測定を促すことを目指した．

（2）の絵文字を用いた感情測定アプリの画面を図 1 に示振り返りを行えることが考えられる．この振り返りにより，す．このアプリでは，ユーザは図 1-STEP1 のように表示さ原因の理解を促すことで，Well-being の向上につながるよを選択する．1 画面には 6 個の絵文字が表示され，上下のユーザに対してポジティブやネガティブに感情が変化する
うな行動変容が期待できる．

2. スマートウォッチによる感情測定システム

複数の絵文字の中から感情に適したものを選択することにより感情を測定する方法を実装する．この方法は，絵文字を表示し選択するだけで感情を測定できるため，スマートフォンやタブレットなどの様々なデバイスに適用できる．
実装するシステムでは，測定した感情の振り返りに用いる背景情報を取得するために，スマートウォッチを使用する．

2.1. 使用する絵文字

先行研究 [11] では，74 個の表情の絵文字を感情価と覚醒度の 2 軸から分類した時に，強い負の感情・中程度に負の感情・負に近い中立の感情・正に近い中立の感情・中程度の正の感情・強い正の感情の 6 個のクラスターに分類でき，幅広れる 12 個の絵文字の中から自分の感情に最も適した絵文字スクロールで絵文字を切り替えることができる．絵文字を選択すると，図 1-STEP2 のような確認画面に移動する．もし，絵文字を再選択する場合は画面下にある BACK ボタンを押す．BACK ボタンには緑のゲージがあり，ボタンの有効時間を表している．この緑のゲージは，確認画面への移動と同時に動き出し，3 秒でなくなる．緑のゲージがなくなる，もしくは画面がオフになると，選択した絵文字や時刻などの情報が Cloud 上のデータベースに保存される．もし，データベースに保存できなかった場合は次の測定までスマートウォッチ内で保存される．
STEP1
感情に適した絵文字を選択
上下スクロールでページ切り替え
ページ1

STEP2
選択した絵文字を確認
BACKボタンで再選択

ページ2

い感情と対応することが明らかになっている．本研究では，これらの絵文字の中でも，ユーザによる絵文字の解釈の違いを防ぐため，各クラスターから感情価と覚醒度の標準偏差が平均以下のものを 2 個ずつ使用する．
具体的には，強い負の感情としてとして，中程度の負の感情，負に近い中立の感情として，正に近い中立

図1

絵文字を用いた感情測定アプリ

Figure 1 Emotion measurement app by emojis

79情報処理学会 IoT 行動変容学研究グループ（SIG-BTI）

2.3. 背景情報測定システムの実装

3.2. 時間情報をもとにした振り返り

時に，その背景情報を取得できる．具体的には，位置（GPS）ように記録された絵文字をカレンダーに表示する方法を提行距離，気圧，加速度，角速度を測定・取得できる．

を容易に理解できる．また，カレンダーに登録されたイベ

Fitbit Sense では，Fitbit SDK を用いて，感情報告と同情報，時刻，心拍数，歩数，消費カロリー，上った階数，歩本研究で実装したプロトタイプにおいては，このうち加速度，角速度以外の情報を測定する．報告時の一時的な加速度や，角速度を測定・記録しても意味がないためである．

1 章では，ユーザの社会活動（他者との関わり合い）の重要性について述べたが，今回は実装しない．

奥野と角はカメラを用いて社会活動を計測するシステム

記録された絵文字のフィードバック方法として，図 3 の案する．この方法により，ユーザは月や曜日と感情の関連ントと絵文字を結びつけることで，経験した感情の原因をイベントの内容をもとに振り返ることが可能となる．

図 4 のように記録された絵文字の割合を時間帯ごとに表示することで感情の変化による振り返りも考える．これにより，時間帯と感情の変化の関連を容易に理解できる．

時間情報をもとにした振り返りを行うことにより，ユーを提案している [12]．これら研究や，近接するユーザの位ザに対してポジティブやネガティブになれる曜日や時間帯，として測定したい．

いて理解を深めることができれば，月曜日はネガティブにな置を計測するシステムを参考に，今後社会活動を背景情報

3. 感情の振り返り

スマートウォッチ上で記録した絵文字と背景情報を用いた感情の振り返り方法を提案する．この振り返りシステム

自身の感情変化の傾向の理解を促す．この方法で感情につることが多いから気分転換をする，夕方はネガティブな感情に変化することが多いから早めに仕事を終了するなどの曜日や感情の変化の傾向に合わせた行動変容が期待できる．

は Web アプリとして実装し，ユーザが所有するスマートフォンや PC を用いて振り返りを行うことを想定している．

3.1. 位置情報をもとにした振り返り

記録された絵文字のフィードバック方法として，図 2 のように絵文字を位置と結びつけ地図に表示する方法を提案する．この方法により，ユーザは自身の感情と場所との関連を容易に理解することができる．また，記録した絵文字を時系列順に表示していく機能を実装すれば，感情の変化に着目し位置と感情の関係について振り返ることができる．
振り返りにより感情と場所の関連に対して理解を深めることができれば，ネガティブな時はポジティブになれる場

図3

時間情報を用いた感情の振り返り

図4

感情の変化を用いた感情の振り返り

Figure 3

Emotional reflection by time

所に行く，ネガティブになりそうな場所は避けるなどの行動変容が期待できる．

図2

位置情報を用いた感情の振り返り

Figure 4

Emotional reflection by emotional change

Figure 2 Emotional reflection by location

80

情報処理学会 IoT 行動変容学研究グループ（SIG-BTI）

3.3. 感情の検索を用いた振り返り

記録された絵文字を振り返る際に特定の絵文字や時間帯，生体情報，社会活動量でフィルタリングをかけ，検索することができる機能を加える．これにより，心拍数が低い時は負の感情を表す絵文字を記録しやすい，周辺に誰かがいる時は強い正を表す絵文字を記録しやすいなどの感情と様々な背景情報との関係性を発見し，自身の感情について詳細な理解を促すことができる可能性がある．

また，感情の変化をもとに検索を行う方法も考えられる．

先行研究では，ラッセルの円環モデルをもとにした二次元平面上に感情の変化を表す曲線を描画することでアニメーション顔アイコンを作成するシステムを提案している [13]．
このシステムの入力方法のように，感情の変化を曲線として入力することで，過去の記録データから入力した曲線と似た感情の変化のデータを検索できることが考えられる．例

えば，楽しいから悲しい感情に変化したときの時間や場所，生体情報などのデータやその前後の記録データを検索して見ることができる．この検索方法によって感情の変化が起こった原因について理解しやすくなることが考えられる．

4. おわりに本研究では感情の振り返りを通した，感情認識の促進方法を提案した．感情の振り返りのためには継続した感情の測定と，測定時の背景情報を結びつけて振り返るための方法が必要である．本論文では，感情測定の問題に対して，スマートウォッチと絵文字を用いた感情報告システムを実装した．感情と背景情報を結びつけて振り返るための方法については，位置情報と時間情報，感情の検索を用いた例を提示した．今後は，生体情報や社会活動を用いた感情の振り返り方法も考えていく．絵文字による感情測定において，その振り返りにどのような背景情報を要するのかは未知である．絵文字による感情測定とその振り返りの方法論を確立すべく研究を進める．

参考文献[1] Barrett, L. F., Gross, J., Christensen, T. C. and Benvenuto, M.: Knowing what you’re feeling and knowing
what to do about it: Mapping the relation between emotion differentiation and emotion regulation, Cognition &Emotion, Vol. 15, No. 6, pp. 713–724 (2001).
[2] Eisele, G., Vachon, H., Lafit, G., Kuppens, P., Houben,M., Myin-Germeys, I. and Viechtbauer, W.: The effectsof sampling frequency and questionnaire length on perceived burden, compliance, and careless responding inexperience sampling data in a student population, Assessment, Vol. 29, No. 2, pp. 136–151 (2022).
[3] Consolvo, S. and Walker, M.: Using the experience sam-pling method to evaluate ubicomp applications, IEEE
Pervasive Computing, Vol. 2, No. 2, pp. 24–31 (online),
10.1109/MPRV.2003.1203750 (2003).
[4] Krekhov, A., Emmerich, K., Fuchs, J. and Krueger,J. H.: Interpolating Happiness: Understanding the Intensity Gradations of Face Emojis Across Cultures, Proceedings of the 2022 CHI Conference on Human Factors in Computing Systems, CHI ’22, New York, NY,USA, Association for Computing Machinery, (online),
10.1145/3491102.3517661 (2022).
[5] Callender, J., Bridge, P., Al-Samarraie, F. and Blair, D.:
The use of emoji to establish student wellbeing: does
the image reflect the reality?, Journal of Radiotherapy inPractice, pp. 1–5 (2022).
[6] Takigawa, M.: エ モ 日 記 ，https://play.google.com/store/apps/details?id=com.emodiary&hl=ja&gl=US(2018). (Accessed on 10/29/2022).
[7] Huang, Y., Tang, Y. and Wang, Y.: Emotion Map:
A Location-Based Mobile Social System for Improving
Emotion Awareness and Regulation, Proceedings of the18th ACM Conference on Computer Supported Cooperative Work amp; Social Computing, CSCW ’15, NewYork, NY, USA, Association for Computing Machinery,p. 130–142 (online), 10.1145/2675133.2675173 (2015).
[8] Manzo, L. C.: For better or worse: Exploring multiple dimensions of place meaning, Journal of Environmental Psychology, Vol. 25, No. 1, pp. 67–86 (online),
https://doi.org/10.1016/j.jenvp.2005.01.002 (2005).
[9] Csikszentmihalyi, M. and Hunter, J.:Happinessin Everyday Life: The Uses of Experience Sampling, pp. 89–101 (online), 10.1007/978-94-017-908886 , SpringerN etherlands(2014).
[10] Liu, F., Dabbish, L. and Kaufman, G.: Supporting Social Interactions with an Expressive Heart Rate Sharing
Application, Proc. ACM Interact. Mob. Wearable Ubiquitous Technol., Vol. 1, No. 3 (online), 10.1145/3130943(2017).
[11] Kutsuzawa, G., Umemura, H., Eto, K. and Kobayashi,
Y.: Classification of 74 facial emoji s emotional stateson the valence-arousal axes，Scientific Reports, Vol. 12,
No. 1, pp. 1–10 (2022).
[12] 茜 奥野，康之 角一人称ライフログ映像からの顔検出に基づいた社会活動計測，情報処理学会論文誌，Vol. 62, No. 2,
pp. 607–616 (2021).
[13] 川上雄大，松村耕平，野間春生ほか Face AVAS: 時系列を伴う感情の表現が可能な顔アイコン作成システムの提案，研究報告ヒューマンコンピュータインタラクション (HCI)，

Vol. 2021, No. 17, pp. 1–7 (2021).

81