情報処理学会 インタラクション 2018
IPSJ Interaction 2018

1B35
2018/3/5

Emotion Visualizer: 生体情報を用いた感情推定と可視化と応用
吉⽥怜司†2 伊藤 哲平†2 染⾕ 祐理⼦†2⽥中智史†2 池⽥ 悠平†1 菅⾕ みどり†1†2
概要：近年，⼈間の感情はヒューマンロボットインタラクションやセラピーなど様々な分野に応⽤されている．感情推定においては，⾳声や表情による感情推定⼿法が数多く提案されているが，表現と本⼈の本当の感情との因果関係を抽出するのが本質的に困難な問題がある．これに対し，我々は脳波と脈拍といった⽣体情報を⽤い，感情推定を⾏う⼿法を提案した. 具体的には，Russell の円環モデル上の感情表記の「快-不快」「覚醒-眠気」の二次元座標に，脳波,
脈拍から取得される生体情報反応を対応させるものとした．さらにその結果をリアルタイムで GUI ツール上に表示することで，様々なアプリケーションでの計測が可能となった．本発表では，可視化により表示されるツールの紹介および，様々な目的に応用の紹介などについて述べる．

Emotion Visualizer: Emotion Estimation for Visualization andApplication using Biometric Information
REIJI YOSHIDA†2 TEPPEI ITO†2
SATOSHI TANAKA†2 YUHEI IKEDA†1YURIKO SOMEYA†2
MIDORI SUGAYA†1†2

Abstract: Recently, human emotions have been applied to various fields such as human robot interaction and therapy.
In emotion estimation, many emotion estimation methods based on speech and expression have been proposed, but
it is inherently difficult to extract the causal relation between the expression and the real emotion of the person. On
the other hand, we proposed a method to estimate emotion by using biological information such as brain waves andpulses. In concrete terms, Russell 's emotional notation on the ring model "pleasure - discomfort" "awakening sleepiness" Bio-information reactions acquired from electroencephalograms and pulses are made to correspond to
two-dimensional coordinates. Furthermore, by displaying the result on the GUI tool in real time, measurement withvarious applications became possible. In this presentation, I will introduce the tools displayed by visualization andintroduce application etc. to various purposes.

1. はじめに多く提案されているが, 個人の癖や表現に依存し，学習コ
ストが大きい課題がある. 近年は学習コスト削減を目的と人間の感情理解は，ヒューマンロボットインタラクショ

し画像処理で Deep Learning 等の効率的な機械学習手法のンやセラピー，運転時の感情推定など様々な分野に応用さ導入も検討が可能であるが，本来的な感情とその表出であれている．近年では，ドライバの心理状態を表情や視線なる表情の関連づけは十分ではない課題がある.

どから計測応用したドライバの異常検知や，自動運転から

Affective Computing[6], Personality Computing[7]分野ではの切り替えのタイミングに利用するなどの実用への応用な

機械的に収集した人の特徴に，アンケートによる裏付けをども発展的に行なわれている[1][2]．一方，介護現場では，なすことで感情推定を行う手法が提案されている. 一方，人手不足が顕著でありロボットなどの導入による介護負担

人は主観アンケートであっても正しく答えるとは限らず,の軽減が急務である．こうした現場へのロボットの導入は

回答の信ぴょう性をあげるための課題があり[6]，感情の理

まだ癒し効果[3]などに限られているが，今後は，高齢者の解を実現するには，こうした課題にも対応できる学術的手QoL（Quality of Life）を満たすことを目的とした介護のた法が必要である.

めに[4]，感情などに配慮したロボットなどが必要になると考えられる．

これに対し, 人の感情を客観的に取得する方法として,生体信号による感情推定手法, 具体的には脳波の感性スペ

自然言語処理では, 対話データ分析による感情推定が提クトル解析による感情推定や,脳波（EEG）の解析を用いた

案されている[5]. しかし，介護を必要とする高齢者は精神感情推定等の手法が近年数多く提案されている[6]. EEG は,的な抑圧や不安の感情や症状や状態を的確に表現するとはfMRI（functional Magnetic Resonance Imaging）に比べ，空間

限らず, 外からの推定は本質的に困難である．非言語情報

分解能が低い一方, 時間分解能は高く, 刺激に対する心理の感情推定では目線, 頭位置, 顔や口の表情等の手法が数反応の測定や解析に適し, コストや計測の簡易性からも利†1 芝浦工業大学大学院
Graduate school, Shibaura Institute of Technology†2 芝浦工業大学 工学部 情報工学科
Faculty of Engineering, Computer Science and Engineering© 2018 Information Processing Society of Japan322

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

便性が高い[6].

1B35
2018/3/5

計測に用いた．脳は計測器では，取得された値を用いて本

我々は人の感情の理解を実現するために，EEG と心拍を脳波センサが独自のアルゴリズムで算出した Attention と用いた感情推定手法を提案している[8][9]．生体情報は人のMeditation という値が算出される．
Attention と Meditation は知覚や反応を客観的に把握できる利点がある．
本研究では，

それぞれ人の集中度合いと安静度合いを示す値とされておこの可視化ツールを開発することで，計測時の感情をリア

り，0~100 のレベルで算出するアルゴリズムが実装されてルタイムで表示することを目的とする．これにより，実験いる．このことから、本研究では,集中度合とリラックスのや計測の効果などをより効果的，継続的に示すことができ差を用いる Russell の円環モデルの Y 軸の値に対応づける

ると考えられる．
本論文では，
可視化ツールの開発および，ものとした．

予備的な検証結果などについても合わせて述べる．
本論文の構成は以下の通りである．まず 2 節にて，感情推測手法，3 節にて，Emotion Visualizer, 4 節にてアプリケーションへの応用の紹介を行う．

2. 生体情報による感情推定
2.1 概要

3. 生体情報による感情の可視化
3.1 Emotion Visualizer: 可視化ツール
ツールの開発について述べる．まず，脈拍センサとして
Pulse Sensor[6]用 い ， 脳 波 セ ン サ と し て NeuroSky 社 の
MindWave Mobile[7]を用いた．可視化ツールのブロック図を図 1 に示した．

生体情報による感情を推測する方法は近年盛んに研究されている[7][8][12][13]. 中でも, Russell は円環モデルという心理モデルでは，感情を二軸の円環上の位置で提示しており[9], これを用いた感情の分類手法は，数多く提案されている．田中らは脳波や鼻部熱画像処理感情を使って Russellの円環モデル上に感情位置を可視化した[7]．ここで，脳波は，覚醒-リラックス，快-不快は鼻部皮膚温度変化から推定するなどの方法が提案されている[10]．

図 1 可視化ツールブロック図
Figure 1. Flow diagram of visualization tool

⼀⽅，EEG （Electroencephalography,脳波）を計測して快不快感情を解析的に推定する⼿法も数多く提案されてい開発した感情可視化ツールの有用性の確認を目的としてる[2].池田らは，鼻部熱画像処理の代わりに、心拍計測をも実験 1 を実施した．実験協力者は 1 名（20 代男性）で，大とに快不快を判定し，脳波との対応づけにより感情を推定

学実験室にて実施した．実験手順は以下の通りである．

する手法を提案し，それが主観評価との誤差が少ないこと(1)協力者が脈拍センサと脳波センサを装着し 1 分間安静を示したことより，本研究では、脳波と心拍の２つの生体(2)安静後，協力者に動画を見てもらう

情報による感情推定を行い、その結果を可視化できるもの(3)動画視聴後，感情可視化ツールを実行するとした[8][9]．

実験 1 は「楽しい」，「驚いている」などの正の感情と「悲2.2 推測手法

しい」，「怒り」などの負の感情の両方が推定できることを本研究では，脳波と心拍から得られる値を X 軸の値と Y確認するためにお笑いの動画とホラー動画の 2 つを使用し軸の値に対応づくように計算し，XY の位置情報を座標上た．確認するために以下のような手順で実施した．装着時の Russell の円環モデル上にプロットする．

の様子を図 2 に示した．

X 軸の値は心拍値を脈拍から取得するセンサを使用し算出した. センサは光電式容積脈波記録法 （フォトプレチスモ
グラフィ）により, 心拍数を計測する. また，この評価指標として pNN50 を用いた. pNN50 では連続する心拍数から心拍のピークである R 波と R 波の間隔を RR 間隔としたとき，この隣接する RR 間隔の差が 50ms を超える心拍数の割合を示す．一般的に RR 間隔は呼吸や血圧の影響にて一定のゆらぎがあることが前提とされていることから，この図 2 センサの装着時の様⼦

RR 間隔は 50ms 以上の割合が高いほど正常（快）状態とさ

Figure 2. State of sensor installation

れる．このことからある一定時間に，この割合となる 0~1.0の割合の値を算出し，その値を X 軸に対応づけるものとした．
Y 軸の値は NeuroSky 社の MindWave Mobile[14]を脳波の© 2018 Information Processing Society of Japan

3.2 Emotion Visualizer による感情の判定と表示
協力者にお笑いの動画を見てもらった時の実行した可視化ツールの表示結果を図 3 に示した．

323

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

1B35
2018/3/5

図 5 可視化ツール実⾏時の様⼦ 3
Figure 5. State of visualization tool execution 3
図 3 可視化ツール実⾏時の様⼦ 1
Figure 3. State of visualization tool execution 1

次に，協力者にホラー動画を見てもらい可視化ツールを実行した．最初は，驚きと緊張が生体情報から推定されてグラフの右上に出力されているものがこの時間に生体情報から推定された感情である．棒グラフは 8 つの感情のそいる．ホラー動画の途中での可視化ツールの様子を図 8 に示した．

の時刻での全体の割合を表示している．

図 6 可視化ツール実⾏時の様⼦ 4Figure 6. State of visualization tool execution 4
図 4 可視化ツール実⾏時の様⼦ 2Figure 4. State of visualization tool execution 2

実際に怖さを感じる場面では，”悲しい（sad）”と，と”不愉快（strain）”などの負の感情が推定されているという結果

図 4 に，笑いを誘発することを意図した動画の最後のオチを言われた時の可視化ツールの様子を示した．オチを言が示されている．
3.3 ウエアラブルな可視化ツール

われた時刻に推定された感情は”楽しい（happy）”と”興奮先に示した可視化ツールは，ノート PC などで表示する（excite）”が多く検出されていることから，正の感情の推際に用いることはできるが，人が移動する際の感情を計測

定はできている．

したいといった要求に応えることは困難である．そこで，

ただし，”落ち着き（calm）”を示す値も多く検出されて本研究では，ウエアラブル用いることを目的とし，より小いる．これは，高い覚醒度をもたらす感情である興奮は，型な Raspberry Pi （図 7）上に心拍情報と，脳波情報を統ある刺激に対して短時間で高い反応をしておさまるといっ合する仕組みを開発した．

た傾向があることから，それより長い時間に検出される感情の比率が高くなるという傾向があると考えられる．

図7

ラズベリパイFigure 7. Raspberry Pi3© 2018 Information Processing Society of Japan324

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

1B35
2018/3/5

い, ロボットがパーソナルスペースに移動した際に発生する感情を評価する研究を行っている[21][22].






図 8 感情分析システムの設計

  

Figure 8. Design of the emotion analysis system
図 10 ロボットによるパーソナルスペースの調査[21][22]Figure 10. Experiment of robot and personal space

図 9 感情推定値の可視化
Figure 9. Visualization of the result of emotion estimation
図 8 にウエアラブルな感情分析システムの設計を示した.
マイコン上で，入力された心拍センサ（2ms）の値を，EEGから取得する脳波の値に対応づける処理を行っている．感情分析方法としては，PC 版と同一で，池田らが提案した
Russell Model に基づく感情推定手法を用いた[8][9]. マイ
コン上の実装では，CPU が低速でかつメモリ量が少ないことから，より効率の良い実装が必要となる．
このことから，図 11 実験協力者の感情推移（0.4[m/sec]の場合）
Figure 11. Emotion Transition of Experiment
Collaborator （Condition 0.4[m/sec]）
我々は 0.4[m/sec] などの速度をロボットに設定し，近接時の感情変化を調査した（図 10）. その結果を時系列に可視化した結果を図 12 に掲載した．ロボット動作に合わせて，感情変化がみられる．

Thread Model を用いた実装を行い，性能の良いデータの収統計結果では，ロボット興味度の⾼さの差や,ロボット接集を目指した．さらに，図 9 に示した可視化ツールでは感近の速度に, 有意差もしくは有意傾向が⾒られた. また,”情の変化をグラフ出力し，実際に生体情報を目で観察可能

落ち着き”ではパーソナルスペースの内外で有意差が得らとした.

れた他,ロボット興味度の異なるグループにおける停⽌前

4. ロボットの制御への応用
生体情報を用いた感情推測および，可視化ツールの開発
により，人の感情をリアルタイムで計測が可能となること
で，人の感情に応じたロボットの振る舞いなどに応用することが可能となる．以下に，現在取り組んでいる応用例に

後 5 秒間の”驚き”の感情に有意差が得られた. これらの結果より,⽣体情報を⽤いた感情推定により, パーソナルス
ペース境界におけるロボットの印象について評価を利⽤することの有効性が⽰唆されている．
4.2 リハビリ時の声かけロボット
次に，リハビリという具体的な課題に対して，患者の感ついて紹介する．

情の⼀つである快/不快を測定し，その結果から声かけを⾏

4.1 パーソナルスペースを推定するロボット

う試みとして，「リハビリロボット」を提案した[23]．本ロ

パーソナルスペースへロボットが侵入した際に心拍数がボットはリハビリ時の意欲を向上させるために，患者の気速まることは既に調査されているが，接近による”緊張”持ちに応じて移動したり，声かけをすることができる．リや”驚き”, ”落ち着き”など詳細な感情を判定することはアルタイムでの感情解析には，本提案にあるウエアラブル

困難である.我々は, 心拍と脳波の生体情報から得られるな感情推定モジュールを利⽤している．

値を Russell の円環モデルにマップした感情推定手法を用© 2018 Information Processing Society of Japan325

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

1B35
2018/3/5

[12]
[13]

[14]

図 12 声かけロボット
Figure 12. Voice Robot for improve the motivation of[15]

rehabilitation

5. まとめと今後の課題
本論⽂では，⽣体情報からの感情推定⼿法および可視化ツールの開発とウエアラブル化を⽬指した内容について述べた．また，感情の推定⼿法の応⽤としてロボットへの応⽤について述べた．⽣体情報は，⼈の恣意的な判断が⼊らないことから，客観的な⼈の感情把握と応⽤に適していると考えられる⼀⽅，まだ課題も多い．⼀つは，正確さである．⽣体情報で取得した感情が正しいかどうか，検証する⽅法はまだ⼗分ではなく，これを正しく検証する⽅法の議論が必要である．また，簡易計測器同⼠の組み合わせでは，時間的な同時性を担保することが難しいことから，今後，デバイスとしての⼀体化が課題である．3 節に⽰した
ように，ロボットの動作への応⽤なども考えられることから，こうした基礎的な部分の研究を進める必要がある．

参考文献
[1]

“ドライバー運転集中度モニタリング技術”.
http://www.omron.co.jp/press/2016/06/c0606.html, (参照 201606-06).
“眠気を検知・予測し，快適に覚醒状態を維持させる眠気制
御技術を開発”.
http://news.panasonic.com/jp/press/data/2017/07/jn1707
27-1/jn170727-1.html, (参照 2017-07-27)

[2]

[16]

[17]
[18]
[19]
[20]
[21]
[22]

[23]

可視化情報, 2003, vol.23.
⽵内俊⽂，ほか. 脳波による感情の可視化システム. 情報科
学技術フォーラム. 2002.
吉⽥直⼈, ⽶澤明⼦. 呼吸・⼼拍・体温の⾮侵襲な計測に基づく ⽣ 理 現象 表 現ロ ボ ット 介 在 型コ ミ ュニ ケ ー ショ ン.
HAI シンポジウム. 2015, p.216-221.
Bigger JT Jr, Kleiger RE, Fleiss JL, et al.. Components ofheart rate variability measured during healing of acute
myocardial infarction. Am J Cardiol. 1988, vol.61, p.208215.
“⼼拍センサ - スイッチサイエンス”.
https://www.switch-science.com/catalog/1135/,(参照 2017-12-24).
Francesco Moscato, et al.. Continuous Monitoring of
Cardiac Rhythms in Left Ventricular Assist Device
Patients. Wiley Periodicals Inc. and International Center
for Artificial Organs and Transplantation. 2014.
“ニューロスカイジャパン”.
http://www.neurosky.jp/products/, (参照 2017-12-24).
T. Musha, et al.. Feature extraction from EEG associatedwith emotions (Invited Paper). Art. Life Robotics. 1997, vol.1,
p.15-19.
B. Chandrasekaran, et al.. Conrad, Human-robot
collaboration: A survey. IEEE SoutheastCon. 2015.
Stevenson Ryan, et al.. Characterization of the Affective
Norms for English Words by Discrete Emotional Categories.
Behavior Research Methods. vol,39, no.4, p.1020–1024.

染⾕ 祐理⼦, 池⽥ 悠平, 馮 晨, 菅⾕ みどり. ロボットコ
ミュニケーションにおける⽣体情報を⽤いた位置調整. ヒューマンインタラクションシンポジウム 2017. 2017.
染⾕祐理⼦, 池⽥悠平, 馮晨, 菅⾕みどり. パーソナルスペ
ースにおけるロボット動作と⼈の感情反応評価. 電⼦情報通信学会技術研究報告. クラウドネットワークロボット（CNR）. 2017, vol.117, no.198, p.25‒30.
保科篤志，Siriwat Limwattana，武井祐一, 伊藤哲平, 菅谷み
どり. リハビリロボットへの感情分析手法の応用の検討. 組込みシステムシンポジウム. 2017.

柴田, 他. アザラシ型ロボット「パロ」によるロボット・セラピ
ーの効果の臨床・実証実験について．日本ロボット学会誌. 2011,vol.29, no.3, p.246-249
Lawton MP et al. The concept of measurement of quality oflife in frail elders. Academic Press; 1991. pp. 3–27.

[3]

[4]

竹内将吾，酒井あゆみ，加藤昇平，伊藤英則．対話者好感度に基づく感情会話ロボットの感情生成モデル．日本ロボット学会誌, 2010, 2007, vol.25, no.7, p.1125-1133

[5]

[6]

Soraia M, et al.. Emotions Recognition Using EEG Signals A
Survey. IEEE Transactions on Affective Computing. 2017, p.1-12.
A. Vinciarelli, et al.. A Survey of Personality Computing.
IEEE Transactions on Affective Computing. 2014, vol.5, no.3,
p. 273-297.

[7]
[8]

[9]

[10]

[11]

Yuhei Ikeda, Ryota Horie, Midori Sugaya. Estimate Emotion with
Biological Information for Robot Interaction. 21st International
Conference on Knowledge-Based and Intelligent Information &Engineering Systems. 2017, vol.112, Marseille, France, 6-8, Sep,
Procedia Computer Science, Vol.112, pp.1589-1600, Year 2017.
Yuhei Ikeda, Midori Sugaya. Estimate Emotion Method
to Use Biological. Symbolic Information Preliminary
Experiment. HCI （13） 2016: 332-340
James A. Russell. A circumplex model of affect. it Journalof Personality and Social Psychology. 1980, vol.39, no.6,
p.1161-1178.
⽥中久弥, ほか. ⿐部熱画像処理に基づいた感情の可視化.

© 2018 Information Processing Society of Japan326