情報処理学会研究報告
IPSJ SIG Technical Report

生体情報を用いた感情推定手法の検討
高橋 裕也†2 川上 洋平†1 駒澤 真人†3岸本 太郎†1 林 亮輔†1 菅谷 みどり†1,2
概要：人の感情を客観的に理解する方法として,近年,生体信号による感情推定手法が提案されている．本研究では，脳波と心拍変動などの生体情報を用いた感情推定手法について，心理モデルを用いた分類および，解析的な分類の 2つの方法を検討している．今後比較しながら実証的に研究を行う．

1. はじめに

2.2 Emotion Visualizer
まず，我々は池田らの成果[4]をもとに，脳波と脈拍の２

近年，人間の感情は自動運転時の人の状態の推定やセラつの生体情報による感情推定による効果測定を行い，そのピーやマインドフルネスなど人の心の状態である感情の推精度を検証するものとした．具体的には脳波と脈拍から得定手法についての関心が高まっている． 感情推定は，人のられる値を X 軸の値と Y 軸の値に対応づくように計算し，「心」の理解につながるものとして，情報処理分野で数多XY の位置情報を座標上の Russell の円環モデル上にプロく研究されている [1]. しかし，一般に人は精神的な抑圧ットする[3]．X 軸の値は光電式容積脈波記録法により計測や不安の感情や症状や状態を的確に表現するとは限らず,される値を pNN50 にて評価し,割合となる 0~1.0 の割合の推定は本質的に困難である．非言語情報の感情推定では目値を X 軸に対応づけるものとした．Y 軸の値は NeuroSky

線, 頭位置, 顔や口の表情等の手法が数多く提案されてい社の EEG を脳波の計測に用い覚醒度として Y 軸の値に対るが, 個人の癖や表現に依存し，学習コストが大きい課題応づける．本アルゴリズムをもとに，感情を可視化するツが あ る . 近 年 は 学習 コ スト 削 減 を 目 的 とし 画像 処 理 でール Emotion Visualizer(以後 EV と表記する)を開発した.

Deep Learning 等の効率的な機械学習手法の導入も検討がEV の表示画面を図 1 に示した．

可能であるが，そもそも感情とその表出である表情の関連づけは十分ではない課題がある.

XY 平面内にプロットされる点の領域により 8 つの感情に分類する．感情の喜怒哀楽は，覚醒度が高く快を示す第 1

これに対し, 人の感情を客観的に理解する方法として,

象限は Happy, Excited, 覚醒度が高く不快の第 2 象限は近年,生体信号による感情推定手法が提案されている[2].

Alarmed, Angry, 覚醒度が低く不快の第 3 象限は, Gloomy,

池田らは脳波や脈拍を用い，心理指標である Russell の感Tired, 覚醒度が低く快の第 4 象限は Sleepy, Relaxed と情推定を行い，表情による画像解析に対して安定的に感情した．また色彩心理学に基づき, Happy・Relaxed に対してを推定できるとした[3].また，心理分類手法を用いずに脳緑色を, Excited・Alarmed に対して黄色, Angry・Gloomy波を用いた感情分析も様々提案されている[2].脳波(EEG)に対して赤色, Tired・Sleepy に対して青色を対応づける．の解析を用いた感情推定等の手法が近年数多く提案されて赤青緑黄は PCCS（日本色研配色体系：Practical Color

い る が ， こ れ は fMRI(functional Magnetic Resonance

Co-ordinate System）に基づき RGB 値を設定した．

Imaging)に比べ，EEG は空間分解能が低い一方, 時間分解能は高く, 刺激に対する心理反応の測定や解析に適し, コストや計測の簡易性からも利便性が高い点が指摘されている [2]．

2. 心理モデルと脳波，脈拍を用いた感情推定
2.1 課題脳波や脈拍などの生体情報による感情を推測する手法の中で, Russell の円環モデル[3]を用いた感情の分類手法は，数多く提案されている[4]．Russell の円環モデルでは，覚醒軸と快不快軸という直行する座標軸があり，これらの軸図 1 Emotion

Visualizer の表示に対応づく生体情報として EEG （Electroencephalography,脳波）を計測して快不快感情を解析的に推定する手法や[2],3.脳波と心拍変動による感情推定手法

鼻部熱画像処理結果を対応される方法などもある．

3.1 課題2.2 で紹介した提案手法の課題は 2 つある．1 つ目に脳†1 芝浦工業大学 電気電子情報工学専攻
Shibaura Institute of Technology†2 芝浦工業大学 工学部 情報工学
Shibaura Institute of Technology Faculty of Computer Science and Engineering†3WIN フロンティア株式会社 WINFrontier Co., Ltd.

ⓒ2016 Information Processing Society of Japan

波計の計測手法である．利用している脳波計はチャネル数が 1 つのみで脳の機能局在[5]を考慮していない．2 つ目に脈拍と脳波を 2 軸にマッピングする手法に問題がある．脈1

情報処理学会研究報告IPSJ SIG Technical Report
拍には pNN50 にて評価し割合となる 0～1.0 を快不快判定の後，人への支援がより詳細に行える可能があり，大きなイ閾値の根拠が十分ではない．
また X 軸 中央を 0.3 に定め，ンパクトがある分野である．ただ，基礎的な実証が不足し二次元座標上の位置決めを行っているが，プラス方向にスていることから，今後改めて実証的な研究を行うことを課

ケールが大きく不快でも快判定となる傾向がある．

題とする．

3.2 提案
3.1 で提唱した課題に対し本研究では，次の方法を検討する．脳波計として脳の機能局在を考慮した 14 チャネルの計測器を利用する．次に感情評価において快不快，覚醒眠気に脈拍と脳波を 2 軸にマッピングしていたが，本研究では脳波のみでチャネル AF4 と AF3 の値の差から快不快を，AF4 の α 波と β 波の割合から覚醒眠気を推定する．また

図 3 CPT 検査反応時間

心拍計からも,心拍変動解析により自律神経の交感神経活動である LF/HF を用い覚醒眠気を推定する．さらに 2 軸にマッピングすることはせず，それぞれ快不快，覚醒眠気で評価することとした．脳波と心拍変動との解析の流れを図2 に示す．
図 4 脳波（α/β）の推移

図 2 解析の流れ
3.3 実験と考察

図 5 心拍変動（LF/HF）の推移

脳波と心拍変動単体で感情推定を行うためにまず覚醒・眠気について評価実験を行った．実験刺激には CPT 検査を参考文献用いた．CPT 検査は反応速度から集中度を測るものである.

[1] Stevenson, Ryan et al, Characterization of the Affective Norms
for English Words by Discrete Emotional Categories, Behavior
Research Methods. 39 (4): 1020–1024.
[2] Soraia M, et al, Emotions Recognition Using EEG Signals ASurvey, IEEE Transactions on Affective Computing, pp 1- 12 June
2017.
[3] James A. Russell. A circumplex model of affect. it Journal of
Personality and Social Psychology. 1980, vol.39, no.6,p.1161-1178.
[4] Yuhei Ikeda, Ryota Horie, Midori Sugaya, Estimating Emotion
with Biological Information for Robot Interaction. KES, 2017:1589-1600.
[5] 後藤 昇， 脳機能局在リハ ビ リ テ ―シ ョ ン 医学 ZOO1 ；CPT 検査から脳波計の α/β と心拍計の LF/HF の評価を行うこととした．図 3 に CPT 検査の反応時間，図 4 に脳波の推移，図 5 に心拍変動の推移を示す．その結果, CPT 検査で反応時間が短い時の方が脳波のα/βが小さく,交感神経活動の LF/HF が高くなる傾向がみられ,覚醒して集中している傾向がみられた.また,その時の心拍数は低い傾向がみられた.今後は，被験者を増やしてデータ取りをして,相関分析などの統計的な評価を加える必要がある.

4． まとめと今後の課題

38 ： 296−302[6] 渡辺 一生 , 菅谷 みどり, 生体情報を用いた感情推定手法による運転時の人の反応の評価, 研究報告ユビキタスコンピューティン
グシステム（UBI）,2018-UBI-57(34), pp.1-8 (2018-02-19).
[7] Lawton MP et al. The concept of measurement of quality of lifein frail elders. Academic Press; 1991. pp. 3–27.

本研究では，生体情報を用いた感情推定手法について，心理モデルを用いた分類および，解析的な分類の 2 つの方法について述べた．これらの手法はまだ検討段階であることから，比較しながら実証的に研究をすすめる必要がある．
感情解析技術は，近年様々な応用分野があり，運転中のドライバの感情分析による感情の特徴グループの分類 [6]，高齢者の感情推定による QoL の改善[7]や適切な介護の実現など幅広い．生体情報を用いた感情推定では，人が自分自身で意識していない感情なども判定できることから，今ⓒ2016 Information Processing Society of Japan2