情報処理学会 インタラクション 2017
IPSJ Interaction 20172-409-72
2017/3/2

生体情報を用いた感情の可視化による気づきの支援
池田悠平†1 岡田佳子†2 染谷祐里子†2高橋裕也†2 田中智史†2 吉田怜司†2 菅谷みどり†2
概要：良好なコミュニケーションのためのアサーショントレーニングでは、自己表現力を身につけるということが重要とされている。自己表現力を向上させるためには、自己感情の気づきが重要とされるが、自己感情を正確に把握することは難しい。我々は、Russell の円環モデル上の感情表記の「快-不快」「覚醒-眠気」の二次元座標に、脳波、心拍から取得される生体情報反応を対応させ、それを表示することで、生体反応として感情を表現するツールを提案することで、感情の自己理解を深めるためのツールとして教材化するものとした。 実際に、授業で本ツールを用いた予備的な調査を行った結果について述べる。

Awareness of Emotion Through Emotional Visualization
Using Biometric InformationYUHEI IKEDA†1 YOSHIKO OKADA†2 YURIKO SOMEYA†2YUYA TAKAHASHI†2 TOMOFUMI TANAKA†2 REIJI YOSHIDA†2MIDORI SUGAYA†2Abstract: In assertion training for good communication, it is important to acquire self-expression ability. In orderto improve self-expression ability, awareness of self-emotion is important, however it is difficult to accurately grasp
self-emotion. We corresponded biological information reactions acquired from brain waves, heart beat to the twodimensional coordinates of "emotional expression" on Russell's annular model, and by displaying it in twodimensional coordinates of "arousal-relax", “comfortable-uncomfortable”. We propose a tool that expresses
emotions as a biological response, so that it is to be a teaching material as a tool to deepen emotional selfunderstanding. In fact, we will describe the result of preliminary experience.

1. はじめに心理学者の間では良好な対人関係を築くには、アサーシいう手順を実施している[3]。
本手順において「気づき」は、全体の最初に行う手順であり、人が感情を把握する重要なステップである。しかし,ョントレーニング[1]を行うことが重要であるとされてい現在は,る。これはコミュニケーションにおいて自分も相手も大切的な位置をプロットする方法により行っており、それが実にした自己表現を身につけるものである。 このような自己際に本人の感情を正確に示すものとはいえない。正確では表現を身に着けるプロセスとして岡田らは、感情の自己理ない理由の一つには、そもそも人が感情を正確に把握する解と表現を重視した授業を実施している[2]。感情の自己理ことが難しいことがあげられる[4]。また、別の理由として、

解とは、コミュニケーションにおいては、自分の感情に「気人は自分の感情を表現する際には、社会的な立場や他人のづき」、その感情に適切な「名づけ」を行い、さらにそれを目などを意識的、無意識的に表現することが知られており、「表現する」という 3 ステップにより実現する必要がある

この場合も、こうした社会的な立場を意識する可能性もあとしたソーシャルスキルトレーニング手法である [2]。岡る。以上より、二次元座標上に、本当の感情を正確に表現

田らは、３つのプロセスを実現する方法として、はじめにすることは、難しいと考えられる。

快-不快、覚醒-リラックスを二次元座標上に主観感情の「気づき」を主観的に把握するための方法を提案し一方、感情を生体情報から推測する手法が研究されていた。具体的には、快-不快、覚醒-リラックスを二次元座標上る[5]。脳波や心拍など生理情報は、人の認知や自律神経のに主観的な位置をプロットし、その位置をもとに自分の気反応を直接的に生体計測センサから得るものであり, 人の持ちに「気づく」ことベースに授業をすすめる方法である。

主観を反映しない、直接的な反応と捉えることができる。

また、この二次元座標上での感情のプロットを客観的に把また、生体情報のうち、脳波と心拍情報を、それぞれ覚醒握した後、その位置を考慮して適切な表現を探す 「名づけ」-眠気、快-不快の二次元座標上に対応づけることで、生体情を行い、それを他人に対して声に出して「表現」する、と報から感情を推測する方法が提案されている[6]。基本とな†1 芝浦工業大学大学院
Graduate school, Shibaura Institute of Technology†2 芝浦工業大学 工学部 情報工学科
Faculty of Engineering, Computer Science and Engineering© 2017 Information Processing Society of Japan634

情報処理学会 インタラクション 2017
IPSJ Interaction 20172-409-72
2017/3/2

る Russell の円環モデルは、複数の感情を上記に示した二次pNN50 を用いた。pNN50 では連続する心拍数から、心拍の元座標上に位置づけた円環モデルを示すものであり、感情ピークである R 波と R 波の間隔を RR 間隔としたとき、この「気づき」基づく主観マップと同一のものである。我々の隣接する RR 間隔の差が 50ms を超える心拍数の割合をはすでに、本円環モデルを用いて感情推測の方法を研究し示す。一般的に RR 間隔は呼吸や血圧の影響にて一定のゆていることから[5]、生体情報の対応づけ応用が可能ではならぎがあることが前提とされていることから、この RR 間いかと考えた。

隔は 50ms 以上の割合が高いほど正常（快）状態とされる。

そこで本研究では、この Russell の円環モデルをもとに、このことからある一定時間に、この割合となる 0~1.0 の割「気づき」を客観的に行うことを支援することを目的とし、合の値を算出し、その値を X 軸に対応づけるものとした。

先に示した二次元座標上に、主観的に感情を位置づける点

Y 軸の値は NeuroSky 社の MindWave Mobile[14]を脳波のと、生体情報から取得し点の双方の位置を可視化して表示計測に用いた。脳波センサは、脳波の種類である δ（デルするツールを提案するものとした。これにより、主観によタ）波、θ（シータ）波、α（アルファ）波、β（ベータ）波，る評価との差分を把握が可能となり、「気づき」のステップγ（ガンマ）波が取得される。また、これらの値以外に、取を支援することができると考えた。

得された値を用いて本脳波センサが独自のアルゴリズムで

本論文では、実際に、本ツールを心理教育の授業にて利算出した Attention と Meditation という値が算出される。

用してもらい、その結果を報告する。実際に、ツールを利Attention と Meditation は、それぞれ α 波、β 波からノイズ用したことで、参加者の感情についての議論が深まったとを除去し、集中と安静を示す値とされており、0~100 のレいう感想が得られた。また、その際に想定していた内容と、ベルで算出するアルゴリズムが実装されている。このこと実験結果が異なったことなど、結果を考察することで今後から、本研究では、集中度合とリラックスの差を用いるの課題をまとめた。

Russell の円環モデルの Y 軸の値に対応づけるものとした。

本論文の構成は以下の通りである。２節にて提案ツールの設計と実装、3 節にて予備実験、4 節にてまとめと今後の課題をまとめた。

2.3 ツールの実行手順
ツールの利用手順は以下の 1)-3) に示した通りとなる。
1) 主観による感情のマッピング

2. 生体情報による感情の可視化ツール
2.1 先行研究

本提案手法では、ユーザは Russell の円環モデルで採用されている 24 種類の感情から自分の感情に最も近いものを1 つ選び、画面に出力された X、Y 軸のみが表示された生体情報を用いることで、感情を推測する方法は近年盛ん

Russell の円環モデル(図 1 参照)を見て、自分の感情がモデに研究されている[7][9][10]。中でも、感情を客観的に見るモル上のどの位置に来るかを考えプロットする。本プロット

デルとして、Russellは円環モデルにより感情位置を提示してを自己評価として本研究では扱うものとした[2]。この際におり[6]、このRussellの円環モデルを応用して可視化を行う研用いた 24 種類の感情は、以下の通りである。

究がおこなわれている。田中らは脳波や鼻部熱画像処理感情を使ってRussellの円環モデル上に感情位置を可視化した[7]。

表1

脳波は、覚醒-リラックス、快-不快は鼻部皮膚温度変化から推Table 1定されることが知られており[10]、こうした手法で情動の推定がなされている。我々は、鼻部熱画像処理の代わりに、心拍計測をもとに快不快を判定し、脳波との対応づけにより感情を推定する手法を提案し、それが主観評価との誤差が少ないことを示した[5]。本研究では、[5]より、脳波と心拍の２つの生体情報による感情推定を行い、その結果を可視化できるものとした。
2.2 生体情報による感情の可視化

選択対象の感情一覧
List of emotions selected.

驚愕した

警戒した

惨めな

満足した

興奮した

覚醒した

憂鬱な

安心した

歓喜した

恐ろしい

悲しい

落ち着いた

嬉しい

緊張した

暗い

リラックスした

喜んだ

怒った

うんざりした

眠たい

楽しい

いらいらした

疲れた

欲求不満

本研究では、脳波と心拍から得られる値を X 軸の値と Y軸の値に対応づくように計算し、XY の位置情報を座標上の Russell の円環モデル上にプロットする。
X 軸の値は脈拍センサ[12]を使用し算出した。本センサ
は、光電式容積脈波記録法 (フォトプレチスモグラフィ)により、心拍数を計測する。本研究では、評価指標として© 2017 Information Processing Society of Japan635

情報処理学会 インタラクション 2017
IPSJ Interaction 20172-409-72
2017/3/2

前述の動作手順 3)まで動作したツールに表示された情報を知ることで、ユーザは自分の感覚と生体情報にどれだけ差があるかを理解することができ、感情の「気づき」のステップを支援する。

3. 予備実験
3.1 実験概要
実験協力者は 6 名(男性 5 名、女性 1 名)で行った。実験
手順は、まず、実験協力者に脈拍センサと脳波センサをつ提案ツール画面例

けさせ提案ツールを起動させる。次に、生体情報の安定化

Example screen of suggestion tool.のため 2 分間安静にさせる。安静後、それぞれ違う感情を

図1
Figure 1

想起させると期待される動画 6 本(30~120 秒)を視聴させ、それぞれの動画を見終わったあとに提案ツールを使用して

2) 生体情報の可視化
ツール起動後から 2)の手順に入るまでの全ての生体情報自己評価をさせる。全ての動画を見終わった後、提案ツーから求められた感情位置を Russell の円環モデル上にプロ

ルは生体情報のプロット結果を表示し、実験協力者へ視覚ットする。この動作は 1)の手順を全て終了させた後に行う的に自己評価と生体情報の差分を表示する。なお、用意しものとする。理由は、1)と 2)を同時に行った場合、自己評た動画は表２の通りである。なお第 X 象限の感情というの価の最中にも常にモデル上に生体情報のプロット結果が出は Russell の円環モデルの第 X 象限内の感情であるという力されることになり、ユーザに対して感情の「気づき」のことを意味する。

ステップを支援することができないためである。
3) プロットの色付けと形変化プロットの色は1)の動作が行われるたびに変更されて表示されるものとした。これによって、同じ時間帯のプロットは同じ色で示されるようにした。またプロットの形は生体情報からプロットされた点は丸で表示され、自己評価からプロットされた点は四角で表示される(図2参照)。
つまり、四角い点と周辺にプロットされた同じ色の丸い
図3

点が、どの程度離れているかの距離を視覚的に見ることでFigure 3

自分の主観と生体情報の二次元座標軸上での差分を知るこ

実験風景Experimental situation.とができる。
表２
Table2用意した動画と想定(期待)した感情

Videos prepared and emotions assumed (expected).

映像

映像内容

感情

映像 1

楽しさを感じさせる映像

第 1 象限の感情

映像 2

楽しさを感じさせる映像

第 1 象限の感情

映像 3

不気味さを感じさせる映像

第 3 象限の感情

映像 4

不安を感じさせる映像

第 2 象限の感情

映像 5

深刻さを感じさせる映像

第 3 象限の感情

映像 6

美しさを感じさせる映像

第 4 象限の感情

3.2 実験結果と考察
本研究では、自己評価のプロット位置と生体情報のプロ
図2

ツール出力結果

ット位置の差分を「気づき」のステップの可視化として結Figure 2

Tool output result.

果を評価した。これは図 4 の式で表される。この式は、生体情報のプロット座標と自己評価のプロット座標との距離の大きさを示しており、この値が小さいほど自己評価のプ2.4 差分の抽出による「気づき」の支援© 2017 Information Processing Society of Japan

ロット座標と生体情報のプロット座標が近いということに636

情報処理学会 インタラクション 2017
IPSJ Interaction 20172-409-72
2017/3/2

なる。本研究では、このプロット座標間の距離が小さいほさが異なるという問題が発⽣する。この問題は、表⽰するど自分の感情に「気づく」ことができた、とした。

X 軸と Y 軸に 5~10 段階ほどの⽬盛りをつけ、ツール利⽤開始前に⼀度感情付きの Russell の円環モデルを表⽰する





図4
Figure 4 =! − !

2

機能を付け加えることで解決できると考えられる。
+(! − !)2

生体情報と自己評価の差分の計算方法

How to calculate the difference between biometric
information and self-evaluation.

また、今回実施した実験では実験協⼒者が 6 ⼈と少なく、簡単な傾向を⽰すのみになってしまった。そのため今後は実験協⼒者を増やす必要がある。
今回、実際に⼼理学の授業にて本ツールを利⽤した実験を⾏い、その結果、教員からは参考となるコメントをいただいた。しかし、まだより詳細な理由の分析などはできてない。このことから、先にあげた技術的な課題に対処しつつ、ツールによる有効な⽀援をさらに検討してゆく。

参考文献
平木典子. 改訂版アサーション・トレーニング:さわやかな〈自己表現〉のために. 金子書房, 2009, 192p.
[2] 岡田佳子, 高野光司, 塚原望. 感情の自己理解を深めるた
めの心理教育プログラムの開発 : 対人関係に苦手意識を持
つ中学生を対象とした小グループでの実践. 学校メンタルヘルス, 2015, vol. 18, no. 2, p. 132-146.
[3] 岡田佳子. 感情の自己理解を深めるための心理教育プログ
ラムの開発. 特別教育・研究報告集, 2015, p. 201-204.
[4] 平木典子. 図解 自分の気持ちをきちんと＜伝える＞技術:
人間関係がラクになる自己カウンセリングのすすめ. PHP研究所, 2007, 131p.
[5] Yuhei Ikeda and Midori Sugaya. Estimate Emotion Method to Use
Biological. Symbolic Information Preliminary Experiment. HCI.
2016, vol. 13, p. 332-340.
[6] James A. Russell. A Circumplex Model of Affect. Journal ofPersonality and Social Psychology. 1980, vol. 39, no. 6, p. 11611178.
[7] 田中久弥, 野澤昭雄, 井出英人. 鼻部熱画像処理に基づいた感情の可視化. 可視化情報, 2003, vol. 23. p. 353-354.
[8] 竹内俊文, 田中久弥, 野澤昭雄, 井出英人. 脳波による感情の可視化システム. 情報科学技術フォーラム, 2002, vol.
3, p. 461-462.
[9] 吉田直人, 米澤明子. 呼吸・心拍・体温の非侵襲な計測に基づく生理現象表現ロボット介在型コミュニケーション.
HAI シンポジウム, 2015, p. 216-221.
[10] 善住秀行, 野澤昭雄, 田中久弥, 井出英人. 鼻部皮膚温度変化による快-不快状態の推定. 電気学会論文誌, 2004, vol.
124, no. 1, p. 213–214.
[11] Bigger JT Jr, Kleiger RE, Fleiss JL, et al. Components of Heart
Rate Variability Measured During Healing of Acute MyocardialInfarction. Am J Cardiol. 1988, vol. 61, p. 208-215.
[12] “心拍センサ - スイッチサイエンス”.
https://www.switch-science.com/catalog/1135/, (参照2016-12-20).
[13] Francesco Moscato, et al. Continuous Monitoring of Cardiac
Rhythms in Left Ventricular Assist Device Patients. Artificial
Organs. 2014, vol. 38, no. 3, p. 191-198.
[14] “ニューロスカイジャパン”.
http://www.neurosky.jp/products/, (参照 2016-12-20).
[1]

図5
Figure 5

映像ごとの生体情報と自己評価の差分
The difference between biometric information andself -evaluation of each video.

図 5 は全映像、快の映像群(映像 1, 2, 6)、不快の映像群(映像 3, 4, 5)それぞれの全実験協⼒者の⽣体情報と⾃⼰評価の差分の平均をまとめたものである。快の映像群とは、
Russell の円環モデルの第 1、4 象限に当たる感情を想起させるとした映像群で、不快の映像群とは Russell の円環モデルの第 2、3 象限の感情を想起させるとした映像群である。
図 5 より、快の映像群の⽣体情報と⾃⼰評価の差分は76 であり、不快の映像群の⽣体情報と⾃⼰評価の差分は快の映像群の⽣体情報と⾃⼰評価の差分に⽐べ 5.5%ほど低い 71.8 であった。この結果より感情への「気づき」の度合いの差は 5%ほどであることが⽰された。
実際に、本ツールを使って授業を実施した教員へのイン
タビューでは、本ツールを利⽤して感情を可視化したのちの議論では、参加した学⽣が意⾒を積極的に述べており、⾃分の感情を客観的に捉えることにある程度寄与しているのではないか、というコメントを得た。

4.

まとめと今後の課題

今回のツールの⾃⼰評価⽅法では、Russell の円環モデ
ルの X 軸と Y 軸のみを⾒て感情を選びプロットするものであったが、この⽅法では⼈によって考えるモデルの⼤き© 2017 Information Processing Society of Japan637