情報処理学会 インタラクション 2015
IPSJ Interaction 2015

B45
2015/3/6

複数の生体情報を用いた感情同定手法に基づくMMD モデルを用いたセルフフィードバックインタフェースの提案
坂松 春香†1 鎌田 恵介†1 佐々木 槙吾†2 佐藤 友斗†2 高橋 啓伸†2小倉 加奈代†1 ベッド B. ビスタ†1 高田 豊雄†1
概要：本研究では，脳波と脈拍の 2 つの生体情報を用いて，人間の感情を二次元平面に表したラッセルの円環モデルをもとに感情同定を行い，同定した感情を表現する新しい媒体として MMD（MikuMikuDance）モデルを用いたセルフフィードバックインタフェースの提案を行う．MMD は 3DCG ムービー製作ツールであり，キャラクタの表情だけでなく動作も操作できるため，MMD を用いて感情表現を行うことにより，ユーザは自身の感情変化を直感的に理解できることが期待できる．

Proposal of Self-Feedback Interface by MMD Model based on
Detecting Emotions Using BiosensorsHARUKA SAKAMATSU†1 KEISUKE KAMADA†1 SHINGO SASAKI†2YUTO SATO†2 HIRONOBU TAKAHASHI†2KANAYO OGURA†1 BHED BAHADUR BISTA†1 TOYOO TAKATA†1Abstract: In this paper, we propose self-feedback interface by MMD (MikuMikuDance) Model. In this proposed system, wemanage biometric information with brain wave and pulse sensor to recognize emotions. Users put on these sensors and theproposed system processes biometric information of these sensors. In the identifying emotions phase, this system assigns users’
biometric data for two-dimensional plane based on Russell's’ Circumplex Model of Affect and detects emotions from there. After
identifying emotions, this system displays voiceroid characters which are programed for face expressions and behaviors. Becauseof flexibility and expandability of MMD, we can expect that the proposed MMD interface helps users to understand their own
affected changes intuitively.

1. はじめに従来から心拍数や，脈拍，脳波，眼球運動，皮膚電位，ユーザ自身に対して MMD[2]を用いた感情のフィードバックを行うシステムを提案する．

発汗などの生体情報を利用した感情同定や感情表出手法が2. 関連研究

多数研究されている．ごく最近では，生体情報を利用した2.1 生体情報を用いた感情解析に関する研究

感情表出に関する研究成果として，脳波によって測定した

山本ら[3]は，場の雰囲気を「場に存在する気分の集合」

感情を猫耳で表現する necomimi[1]がよく知られるところととらえ，脈泊センサと皮膚温センサを使用し取得した生である．このように，生体情報を利用し，感情を扱う技術

体情報から気分を 4 種類に分類し，雰囲気を抽出・可視化基盤はできつつあるといえる．

する momo!を開発した．momo!における気分の分類方法に

本研究では，生体情報を利用した感情表出の技術基盤のついては，x 軸を脈拍，y 軸を皮膚温，それぞれの軸の大小活用方法として，感情の表出対象に着目し，従来研究で多を脈拍の高低，皮膚温の上昇降下として生体情報を 2 次元

くとられている他者に対する感情表出手法ではなく，ユー上にマッピングし，センサの値によりユーザの気分を悲ザ自身に対する感情表出手法に着目する．誰もが一度は経観・楽観・弛緩・緊張の 4 種類に同定する．また，林ら[4]験したことがあると思われる「自分の感情を他人が理解では，脳波，呼吸，脈拍の 3 つの生体情報を利用し，脳波かきないのはもちろん，自分自身でも理解できないことがあら推定される集中・散漫状態と，呼吸と脈拍から推定される」というもどかしさを解決するため，他人への感情伝達るリラックス・緊張状態を軸とし 2 次元上に表現した生体ではなく，ユーザが自分自身の感情を客観的に把握するこ情報マトリックスと感性情報とのマッピングを検討した．とを目的とする．具体的には，生体情報として脳波と脈拍

その結果，集中・リラックス状態は喜び・楽しみの感情と，を用い，計測した各生体情報からユーザの感情を同定し，散漫・リラックス状態は嫌悪・退屈もしくは安静・リラッ
クスの感情と，散漫・緊張状態は恐怖・緊張の感情と対応†1 岩手県立大学大学院
Iwate Prefectural University of Graduate School†2 岩手県立大学
Iwate Prefectural University© 2015 Information Processing Society of Japanしていることを明らかにした．
本研究では，脳波と脈拍の 2 つの生体情報を用い，山本602

ら，林らの研究と同様の方法で感情の同定を行う．
2.2 生体情報を用いた感情伝達に関する研究

3.1 感情の分類方法
感情の分類は，2.1 節で説明した山本ら[3]，林ら[4]の研Wang et.al., [5]では，人間の感情によって変動する生体デ究と同様に，脳波と脈拍で得たデータを 2 次元平面上にマータを用いることで，感情表現が豊かになるという考えにッピングし，感情の同定を行う．なお，感情の分類には，基づき，オンラインチャットにおいてより豊かな非言語情報表出を可能とするために，皮膚抵抗センサとタイピング速度から文字アニメーションを作成する生体データ連動型のチャットシステムを提案した．高野ら[6]は，脳波情報から心理状態を読み取り，ユーザに対して癒し効果の高い動作を AIBO が行うように制御するシステムを開発した．
生体情報を用いて感情を伝達する多くの研究は，Wanget.al., のように，感情の伝達対象は他者である．本研究の特色のひとつは，感情の伝達対象がユーザ自身という点である．また，高野らでは，ユーザ自身に癒し効果を伝達すラッセルの円環モデルを用いる．

るという点で，本研究と伝達対象が同じであるが，高野ら

3.1.1 ラッセルの円環モデル

では，同定した心理状況を癒し動作に変換し伝達すること感情という概念は曖昧であり，人によって捉え方が異なに対し，本研究では，同定した心理状況をそのまま伝達する．そのため，感情について体系化を行った感情モデルにるという点が異なる．

従って，感情の分類を行う．本研究では，ラッセル[7]が提3. システム構成唱したラッセルの円環モデルを用いる．図 2 にラッセルの本システムの概要図を図 1 に示す．実装には，感情を表現する媒体として MMD，脳波を計測するためのセンサとして携帯型脳波計測機器 B-Bridge 社の B3Band，脈拍を計測するためのセンサとして Arduino 心拍センサ・シールド
キット A.P.Shield 05 を用いる．取得した脳波・脈拍はセンサ値として PC に送信する．PC は得たセンサ値を分析して感情を同定し，対応する MMD 映像を PC 画面で再生する．

円環モデルの概念図を示す．ラッセルの円環モデルとは，人間の感情を「快-不快」「覚醒-睡眠」の 2 次元で表される平面上に配置したモデルである．このモデルは，図 2 のよ
うに，すべての感情が円環状に配置されることから，ラッセルの円環モデルと呼ばれる．このモデルにおいては基本感情や，感情の強弱の概念は存在せず，本研究においても感情の強弱は重視しないこととする．
図2
3.1.2

ラッセルの円環モデル

脳波および脈拍のマッピングと感情の同定

脳波を取得する際に用いる脳波測定ヘッドバンド
B3-Band には，集中度合と安静度合を 1~100 のレベルで算出するアルゴリズムが実装されている．本研究では，このアルゴリズムによって算出された集中度合と安静度合を「覚醒-眠気」軸の値とする．
脈拍は，生理学的観点から，情動行動が起こるとき交感神経系の活動が高まることが多いと知られており，悲しみや不安，興奮といった感情測定が可能であると考えられる．
安保[8]によると，図 3 のように 1 分間の脈拍が 50~55 の場合，「理由もなく悲しくなる」，55~60 の場合，「落ち込む，しょんぼりする」のような状態が取得できる．本研究では，安保[8]を参考にし，脈拍で得られた値は「快-不快」軸の値とする．
図 1 システム構成概要図

最終的には，脳波・脈拍から得られた 2 軸の値をラッセ
ルの円環モデルに当てはめることにより，感情を分類する．

© 2015 Information Processing Society of Japan603

とで，感情と一致した言動による感情表現や適度な休憩を行うことができる．また，医療関係者の燃え尽き症候群の兆候に関する調査[10]によると，燃え尽き症候群の兆候が強い人ほど，感情の認識や表現を行うことが困難で，日常的に感じる気持ちと表現した態度にギャップを感じることが報告されている．医療関係者の燃え尽き症候群の要因の1 つとして，「医療従事者は患者やその家族の立場にたって，多くの場面で温かい態度で接する必要があるためである．」と述べられている．たとえ嫌悪感をもよおすような状況でも，「営業スマイル」のように実際にはそう感じていなくて
図 3 脈拍による感情分類
3.2 感情の表現方法
感情表現を行う媒体は MMD である．1 分毎にセンサ値から同定した感情を MMD に反映させる．例えば，図 4 のように，システムが同定したユーザの現在の感情状態が「悲しみ」だった場合，PC 上の MMD 映像は「落ち込んでいる」様子になる．このように，同定した感情は MMD を通して伝えられるため，ユーザは直感的・客観的に自身の感情を把握することができる．なお，今回は使用するキャラクタとして VOICEROID+ 結月ゆかり[9]1を用いる．結月ゆかり
は入力文字読み上げソフトであり，人間的で自然な音声合成を行うために使用する．使用するキャラクタのモデルやモーションは MMD 形式の無料配布されているものを利用する．

も，理解のある落ち着いた態度や，やさしく接することが要求される．このような背景から考えると，医療従事者は「営業スマイル」を強いられ，本当の自分の気持ちを正しく感じることができずに疲弊すると推測できる．報告では，燃え尽き症候群の状況にある医療関係者は，「自分の感情を自覚して表現する能力が低下している」と述べられており，本システムを用い，自分の感情を把握することで，燃え尽き症状に対する予防の一助になると思われる．これは，医療関係者以外の「相手の立場にたって多くの場面で温かい態度で接する」ことを求められる状況にある人であれば効果があると考えられるため，医療関係者以外の人にも適用可能である．
4.2 うつ状態克服支援システムとしての利用
現在，MMD 形式のキャラクタモデルは非常に多く存在する．そのため，ユーザはモデルの中から自分の好きなキャラクタを選択することが容易である．本提案システムを使用した場合，ユーザの感情状態が「嬉しい」「楽しい」ときには，PC 上のキャラクタも「嬉しい」「楽しい」感情を表す映像に変わる．このことで，ユーザは，自身の感情を表現するためのキャラクタが自分自身に対して共感しているように感じるため，ユーザの正の感情が維持されると考えられる．逆に，ユーザの感情状態が「悲しい」「怒り」ときには，PC 上のキャラクタも「悲しい」「怒り」という感

図 4 感情表現例（同定された感情が「悲しみ」の場合）情を表す映像に変わるが，この場合，ユーザはキャラクタが共感しているように感じるのと同時に，キャラクタには4. 提案システム利用例
4.1 燃え尽き症候群予防システムとしての利用
基本的なシステムの利用方法として，ユーザがユーザ自「笑っていてほしい」，「楽しそうにしてほしい」と考えることが推測できる．キャラクタはユーザにとって好きな対象であるため，ユーザはキャラクタの映像が「嬉しい」「楽しい」という感情を表すように，能動的にユーザが楽しい身の感情状態を把握することがあげられる．例えば，図 4と思うような何らかの行動を起こすことが期待できる．本のように，システムが同定したユーザの現在の感情状態が提案システムを利用することで，ユーザに対して感情の自「悲しい」だった場合，PC 上の MMD 映像は「落ち込んで覚と能動的な行動を促すことから，うつ状態からの克服支いる様子」になる．このように，同定した感情は MMD を援に利用可能である．うつ病の特徴として患者自身には自通して伝えられるため，ユーザは直感的・客観的に自身の覚がないこと[11]，何もやる気が出ない，悲しい気持ちに感情を把握することができる．これにより，自分の感情をなることがあげられる[12]．本提案システムを用いること自覚できず表に出すことが難しい人も自身の感情を知るこで，うつ病患者に対して自分の感情を自覚し自発的に能動

1

VOICEROID+ 結月ゆかりはバージョンアップに伴い製品ページが削除されたため，VOICEROID+ 結月ゆかり EX の参照先を記載した．

© 2015 Information Processing Society of Japan的な行動を起こさせることで，うつ状態からの回復の一助になると考える．

604

5. おわりに本研究では，脳波センサと脈拍センサから取得した生体データをラッセルの感情に関する円環モデルに基づいた二次元平面にマッピングすることで感情同定を行い，MMDを用いて同定した感情をユーザ自身にフィードバックする[11] 厚生労働省: 自殺・うつ病等の現状と今後のメンタルヘルス対策, 入手先<http://www.mhlw.go.jp/file/05-Shingikai-10901000-Kenkoukyoku-Soumuka/0000032833.pdf>(参照日付: 2014 年 12 月 8 日).
[12] 厚生労働省: e-ヘルスネット[情報提供], 入手先<http://www.e-healthnet.mhlw.go.jp/information/heart/k-07-004.html>(参照日付: 2014 年 12 月 11 日).

システムを提案した．また，提案システムの利用例として燃え尽き症候群予防システム，うつ状態克服支援システムの 2 例を提示し，MMD を用いたユーザ自身の感情フィードバックの有効性を検討した．
本研究の課題として，感情の分類数の少なさがあげられる．今回は 2 つの生体情報（脳波・脈拍）を用いることで，互いに測ることのできない部分を補完し感情の分類を試みた．しかし，システムの現状としては，感情を正負に分類するのみであり，より詳細な感情の分類を行う必要がある．
今後は被験者実験を通して適切な閾値を設定し，感情の分類数を増加させる予定である．
謝辞 本研究は，岩手県立大学大学院ソフトウェア情報学研究科およびソフトウェア情報学部による学生主体のプロジェクト学習(PBL)の一環として実施したものである．本研究の一部は，JSPS科研費 23700163 およびプロジェクト学習(PBL2014-7)の助成を受けたものである．

参考文献[1] necomimi,
入手先<http://jp.necomimi.com/news/index.html>(参照日付: 2014 年12 月 8 日).
[2] VPVP(Vocaloid Promotion Video Project),
入手先<http://www.geocities.jp/higuchuu4/>(参照日付: 2014 年 12 月 8日).
[3] 山本純平，徳田義幸，川添瑞木，米沢拓郎，高汐一紀，徳田英幸: momo!: バイタルセンサを用いた気分の解析と雰囲気の可視化, 情報処理学会研究報告 UBI2007(118), pp.79-86 (2007).
[4] 林雅樹，宮下広夢，岡田謙一: VR 空間における生体情報を利用した感情マッピング手法, 情報処理学会研究報告 GN2008(48),pp.25-30 (2008).
[5] Wang, H., Prendinger, H. and Igarashi, T.: Communicatingemotions in online chat using physiological sensors and animated text,
In proceedings of the extended abstracts of the ACM conference on
Human factors in computing systems (CHI EA 2004), pp.1171-1174(2004).
[6] 高野航, 今村総士, 大石幹, 小藪慎也, 大倉典子: 脳波を利用した AIBO の動作作業システム, 第 1 回横幹連合コンファレンス,入手先<https://www.jstage.jst.go.jp/article/oukan/2005/0/2005_0_149/_article> (2005).
[7] James A Russell: A Circumplex Model of Affect, Journal ofPersonality and Social psychology, Vol.39, No.6, pp.1161-1178 (1980).
[8] 安保徹: 病気になる体質を変える!免疫健康学, PHP 研究所(2011).
[9] VOICEROID+ 結月ゆかり EX,入手先<http://www.ah-soft.com/vocaloid/yukari/>(参照日付: 2014 年12 月 8 日).
[10] 高橋英彦, カールベッカー, 鄭志誠ら: 医療関係者の燃え尽き症候群の兆候を相手の気持ちを感じる時の脳の活動レベルで予測, 入手先<http://www.kyoto-u.ac.jp/ja/research/research_results/2014/140603_1.
html>(参照日付: 2014 年 12 月 8 日).

© 2015 Information Processing Society of Japan605