2020年度日本認知科学会第37回大会

P-39

心拍変動を表情変形としてフィードバックすることによる情動制御手法の検討

Study of emotion control by feedback ofheart rate variability as facial expression
米田 凌 † ， 森田 純哉 †Ryo Yoneda， Junya Morita†

静岡大学情報学部

Faculty of Informatics， Shizuoka Universityyoneda.ryo.17@shizuoka.ac.jp

概要に，ネガティブ感情が推定された場合ポジティブな表

現代では，場面に応じた適切な感情のコントロール情に変形) する. このシステムによってユーザの感情が課題になっている．本研究では心拍変動からユーザはニュートラルな状態に近づくと仮定する. 本稿ではの内部状態を推定し，その感情とは逆の感情に対応す

このシステムを用いた実験の結果を報告する．

る表情をフィードバックすることで，ユーザの感情を2.

ニュートラルな状態に近づけるシステムを開発し，そ本 研 究 に お い て ，情 動 と 感 情 の 区 別 は Antonioの効果を評価する実験を行った．

Damasio のソマティック・マーカー仮説で用いられキーワード：情動，表情，バイオフィードバック，心た定義に従う [4]．ソマティック・マーカー仮説におい

拍変動

1.

関連研究て，情動とは客観的に観察可能な身体反応であり，心はじめに拍数や発汗がそれに当たるとされる．一方で感情は情感情は認知，知覚，コミュニケーション，学習，意動の心的パターンとされており，脳内の神経信号がそ思決定などに影響を与える．近年，このような精神れに当たるとされる．この定義に従うと，情動によっ面での健康の重要性は増している．従来の健康が怪て感情が生じるとされる．さらに，ソマティック・マー

我や病気といった身体的な健康に焦点を当てていたカー仮説では情動によって感情が喚起される「身体のに対し，精神的健康や社会的健康を含んだ概念とループ」に加え，「あたかも身体ループ」の存在が提案して「Well-being」が提唱されている [1]．感情を制御されている．この「あたかも身体ループ」では脳内でし，Well-being を保つことは現代社会の課題の一つだ

情動をシミュレーションすることで感情が喚起される．と考えられている．その課題を解決するために実際に表情と感情の関係を明らかにする研究はいくつか行行われている例として，マインドフルネスが挙げられわれている．Ekman は，文化や人種に関わらず存在する基本的な感情を 6 種類 (幸福・恐れ・驚き・嫌悪・る [2]．
また，感情は必ずしも意識に上っているとは限らな怒り・悲しみ) 定義し，それらに対応する表情は AUい．そのため，アフェクティブコンピューティングの(Action Unit) で構成される．AU とは，人の表情を形分野では，人間の主観ではなく計算機を用いた客観成するための顔の最小動作単位である [5]．これを組み的な手法によって人間の感情の認識が目指されている合わせることで，任意の表情が生成可能である．また，[3]．しかし，コンピュータによって人間の内部状態を笑顔を作ることでポジティブ感情が喚起されるという推定し，フィードバックを行うことで適切に感情を制

風に，表情が感情に影響を与える可能性を提唱してい御するシステムの開発は十分に行われていない．本研る「表情フィードバック仮説」がある．Strack らの研

究では，心拍変動を顔表情としてフィードバックする

究では，作為的に作られた表情が感情に及ぼす影響をシステムを提案する．具体的には，事前に取得してあ明らかにした [6]．上述のアフェクティブコンピューるベースラインの心拍変動と，リアルタイムで取得しティングの分野ではコンピュータが感情を表現するこた心拍変動の差からユーザの内部状態を推定，その差とと，コンピュータが感情を知覚し影響を与えることが小さくなるようにディスプレイ上の表情を変形 (ポが標榜されている．この分野で表情フィードバックにジティブ感情が推定された場合はネガティブな表情よる感情を喚起する研究では吉田らのものが挙げられ

289

2020年度日本認知科学会第37回大会

P-39

る. 吉田らは，ディスプレイの中の自分の表情が変化する表情変形フィードバックシステムを開発した．このシステムを使用した実験では，擬似的に生成された表情を自身の表情だと思い込むことによる感情喚起の効果が確認された [7]．

3.

提案システム吉田らの表情フィードバックシステムでは，感情喚起の効果が確認された一方で，ディスプレイ上の表情の変化量は一定だった．つまり，吉田らのシステムは

図1

表情変形の例

ユーザの内部状態や個人差に合わせることができないという課題があった．本研究では，吉田らの表情変形り得る最大の SDNN を想定したもので，今回は 150

フィードバックシステムに心拍変動からユーザの内部と定めた．x は各特徴点に合わせ変更される．これで状態を推定し，それによって擬似的に生成される表情計算された値から表情を作成する.

変形の種類や大きさを変える機能を追加したシステムを開発する．この機能を追加することにより，ユーザの内部状態や個人差に合わせ，フィードバックする表

3.2

情の種類や大きさを変更することが可能になり，その表情マッピング

Web カメラから取得した表情を任意のものに変形

都度の状況に適した形でフィードバックができると考させる．表情を変形させるツールは，Zach Lieber-えた．

man によって開発された C++のオープンソースツー

このシステムは，心拍フィードバックと表情マッピングの 2 つに分けられる．心拍フィードバックでは，ウェアラブルセンサによって取得した心拍をパラメータに変換する．表情マッピングでは，Web カメラかルキットである openFrameworks を選択した．open-Frameworks にはコンピュータビジョンやグラフィックスを扱う addon が多数存在する．今回ユーザの顔の特徴点を取得するために，Kyle McDonald が開発ら抽出した被験者の顔の特徴点を，心拍フィードバッ
クによって生成されたパラメータの分だけ移動させ，被験者に見せる偽りの表情を生成する．次からのセクした ofxFaceTracker という addon を使用した．ofx-FaceTracker では 66 の特徴点を抽出できる．この特徴点を上記のパラメータによって変動させ，表情を生成ションで詳細を説明する．

する．生成する表情は Joy と Disgust の 2 つとした．

Joy では，眉毛，目蓋，口角を上げた．Disigust では，3.1

内眉を上げ，眉全体を下げ，目蓋を細め，口角を下げ心拍フィードバック

た．表情変形の例は図 1 に示した．自然な表情を生成

心拍センサから R 波と次の R 波の間隔である RRIするために，各パーツによって変形の度合いは調整し(R-R Interval) を取得し，それら 3 つごとに SDNN(Standard deviation Normal to Normal) を計算する.
SDNN は RRI の標準偏差で，ストレス時に低い値，リラックス時に高い値を取る．事前に測定しておいた

た. 心拍変動によって被験者にネガティブ感情が推定された場合，Joy になるように変形し，ポジティブ感情が推定された場合，Disgust になるように変形する．

4. 実験
4.1 目的平常時の RRI から計算した SDNN をベースラインとし，リアルタイムで取得した SDNN と比較する．リ
アルタイムで取得した SDNN がベースラインよりも本実験では、作成したシステムが被験者の感情を高い場合はネガティブ感情，低い場合はポジティブ感ニュートラルに誘導するかを評価するための試行を情とみなした．SDNN を顔表情へ変形する式は行った．本実験の仮説は，被験者に喚起された感情と(SDN N − Baseline)∗x(M ax − Baseline)

逆の感情に対応する表情をフィードバックすることで被験者の感情をニュートラルの方向に誘導できることとした．まず，被験者は音刺激によってポジティブ感である．SDNN は試行中の SDNN を表し，Baseline

情かネガティブ感情を喚起させられる．快刺激を与えは事前に取得した SDNN を表す．Max はユーザが取290

2020年度日本認知科学会第37回大会

P-39

4.2.3

手続き

音刺激を再生し，ディスプレイに映る自分の表情を観察させた．実験の前に情動体験の操作という目的を提示してしまうと，実験結果に影響する恐れがあるた
め，被験者には偽のタスクとして，情動と集中力の関係を調べる実験だと告知し，ダミーの課題を設定した．
ダミーの課題では，Web カメラで撮影した被験者の表情を表示するウィンドウに赤い円がランダムな間隔で
図2

同時に 1 つ表示され，被験者にはその円を数えてもらウィンドウに表示される赤い円

う. 円は 1 フレームの間提示される．円はフレームの更新ごとに 1 ％の確率で表示された．なお，フレームた状態で本システムを適用すると，快感情が打ち消レートは 5〜50 あたりで変動していた．その過程で，すようにシステムは動作し，アンケートにおけるポジティブ感情の得点は低くなり，心拍変動は高くなる．
同様に，不快刺激を与えた状態で本システムを適用す被験者の表情が目に入る状況を作り出した．図 2 がその様子である．

ることで，不快感情を打ち消すようにシステムは動作し，アンケートにおけるネガティブ感情の得点は低く4.2.4なり，心拍変動も低い値になると考えた．

主観評価

操作する要因は「快刺激/不快刺激」の音刺激と，本システムによる「表情変形のあり/なし」の 2 つがあ4.2

方法

4.2.1

被験者

る．これらを組み合わせた結果，試行は「快刺激/表情変形あり」，「快刺激/表情変形なし」，「不快刺激/表情変形あり」，「不快刺激/表情変形なし」の 4 パターンと被験者 3 名（男性 1 名，女性 2 名）を対象に行った．

なる. この 4 パターンの試行をランダムに並び替えた
もの 1 セットとし，被験者 1 人に対して 4 セット行っ

4.2.2

た．試行終了するごとに被験者の感情を The Positive

材料

and Negative Affect Schedule (PANAS) の日本語版を用いて評価した [9]．

システムの実行には MacBookPro (Intel Core i7)を，Web カメラには EMEETNOVA (HD 1080P) を使用した. 心拍センサにはユニオンツール製のウェアラブル心拍センサである myBeat を使用した．ディスプレイは BenQ の GW2280 (22 インチ) を使用した．Web カメラはこのディスプレイ上部に取り付け

4.3

結果

4.3.1

主観評価

PANAS のポジティブ感情とネガティブ感情に対応た．音刺激には The International Affective Digitized

する各 10 項目の平均を，その被験者のポジティブ感Sounds (2nd Edition; IADS-2) を採用した [8]．IADS2 は感情と注意に関する心理学実験のために開発さ情及びネガティブ感情の得点とする．そのポジティブ感情とネガティブ感情の全体の平均を計算する．比較れた音刺激のデータセットである．このデータセッは同一刺激内の表情変形ありとなしの間で行う．図 3

トには 167 の音刺激が集められている．それぞれの刺激は，100 人の被験者によって Pleasure，Arousal，Dominance の三項目を評価された．今回，快刺激はPleasure の平均値の上位 12 個，不快刺激は Pleasureの平均値の下位 12 個繋ぎ合わせ，それぞれの再生時にポジティブ感情の得点を, 図 4 ネガティブ感情の得点を示した. 快刺激を与えた場合では表情変形ありの方がポジティブ感情の得点が低くなった．同様に，不快刺激を与えた場合では表情変形ありの方がネガティ
ブ感情の得点が低くなるなど仮説通りの傾向が観察さ間を 1 分 12 秒にしたものを作成した．

れた．しかし，対応あり t 検定を行ったところ全ての項目で有意差は得られなかった [快刺激のポジティブ感情: t(11) = −0.108, p = .915(n.s.)]，[不快刺激のポジティブ感情: t(11) = −2.080, p = .062(n.s.)]，[快刺2912020年度日本認知科学会第37回大会

P-39

図5

試行ごとの SDNN

図 3 アンケートのポジティブ感情項目の結果

図 6 試行ごとの RMSSD
図 4 アンケートのネガティブ感情項目の結果

時に低下し，リラックスしている時に上昇する．シ
ステムが有効であるならば，快刺激を与える試行で激のネガティブ感情: t(11) = −0.803, p = .439(n.s.)]，は表情変形ありの方が心拍変動が小さくなり，不快[不 快 刺 激 の ネ ガ ティブ 感 情: t(11) = −1.097, p =.296(n.s.)]．

刺激を与える試行では表情変形なしの方が心拍変動が小さくなる．この心拍センサによるノイズを除外するために，下限値 250ms 以下，上限値 1500ms 以

4.3.2

上の RRI を除ぞいた後，平均± 3 ×標準偏差の範囲心拍変動分析に収まらないものを除外した．図 5 と図 6 は試行ご

心拍変動の分析には SDNN と RMSSD を使用した．との SDNN と RMSSD を表した箱ひげ図である．対RRI のデータ数を N ，i 番目の RRI の値を ni とすると応する試行ごとにウィルコクソンの符合順位検定を行った結果，快刺激の SDNN のみ有意差が確認された [快刺激の SDNN: z = 3.0, p = 0.005(< .05)]，[不vuNu1 X(xi − x)2
SDN N = t
N i=1

快刺激の SDNN: z = 14.0, p = 0.050(n.s.)]，[快刺激の RMSSD: z = 19.0, p = 0.117(n.s.)]，[不快刺激のRMSSD: z = 20.0, p = 0.136(n.s.)]．
vuu
RM SSD = t

N −11 X(xi − xi+1 )2
N − 1 i=1

4.4

考察

アンケートの平均値を比較すると，ポジティブ感となる. このどちらの指標もストレスを感じている

情，ネガティブ感情ともに全ての項目で表情変形あり

292

2020年度日本認知科学会第37回大会

P-39の方が得点が小さくなった．この結果より開発したシ[3] R.W.Picard. Affective computing. M.I.T Media Laboratory Perceptual Computing Section Technical Report,(321):1–16, 1995.
[4] Antonio Damasio. The feeling of what happens: Bodyand emotion in the making of consciousness. 1999. (田中三彦 (訳). 意識と自己. 講談社. 2018).
[5] P. Ekman and W. V. Friesen. Unmasking the face:
A Guide to Recognizing Emotions from Facial Expressions. MALOR BOOKS, 1975. (工藤力 (訳). 表情分析
入門. 誠信書房. 1987).
[6] Fritz Strack, Leonard L Martin, and Sabine Stepper.
Inhibiting and facilitating conditions of the humansmile: a nonobtrusive test of the facial feedback hypothesis. Journal of personality and social psychology,
54(5):768, 1988.
[7] 吉田成朗, 鳴海拓志, 櫻井翔, 谷川智洋, and 廣瀬通孝. リアルタイムな表情変形フィードバックによる感情体験の操作. ヒューマンインタフェース学会論文誌, 17(1):15–26, 2015.
[8] Margaret M. Bradley and Peter J. Lang. The international affective digitized sounds (2nd edition; iads2):affective ratings of sounds and instruction manual.
Technical report, NIMH Center for the Study of Emotion and Attention, 2007.
[9] 川人潤子, 大塚泰正, and 甲斐田幸佐. 日本語版 thepositive and negative affect schedule (panas) 20 項目の信頼性と妥当性の検討. 広島大学心理学研究, (11):225–
240, 2011.

ステムによってユーザの感情がニュートラルに近づいたと考えられる．しかし，これらの結果は統計的に有意でなかった．有意な結果が得られなかった原因としては表情変形の大きさが十分でなかったことと，音刺激の効果が不足してたことの２つが考えられる．生成する表情の大きさはユーザの心拍変動に応じて変化していくが，不自然に大きくならないよう小さめに設定していた．その結果，心拍変動の変化が小さい場合，感情をニュートラルにするために十分なフィードバックが行えていなかったと考えられる．また，被験者から「音刺激に慣れた」や「不快刺激を不快に感じなかった」というコメントが得られたこと，SDNN とRMSSD の快刺激の表情変形なしと不快刺激の表情変形なしの差が小さいことから，音刺激による心拍変動の変化が小さかったと言える．
心拍変動の分析結果では快刺激の SDNN で有意な差が観察された．ポジティブ感情を感じている状況でDisgust の表情を視覚的にフィードバックすることで感情がニュートラルに近づくことが示唆され，仮説通りの結果となった．不快刺激で有意差が見られなかったことについては，今回の手法では口を開けた表情を生成することができず，Joy の表情を表現しきれなかったことが原因だと考えられる．また，不快刺激を与えた際の表情変形ありのみ分散が大きくなった．これは普段口を開けて笑うかどうかによって，フィードバックされる表情の大きさに対する認識が変わったことが原因だと考えられる．

5.

おわりに

本稿は，心拍変動によって被験者の感情を推定し表情のフィードバックを返すことでユーザの感情をニュートラルに近づけるシステムの有効性をアンケー
トによる主観評価と心拍変動の分析によって調査した．
その結果，仮説に即した差は観察されたものの，有意ではなく，現行システムの有効性は十分に示せなかった．今後は，フィードバックする表情のサイズを決めるパラメータの調節を行う予定である．また，実験終盤の疲れも報告されたため，被験者の数を増やし，一人当たりの実験時間を減らした実験を検討している．

文献[1] 世界保健機関. 世界保健機関憲章, 1946.
[2] Academic Mindfulness Interest Group. Mindfulnessbased psychotherapies: a review of conceptual foundations, empirical evidence and practical considerations. Australian & New Zealand Journal of Psychiatry, 40(4):285–294, 2006.

293