同時計測された EEG 信号からの 2 名における感情共有の測定
Measuring aﬀective sharing between two people from simultaneously recorded EEG signals
木下 泰輝

田中 宏季

吉野 幸一郎中村 哲

Taiki Kinoshita

Hiroki Tanaka

Koichiro Yoshino

Satoshi Nakamura

奈良先端科学技術大学院大学

先端科学技術研究科

Nara Institute of Science and Technology, Graduate School of Science and Technology

Empathy has been studied intensively in the field of human-machine interaction and human-human interaction. In
many of these studies, empathy is subjectively measured by questionnaire. We propose a method to directly measure
human empathy from neural potential activity. In this research, EEG signals were recorded simultaneously fromtwo subjects engaged in emotional communication. After time frequency analysis was performed on the recorded
Electroencephalogram (EEG) signals, a cross correlation functions between EEG signals of two subjects werecalculated. To investigate the significance of cross correlations, paired t-test and false discovery rate correction
were performed. As a result, there was a significant cross correlation in the gamma frequency band in the joycondition. In addition, there was a marginally significant correlation in the sadness condition. From these results
we showed the possibility to measure empathy from cross correlation of EEG signals recorded from two subjects.

1.

はじめに

2.

共感は，人間のコミュニケーションにおいて重要な要素であり，社会心理学において盛んに研究が行われている．さらに，共感は，人間と人工エージェントのコミュニケーションにおいても重要性が指摘されいる [Zlotowski 16]．このため，ヒューマンコンピュータインタラクションやアフェクティブコンピューティングの分野で，人工エージェントに，社会心理学において提案された共感のモデルを取り入れ，より良いコミュニケーションの実現を目指す研究が行われている．しかし，このような研究においては，提案された人工エージェントに対する確立された評価手法が存在せず，さらなる研究が必要とされている [Paiva 17]．
共感は，認知的，感情的なメカニズムを含む複雑な現象であり，合意の取れた定義は存在しない．このことが，共感の計測が困難である要因の一つである [Neumann 15]．しかし，多くの共感研究に共通して，共感の要素に感情共有 (Aﬀectivesharing) が存在することが指摘されている [Decety 04]．感情共有とは，他者の感情を，自他の区別を伴った状態で経験し，無意識に共鳴することをさす．感情共有には，脳活動や表情の同期現象が伴うことが知られている．本研究では，共感に関係する多様な現象のうち，感情共有を対象とする．
感情共有に対する研究では functional magnetic resonanceimaging (fMRI) が頻繁に使用される．しかし，fMRI は大規模な装置を必要とし，また被験者が計測中に身動きを取れないことから，人工エージェントとの自然な対話を評価するなどの、実環境での利用は難しいと考えられる．一方，Electroencephalogram (EEG) は，脳活動を計測する代表的な手法の一つであり，計測が容易であることから，実環境下で利用可能という利点が存在する．以上のことから，本研究では，人工エー
ジェントに対する共感の評価手法を提案する前段階として，2名の人間における感情共有を EEG によって計測することを目的とする．

感情共有の計測方法

人間間の共感研究では，fMRI を用いた感情共有の計測が行われている [Anders 11]．この研究では，2 名の実験協力者を募集し，1 名に送信者と呼ばれる役割を，もう 1 名に受信者と呼ばれる役割を割り当てた．実験において，送信者は感情的な場面を想像し，感情表出を行う課題を行った．一方，受信者は送信者の表情を見て共感する課題を行った．この課題を行っている際の 2 名の脳活動が，2 台の fMRI によって同時計測された．得られた fMRI データに対する分析を行った結果，2 名の脳活動の同期現象が確認された．
一方，多くの人間エージェント間の共感研究では，共感と関連を持つと考えられている主観評価によって間接的に共感が評価されている．例えば，人工エージェントの信頼感，社会的存在感，知的さといった指標が利用されており，直接的な評価手法の必要性が指摘されている [Paiva 17]．
本研究では，EEG を利用した感情共有の計測を提案する．
このため，fMRI を利用した場合と比較して，実環境に近い状態で感情共有を計測することが可能となる．また，今後人工エージェントの評価に応用することにより，主観評価を利用した場合と比較して，直接的に共感を評価することが可能となることが期待される．

3.

EEG による感情共有の測定

3.1

実験協力者

実験協力者は，2 名の女性とした．ここで，実験協力者を 2名と限定したのは，EEG には個人差が現れることが知られているためである．この個人差の解消は次研究の課題とし，本研
究では 2 名の実験協力者のみを対象とする．また，実験協力者を女性としたのは，女性が男性と比較して感情共有を持ちやすいことがが知られているためである [David 80]．

3.2

実験手続き

本実験は，[Anders 11] で fMRI を用いて行われた実験がEEG で同様に再現可能か調査することを目的とする．図 1 に実験の概要を示す．実験協力者のうち 1 名が送信者の役割を，もう 1 名が受信者の役割を担当した．これら 2 名のうち，送信連絡先: 木下 泰輝，奈良先端科学技術大学院大学，奈良県生駒市高山町 8916-5 情報棟 B712，電話: 0743-72-5264，電
子メール: kinoshita.taiki.kk1@is.naist.jp

1

送信者

受信者

た．2) 0.3〜45Hz のバンドパスフィルタをかけた．3) 感情の指示が出された点をオンセットとし，-20 秒〜20 秒をエポッキングした．エポッキングにより，各感情について，それぞれ16 個ずつのエポックが切り出された．4) ノイズ除去を行った．
具体的には，独立成分分析を行った後，筋電を除去するため，EMG との相互相関が 0.1 以上である成分を削除した．また，
ADJUST [Mognon 11] を利用して，ノイズ成分を自動削除した．さらに，EEG のチャンネルのうち，最も筋電の影響を受けやすいと考えられる T7，T8 は削除した．5) 特徴量の抽出を行うため，時間周波数解析を行った．モルレーウェーブレッ
ト変換を行い，各周波数のパワーを算出した．この上で，ガンマ波を 30〜40Hz，ベータ波を 12〜30Hz，アルファ波を 7〜12Hz，セータ波を 4〜7Hz，デルタ波を 1〜4Hz と設定し，各周波数帯でパワーの平均値を算出した．6) 個人差の影響を軽減するため，パワーを各チャンネル毎に平均値 0，標準偏差 1に標準化した．

動画
試行1
試行2
試行3
試行4
試行5
試行620s
24s

22s

18s

22s

18s

3.4
図 1: 実験の概要．各色は，感情の種類を表している（喜び，悲しみ，無感情）．また，黒色は SAM を表している．本研究では，実験を 2 度行い，合計試行回数は 12 回となった．
者は休憩，感情表出という 2 種類の課題を行った．休憩では，教示用モニタに休憩という文字を表示した．この間，送信者はリラックスするよう指示された．一方，感情表出では，3 秒間のカウントダウンを表示した後，喜び，悲しみ，無感情のいずれかの文字を表示した．この間，送信者は，感情を感じる場面をそれぞれ想起し，それらの感情を表情によって表出した．
ここで，喜び，悲しみは，[Anders 11] において利用された 5種類の感情のうち，最も受信者の感情認識精度が高いと報告されている 2 種類の感情である．また，無感情は，喜び，悲しみと比較を行うためのベースラインである．本実験では，1 試
行で，休憩と感情表出を交互に 4 回行った．休憩の時間は 18〜24 秒から無作為に決定し，感情表出の時間は 20 秒とした．
また，試行の最後には，Self Assessment Mannequin (SAM)[Bradley 94] により，試行中の感情価が 9 段階で回答された．
以上の試行が合計 12 回行われた．
一方，受信者には，送信者の顔の表情が Web カメラ（Microsoft 社製 LifeCam Studio）によって，リアルタイムで提示された．受信者はこの映像から送信者の顔の表情を観察し，共感するという課題を行った．また，各試行の最後に，試行中に認識した送信者の感情と，受信者自身の感情をそれぞれ SAMにより回答した．
以上の課題を，2 名の実験協力者が同時に行っている間， 2名の EEG データ・並びに electromyography (EMG) を同時に収録した．ここで，EMG とは，筋電を収録する機器である．
本研究では，EEG を装着した状態で表情を動かすため，筋電がノイズとして混入することが予想される．このため，左皺眉筋ならびに左大頬骨筋の EMG を EEG と共に収録し，後処理で EEG データの筋電ノイズを削除した．EEG，EMG は，cognionics 社製 Quick-30 を使用して収録した．ここで，EMGは，EEG チャンネルのうち AF3，FC5 を置き換えることにより収録した．

3.3

感情共有の分析手法

EEG データに対して行った分析の方法を述べる．多くの研究で，2 名の脳活動の関連性は，EEG チャンネル同士の相関によって計測されている [Babiloni 14]．そこで，本研究では，送信者と受信者の EEG チャンネルの相互相関を，全ての組み合わせに対して算出した．ただし，相互相関のシフトは 1 秒以下に限定し，相互相関が最大となるシフトを選択した．さらに，算出された相関係数が有意であるかを決定するため，休憩期間と感情表出期間の相互相関を対応のある t 検定により比較した．
ただし，false discovery rate は Benjamini-Hochberg 法により調整した．以上の分析を行った上で，各チャンネルを頂点とし，有意 (p < 0.05) または有意傾向 (p < 0.1) な相互相関をもつチャンネル同士に辺を持つグラフを構築した．すなわち，対応のある t 検定の結果によって，相互相関の閾値を設定した．
さらに，構築されたグラフに対して，Global eﬃciency を算出した．Global eﬃciency とは，グラフ理論において提案された，情報伝達の効率性を表す指標である．Global eﬃciency の定義は，Average eﬃciency に基づいている．Average eﬃciency
は，各頂点間の最短経路長の平均値を表しており，式 (1) のように定義される．
E(G) =∑11n(n − 1)d(i, j)(1)

i̸=j∈G

ここで，n は全ノード数を表している．また，d(i, j) は，ノード i と j の最短経路長を表しており，本研究においては，エッジの有無を表している（ノード間に繋がりがあれば 1 を取り，なければ無限大を取る）．この時，Global eﬃciency は，式 (2)で表される．
E(G)(2)
Eglob (G) =E(Gall )ここで，E(Gall ) は，全結合グラフにおいて算出された Average
eﬃciency を表している．本研究においては，送信者のチャンネルと受信者のチャンネルが全結合されたグラフの Average
eﬃciency となる．Global eﬃciency は 0〜1 の値を取り，値が大きいほど効率性が高いことを意味する．この指標は，EEG研究においても，2 名の脳活動の繋がりの強さを指標化する目的で利用されている [Ciaramidaro 18]．

EEG データの前処理前処理は，以下の 6 つの手順で行った．ただし，手順 1)〜
4) においては，EEGLAB [Delorme 04] を利用し，手順 5)〜
6) においては，MNE [Gramfort 14][Gramfort 13] を利用した．1) サンプリング周波数を 200Hz にダウンサンプリングし4.

結果

まず，SAM に対する分析を行った結果を述べる．送信者の感情価と受信者が認識した感情価を図 2 に示す．送信者の感

2

送信者

受信者

987654321123456789図 4: 喜びにおいて相互相関が有意だったチャンネルの組み合わせのうち，t 値が大きかったチャンネルの組み合わせ 10 個に線が引いた (p < 0.05) その他の有意なチャンネルは，チャンネル名のみ示した．

図 2: 送信者の感情価と受信者が認識したが認識した感情価．
重なっている点は，色を濃く表示している．

送信者

受信者

987654321123456789

図 5: 悲しみにおいて相互相関が有意傾向だったチャンネルの組み合わせのうち，t 値が大きかったチャンネルの組み合わせ10 個に線が引いた（p < 0.1）．その他の有意傾向なチャンネ
ルは，チャンネル名のみ示した．

図 3: 送信者の感情価と受信者自身の感情価．重なっている点は，色を濃く表示している．

周波数帯においては全て 0 だった．次に，有意傾向 (p <0.1)
な相互相関を基に Global eﬃciency を算出した結果を表 1 に示す．表 1 に示した通り喜びのガンマ波，ベータ波，悲しみのガンマ波において 0 以外の値をとった．しかし，その他の周波数帯においては，全て 0 の値をとった．総じて，高周波数帯において Global eﬃciency が高い傾向が見られた．また，喜び，悲しみにおいて，無感情と比較して Global eﬃciency が高い傾向が見られた．

情価と受信者が認識した感情価の相関係数は 0.954 であり強い正の相関が見られた．次に，送信者の感情価と受信者自身の感情価を図 3 に示す．この時の相関係数は 0.966 であり強い正の相関が見られた．
次に，相互相関に対して，対応のある t 検定を行った結果を述べる．喜びでは，ガンマ波において，28 個の相互相関が有意であった (p < 0.05, n = 16)．ここで，n は，対象感情のエポック数を表している．その他の周波数帯では，有意な相互相関は見られなかった．図 4 に，t 値が大きかったチャンネルの組み合わせを 10 個示す．線が引かれているチャンネル同士に有意な相互相関が存在した．図 4 に示した通り，送信者のチャンネルと受信者の後頭部に位置するチャンネルに高い相互相関が見られた．一方，悲しみでは有意な相互相関は見られなかった．しかし，ガンマ波において有意傾向が見られた (p <0.1,n = 16)．図 5 に，t 値が大きかったチャンネルの組み合わせを 10 個示す．図 5 に示した通り，悲しみにおいても，喜びと同様に送信者のチャンネルと受信者の後頭部に位置するチャンネルに高い相互相関が見られた．一方無感情では，アルファ波において，休憩期間の方が有意に相互相関が高い組み合わせが一つ存在した (p < 0.05, n = 16)．
最後に，Global eﬃciency を算出した結果を述べる．有意(p <0.05) な相互相関を基に Global eﬃciency を算出した結果，喜びのガンマ波において，0.097 だった．その他の感情，

5.

考察

SAM に対する分析を行った結果より，送信者の感情が受信者によって正しく認識されていると考えられる．また，送信者の感情表現により受信者に近い感情が誘発され，感情共有が生じている状態で，脳活動の計測を行うことができたと判断できる．
次に，相互相関に対して対応のある t 検定を行った結果より，感情共有による脳活動の同期を，EEG を利用して計測することができる可能性が示された．しかし，悲しみにおいて有意な結果が得られなかったため，試行の回数を増やし再度分析を行うことが必要であると考えられる．
最後に，Global eﬃciency を算出した結果より，感情共有が生じている時，Global eﬃciency が高まる傾向が見られた．これにより，この指標を利用することで，感情共有を計測するこ3

EEG data analysis with MNE-Python, Frontiers in neuroscience, Vol. 7, p. 267 (2013)

表 1: 2 名の電極相互相関に基づく Global eﬃciency
感情ガンマ波 ベータ波 アルファ波
喜び
0.572
0.385
0.000
悲しみ0.152
0.000
0.000
無感情0.000
0.0000.000[Gramfort 14] Gramfort, A., Luessi, M., Larson, E., Engemann, D. A., Strohmeier, D., Brodbeck, C., Parkkonen, L., and Hämäläinen, M. S.: MNE software for processing MEG and EEG data, Neuroimage, Vol. 86, pp.
446–460 (2014)とができる可能性が示された．

6.

[Mognon 11] Mognon, A., Jovicich, J., Bruzzone, L., andBuiatti, M.: ADJUST: An automatic EEG artifact detector based on the joint use of spatial and temporalfeatures, Psychophysiology, Vol. 48, No. 2, pp. 229–240(2011)

まとめ

本研究の目的は，感情共有を 2 名同時計測された EEG から計測することである．分析の結果，感情共有が生じている
時，送信者のチャンネルと受信者の後頭部に位置するチャンネルの相互相関が高まる傾向が明らかとなった．さらに，相互相関を基に算出された Global eﬃciency の値が高まる傾向が明らかとなった．以上のことから，EEG の相互相関と Globaleﬃciency によって，二者間の Aﬀecitve sharing を計測できる可能性があると考えられる．今後は，実験の試行数を増やし，統計的に有意な結果を得る必要があると考えられる．

[Neumann 15] Neumann, D. L., Chan, R. C., Boyle, G. J.,
Wang, Y., and Westbury, H. R.: Measures of Empathy:
Self-Report, Behavioral, and Neuroscientific Approaches,in Measures of Personality and Social Psychological Constructs, pp. 257–289, Academic Press (2015)[Paiva 17] Paiva, A., Leite, I., Boukricha, H., andWachsmuth, I.: Empathy in Virtual Agents and Robots,
ACM Transactions on Interactive Intelligent Systems,Vol. 7, No. 3, pp. 11:1–11:40 (2017)

参考文献[Anders 11] Anders, S., Heinzle, J., Weiskopf, N.,Ethofer, T., and Haynes, J.-D.: Flow of aﬀective information between communicating brains., NeuroImage,Vol. 54, No. 1, pp. 439–46 (2011)[Zlotowski 16] Zlotowski, J., Sumioka, H., Nishio, S.,Glas, D. F., Bartneck, C., and Ishiguro, H.: Appearance of a robot aﬀects the impact of its behaviour on
perceived trustworthiness and empathy, Paladyn, Journal of Behavioral Robotics, Vol. 7, No. 1, pp. 7:55–66(2016)[Babiloni 14] Babiloni, F. and Astolfi, L.: Social neuroscience and hyperscanning techniques: past, present andfuture, Neuroscience & Biobehavioral Reviews, Vol. 44,
pp. 76–93 (2014)[Bradley 94] Bradley, M. M. and Lang, P. J.: Measuring
emotion: The self-assessment manikin and the semantic diﬀerential, Journal of Behavior Therapy and Experimental Psychiatry, Vol. 25, No. 1, pp. 49–59 (1994)[Ciaramidaro 18] Ciaramidaro, A., Toppi, J., Casper, C.,
Freitag, C. M., Siniatchkin, M., and Astolfi, L.: MultipleBrain Connectivity during Third Party Punishment: An
EEG Hyperscanning Study, Scientific Reports, Vol. 8,No. 1, p. 6822 (2018)[David 80] David, M. H.: A multidimensional approach toindividual diﬀerences in empathy, JSAS Catalog of Selected Documents in Psychology, No. 10, p. 85 (1980)[Decety 04] Decety, J. and Jackson, P. L.: The functionalarchitecture of human empathy., Behavioral and cognitive
neuroscience reviews, Vol. 3, No. 2, pp. 71–100 (2004)[Delorme 04] Delorme, A. and Makeig, S.: EEGLAB: anopen source toolbox for analysis of single-trial EEG dynamics including independent component analysis, Journal of neuroscience methods, Vol. 134, No. 1, pp. 9–21
(2004)[Gramfort 13] Gramfort, A., Luessi, M., Larson, E., Engemann, D. A., Strohmeier, D., Brodbeck, C., Goj, R.,
Jas, M., Brooks, T., Parkkonen, L., et al.: MEG and4