公益財団法人中山人間科学振興財団活動報告書
2015(平成 27)年度研究助成 「社会脳のヒューマンサイエンス」

視聴覚からの情動伝染を実現する時系列神経基盤の解明

森 数馬
慶応義塾大学先導研究センター

1. はじめに他者が悲しんで泣いている様子を見ると，こちらも悲しい気持ちになることがある。反対に，歓喜に震えている他者を見ることで，一抹の興奮を覚えることがある。こうした，他者の情動状態を観察することで，自己の情動状態が他者の状態に近づく現象は情動伝染(emotional contagion)と呼ばれる(Hatfield et al., 1994)。
情動伝染に関する研究は，主に表情刺激を使って行われてきた。それらの研究では，喜び顔の刺激を提示したときに表情筋の頬骨筋の活動が活発になり，悲しみ顔の刺激を提示したときに皺眉筋の活動が活発になることが示されている(Sato et al., 2008)。このとき，他者の感情状態についての主観評価も行って，主観と対応する表情筋の活動が認められれば，他者と同様の感情が経験されたものとみなすのである。このような検討方法は，他者の示す情動を模倣したことを末梢神経活動の一つである表情筋によって調べている。中枢神経である脳活動においても情動伝染を示す反応が認められると推察されるが，そのような検討はあまり行われて来なかった。表情筋では笑顔の時に頬骨筋が動くことを利用して，他者の表情と観察者の表情が同様であったかを調べることができるが，脳では他者が笑顔を示している時の脳活動と観察者が笑顔を見た時の脳活動が似ていたか否かを確かめるのが難しい。
恐らくこのような理由から，脳活動による情動伝染の研究はあまり行われて来なかったものと考えられる。
しかし，動画刺激と脳波を使った研究を行うことで，脳活動における情動伝染を検討できると考えられる。動画刺激の表情について顔の動きを計測し，その動きに応じた脳活動が時系列で認められれば，表情を模倣した脳活動，すなわち神経活動における情動伝染が認められたと言えるのではないだろうか。このような情動伝染の神経活動について検討するには，fMRI（機能的核磁気共鳴）装置を使った秒単位の脳血流量測定よりも細かい時間単位で脳活動を測定することができる脳波が向いていると考えられる。動画における表情の動きについては，情報学の手法である”Facial Landmark”が適用できる(Zhang et al., 2014)。この手法を使用すれば，機械学習を応用した解析により，画像における顔の位置座標を正確に取得することができる。加えて，先に述べたように情動伝染の研究の多くは表情刺激によって行われてきたが，人が日常的にコミュニケーションを行う対人場面では表情に加えて音声も使用している。音声は，特定のイントネーションや音の高さの変化によって様々な情動を伝える(Banse & Scherer, 1996)。情動伝染が生じる際には，音声も重要な役割を果たしているのではないだろうか。音声を使用した情動伝染の研究があまり行われて来なかった要因の一つとしては，脳活動の場合と同様にして，表情とは異なり他者と観察者で対応した音声についての活動を計測するのが困難であることが挙げられるだろう。この点を解決するには，音声に関する音響解析を行って脳波との時系列の関係性を見出す必要がある。これにより，音声を模倣した脳活動が認められるか否かを基準にして情動伝染を示すことができると言える。
対人コミュニケーションは表情と音声の組み合わせにより行われるものの，それぞれは単独でも情動を示すことが出来る。日常生活では，表情が喜びを示していれば音声も喜びを示しているというように，表情と音声の示す情動が一致していることが多いと考えられる。
表情と音声が一致しているときには，それらが不一致であるときに生じる情動ストループ効果が認められず(Liu et al., 2015)よりも一貫した情動判断が得られると考えられることから，情動伝染についても表情と音声が一致している場合により生じやすいものと予測される。
以上から，本研究では，実験刺激として呈示する表情と音声の物理特徴に対応する観察者の脳波を時系列で計測することにより，脳における情動伝染の指標とする。表情と音声の示す情動が一致する場合に，脳における情動伝染がより強く認められるという予測のもとで心理生理実験による検討を行う。
2. 方法
実験参加者
関東圏の大学で募集した 11 名が実験に参加した。男性 6 名，女性 5 名，平均年齢 22.45歳（標準偏差 6.99）であった。
刺激
Takagi et al. (2015)の実験で使用された動画刺激から選出した。この刺激は，基本情動理論(Ekman et al., 1983)に基づいた作成が行われており，喜び，悲しみ，怒り，恐怖，嫌悪，驚きの６つの情動を示した表情と音声から成り，持続時間が 1 秒から 3 秒の範囲であった。
本研究では，表情と音声の情動一致・不一致の条件を作成するため，Takagi et al. (2015)が行った実験に基づいて表情と音声を組み合わせた刺激を選出した。この実験は大学生 99 名を対象に表情，音声のそれぞれについて，先に示した 6 つの情動のうちどの情動を示しているかを回答させるというものであった。この実験において，喜びと驚きは表情と音声が一致したとき，すなわち，喜び表情と喜び音声あるいは驚き表情と驚き音声を組み合わせた動画刺激を呈示した場合に正答率が高かった。一方で，喜び表情と驚き音声あるいは驚き表情と喜び音声を組み合わせた動画刺激を呈示した場合に正答率が低かった。他の情動の組み合わせと比べて，情動の一致・不一致の違いが明確であったため，本研究では喜びと驚きの情動をターゲットとして検討を行った。
本実験で用いた動画刺激は，表情と音声の示す情動の組み合わせが異なる 4 種類であり，それぞれについて 8 個であった。動画の内容は，「そうなんですか」，「どうなってるの」というどのような情動も込めることのできる 2 つの中立的な語について，演技経験の豊富な演者が発話するというものであった。演者が発話する際には，喜びもしくは驚きの情動を表情と音声に込めて発話を行ってもらった。演者は男性２名と女性２名であり，複数回の発話を行った。その中から，喜びや驚きが明瞭に示されていた表情および音声を用いて作成された，喜び表情-喜び音声，喜び表情-驚き音声，驚き表情-喜び音声，驚き表情-驚き音声の組み合わされた合計 32 種類の刺激を実験に用いた。

脳波測定
国際 10-20 法に則って個人ごとに 19 部位(Fp1, Fp2, F7, F3,Fz, F4, F8, T3, C3, Cz, C4, T4, T5, P3, Pz, P4, T6, O1, O2)の位置を計測して，電極をそれらの位置に配置して脳波を記録した（図 1）。額をグラウンド，左耳(A2)をレファレンスとした。さらに，左目の外側に電極を配置して水平方向の眼電位を，内側に配置して垂直方向の眼電位を記録した。サンプリングレートは 1000Hz であった。眼電位以外のそれぞれの電極において，イ

図 1. 脳波電極のンピーダンスを 5kΩ 以下に保って計測を行った。

おおよその位置手続き
実験は，脳波計を備えた防音室で個別の参加者ごとに行われた。参加者は実験室に到着した後，実験刺激を呈示するディスプレイおよびスピーカからおおよそ 1m 離れた位置に座った。実験者は参加者の頭に脳波電極を装着した。
実験課題は，Presentation (Version 14.7, www.neurobs.com)によって作成されたプログラ
ムにより制御が行われた。19 インチのディスプレイによって映像が，左右の２つのスピーカによって音声が呈示された。単一の実験試行において，最初に十字の固視点が 1s 視覚呈示された後，1-3s 程度の動画刺激が視聴覚呈示された。動画刺激は，ディスプレイの中心に600 x 420 ピクセルで視覚呈示され，聴取に快適な一定の音圧で聴覚呈示された。刺激の呈示後，参加者は刺激が喜びを示していたか，驚きを示していたかをボタン押しにより判断した。参加者は，刺激の示す情動についてなるべく早く正確に判断するよう指示された。3.5s以上経過した場合には，参加者の判断がなかったものとして次の試行に進んだ。次の実験試行に移る前に，ランダムで 0.5-1s の試行間間隔を設けた。以上の一試行の流れについて図2 に示す。
実験では以上の単一試行が，32 刺激を１ブロ1sックとして 6 回繰り返された。32 刺激はブロック内で順序をランダマイズして呈示された。1 ブロックごとに数十秒程度の休憩を挟んでから，次のブロックに進んだ。これらの合計 192 回の実験
試行について，顔の示す 情動を 判断する顔 課

＋

1~3s

動画呈示

< 3.5s
情動判断

題と，声の示す情動を判断する声課題を実施し0.5~1s
試行間間隔た。参加者は，顔課題では動画呈示時に聞こえてくる声を無視して顔の示す情動について評価した。声課題では動画呈示時に見る顔を無視して声図 2. 一試行の流れの示す情動について評価した。
データ解析
行動データとして，情動判断の正答率と反応時間を算出した。脳波データとして，32 刺激のそれぞれに対する脳波の加算平均値を算出した。この際，前処理としてまずレファレンスである左耳(A2)の電位の 2 分の 1 を減算した。次に，ローパスフィルタをかけることで40Hz 以上の周波数帯域の脳波成分を除去した。刺激呈示前の 200ms から刺激呈示時間までの区間の平均値をベースラインとして減算した。さらに，脳波振幅が±100uV を超えた場合については，分析から除外した。この後，刺激呈示中と前後の 200ms について脳波形を算出した。物理データとして，顔の位置座標と声の音響特性を算出し（図 3）。顔の位置
座 標 は ， C++ 言 語 の 画 像 処 理 ・ 機 械 学 習 ラ イ ブ ラ リ で あ る dlib18.18 のface_landmark_detection の機能を用いて抽出した。座標点には，顔の輪郭，眉毛，目，鼻，口の 5 部位 68 点が含まれており，動画を 30Hz ごとに切り出した画像のそれぞれに対して分析が行われた。声の音響 特性は，音響解析ソフトの Praat を用いて分析を行った。知覚される声の大きさを反映する強度，声の高さを反映する基本周波数，音色を反映する明るさ（2000-5000Hz の高周波数成分とそれ以下の成分の比率）の指標を時系列に算出した。1000Hz で測定した脳波と顔および声の特徴量の対応について，算出した基本周波数の単位である 100Hz に統一して検討を行った。このため，顔の座標点と声の強度・明るさについてスプライン補間を行ってデータを 100Hz ごとに変換した。

図 3. 顔および声の特徴量の分析

3. 結果
行動データ
図 4 に示すように顔課題と声課題について，情動一致条件と不一致条件のそれぞれで反応時間と正答率を算出した。参加者内
二要因分散分析の結果，反応時間では課題の種類に主効果が認められ，声課題条件で顔課題条件よりも長かった(F(1,8) = 7.51,p < .05)。正答率では課題の種類と情動条
件 の 交 互 作 用 が 認 め ら れ た (F(1,8) =41.15, p < .001)。下位検定の結果，情動一致条件と不一致条件の両方で顔課題の正答率が声課題よりも高かった(ps < .001)。さ

図 4. 条件ごとの正答率と反応時間の平均値（エラーバーは標準誤差）

らに，声課題において情動一致条件で不一致条件より正答率が高かった(p < .001)。
脳波データと物理特徴
課題ごと，条件ごとに脳波（Fp1, Fp2, F7, F3, Fz, F4, F8, T3, C3, Cz, C4, T4, T5, P3, Pz,P4, T6, O1, O2）と顔および声の特徴量（顔の輪郭，眉毛，目，鼻，口，声の大きさ，高さ，明るさ）の相関関係を検討した結果，図 5 に示すような相関係数が得られた。図から情動一致条件と不一致条件では相関関係が異ならないものの，顔課題における特定の脳部位での物理特徴量との相関係数が，声課題よりも大きいことが見て取れる。顔課題において，顔の特徴量のなかで輪郭と電極 O1，O2 で最も強い正の相関関係が認められた(r =0.23, 0.26)。
声の特徴量のなかで高さと電極 F8，T4 で最も強い正の相関関係が認められた(r = 0.40,0.38)。声課題ではこのような相関関係は認められなかった。

図 5. 条件ごとの顔・声の特徴量と脳波の相関係数の平均値（エラーバーは標準誤差）

4. 考察本研究は，視聴覚からの情動伝染を検討するため，時系列の脳波と顔および声の特徴量の関係性を調べた。結果から，顔と声の示す情動が一致している時に脳波と特徴量の結び付きが強くなるという予測に反して，情動の一致・不一致に関わらず顔に注意を向けている時に脳波と特徴量が関連性を持つと示された。さらに，反応時間と正答率から顔の示す情動を判断する課題が，声の示す情動を判断する課題よりも簡単であると考えられた。声の示す情動を判断する課題において，顔と声の示す情動が一致していない時が最も課題が困難であると考えられた。
顔課題において認められた脳波と特徴量の相関関係は，脳波を指標として視聴覚からの情動伝染を測定できる可能性を示唆するものであると言える。顔の特徴量との関連が認められた O1，O2 の電極部位である後頭部には一次視覚野が位置しており，顔の動きに応じてこの部位の活動が活発になったと考えられる。声の高さとの関連が認められた F8，T4 の電極部位である側頭部には右一次聴覚野が位置しており，声の高低に応じてこの部位の活動が活発になったと考えられる。なお，一次聴覚野は左右に存在しているが，音の意味処理との関連が深いのが左側であり，右側は音の規則性への処理と関連が深いということが示されている(Koelsch, 2012)。これらと行動指標の結果を合わせて考えれば，他者の情動が明瞭に認知される場面では脳が他者の顔や声を模倣して情動伝染が生じるものの，声を判断する課題のように難易度の高い課題では情動伝染が生じにくいことが示唆される。
加えて，顔と声の情動認知には文化差があり，西洋人は顔の情動に対する感度が高く，東洋人は声の情動に対する感度が高いことが示されている(Tanaka et al., 2010)。本研究では，顔と声の相関係数を比較すると，声の相関係数が若干高かった。西洋人を対象にして同様の実験を行った場合には，顔と声の相関係数の大小が裏返る可能性があると考えられる。
今後の検討において，得られたデータのより詳細な分析を行い，喜びと驚きの情動ではどのような違いがあるかの検討，顔や声の動きと脳波に何百 ms 程度の同期が認められるかの検討，行動指標・脳波・顔と声の特徴の３つを用いた総合的な検討などを目指す予定である。
5. 結論
我々が日常生活で行うコミュニケーション場面において他者の情動を判断するとき，顔に注意を払って判断を行うことが多いと考えられる。本研究結果から，コミュニケーションの最中に他者が情動を示すとき，脳は顔や声を時系列に模倣しており，それによって他者の情動が伝染する可能性が示唆される。このような情動の伝染は，声に注意を払うなどして他者の示す情動を完全に明確に認知できない場合には生じないことが示唆される。
謝辞
本研究は，中山科学振興財団の平成 27 年度研究助成を得て行われました。ここに厚く御礼申し上げます。また，本研究の遂行にあたり荒生弘史氏（大正大学大学院・人間科学研究科），田中章浩氏（東京女子大学大学院・人間科学研究科），川畑秀明氏（慶応義塾大学大学院・文学研究科）の協力を得ましたので，ここに記して御礼申し上げます。
参考文献
Banse, R., & Scherer, K. R. (1996). Acoustic profiles in vocal emotion expression. Journal ofPersonality and Social Psychology. 70, 614–636.
Ekman, P., Levenson, R. W., & Friesen, W. V. (1983). Autonomic Nervous System Activity
Distinguishes Among Emotions. Science, 221, 1208-1210.
Hatfield, E., Cacioppo, J. T., Rapson, R. L. (1993). Emotional contagion. Current Directionsin Psychological Sciences, 2, 96–99.
Koelsch, S. (Ed.). (2012). Brain and music. England, UK: Wiley-Blackwell.
Liu, P., Rigoulot, S., & Pell, M. D. (2015). Culture modulates the brain response to humanexpressions of emotion: Electrophysiological evidence. Neuropsychologia, 67, 1–13.
Sato, W., Fujimura, T., & Suzuki, N. (2008). Enhanced facial EMG activity in response todynamic facial expressions. International Journal of Psychophysiology, 70, 70–74.
Tanaka, A., Koizumi, A., Imai, H., Hiramatsu, S., Hiramoto, E., & de Gelder, B. (2010). I feelyour voice: cultural differences in the multi-sensory perception of emotion. PsychologicalScience, 21, 1259–1262.
Takagi, S., Hiramatsu, S., Tabei, K. & Tanaka, A. (2015) Multisensory perception of the six
basic emotions is modulated by attentional instruction and unattended modality.

Frontiers in Integrative Neuroscience, 9:1, doi: 10.3389/fnint.2015.00001
Zhang, Z., Luo, P., Loy, C. C., & Tang, X. (2014). Facial landmark detection by deep multitask learning. In Computer Vision–ECCV 2014 (pp. 94-108). Springer International
Publishing.