脳信号による情動情報の教示- 人と強化学習との協調学習型 BCI に向けて Neural Decoding of Emotional State as Reinforcement Signal
toward Collaborative Learning in BCI Systems
田中 あゆみ 1 ∗ 荻野 正樹 1 林 勲 1
Ayumi Tanaka1 Masaki Ogino1 Isao Hayashi111

関西大学 総合情報学部
Faculty of Informatics, Kansai University

Abstract: In recent years, research in BCI systems (Brain Computer Interface) has become
increasingly prevalent. However, very little research has been conducted trying to decode emotional
states from brain signals for that purpose. We propose to achieve stable control with BCI using
reinforcement learning as part of a collaborative learning system. As a step toward achieving
collaborative learning, in this work we conducted an experiment in which participants viewed
images and played a game while their oscillatory neural activity was being recorded with NIRS.
By modeling the relationship between emotional state and oscillatory power in the theta band, wewere able to decode participants’ emotional states from their brain activity.

1

はじめに最近，脳信号を用いた BCI(Brain computer interface) において，インタフェースモデルの重要性が指摘されている [1]．特に，インタフェースの一手法として強化学習 [2] を採用した場合，エージェントが学習するだけでなく脳も学習するので，エージェント学習と脳学習による協調学習が議論の焦点となる．図 1 に協調学習システムの概念図を示す．エージェントは時刻t に環境の状態 s(t) を観測して行動 a(t) を決定し，それに応じた報酬 r(t) を得るが，同時に，脳信号による示唆 (脳示唆)su(t) が与えられ，この脳示唆を強化学習の教師信号として学習効率を向上させる．
本論文では，この協調学習型 BCI の提案に向けて，制御者の脳信号と情動感との関係について議論する．
エージェントを効率良く制御させるためには，被験者の情動感に基づいたエージェントの強化学習を定式化する必要がある．もし制御者の情動感の脳波信号を用いて強化学習の報酬や価値関数を決定できれば，エージェントは制御者の情動感に従って行動するので，教師信号の内部報酬を得ることとなり，エージェントの制御効率が高まる．ここでは，その第一歩として，近赤外線分光法 (NIRS) により制御者の脳信号と情動感との関係を分析する．特に，恐れの情動感に注目し，数∗ 連絡先： 関西大学 総合情報学部

大阪府高槻市霊仙寺町 2-1-1
E-mail: nonbiriino.atnk@gmail.com

例の実験的検証を試みる．まず，恐怖動画の鑑賞時の脳波信号から，θ 波の信号強度が最も情動感を表現することを示す．次に，簡易型ゲームの試行実験によって，この θ 波を用いて制御対象の位置状況と被験者の恐れの情動感との関係を検証することを試みる．
脳信号から情動感を検知することができれば，制御者はエージェントとの協調的で効率的な制御を可能にできる．協調学習はエージェントと制御者とが連帯性の空気感を醸成するための一つのモデル法である．

図 1: 協調学習型 BCI の概念図

θ 波抽出による情動表現

縦軸は各脳信号に対する正規化信号強度である．8 種類の脳信号の中で，θ 波に顕著な変化が見られた．計測
脳信号の解析には，NeuroSky 社製の MindSet [3] を開始から恐怖画像が挿入された 1 分 50 秒 (110 秒) 以降用いる．MindSet の全体写真を図 2 に示す．MindSet はで，特に，θ 波のみに信号強度の上昇が見られた．図 5
簡易型脳信号計測装置であり，近赤外線分光法 (NIRS)に各周波数帯の 109 秒以前の平均信号強度と 110 秒以を用いて被験者の前頭葉の FP1/FP2 部の脳信号をドラ後の平均信号強度を示す．各周波数帯の中で，θ 波のみイ型電極で計測する．計測された脳信号は高速フーリエが信号強度が高く，110 秒以後で明らかに信号強度が増変換の内部処理により，1 秒毎に δ, θ, α1 , α2 , β1 , β2 , γ1 , γ2加し 2.2 倍の値を示した．このことから，θ 波は恐怖感の 8 種類の周波数に分別される．なお，周波数帯はを表現する周波数と考えられる．実際，文献 [4] では，
δ : 0.5−3.0Hz ，θ : 3.0−8.0Hz ，α1 : 8.0−10.0Hz ，α2 :θ 波には，5.5 − 7.5Hz の 1 秒以上持続する F mθ 波が10.0−12.0Hz ，β1 : 12.0−20.0Hz ，β2 : 20.0−30.0Hz ，γ1 : 存在し，あらゆる計測周波数の中でも特に精神作業中
30.0 − 45.0Hz ，γ2 : 45.0 − 60.0Hz である．に顕著に現れるとの報告がある．したがって，ここでまず，事前実験として，被験者の平常時の脳信号をは，この θ 波による信号強度の変位を [恐れの情動] と計測した．その結果，被験者の瞬き行為が脳信号に影定義し，脳信号の [恐れの情動] の測定に活用する．
響を与えていることがわかった．そこで，8 種類の脳信号の周波数帯から瞬き信号を除外することとした．いま，時刻 t における計測周波数 xi , i = 1, 2, · · · , 8 の信号を xi (t) とするとき，瞬きが発生した時刻 t∗ を次式で推定し，その時刻 t∗ の脳信号を除外することとする．

2

C(t) = {xi (t) | xi (t) − xi (t + 1) ≥ 0,(1)xi (t) − xi (t − 1) ≥ 0, i = 1, 2, · · · , 8}t∗

= {t | |C(t)| ≥ ω}

(2)ただし，ω は判別基準のしきい値であり，ここでは ω =6 とする．

図 3: 動画鑑賞時の θ 波の変位

図 2: NeuroSky 社の MindSet 装置

さて，8 種類の周波数帯から特に情動に関与する周波数帯を求めるため，ここでは，種々の情動の中でも比較的反応が導出しやすい恐怖感に焦点をあてた．被験者が恐怖を感じる動画を鑑賞し，恐怖感を感じ始める
場面前後の時間帯での被験者の脳信号を計測して，被験者の恐怖感に対する情動変化を推定した．動画は全編が 5 分 53 秒であり，開始から 1 分 50 秒以降が恐怖を感じる動画内容である．計測した NIRS 脳信号を高速フーリエ変換により各周波数帯に分別した．分別した θ 波を図 3 に示し，図 4 に残りの 7 種類の周波数帯での β1 の変位を示す．なお，横軸は計測時間を示し，

図 4: 動画鑑賞時の β 波の変位

特に，試行 B ：[観測制御状態] では，被験者の 1 回の制御ボタンの操作によってシーソは反転し，それによって箱は傾くが，この制御操作は 1 回の試行につき 5 回までとした．制御操作中に箱がシーソから落下する，もしくは，5 回の制御操作を超過して箱がシーソから落下した場合には，1 回の試行が終了して初期化される．
試行実験全体の所要時間は，被験者により個人差があるが，20 分から 30 分であった．

図 5: 動画鑑賞時の周波数帯別の信号強度の変位3ゲーム試行実験による情動分析

θ 波の計測により [恐れの情動] を計測できると定義した．ここでは，簡易型アニメーションゲームにより，被験者の [恐れの情動] と制御対象の位置との関係を議論する．いま，図 6 に簡易型ゲームのシーソの概要を示す．シーソは中心軸を固定し，時計回りと反時計回りに回転するが，表示開始時には水平位置に置かれ，左右5 段階に傾くこととする．シーソ上の箱は回転による傾きによってシーソの中心位置から移動し，箱がシーソの両端から落下してディスプレイから消えた時点で，リセットされ，1 回の試行が終了して，シーソと箱の位置は初期化される．
図 7 に実験手順を示す．まず，シーソが停止している[停止状態観測] をコントロール課題として，被験者は安静状態で θ 波の脳信号を 1 分間計測する．次に，[非観測制御状態] として，被験者は，シーソを表示していないディスプレイ画面を固視し，シーソの回転用 5 段
階の制御ボタンを押し，その θ 波を 1 分間計測する．
さらに，[観測非制御状態] として，被験者は，回転しているシーソ上の箱の動きを制御ボタンを押さずに固視し，その θ 波を 1 分間計測する．最後に，[観測制御状態] として，被験者は，シーソの箱が落ちないように制御ボタンを押し，その θ 波を 1 分間計測する．
ここでは，次の 2 つの試行実験について分析した．
試行 A：観測非制御状態 (シーソを固視する)
試行 B：観測制御状態 (シーソを制御する)
なお，被験者は 20 歳代の 3 名であり，被験者は顎乗せ台で顔の位置を固定した．また，それぞれ 5 回ずつの試行を行い，各試行の間には 2 分間の休憩を取った．

図 6: シーソを用いた簡易型ゲーム

図 7: 実験手順

図 8 にコントロール課題と箱が落下する直前の θ 波の平均信号強度を示す．ただし，箱の落下直前とは落下から 2 秒前までである．コントロール課題に対して，箱の落下直前の θ 波が高い値となっている．このことから，箱が落下するという一種の [恐れ情動] に対して，被験者は θ 波を高めている．
最後に，箱のシーソの中央位置と落下前後時の θ 波の比較信号強度を求めた．試行 A の結果を図 9 に示し，
試行 B の結果を図 10 に示す．横軸は箱の位置を示し，

図 8: コントロール課題と実験試行の信号強度
図 10: 試行 A の θ 波の信号強度

start は開始時，center は中央通過時，edge が落下時の位置であり，( ) 内の数値はその秒数である．縦軸は比較信号強度である．時刻 t における落下前後時の θ 波の比較信号強度 xR
θ (t) は次式で求めた．
xR
θ (t) =xθ (t)
ave{xCθ (t)}(3)

ただし，xCθ (t) は被験者のコントロール課題の θ 波の信号強度であり，ave は平均値である．
試行 A では，箱の位置が中央よりも端点の方が θ 波の信号強度が高く，落下時の直前で信号強度が最も高くなっていることがわかる．すなわち，被験者は箱落下の危険な状況の [恐怖感の情動] をよく認識していることがわかる．一方，試行 B では，操作信号が θ 波に混在していると考えられ，良い結果が得られなかったが，これは，被験者の制御ボタン操作時の情動の識別は困難であることを示しており，今後の協調学習型 BCI の検討すべき課題となった．

4

おわりに

本論文では，映像視聴や簡易型ゲームの試行実験を用いて人間の情動情報と脳信号の関係性を議論した．特に，情動の中でも [恐れの情動] について，θ 波と制御対象との関係について議論した．今後，協調学習型 BCIの提案に向けて，被験者の操作時の情動の識別方法をさらに検討する必要がある．
なお，本研究の一部は「文部科学省私立大学戦略的研究基盤形成支援事業 (平成 20 年度〜平成 24 年度)」
によって行われた．

参考文献[1] 林，徳田，清原，田口，工藤：生体表現システム：
ファジィインタフェースを用いた培養神経細胞とロボットとの相互接合，知能と情報，Vol.23, No.5,pp.761-772 (2011)[2] R.S.Sutton, A.G.Barto(著), 三上，皆川 (訳)：強化学習，森北出版 (2000)[3] 牧，中村，加納，山田：簡易な脳波センサにおける開眼・閉眼の影響，第 28 回ファジィシステムシンポジウム講演論文集，pp.632-636 (2012)[4] 大熊：臨床脳波学，医学書院 (2007)

図 9: 試行 A の θ 波の信号強度