This article is a technical report without peer review, and its polished and/or extended version may be published elsewhere.

第 26 回日本バーチャルリアリティ学会大会論文集（2021 年 9 月）

BMI のための入力脳波長の異なる CNN のブレンドによる変化に鋭敏な実時間分類
Real-time EEG Classiﬁcation Sensitive to Changes by Blending CNNs with Diﬀerent Signal Lengths
太田貴士 1) ，舟橋健司 2)

Takashi OTA and Kenji Funahashi1) 名古屋工業大学 情報工学科（〒 465-8555 名古屋市昭和区御器所町, t.ota.787@stn.nitech.ac.jp)
2) 名古屋工業大学 情報工学科 (〒 465-8555 名古屋市昭和区御器所町, kenji@nitech.ac.jp)
概要: 脳波で機械を操作するためのインターフェースの研究が多く行われており, ニューラルネットワークを用いた高い精度での認識手法が提案されている. しかし, これらの分類モデルは精度向上のために時間軸方向に入力が長く, 入力脳波の変化への反応が遅くてリアルタイム性に乏しい. 本研究では, 入力信号長の異なる複数の CNN をブレンドすることでリアルタイム性を向上させる手法を提案する.
キーワード： ブレインマシンインターフェース, 脳波, ニューラルネットワーク

1.

はじめに対話システムに利用する場合, 図 1 (b) のように, 初めて入ブレインマシンインターフェース (BMI) は, 脳波などの力信号が全て変化後の想起クラスの脳波となるのは, ユーザ脳情報を利用して脳と機械をつなぐ技術である. 脳波は脳内の想起クラスが変化してから, 522/250 ≈ 2.1 秒後のことでで生じる電気活動であり, 頭部に設置した電極で記録される.

ある. 一方, この遅延を緩和するために単純に入力信号長を近年は, 小型で可搬性に優れた, かつ時間的分解能が高い脳短くしてしまうと, 今度は分類性能が下がってしまう. 筆者

波計測機器が開発されていることから, 脳波 BMI の研究がらが行った予備実験では, 2 つのクラスに対して各 750 個の盛んに行われている. 例えば, サルの脳波でロボットアーム学習データで, 入力信号長が 128 サンプルの CNN と入力信を操作する研究 [1] や人間の脳波で車いすを操作する研究号長が 256 サンプルの CNN を学習させ, 両者の分類性能を[2] などが行われてきた. また, Schirmeister らはニューラルネットワークの一種である CNN でも従来の脳波解読技術である FBSCP[3] と同等の高い精度で脳波を分類できることを示した [4]. これにより, 高い精度で脳波分類が可能であり, かつ自動的に特徴選択が行えるニューラルネットワー
クを利用した脳波分類の手法が注目を集めるようになった.

CNN による脳波分類は, 横軸を時間軸, 縦軸を電極番号とした 2 次元平面に対する脳波強度データを CNN に入力して, 最終的に得られた予測確率が最大のクラスの出力を得るというものである. ところで, リアルタイムで脳波を分類(a) 想起クラスが変化した直後するためには, CNN に対する入力信号が時間軸方向に長い場合にはユーザの想起クラスの変化, すなわち脳波の変化への追従が遅れてしまうというデメリットがある. すなわち,
図 1 (a) のように, ユーザの想起クラスが変化した直後はCNN への入力に変化後の想起クラスはほとんど含まれないため, 変化前の想起クラスの予測確率が高くなってしまい,
図 1 (b) のように変化後の想起クラスの脳波が CNN への入力の大部分を占めるようになると, ようやく変化後の想起クラスの予測確率が高くなる. Schirmeister らの研究 [4] で(b) 入力信号が全て変化後の想起クラスになったとき使われた CNN のうちの 1 つのアーキテクチャは入力データが 250Hz サンプリングの脳波に対して時間方向に 522 サンプルであった. もし, この CNN をそのままリアルタイム

図 1: 想起クラス変化時の入力信号の変化比較したところ, 前者は 64.1%, 後者は 71.6%となった. こ表 1: クロップのステップ幅と学習データ数のように, 想起コマンドの変化への反応速度と分類性能がトレードオフの関係になっていて, ニューラルネットワークによりリアルタイム脳波分類を行うことは困難である. 本研

CNN の入力サイズ

ステップ幅

学習データ数25680115238496928512136632

究では, 時間軸方向の入力信号長の異なる CNN の出力結果をブレンド [5] することによって, この遅延を緩和する手法を提案する.

提案手法

2.

時間軸方向の入力信号長の異なる CNN の出力結果をブレンドして, その結果を得る手法を提案する. ブレンディン

3.2

データセットグは複数の弱分類器を加重平均することで, 全体としての分本実験では, 20 代男性の被験者一名の脳波を計測した. 脳類性能を向上させる方法である. 図 2 は本研究で提案する手波の計測には, Emotiv EPOC X を利用した. 電極数が 14,法を表す模式図である. 入力信号長の長い CN NLON G はま

内部サンプリングレートは 2048Hz で, 256Hz にダウンサンだ入力の半分以上を想起クラス変化前の脳波データが占めプリングされた信号を取得することができる. 学習用脳波ているため, 現在時刻において既に想起クラスは A から B

データは, 右手開閉動作の想起と左手開閉動作の想起の 2 クに変化しているが, クラス A である確率を 0.8 と示していラスそれぞれについて, 16 秒間の計測を 1 試行として, 24る. しかし, 入力信号長の短い CN NSHORT は既に入力の試行計測したものである. テスト用脳波データ計測中は, 計全体を想起クラス変化後の脳波データが占めているため, 想測の途中で被験者に想起クラスを変化させる指示を画面上起クラスの変化に対応できており, クラス B である確率をに表示する. このような想起クラスの変化を含む 8 秒間の0.95 と示している. これらの CNN の出力の加重平均を算

計測を 1 試行として, 右手の動作から左手の動作に変化する

出することで, 全体として想起クラスの変化への対応が期待パターンとその逆のパターンの 2 種類それぞれ 12 試行計測できる. このように時間軸方向の入力信号長の異なる CNNした. なお, 学習用脳波データ, テスト用脳波データともに,の出力結果をブレンドすることで, 入力信号長の長い CNN

計測タスクに対する慣れを防ぐために, 計測タスクをランダだけを使う場合に比べて想起クラスの変化に早く反応できムにシャッフルして計測した.

るようになり, かつ入力信号長の短い CNN に比べて分類性3.3

能が高くなると予想される.

CNN の学習CNN の学習にあたり, 学習用脳波データを各 CNN の入力サイズ (サンプリングレート 256Hz のデータに対するサ

3.
3.1

実験

ンプル数) にクロップした. クロップとは CNN の入力サイ

概要

ズよりも大きいデータから CNN の入力サイズに切り出す

上記の提案手法の性能を実証するために, 以下の手順で実験を行った.

ことであり, 切り出す時刻を変えることで複数のデータとして扱う. 画像認識の分野でよく使われているデータの水増し

1. 単一のクラスを想起させた学習用の脳波と途中で想起クラスを変化させたテスト用の脳波を計測する.

2. 学習データで入力信号長の異なる複数の CNN を学習させる.の手法であり, Schirmeister らの研究 [4] で脳波データに対してもクロップによる水増しが学習に有効であることが確認されている. なお, あるトライアルデータの特定部分が多数のクロップデータに含まれていると過学習になる恐れがあるので, CNN の時間軸方向の入力サイズに応じてクロッ3. テストデータに対して提案手法を適用し, 提案手法の性能を評価する.

プ時のステップ幅を変えた (表 1) .
各入力信号長における CNN の構成は, Schirrmeister らの研究 [4] を参考にした. ただし, 畳み込み窓のサイズを入力信号のサイズに合わせて変更し, ドロップアウトの割合とフィルター数を学習データの量に合わせて変更した. それ以
外は Schirrmeister らの研究 [4] の Deep ConvNet と同じ構成である.

3.4

提案手法の性能評価

予備実験より, CNN の入力サイズは 256, 384, 512 の 3通りに設定した. また学習結果である分類器の精度はそれほど高くないためシードの違いにより異なる弱学習器が得られた. そのため同じ入力サイズの異なる分類器をブレンドするだけでも精度が向上するので, 異なる入力サイズでの
図 2: 提案手法

ブレンドの比較対象を, 同じ入力サイズでの同数のブレンドことが確認できる.とした. まず, 各入力サイズにつき 6 通りの乱数シードとと(3) 各ブレンド, 各フェーズ毎の全てのテストデータに対もに学習データで学習させることで計 18 の分類器を得たう

する平均正答率を表 2 に示す. まず, フェーズ 2 の正解率

えで, 以下の通り時間変化に伴う出力, すなわち各クラスのは, (a)256×6 のブレンド分類器では 0.60, (b)384×6 のブ確率の遷移を計算した.

レンド分類器では 0.54, 512×6 のブレンド分類器では 0.52

(1) 8 秒間のテストデータに対して 16 サンプル (約 0.06 秒)であり, 入力サイズの小さい分類器ほどフェーズ 2 の正解率ステップで対応する長さのデータを各分類器に入力した.

が高い, すなわち脳波の変化への対応が早いことが確認でき(2) 続いて以下の組み合わせで, (1) の結果を均等な重みでる. また, (d)256×2+2+2 と (e)256×3+2+1 のブレンド分ブレンドした. なお, 以降では括弧内の略称により表記する.

類器のフェーズ 2 の正解率はそれぞれ 0.56 と 0.62 である.

(a) 入力サイズ 256 の分類器 6 個 (256×6)

入力サイズの異なる分類器の出力をブレンドすることで, 比(b) 入力サイズ 384 の分類器 6 個 (384×6)

較的安定して高い確率を示しつつ脳波の変化への対応が早(c) 入力サイズ 512 の分類器 6 個 (512×6)

くなることが確認できる.

(d) 入力サイズ 256 の分類器 2 個, 入力サイズ 384 の分類それぞれの結果について考察する. 脳科学分野では反応時

器 2 個, 入力サイズ 512 の分類器 2 個 (256×2+2+2)

間は 200-300ms 程度であると言われているが, 本入力デー(e) 入力サイズ 256 の分類器 3 個, 入力サイズ 384 の分類

タ採取時には「可能な限り迅速に想起クラスを変化させる」

器 2 個, 入力サイズ 512 の分類器 1 個 (256×3+2+1)

ことを意識していなかった. 自動車の急制動時反応時間 (空(3) 最後に, 各ブレンドに対して, (2) の結果のうち通常分の走時間) は意識的な実験でもペダルの踏み替えまでに 0.75

分類性能と想起クラス変化時の反応速度を調べた. すなわち,秒必要と言われている. そこで想起クラスの変更指示が画面8 秒間のテストデータを序盤の想起クラス変化前のフェーズに提示されてから被験者が実際に想起クラスを変えるまで1, 中盤の想起クラス遷移中のフェーズ 2, 終盤の想起クラスにおよそ 1 秒要していたと仮定し, 実際に脳波変化からの遅変化後のフェーズ 3 の 3 つに分割して, それぞれのフェーズ

延は (c)512×6 において 1.1 秒であったとすると, 提案手法での正答率を計算した.の (e)256×3+2+2 では 0.7 秒と, 大幅に短縮できている (図想起クラスの変化に鋭敏な分類器は, フェーズ 2 での精3) . さらに, (a)256×6 の 2.5 秒から 3.5 秒付近では推定確度が高くなると予想される. また, 通常時の分類性能が高い率が 50%は超えているものの 100%には程遠く, (c)512×6

分類器は, フェーズ 1 とフェーズ 3 での精度が高くなると予では 100%に近い値を示しているのに対して, (d), (e) では想される. なお, 脳科学分野では, 視覚刺激に追従するボタ比較的高い値を示している. すなわち, 提案手法は変化へのン押し操作実験などにおいて反応時間が 200-300ms 程度で反応が早い上に入力サイズの小さい分類器に比べて通常時あると言われている. そこで想起クラス変化の指示が提示の分類性能が高いと言える (図 2) . また, (e) は (d) に比べされてから被験者が変化後のクラスを実際に想起し始めるてフェーズ 2 の正解率が高いが, フェーズ 1 と 3 では低いまでの遅延を考慮して, フェーズ 2 の開始時刻は, 画面に想(表 2) . ブレンドの割合が高い入力サイズ CNN の特性がブ起クラスが提示されてから約 0.25 秒 (64 サンプル) 後としレンド結果により反映されているのだろう. ブレンド割合

た. また, 遅延は各データによりばらついていることも考慮やブレンド時の重みも重要なパラメータであると考えられして, フェーズ 2 の継続時間は約 2.5 秒 (640 サンプル) 間る. ところで, (a)-(c) 3 つの分類器に対するフェーズ 1 と 3と十分に長く設定した.の全データに対する総合的な正答率に大きな差は無かった.
入力サイズの大きい分類器ほど想起クラスの変化を含まな4.

実験結果と考察い脳波に対する分類性能が高いという傾向は見られなかっ(1) 各分類器単体での出力例を, 図 3 の (x), (y), (z) に示た. これは, 入力サイズ 512 の CNN は, 学習データが少なす. 左手開閉動作に対応するクラス Left, 右手開閉動作にく (表 1), 分類器の性能を十分に高められなかったためであ対応するクラス Right と分類される確率は, 1 節に記した通ろう. 2 クラス分類では推定確率 50%をしきい値にクラスり, 入力信号長が長い方が定常時の確率は比較的安定して高分類を行うため, 例えば推定確率が 55%と高くない場合でいが, 短い方が想起クラスの変化に早く追従していることがも正答と判断されてしまうが, 複数クラス分類を想定した場分かる.

合にはより高い性能が期待される.

(2) 各ブレンドの結果のうち, あるテストデータに対する出力を図 2 の (a)-(e) に示す. まず, (x) と (a), (z) と (c) を

5.

むすび

比較すると, ブレンドした方が比較的安定して高い確率を示

本研究では, 脳波の変化に鋭敏に反応することができるしていることが分かる. また (a)-(c) に注目すると, やはり,BMI を目指して, 入力サイズの異なる分類器をブレンドす

入力サイズの小さい分類器ほど早く想起クラスの変化に追る手法を提案した. また, ブレンドの割合を変えることで分従していることが分かる. 加えて, (a)-(c) と異なる入力サイ類性能が変わることも確認できた. しかし, 入力サイズ 512ズの分類器をブレンドした (d), (e) と比較すると, 比較的安サンプルの CNN が学習データ不足により, 上手く学習でき定して高い確率を示しつつ脳波の変化への対応が早くなるていなかった可能性があるため, 提案手法の通常時の脳波分類の精度の高さを検証することはできなかった. 今後の展望としては, 敵対生成ネットワークなどでデータの水増しを試みるなどして入力サイズ 512 サンプルの CNN の学習デー
タ不足を解消して再度実験を行ったり, より適切な入力サイズの組み合わせを調べたりしたい. また, より定常時の分類性能を高く, 脳波変化時の反応速度を早くするために, 脳波の変化を検知して動的にブレンドの割合を変化させることも試みたい.

謝辞 本研究の一部は JSPS 科研費 JP20K11918 の助成を受けたものです.

参考文献[1] Johan Wessberg, et al.：Real-time Prediction of Hand
Trajectory by Ensembles of Cortical Neurons in Primates，Nature，Vol. 408, No. 1, pp. 361–365, 2000.
[2] 田中一男：脳波指令で動く車いすの開発, 精密工学会誌,Vol. 78, No. 8, pp. 662–665, 2012.
[3] Ang KK, et al.: Filter Bank Common Spatial Pattern(FBCSP) in Brain-Computer Interface, IEEE International Joint Conference on Neural Networks 2008,
IJCNN, pp. 2390–2397, 2008.
[4] Schirrmeister RT, et al.：Deep Learning With Convolutional Neural Networks for EEG Decoding and Visualization, Human Brain Mapping, Vol. 38, No. 11,
pp. 5391–5420, 2017.
[5] Andreas
BigChaosPrize,

TöscherandSolutionMichaelJahrer:

ThetheNetﬂixGrandto

https://www.netflixprize.com/assets/

GrandPrize2009_BPC_BigChaos.pdf.

表 2: 各組み合わせのフェーズ毎の平均正答率

フェーズ
ブレンド分類器

123(a) 256×60.64

0.60

0.88(b) 384×60.63

0.540.88(c) 512×60.620.520.87(d) 256×2+2+20.63

0.56

0.91

(e) 256×3+2+1

0.58

0.640.90
図 3: 出力確率の遷移