2021 年度 卒業論文

論文題目

BMI のための異なる入力長 CNN のブレンドによる脳波変化に鋭敏な実時間分類

指導教員
舟橋 健司 准教授

名古屋工業大学 工学部 情報工学科

2018 年度入学 30114020 番

太田 貴士

i

目次
第 1 章 はじめに

1

第 2 章 入力信号長の短い CNN と入力信号長の長い CNN の比較 (予備実験)

42.1

概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4

2.2

データセット . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4

2.3

CNN の学習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

6

2.4

結果と考察

11

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

第 3 章 入力信号長の異なる CNN 分類器のブレンドの性能評価 (本実験)

13

3.1

概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

13

3.2

提案手法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

13

3.3

データセット . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

14

3.4

CNN の学習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

16

3.5

評価方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

18

3.6

結果と考察

19

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

第 4 章 むすび

22

謝辞

23

参考文献

24

1

第1章

はじめに

ブレインマシンインターフェース（BMI）とは, 脳と機械をつなぐ技術である. BMIには, 人が動作を考えただけでその思考通りに機械を動かすような技術と, 脳に電気刺激を与えて人の感覚に干渉するような技術が含まれる. 前者の中では, 人の脳波

(EEG) から人の思考を解釈して機械を操作する技術の研究が特に盛んに行われている. ところで, ALS などの病気や老化に伴う筋肉量の減少などの理由で体を思い通りに動かせない人がいる. これらの人が自由な社会生活を営むために, この技術は有用であり期待されている [1]. 脳波とは, 脳内で生じる電気活動であり, 頭部に設置した電極で記録される. 近年では, 小型で可搬性に優れ, かつ時間的分解能が高い脳波計測器が開発されていることも, 脳波 BMI の研究が盛んに行われている一因である. 脳
波 BMI の研究の例としては, サルの脳波でロボットアームを操作する研究 [2] や人間の脳波で車いすを操作する研究 [3] などが挙げられる. また, Schirmeister らはニュー
ラルネットワークの一種である CNN でも従来の脳波解読技術である FBCSP[4] と同等の高い精度で脳波を計測できることを示した [5]. これにより, 高い精度で脳波分類が可能であり, かつ自動的に特徴選択が行われるニューラルネットワークを利用した脳波分類の手法が注目を集めるようになった.

CNN による脳波分類は, 横軸を時間軸, 縦軸を各電極とした 2 次元平面に対する脳波強度データを CNN に入力して, 最終的に得られた推定確率が最大のクラスを出力するというものである. ところで, リアルタイムで脳波を分類するためには, CNN に対する入力信号が時間軸方向に長い場合にはユーザの想起クラスの変化, すなわち脳波の変化への追従が遅れてしまうというデメリットがある. すなわち, 図 1.1(a) のように, ユーザの想起クラスが変化した直後は CNN への入力に変化後の想起クラス
はほとんど含まれないため, 変化前の想起クラスの予測確率が高くなってしまう. その後, 図 1.1(b) のように変化後の想起クラスの脳波が CNN への入力の大部分を占め

第1章

はじめに

2

るようになると, ようやく変化後の想起クラスの予測確率が高くなる. Schirmeisterらの研究 [5] で使われた CNN のうちの 1 つのアーキテクチャは入力データが 250Hz
サンプリングの脳波に対して時間軸方向に 522 サンプルであった. もし, この CNNをそのままリアルタイム対話システムに利用する場合, 図 1.1(b) のように, 初めて入力信号が全て変化後の想起クラスの脳波となるのは, ユーザの想起クラスが変化してから, 522/250 ≈ 2.1 秒後のことである. また, Xiangmin らによる CNN による運動想起 EEG 分類の研究 [6] では, 4 秒間の EEG データを使って脳波分類を行っている. このように多くの研究では, 脳波分類器への入力信号の時間軸方向の長さ (以下,
入力信号長と呼ぶ) が長い CNN を用いて脳波分類を行っている. しかし, この遅延を緩和するために単純に入力信号長の短い CNN 分類器を使用してしまうと, CNNに入力される情報量が少なくなるため, 通常時の分類性能が下がってしまう. 筆者が行った予備実験 (2 章) では, 入力信号長の短い CNN 分類器は入力信号長の長い

CNN 分類器に比べて, 通常時の分類性能が低いことが確認できた. このように, 想起クラスの変化への追従性能と通常時の分類性能がトレードオフの関係になっていて, ニューラルネットワークにより応答速度の大きいリアルタイム脳波分類を行うことは困難である. 本研究では, 時間軸方向の入力信号長の異なる CNN 分類器に対して, アンサンブル学習の一種であるブレンディングを適用することによって, この遅延を緩和する手法を提案して, その性能評価を行った (3 章).

第1章

はじめに

3

クラスA

クラスB

CNNの入力信号長

…

（
各
信電
号極
強番
度号
）

想起クラス 現在の変化時刻 時刻(a) 想起クラスが変化した直後

クラスA

時刻

クラスB

CNNの入力信号長

…

（
各
信電
号極
強番
度号
）

想起クラス
現在
の変化時刻
時刻 時刻
(b) 入力信号が全て変化後の想起クラスになったとき

図 1.1: 想起クラス変化時の入力信号の変化

4

第2章

2.1

入力信号長の短い CNN と入力信号長の長い CNN の比較 (予備実験)

概要

予備実験では, 入力信号長の短い CNN と入力信号長の長い CNN の分類性能の比較を行った. 1 章で述べた通り, 多くの研究では入力信号長の長い CNN が使われているが, 入力信号長の長い CNN は脳波の変化に対する追従性能が高くない. そのため筆者は, 入力信号長の短い CNN を利用することはできないかと考え, 予備実験として入力信号長の異なる CNN の分類性能の比較を行った. 具体的には, 入力信号長が 32, 45, 64, 90, 128, 180, 256[サンプル] の 7 種類の CNN の分類性能を比較した.
予備実験の結果, 入力信号長が長いほど分類性能が高いということが確認できた.

2.2

データセット

予備実験で使用した脳波計は, Emotiv EPOC X (以下, EPOC X と呼ぶ) (図 2.1)
である. EPOC X は, 電極数が 14, 内部サンプリングレートは 2048Hz で, 256Hz に
ダウンサンプリングされた信号を取得することができる. 14 個の電極は, 拡張国際

10-20 法 [7] で規定された電極位置のうち, AF3, F7, F3, FC5, T7, P7, O1, O2, P8,
T8, FC6, F4, F8, AF4 に該当する位置に配置されている. 電極の素材はフェルトであり, 生理食塩水に浸してから使用することで, 頭皮との間の接触インピーダンスを低減させることができる.
実験被験者は 22 歳の男性 1 名である. Emotiv 社が公開する Cortex API を用いて自作した脳波計測プログラム (図 2.2) を用いて, 図 2.3 のイメージ図のような右手の開閉動作の想起と左手の開閉動作の想起の 2 クラスについて, それぞれ 16 秒間の運動想起脳波の計測を 40 トライアル行った. なお, 同一クラスの脳波計測タスクが連第2章

入力信号長の短い CNN と入力信号長の長い CNN の比較 (予備実験)

5

続することによる被験者の計測タスクに対する慣れを防ぐために, 計測タスクの順
番をシャッフルした.

図 2.1: Emotiv EPOC X(a) 左手の開閉動作の脳波計測時の画面表示(b) 右手の開閉動作の脳波計測時の画面表示

図 2.2: 運動想起脳波計測プログラム

第2章

入力信号長の短い CNN と入力信号長の長い CNN の比較 (予備実験)6

図 2.3: 運動想起イメージ図

2.3

CNN の学習

前処理として, 上記の計測データから CNN の入力信号長に学習データをクロップした. クロップとは, サイズの大きいデータからデータの一部を切り取る操作のことである. 学習データの量を増やし, 過学習を抑制することができるデータ拡張の一つである. クロップは, Howard の研究 [8] により, 画像分類タスクにおいて, その有用性が確認されてから, 主に画像認識の分野で一般的なデータ拡張の手法として用いられるようになったが, クロップが EEG データに対しても有用であることが,Schirrmeister らの研究 [5] らによって, 確認されている. ところで, クロップは適度に適用すると過学習を抑える効果があるが, 過剰に適用すると逆に過学習に陥ってしまうことがある. これは, データ拡張を行ったところで元データに強く現れている
特徴をより強く学習してしまうからである. これより, クロップは適切な強度で適用することが肝要である. 今回は, CNN の入力信号長ごとに適切なクロップ強度が異なる可能性があるため, 7 段階のクロップの強度で実験を行った. 各クロップ強度でクロップを適用したとき学習データ量およびテストデータ量は表 2.1 のようになっ第2章

入力信号長の短い CNN と入力信号長の長い CNN の比較 (予備実験)

7

た. 学習データの量はクロップの強度によって変わるが, テストデータの量はクロッ
プ条件ごとに変える必要がないので同数とした. データセットの中には右手の開閉動作と左手の開閉動作の 2 クラスのデータがあるが, それらはほぼ同数である. そして, 上記のデータセットを用いて, 入力信号長の異なる CNN を学習させた. CNN のアーキテクチャは, Schirrmeister らの研究 [5] で使われていた CNN の一つを参考にして, 表 2.2, 2.3, 2.4, 2.5, 2.6, 2.7, 2.8 のように決定した.
表 2.1: 各クロップの強度におけるデータ量
クロップの強度

学習データ量テストデータ量

1

1856

240

2

2038

240

3

2220

240

4

2420

240

5

2614

240

6

2802

240

7

3192

240

表 2.2: 入力信号長 32 の CNN のアーキテクチャ
レイヤー

サイズ

出力

フィルター数

活性化関数

ドロップアウト率

conv2D(11, 1)(22, 14)

30

...

...

conv2D(1, 14)(22, 1)30

Relu

average pooling2D(2, 1)(11, 1)30

Dropout(11, 1)

0.2

Conv2D(10, 1)(2, 1)

60

average pooling2D(2, 1)(1, 1)

60

Dropout(1, 1)

Flatten(60)

Dropout

(60)

Dense

(60)

総パラメータ数

31652

訓練パラメータ数

31412

非訓練パラメータ数

240

Relu
0.2
0.3
Softmax

第2章

入力信号長の短い CNN と入力信号長の長い CNN の比較 (予備実験)

表 2.3: 入力信号長 45 の CNN のアーキテクチャ
レイヤー

サイズ

出力

フィルター数

活性化関数

ドロップアウト率

conv2D(11, 1)(35, 14)

30

...

...

conv2D(1, 14)(35, 1)30

Relu

average pooling2D(3, 1)(11, 1)30

Dropout(11, 1)

0.2

Conv2D(10, 1)(2, 1)

60

average pooling2D(2, 1)(1, 1)

60

Dropout(1, 1)

Flatten(60)

Dropout

(60)

Dense

(60)

総パラメータ数

31652

訓練パラメータ数

31412

非訓練パラメータ数

240

Relu
0.2
0.3
Softmax

表 2.4: 入力信号長 64 の CNN のアーキテクチャ
レイヤー

サイズ

出力

フィルター数

活性化関数

ドロップアウト率

conv2D(16, 1)(49, 14)

30

...

...

conv2D(1, 14)(49, 1)30

Relu

average pooling2D(3, 1)(16, 1)30

Dropout(16, 1)

0.2

Conv2D(15, 1)(2, 1)

60

average pooling2D(2, 1)(1, 1)

60

Dropout(1, 1)

Flatten(60)

Dropout

(60)

Dense

(60)

総パラメータ数

40802

訓練パラメータ数40562

非訓練パラメータ数

240

Relu
0.2
0.3
Softmax8

第2章

入力信号長の短い CNN と入力信号長の長い CNN の比較 (予備実験)

表 2.5: 入力信号長 90 の CNN のアーキテクチャ
レイヤー

サイズ

出力

フィルター数

活性化関数

ドロップアウト率

conv2D(16, 1)(75, 14)

30

...

...

conv2D(1, 14)(75, 1)30

Relu

average pooling2D(2, 1)(37, 1)30

Dropout(37, 1)

0.2

Conv2D(12, 1)(26, 1)60

average pooling2D(2, 1)(13, 1)60

Dropout

Relu(13, 1)

0.2

Conv2D(12, 1)(2, 1)

120

average pooling2D(2, 1)(1, 1)

120

Dropout(1, 1)

Flatten(120)

Dropout

(120)

Dense

(120)

総パラメータ数

122522

訓練パラメータ数

122042

非訓練パラメータ数

480

Relu
0.2
0.3
Softmax

表 2.6: 入力信号長 128 の CNN のアーキテクチャ
レイヤー

サイズ

出力

フィルター数

活性化関数

ドロップアウト率

conv2D(16, 1)(75, 14)

30

...

...

conv2D(1, 14)(75, 1)30

Relu

average pooling2D(2, 1)(37, 1)30

Dropout(37, 1)

0.2

Conv2D(12, 1)(26, 1)60

average pooling2D(2, 1)(13, 1)60

Dropout

Relu(13, 1)

0.2

Conv2D(12, 1)(2, 1)

120

average pooling2D(2, 1)(1, 1)

120

Dropout(1, 1)

Flatten(60)

Dropout

(60)

Dense

(60)

総パラメータ数

122522

訓練パラメータ数

122042

非訓練パラメータ数

480

Relu
0.2
0.3
Softmax9

第2章

入力信号長の短い CNN と入力信号長の長い CNN の比較 (予備実験)

10

表 2.7: 入力信号長 180 の CNN のアーキテクチャ
レイヤー

サイズ

出力

フィルター数

活性化関数

ドロップアウト率

conv2D(21, 1)(160, 14)

30

...

...

conv2D(1, 14)(160, 1)30

Relu

average pooling2D(3, 1)(53, 1)30

Dropout(53, 1)

0.2

Conv2D(17, 1)(37, 1)60

average pooling2D(2, 1)(18, 1)60

Dropout

Relu(18, 1)

0.2

Conv2D(17, 1)(2, 1)

120

average pooling2D(2, 1)(1, 1)

120

Dropout(1, 1)

Flatten(120)

Dropout

(120)

Dense

(120)

総パラメータ数

174872

訓練パラメータ数

174392

非訓練パラメータ数

480

Relu
0.2
0.3
Softmax

表 2.8: 入力信号長 256 の CNN のアーキテクチャ
レイヤー

サイズ

出力

フィルター数

活性化関数

ドロップアウト率

conv2D(31, 1)(226, 14)

30

...

...

conv2D(1, 14)(226, 1)30

Relu

average pooling2D(3, 1)(75, 1)30

Dropout(75, 1)

0.2

Conv2D(19, 1)(57, 1)60

average pooling2D(3, 1)(19, 1)60

Dropout

Relu(19, 1)

0.2

Conv2D(18, 1)(2, 1)

120

average pooling2D(2, 1)(1, 1)

120

Dropout(1, 1)

Flatten(120)

Dropout

(120)

Dense

(120)

総パラメータ数

178772

訓練パラメータ数

178292

非訓練パラメータ数

480

Relu
0.2
0.3
Softmax

第2章

入力信号長の短い CNN と入力信号長の長い CNN の比較 (予備実験)

2.4

結果と考察

11

結果は表 2.9 のようになった. さらに, 図 2.4 はクロップの強度が一定の条件下における入力信号長と分類精度の関係を示している. この図より, クロップの強度が一定の条件下では, 入力信号長が長いほど, 分類性能が高いということが確認できた.
また, 同じクロップ強度という条件での比較よりも, 各入力信号長ごとに最も精度の高いクロップ強度を採用するという条件での比較の方が, 適切であるという見方をすることもできる. そこで, 各入力信号長ごとに最も精度の高いクロップ強度の条件を採用して, 入力信号長と精度の関係をまとめたのが図 2.5 である. この図より, 各
入力信号長ごとに最も精度の高いクロップ強度の条件を採用したとしても, 入力信
号長が長いほど, 分類性能が高いということが確認できた. ところで, 表 2.9 内の下線は各入力信号長における最も高い精度を示しており, 入力信号長が 128, 180, 256の間では, 入力信号長が長いほど適切なクロップ強度が低くなる傾向があることが確認できる. このように, 入力信号長ごとに適切なクロップ強度が異なるということも確認できた.

表 2.9: 入力信号長の異なる CNN の精度比較 [%]入力信号長

クロップの強度

32

45

64

90

128

180

256

1

59.4

61.9

61.9

65.6

64.1

68.8

71.6

2

56.5

56.7

60.0

58.7

65.7

69.5

69.8

3

59.5

59.2

62.8

66.1

70.2

72.3

76.0

4

58.5

62.6

58.0

66.4

70.0

72.6

78.3

5

60.5

61.6

64.8

69.7

72.5

75.8

81.7

6

61.3

63.7

67.2

70.8

72.9

78.2

81.1

7

61.5

64.4

67.3

70.9

74.0

77.0

80.0

※ 下線は, 各入力信号長における最も高い精度を示す.

第2章

入力信号長の短い CNN と入力信号長の長い CNN の比較 (予備実験)

図 2.4: クロップのステップ幅が一定の条件下での入力信号長と精度の関係

図 2.5: 各入力信号長ごとに最も精度の高いクロップ条件下での入力信号長と精度の関係

12

13

第3章

3.1

入力信号長の異なる CNN 分類器のブ
レンドの性能評価 (本実験)概要

本実験では, 3.2 節で述べる提案手法である入力信号長の異なる CNN 分類器のブ
レンドの性能評価を行った. 具体的には, 被験者から計測した脳波データを用いて入力信号長の異なる分類器を学習させ, それらの分類器を用いて, 提案手法である入力
信号長の異なる CNN 分類器のブレンドと, 入力信号長の同じ CNN 分類器のブレン
ドの, 想起クラスの変化を含む脳波データに対する挙動を比較した. この実験を 1 人の被験者から計測した脳波データを用いた場合 (以下, 同一被験者条件と呼ぶ) と, 4
人の異なる被験者から計測した脳波データを用いた場合 (以下, 不同被験者条件と呼ぶ) の 2 つの条件で行った. 実験の結果, 同一被験者条件, 不同被験者条件の両条件において, 提案手法は入力信号長の短い分類器の性能と入力信号長の長い分類器の性能の中間的な性能を示すことが分かった. さらに, 提案手法は入力信号長が中程度の分類器に比べて, 通常時の分類性能, 脳波の変化に対する追従性能の両方の観点において優れていることが分かった.

3.2

提案手法

本研究の提案手法である入力信号長の異なる CNN 分類器のブレンドを説明する.
ブレンドとは, 複数のモデルの出力に対して平均の算出や, 多数決をとることにより, 最終的な出力を得る手法である. 2008 年に開催された Netﬂix Prize というコン
ペティションで 100 以上のモデルをブレンドした解法が 100 万ドルの賞金を獲得したことから, ブレンディングは有名な分類手法となった [9]. 本研究では, 全ての分類
器の出力 (各クラスの推定確率) の平均値を, ブレンド分類器の出力とした. 図 3.1
は提案手法の模式図である. 入力信号長の長い CN NLON G は, まだ入力の半分以上

第3章

入力信号長の異なる CNN 分類器のブレンドの性能評価 (本実験)14を想起クラス変化前の脳波データが占めているため, 現在時刻において想起クラス
は A から B に既に変化しているにもかかわらず, クラス A の推定確率を 0.7 と出力している. 一方で, 入力信号長の短い CN NSHORT は既に入力の全体を想起クラス変化後の脳波データが占めているため, 想起クラスの変化に対応できており, クラス Bの推定確率を 0.9 と出力している. これらの CNN の推定確率の平均値を算出すると,クラス A の推定確率は 0.4, クラス B の推定確率は 0.6 となり, クラス B の推定確率の方が高いのでブレンド分類器の出力はクラス B となる. このように, 時間軸方向の入力信号長の異なる分類器の出力を平均することで, 入力信号長の長い CNN より想起クラスの変化に鋭敏で, かつ入力信号長の短い CNN より通常時の分類性能が高い分類が可能になると期待できる.

3.3

データセット

本実験で使用した脳波計は, Emotiv EPOC Flex Gel Kit (以下, EPOC Flex と呼ぶ) である. EPOC Flex は, 電極数が 34 (内 2 つは基準電極), 内部サンプリングレー
トは 1024Hz で, 128Hz にダウンサンプルされた信号を取得することができる. EPOC

Flex は図 3.2 のように, 導電性ジェルを塗布した電極を専用のキャップに固定して,そのキャップを被って使用する. 使用した導電性ジェルは Weaver 社の Ten20 である.
実験被験者は 20 代の男性 4 名 (不同被験者条件の実験被験者) と, 22 歳の男性 1 名(同一被験者条件の実験被験者) である. 不同被験者条件の実験に参加した 4 名の被験者は, 2 章で説明した運動想起脳波計測プログラム (図 2.2) を用いて, 右手の開閉動作と左手の開閉動作の 2 クラスについて, それぞれ 16 秒間の計測を 36 トライアル行った. このデータは CNN の学習に使うため学習用脳波データと呼ぶ. さらに, 図

3.3 のプログラムを使用して, 8 秒間の計測タスクの途中で想起クラスが変わる脳波データを計測した. このデータは性能評価に使うため, テスト用脳波データと呼ぶ.
テスト用脳波データは, 図 3.3(a) で示されている左手の開閉動作から右手の開閉動
作への想起クラスの変化を含むパターンと, 図 3.3(b) で示されている右手の開閉動
作から左手の開閉動作への想起クラスの変化を含むパターンの 2 種類があり, 全ての被験者がそれぞれのパターンにつき 24 トライアルずつ計測を行った. 一方, 同一

第3章

入力信号長の異なる CNN 分類器のブレンドの性能評価 (本実験)15

図 3.1: 提案するブレンド手法

被験者条件の実験に参加した 1 名の被験者は, 学習用脳波データ計測を, 右手の開閉動作の想起と左手の開閉動作の想起の 2 クラスそれぞれについて 144 (= 36 × 4) ト
ライアルずつ, テスト用脳波データ計測を, 前述の 2 パターンそれぞれについて, 96(= 24 × 4) トライアルずつ行った. すなわち, 同一被験者条件と不同被験者条件でデータ量を揃えるために, 同一被験者条件の被験者 1 名には, 不同被験者の被験者 4
名分の量の脳波データの計測を一人で行ってもらった.

第3章

入力信号長の異なる CNN 分類器のブレンドの性能評価 (本実験)

3.4

CNN の学習16

本実験では, データ拡張の手法として, 2 章で紹介したクロップだけでなく, GAN (敵対生成ネットワーク) の一種である Conditional Wasserstein GAN Gradient Penalty(以下, cWGAN-GP と呼ぶ) も利用した. まず, 一般的な GAN について説明する.
GAN とは, 2014 年に Goodfellow らによって提案されたデータ拡張の方法である[10]. GAN は, 式 3.1 に基づいて生成器 G と識別器 D の 2 つのネットワークを交互に学習させる. 式 3.1 は, 生成器 G について損失関数 L(D, G) の最小化, 識別器について損失関数 L(D, G) の最大化となっている.

minmaxL(D, G) = Ex∼pdata (x) [log D(x)] + Ez∼pz (x) [log(1 − D(G(z)))]
G

D

(3.1)

すなわち, 識別器 D は生成器 G が生成したデータと元データを識別できるように最適化され, 生成器 G は識別器 D を欺くように最適化される. このように敵対的に生成器 G と識別器 D を学習させることで, 最終的に得られる生成器 G は元データにそっくりのデータを生成できるようになる. 次に, Conditional GAN について説明する. Conditional GAN とは, 2014 年に Mirza らによって提案された GAN の一種である. Conditional GAN は, 従来の GAN では不可能だったラベル付きデータにおける指定されたラベルに対応するデータの生成を可能にした. 例えば, 0 から 9 の手書
き数字画像のデータセットを用いて学習された Conditional GAN は, 4 と指定すれば生成器は 4 の画像を生成し, 7 と指定すれば生成器は 7 の画像を生成する. 最後に,Wasserstein GAN (以下, WGAN と呼ぶ) 及び, Wasserstein GAN Gradient Penalty(以下, WGAN-GP と呼ぶ) について説明する. WGAN は, 2017 年に Arjovsky らによって提案された GAN の一種であり, 損失関数に Wasserstein 距離を採用した GANである [12]. 従来の GAN では, 生成器 G が複数の異なる入力に, 類似する出力を関連づけた結果, 生成器 G が識別器 D を欺きやすいある特定のパターンのデータばかりを生成するように学習が進んでしまうモード崩壊という現象が起こりがちであった.

WGAN はこのモード崩壊が起こりにくいという特徴がある. しかし, WGAN は, 勾
配消失や勾配爆発が起こりやすく, それに伴って, 学習の収束が遅くなりがちであり,また, 学習される関数が単純になりすぎるという 2 つの問題点があった. その問題を解決するために, 2017 年に Gulrajani らによって提案されたのが WGAN-GP である.

第3章

入力信号長の異なる CNN 分類器のブレンドの性能評価 (本実験)17

図 3.2: EPOC Flex による脳波計測の様子
表 3.1: クロップ及び cWGAN-GP 適用後の学習データの量
被験者条件

入力信号長

クロップ後の学習データ量

cWGAN-GP 適用後の学習データ量

同一被験者条件

90

3402

5440

同一被験者条件

128

3216

5138

同一被験者条件

180

3028

4840

不同被験者条件

90

3416

5462

不同被験者条件

128

3224

5150

不同被験者条件

180

3032

4854

WGAN-GP は, WGAN の損失関数に gradient penalty と呼ばれる正則化項を導入することで, 上記のような問題点を解決した. 前述の通り, 本実験では cWGAN-GP を使った. なお, cWGAN-GP による脳波データのデータ拡張は, Bouallegue らによって, その有効性が確かめられている [14]. 本実験で, クロップ及び cWGAN-GP によりデータ拡張された後の最終的な学習データの量は表 3.1 の通りである. 上述の学習データを用いて, 入力信号長が 90, 128, 180 の 3 パターンそれぞれについて, CNN
分類器を 6 個ずつ, 合計 18 (= 6 × 3) 個の CNN 分類器学習させた. なお, 入力信号長が同じものの中でも CNN のアーキテクチャは微妙に異なっているが, どれも 2 章で説明した CNN のアーキテクチャを踏襲している.

第3章

入力信号長の異なる CNN 分類器のブレンドの性能評価 (本実験)

3.5

評価方法

18

上記の通り学習させた CNN 分類器を用いて, 提案手法の性能評価を行った. 具体
的な手順は以下の通りである.

1. 全ての CNN 分類器について, 途中に想起クラスの変化を含むテスト用脳波デー
タを, 16 サンプル毎にずらしながら CNN の入力信号長に切り出して入力して,その出力 (すなわち, 推定クラスの推移) を得た.

2. 得られた推定クラスの推移を, 表 3.2 のブレンド条件で, ブレンドした.
3. テスト用脳波データを, クラス変化前のフェーズ 1, クラス遷移時のフェーズ 2,
クラス変化後のフェーズ 3 と 3 つのフェーズに分けて, 各ブレンド条件ごとに,手順 2 で得られたクラス推移の正答率を, 3 つのフェーズ毎に集計した.
この評価方法で提案手法の性能を評価する理由を説明する. まず, 手順 2 で紹介した図 3.2 のブレンド条件について詳しく説明する. この図のブレンド条件 (A), (B),(C) は入力信号長の同じ分類器のブレンドであり, (A), (B), (C) の順番にブレンドされている分類器の入力信号長が長くなっている. ブレンド条件 (D), (E) は入力信号長の異なる分類器のブレンド, すなわち, 本研究の提案手法である. 提案手法の比較対象として, 単体の CNN 分類器ではなく, 入力信号長の同じ CNN 分類器のブレンドを採用しているのは, ブレンドされた分類器の入力信号長の違いが性能向上に寄与するか否かを検証するためである. 単純に CNN 分類器をブレンドするだけでも分類性能は向上するので, 提案手法である入力信号長の異なる CNN 分類器のブレ
ンドと, 単体の CNN 分類器を比較した場合, その性能の違いがブレンドによるもの
なのか, ブレンドされた分類器の入力信号長が異なることによるものなのか分からなくなってしまう. 次に, 手順 3 で紹介したフェーズについて説明する. フェーズ 1,
フェーズ 3 はクラス変化を含まないため, 通常時の分類性能が高い分類器ほどフェー
ズ 1, フェーズ 3 の正答率が高くなると考えられる. 一方, フェーズ 2 はクラス変化を含むため, 脳波の変化に対する追従性能が高い分類器ほどフェーズ 2 の正答率が高くなると考えられる. よって, このようにフェーズ毎に分けてクラス遷移の正答率を集計することで, 各ブレンド条件の通常時の分類性能と脳波の変化に対する追従

第3章

入力信号長の異なる CNN 分類器のブレンドの性能評価 (本実験)19

性能を評価することができる. なお, 各フェーズの詳細は, 表 3.3 の通りである. 脳科学の分野で, 視覚刺激に続くボタン押し実験における反応速度は, 200 ミリ秒から

300 ミリ秒であると言われていることを踏まえて, フェーズ 2 の開始を想起クラスの変更指示の 0.25 秒後とした. また, 想起クラスの変更にかかる時間は計測タスクによってある程度の分散があると考えられる. そこで, フェーズ 2 の終了を想起クラスの変更指示の 2.50 秒後とすることで, 想起クラスの変更が確かにフェーズ 2 に含まれるようにした.

3.6

結果と考察

結果は表 3.4 のようになった. まず, 同一被験者条件の結果と不同被験者条件の結果を比較すると, 全体的に同一被験者条件の結果の方が正答率が高いことがわかる.
脳波情報は人によって特徴が大きく異なるため, 異なる被験者の脳波データを用いて訓練された脳波分類器は, 同じ被験者の脳波データを用いて訓練された脳波分類器に比べて, 分類性能が低いと一般的に言われている. 実際, Y. Song らはこの問題点を指摘しており, 異なる被験者の脳波データを用いた脳波分類タスクのためのデータ拡張手法を提案しているほどである [15]. これらの脳波分類の分野で一般的な知見と, 本実験の全体的に同一被験者条件の結果が不同被験者条件の結果よりも正答率が高いという結果は, 符合しているといえる.
次に, 提案手法と入力信号長の同じ分類器のブレンドを比較したい. ブレンド条件

D, E とブレンド条件 A を比較すると, フェーズ 1, 3 において, ブレンド条件 D, E の方が正答率が高く, フェーズ 2 において, ブレンド条件 A の方が正答率が高い. また,ブレンド条件 D, E とブレンド条件 C を比較すると, フェーズ 1, 3 において, ブレン
ド条件 C の正答率はブレンド条件 D, E の正答率以上であり, フェーズ 2 において,ブレンド条件 D, E の方が正答率が高い. これらの傾向は, 同一被験者条件, 不同被験者条件の両方において見受けられる. これより, 提案手法は, 同一被験者条件, 不同被験者条件の両条件において, 入力信号長の長い分類器のブレンドと入力信号長が短い分類器のブレンドの中間的な性能を示すと言える.
次に, 提案手法と入力信号長が中程度の分類器のブレンドを比較したい. ブレンド

第3章

入力信号長の異なる CNN 分類器のブレンドの性能評価 (本実験)20

表 3.2: ブレンド条件
ブレンド条件名

詳細(A)

入力信号長が 90 の分類器 6 個のブレンド(B)

入力信号長が 128 の分類器 6 個のブレンド(C)

入力信号長が 180 の分類器 6 個のブレンド

(D)
(E)

入力信号長が 90 の分類器 2 個, 入力信号長が 128 の分類器 2 個,
入力信号長が 180 の分類器 2 個のブレンド
入力信号長が 90 の分類器 3 個, 入力信号長が 128 の分類器 2 個,
入力信号長が 180 の分類器 1 個のブレンド

表 3.3: 各フェーズの詳細
フェーズ名

詳細

フェーズ 1

計測開始から, 想起クラス変更指示の 0.25 秒後まで

フェーズ 2

想起クラス変更指示の 0.25 秒後から, 想起クラス変更指示の 2.50 秒後まで

フェーズ 3

想起クラスの変更指示の 2.50 秒後から, 計測終了まで

条件 D, E とブレンド条件 B を比較すると, 全てのフェーズにおいてブレンド条件 D,

E の正答率はブレンド条件 B の正答率以上である. この傾向は, 同一被験者条件, 不同被験者条件の両方において見受けられる. これより, 提案手法は, 同一被験者条件,
不同被験者条件の両条件において, 入力信号長が中程度の分類器のブレンドより, 通常時の分類性能と脳波の変化に対する追従性能の両方の観点で優れていると言える.
最後に, ブレンド条件 D とブレンド条件 E を比較すると, 同一被験者条件, 不同被験者条件ともに, フェーズ 1, 3 において, ブレンド条件 D の方が正答率が高く, フェー
ズ 2 において, ブレンド条件 E の方が正答率が高い. つまり, ブレンド条件 D の方がより入力信号長の長い CNN 分類器の性質が強く表れており, ブレンド条件 E の方がより入力信号長の短い CNN 分類器の性質が強く表れていると言える. これより, 提案手法のように異なる入力信号長の分類器をブレンドするにしても, ブレンドの割合によって, 性質が変わると考えられる.

第3章

入力信号長の異なる CNN 分類器のブレンドの性能評価 (本実験)21

表 3.4: フェーズ毎の正答率
ブレンド条件

同一被験者条件

不同被験者条件

フェーズ 1

フェーズ 2

フェーズ 3フェーズ 1

フェーズ 2

フェーズ 3

A

71

65

73

69

61

72

B

77

55

80

75

54

75

C

87

53

87

80

52

81

D

85

57

87

77

57

80

E

82

62

86

76

59

79

(a) 左手の開閉動作から右手の開閉動作への想起クラスの変化を含むパターンの計測時の表示画面(b) 右手の開閉動作から左手の開閉動作への想起クラスの変化を含むパターンの計測時の表示画面
図 3.3: テスト用脳波データ計測プログラム

22

第4章

むすび

本研究では, BMI のための脳波変化に鋭敏な脳波分類の実現を目標として, 入力信
号長の異なる CNN のブレンドを提案した. 被験者実験により, 提案手法は入力信号長の短い分類器の性能と入力信号長の長い分類器の性能の中間的な性能を示すことが分かった. そして, 提案手法は入力信号長が中程度の分類器と比較して, 想起クラ
スの変化への追従性能と通常時の分類性能の両方の観点で優れていることが分かった. これより, 提案手法は, 通常時の高い分類性能だけでなく, 脳波の変化に対する高い追従性能も必要とされる BMI のための脳波分類器として有用であると言える. ところで, 提案手法をリアルタイムシステムに適用する場合, 複数の CNN を同時に動作させる必要がある. 実験に使った環境 (CPU: Intel Core i7 8700K, GPU: Geforce

RTX 3080Ti, メモリ: 64GB) でも, 1 個の CNN が 1 回推定を行うのに平均で 0.2 秒程度かかることを踏まえると, 現状の一般的な計算機では提案手法を用いた BMI の実用化は困難である. 今後は, より計算量の少ない脳波分類手法についても検討していきたい. ところで, ブレンドの割合によって, ブレンドされた脳波分類器の性質が変わる. このことを踏まえて, 脳波の変化の多い場面では入力信号長の短い分類器のブレンド割合を増やして, 脳波の変化の少ない場面では入力信号長の長い分類器のブレンド割合を増やすことで, より使い勝手の良い BMI が設計できるかもしれない.
動的にブレンドの割合を変える手法についても検討していきたい.

23

謝辞

本研究を進めるにあたって, 日頃から多大なご尽力をいただき, ご指導を受け賜わりました名古屋工業大学 舟橋健司 准教授に心から感謝致します. また, 脳波計測に協力してくださった名古屋工業大学の学生の方々に深く感謝致します. 最後に, 本研究を進めるにあたり多くの助言を頂き, ご協力いただいた名古屋工業大学 舟橋研究
室諸氏に深く感謝致します.

24

参考文献

[1] 長谷川良平, “ALS 患者におけるコミュニケーション戦略：BMI の現状と展望,”
2013, https://www.neurology-jp.org/Journal/public_pdf/053111402.pdf(2022/1/22)[2] J. Wessberg, C. R. Stambaugh, J. D. Kralik, P. D. Beck, M. Laubach, J. K.
Chapin, J. Kim, S. J. Biiggs, M. A. Srinivasan, and M. A. L. Nicolelis, “Realtime prediction of hand trajectory by ensembles of cortical neurons in primates,”Nature vol.408, pp.361-365, November 2000.
[3] 田中一男, 脳波指令で動く車いすの開発, 精密工学会誌 vol.78, no.8, pp.662-665,
August 2012.
[4] K. K. Ang, Z. Y. Chin, H. Zhang, and C. Guan, “Filter bank common spatial pattern (FBCSP) in brain-computer interface,” IEEE World Congress on
Computational Intelligence, Hong Kong, China, pp.2390-2397, June 2008.
[5] R. T. Schirmeister, J. T. Springenberg, L. D. J. Fiederer, M. Glasstetter, K.
Eggensperger, M. Tangermann, F. Hutter, W. Burgard, and T. Ball, “Deeplearning with convolutional neural networks for EEG Decoding and visualization,” Human Brain Mapping, vol.38, no.11, pp.5391-5420, August 2017
[6] Xiangmin Lun, Zhenglin Yu, Tao Chen, Fang Wang, and Yimin Hou “A Simpliﬁed CNN Classiﬁcation Method for MI-EEG via the Electrode Pairs Signals,”Frontiers in Human Neuroscience, vol.14, pp.338-351, September 2020
[7] F. Sharbrough, G. E. Chatrian, R. P. Lesser, H. Lüders, M. Nuwer, and T.
W. Picton, “American Electroencephalographic Society guidelines for standard

25

electrode position nomenclature,” Clinicali Neurophysiology, vol.8, pp.200-202,
January 1991
[8] A. G. Howard “Some Inprovements on Deep Convolutional Neural Network
Based Image Classiﬁcation,” 2013, https://arxiv.org/ftp/arxiv/papers/
1312/1312.5402.pdf (2021/1/22)[9] A. Töscher, M. Jahrer, “The big chaos solution to the Netﬂix grand prize,” 2009,https://www.researchgate.net/publication/223460749 (2021/1/22)[10] I. J. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S.
Ozair, A. Courville, and Y. Bengio, “Generative Adversarial Networks,” 2014,
https://arxiv.org/pdf/1406.2661.pdf (2022/1/22)[11] M. Mirza, and S. Osindero, “Conditional Generative Adversarial Nets,” 2014,
https://arxiv.org/pdf/1411.1784.pdf (2022/1/22)[12] M. Arjovsky, S. Chintala, and L. Bottou, “Wasserstein GAN,” 2017, https://arxiv.org/pdf/1701.07875.pdf (2022/1/22)[13] I. Gulrajani, F. Ahmed, M. Arjovsky, V. Dumoulin, and A. Courville, “Improved Training of Wasserstein GANs,” 2017, https://arxiv.org/pdf/1704.
00028.pdf (2022/1/22)[14] G. Bouallegue, and R. Djemal, “EEG data augmentation using Wasserstein
GAN,” STA 2020, pp. 40-45, doi: 10.1109/STA50679.2020.9329330, December,
2020.
[15] Y. Song, L. Yang, X. Jia, and L. Xie, “Common Spatial Generative Adversarial
Networks based EEG Data Augmentation for Cross-Subject Brain-Computer
Interface,” 2021, https://arxiv.org/pdf/2102.04456.pdf (2022/1/22)