2023 年度 卒業論文

論文題目

BMI による第 3 の手制御実現のための
CNN による脳波分類における精度の調査

指導教員
舟橋

名古屋工業大学

工学部

2020 年度入学

三島

情報工学科

32114124 番

大輝

健司

准教授

i

目次
第 1 章 はじめに

1

第 2 章 付加手が右側と左側にある場合の CNN による脳波分類精度

62.1

実験概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

6

2.2

実験方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

92.3

データセット . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

11

2.4

分類方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

11

2.5

CNN の学習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

11

2.6

結果と考察

13

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

第 3 章 右実手・右想像手・右付加手での CNN による脳波分類精度

15

3.1

実験概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

15

3.2

実験方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

15

3.3

データセット . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

17

3.4

CNN の学習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

17

3.5

評価方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

19

3.6

結果と考察

19

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

第 4 章 むすび

22

謝辞

24

参考文献

25

1

第1章

はじめに

ブレインマシンインタフェース (BMI) とは脳と機械をつなぐ技術のことである．

BMI には、脳活動を読み取ることで考えていることを機械に伝える技術や，五感のような外界を知覚するための感覚機能を介さずに機械からの情報を直接脳へと伝える技術がある。例えば，ネイサン・コープランドは実際に BMI の技術を利用している [1]．コープランドは，脳に埋め込まれた電極で読み取った脳情報からゲームのキャラクターを操作する実験やロボットアームを操作する実験に参加している．また，電極のいくつかは感覚野に埋め込まれており，目隠しをした状態でロボットアー
ムの指先が何かに触れたことを感じられる．触れた指を当てる実験で，コープラン
ドの正答率は 84%であった．
ところで，BMI は侵襲型と非侵襲型の 2 種類に分けらえる．コープランドの使用している BMI は侵襲型である．侵襲型 BMI は高精度な脳信号を取得できるが，手術を行う必要があることや感染症の可能性などもある [2]．一方，非侵襲型 BMI は侵襲型と同等の精度の脳信号を取得するには大掛かりな計測装置が必要だが，手術の必要はなく安全性が高い．そのため，侵襲型 BMI についての研究よりも非侵襲型

BMI についての研究が盛んに行われている．非侵襲型の脳信号の測定には機能的磁気共鳴画像法 (fMRI) や脳波計 (EEG) などが利用される．fMRI では，被験者の実行
課題の周期と，血液動態分布の変化に伴い発生する MRI 画像の信号強度の変化との相関性を探し出し，それを脳活動を間接的に表現するものとして測定する [3]．fMRIを利用した BMI の研究では，人間が何らかの対象を実際に見ているときの脳活動や，実際には見ずにその対象を思い浮かべているときの脳活動を測定し，機械学習によりその脳活動から対象の画像を生成する試みが行われている [4]．一方，EEG では頭皮上に設置した電極により脳波，すなわち脳内で情報を伝達する際に生じる微小な電気を記録する．脳波を利用した BMI の研究では，ドローンを脳波により操作する

第1章

はじめに

2

研究 [5] や，脳波から集中状態かリラックス状態かを判定しその状態に即した情報を携帯端末上に推薦するシステムの研究 [6] が行われている．近年では，時間的分解能も高く，また小型で可搬性に優れた脳波計測機が開発されており，脳波を利用した

BMI の研究が盛んに行われている．また，Schirmeister らの研究 [7] によってニュー
ラルネットワークの一種である CNN でも従来の脳波解読技術である FBCSP[8] と同等の高い精度で脳波を解読できることが示された．自動的に特徴選択を行うことができるニューラルネットワークを利用した脳波分類の手法に注目が集まるようになった．

BMI の活用方法には，障がい者のための義手や義足などの身体能力を補うことを目的とした利用や，障がいを持たない健常者のための身体能力の拡張を目的とした利用が考えられる．義手に関する研究では，グーチョキパーの 3 種類の運動を行う
際の皮質脳波を計測した上で，どの運動をいつ行っているのか推定してリアルタイ
ムに電動義手を制御する試みが行われている [9]．身体能力の拡張については，生来の 2 つの手のサポートや，生来の手とは別の作業を行うのに用いられる第 3 の手の研究が行われている．例えば，顔の方向によって操作を行う第 3 の手の研究 [10] や足の動きに連動して第 3 の手を操作する研究 [11] が行われている．しかし，BMI で第 3 の手を思い通りに操作することは難しい．その理由として，3 つ目の手という本来は人間にはない部分についての動作を想像しなければならないことや，両腕を動かすことで生じる脳活動と区別する必要があることが挙げられる．
株式会社国際電気通信基礎技術研究所 (ATR) は，実験参加者が両手を利用するタ
スクを行いながら，参加者の左横に設置されたロボットアームを脳波による BMI で操作する実験を行った [12]．ロボットアームは図 1.1 のように，肩からもう 1 つ腕が出ているように椅子に固定されている．実験参加者は 4 か所にマークの付いた板を両手で持ち，板の上にあるボールを 4 か所のマークを順番に通るように板を動かしながら，その作業中にペットボトルが差し出されたときにはロボットアームでペットボトルをつかみ，またペットボトルをロボットアームから外されたときにはロボッ
トアームを下げるように脳波で操作するように指示された (図 1.2) ．ロボットアー
ムでペットボトルをつかみ，ロボットアームを下げるまでの一連の動作を実行でき

第1章

はじめに

3

た場合を実験成功とみなし，それ以外の場合は失敗とした．実験の結果は，うまく操作できる群 (8 名，平均成功率 85.0%) と，うまく操作できない群 (7 名，平均成功率 52.5%) に明確に分かれた．この結果の要因にはマルチタスク能力が関わっていると考えられると ATR は述べている．この研究から，両腕を動かしながら脳波による BMI で第 3 の腕に指示を与えられる可能性が示されたが，第 3 の手と生来の手を脳波のみで独立して使い分けることができるとは言えない．
そこで当研究室では，生来の手と第 3 の手の脳波を分類できるのか検証する実験を行った [13]．ATR の行った実験ではマルチタスクが実験結果に影響を与えていたため，当研究室の実験では単一課題実行実験時の脳波を計測することで脳波と関係のない要素が関与しないようにした．生来の右手と左手，そして第 3 の手の 3 つのう
ち 1 つの手だけを握るという単一課題を行った際の脳波を計測し，CNN で学習を行い分類精度を算出した．また，第 3 の手の位置が右側にある場合と左側にある場合の 2 種類で実験を行い，利き手と第 3 の手の左右の違いとの関係についても分類精度による検証を行った．その結果，第 3 の手の左右の違いによる分類精度の違いはほとんどなく，生来の右手と左手の正答率はともに約 75%，第 3 の手の正答率は約90%であった．右手と左手の分類精度はほとんど同じであるのに対し第 3 の手の分
類精度は生来の手の分類精度よりも明らかに高いという結果が得られた要因として，実際の手とそうでない手で分けられて分類精度が高くなった可能性が考えられた．
そこで，本研究ではどれか 1 つの手を握る単一課題実行実験を，第 3 の手が右側と左側の両方にある場合と，第 3 の手は 1 つのまま想像の手を加えた場合で行った．
まず第 3 の手という言葉は，「第三者」のように相対する関係にある 2 つ以外の，あるいは物事に無関係な，新たな別の手，すなわち生来の左右の手に加えられた 3 つ
目の手を指している．しかし，第 3 の手が左右に計 2 つあると，片方は 4 つ目の手と捉えることもできるため，以下では状況に応じて付加手と呼ぶ．また想像の手とは，生来の手を握る動作を想像するが実際には動かさない頭の中だけの手と定義す
る．付加手は最終的にはロボットアームなどを想定しているのに対して，想像の手はメタバース利用時のメタバース内の自身の手 (ただし生来の手は動かさない) を想定している．第 3 の手を 2 つに増やしたり，想像の手という新たな選択肢を増やす

第1章

はじめに

4

ことで，第 3 の手に対する単純な相反関係が生まれない状況を作り出し，前述の研究結果での「実際の手か否か分類しただけ」という疑念を解決し，第 3 の手と生来の手を脳波のみで分類できるか否か調査する．実験では，まず脳波データを計測して，その一部のデータを用いて学習をする．その後，他のデータにより実際に分類を行うことで分類精度を調査する．第 2 章では，付加手が右側と左側の両方にあることを想定した実験について述べる．計測した脳波データを，右付加手と左付加手，
右生来手での 3 クラスに分類することと，右付加手と左付加手，左生来手での 3 ク
ラスに分類することを試みる．第 3 章では，想像手という新たな選択肢を増やした実験について述べる．付加手は右付加手のみ (すなわち左付加手はない) の状況を想定して，右生来手，右想像手，右付加手の 3 つの手についての脳波を計測する．まずこれら 3 つの手についての脳波を同時に学習し 3 クラスに分類する．またいずれ
か 1 つの手のデータを学習データから除外して 2 クラス分類として学習を行った上で，3 つの手に対して 3 通りの分類を行う．前者と合わせて合計 4 通りの分類を行う
ことで，それぞれの類似性を調査し，分類精度について考察する．最後に第 4 章では，第 2 章と第 3 章での結果と考察を交えて今後の目標について述べる．

第1章

はじめに

5

図 1.1: ATR のロボットアーム [12]図 1.2: ATR の第 3 の手実験の様子 [12]

6

第2章

2.1

付加手が右側と左側にある場合の
CNN による脳波分類精度

実験概要

付加手が右側と左側にあることを想定して実験を行った (実験 1)．実験では，右付加手，左付加手，右生来手，左生来手の合計 4 つの手のうちランダムにどれか 1 つの手を握る動作を想起したとき，または実際に行ったときの脳波を計測した．その上で，計測した脳波データを CNN で学習し，分類精度についての調査を行った．脳波の計測には，Emotiv EPOC Flex Gel Kit (以下, EPOC Flex と呼ぶ) を利用した(図 2.1)[14]．EPOC Flex は，基準電極 2 つを含む 34 個の電極があり，内部サンプ
リングレートは 1024Hz で, 128Hz にダウンサンプリングされたデータを取得することができる．Epoc Flex キャップ (図 2.2) に導電性ジェルを塗布した電極を固定し，このキャップをかぶることで頭全体を電極がカバーするようにして脳波の計測を行った．電極は図 2.3 のように配置しており，国際 10-20 法に従い，TP9, TP10 に基準電極，Cz, Fz, Fp1, F7, F3, FC1, C3, FC5, FT9, T7, CP5, CP1, P3, P7, PO9,

O1, Pz, Oz, O2, PO10, P8, P4, CP2, CP6, T8, C4, FC2, FC6, FT10, F8, F4, Fp2に電極を配置した．導電性ジェルは Weaver 社の Ten20 を使用した．脳波計のコントローラーは Epoc Flex キャップの lz の位置にあるコントローラー固定用のポケッ
トに収納した．

第2章

付加手が右側と左側にある場合の CNN による脳波分類精度

図 2.1: Epoc Flex[14]図 2.2: EPOC Flex キャップ [15]

7

第2章

付加手が右側と左側にある場合の CNN による脳波分類精度

図 2.3: 電極の位置 [15]

8

第2章

付加手が右側と左側にある場合の CNN による脳波分類精度

2.2

実験方法

9

実験参加者には画面に表示される画像によって実行する単一課題を指示する．まず，start ボタンを押すと図 2.4 のように 4 つの手が画面に表示される．ここで，表示されている画像では青色の手が付加手を表しており，もう一方の色の手が生来の手を表している．次に，図 2.5 のようにランダムでどれか 1 つの手の上にランプが点灯する．その後，ビープ音が鳴ると図 2.6 のようにランプの点灯した手を握る動作が表示されるので，ランプの点灯した手が付加手の場合は握る動作を想起し，生来の手の場合は実際に握る．ビープ音が鳴ってから 3 秒間の脳波を計測する．

第2章

付加手が右側と左側にある場合の CNN による脳波分類精度

図 2.4: 実験 1 の開始時の画面

図 2.5: 実験 1 のランプ点灯時の画面

図 2.6: 実験 1 の手を握った時の画面

10

第2章

付加手が右側と左側にある場合の CNN による脳波分類精度

2.3

データセット11

実験参加者は 22 歳の利き手が右の男性 1 名である．実験参加者は，右付加手，左
付加手，右生来手，左生来手合計 4 つの手を握る動作を行う．手を握る 1 試行において 3 秒間の脳波計測を行う．これを各手に対して 375 試行ずつ行う．このうち各 300
試行ずつ，合計 1200 試行の脳波データは CNN の学習に利用する．残りの各 75 試行
ずつ，合計 300 試行の脳波データは分類精度を調査するためのテストに利用する．

2.4

分類方法

脳波計測は右付加手，左付加手，右生来手，左生来手の 4 つの手がある状況を想定して行ったが，分類，すなわち CNN の学習と学習後の分類器のテストは，右付加
手，左付加手，右生来手の 3 クラスの場合と，右付加手，左付加手，左生来手の 3 ク
ラスの場合の 2 つの組み合わせで行った．予備実験において，4 クラス分類では 3 ク
ラス分類よりも精度が低くなる傾向がみられたため，様々なパターンでの精度の違いの比較調査が難しくなることを懸念した．また，生来の手が右手か左手かで分類精度に違いがあらわれる可能性を考慮した．脳波は 3 クラスに分類するが，脳波の計測は 4 クラスで行った．生来の手は常に両手とも体についているものであり，画面への表示の有無による単一課題実行時の脳波への影響はあまりないと考えたため
である．

2.5

CNN の学習

前処理として，CNN の入力信号の長さに合わせて学習用脳波データをクロップした．クロップとは，入力のサイズよりも大きいサイズのデータを入力のサイズに合
わせて切り抜くことであり，切り抜く時間や場所を変えることで複数のデータとして扱うことができるためデータの水増し手法としても使われる．Howard の研究 [16]により，画像分類タスクにおいてクロップの有用性が確認されてから，主に画像認
識分野で一般的なデータ拡張手法として用いられるようになった．Schirmeister らの研究 [7] によって，クロップは EEG データに対しても有用であることが確認されているため，本研究でも学習用脳波データにクロップを適用した．クロップは適度第2章

付加手が右側と左側にある場合の CNN による脳波分類精度

12に適用すると過学習を抑制する効果があるが，過剰に適用すると過学習に陥ることがある．これは，データ拡張を行うことで元データに強く現れている特徴をより強く学習してしまうからである．そこで，当研究室の太田貴士の研究 [17] で行われた比較実験を参考に，CNN の入力信号の長さを 256，クロップ時のステップ幅を 80に設定した．クロップ適用後の学習用脳波データ数は，生来の手として右手を採用
した場合が 1493，左手を採用した場合が 1496 となった．CNN のアーキテクチャはSchirmeister らの研究 [7] で使用されていた CNN のアーキテクチャを参考に表 2.1 のように決定した．
表 2.1: 実験 1 の CNN のアーキテクチャ
レイヤー

サイズ

出力

フィルター数

活性化関数

ドロップアウト率

conv2D(21, 1)(236, 34)

20

...

...

conv2D(1, 34)(236, 1)30

elu

average pooling2D(2, 1)(118, 1)30

Dropout(118, 1)

0.2

Conv2D(16, 1)(103, 1)40

average pooling2D(2, 1)(51, 1)40

Dropout

elu(51, 1)

0.2

Conv2D(16, 1)(36, 1)60

average pooling2D(2, 1)(18, 1)60

Dropout

elu(18, 1)

0.2

Conv2D(14, 1)(5, 1)

90

average pooling2D(2, 1)(2, 1)

90

Dropout(2, 1)

Flatten

(180)

Dense

(3)

総パラメータ数

155763

訓練パラメータ数

155283

非訓練パラメータ数

480

elu
0.2
Softmax

第2章

付加手が右側と左側にある場合の CNN による脳波分類精度

2.6

結果と考察

13

右付加手，左付加手，右生来手の 3 クラスで分類した場合の結果を表 2.2 に，右付
加手，左付加手，左生来手の 3 クラスで分類した場合の結果を表 3.6 に，小数点第 1
位を四捨五入して示す．2 種類の分類はともに，付加手の分類精度は高い側の手は70%を超えているが，低い側の手は 60%ほどしかなく，生来手の分類精度は 50%ほどであり，本実験結果では分類ができているとはいいがたい．しかし，生来手が正解のときに右付加手、左付加手と判定する確率と生来手と正しく判定する確率を比べると，生来手と判定する確率の方が明らかに高いことから，データ数を増やした
り CNN を改善したりすれば正確な分類が可能になることも期待できる．また，生来の手が右手のときも左手のときも，付加手は右側と左側ともに生来の手よりも分類精度が高い．この結果の要因には，生来の手は普段から動かしているため，脳波計測時に特に「念じる」わけではないのに対して，付加手は人間が生来持っている手ではないため，付加手を動かそうと強く念じてしまい，生来の手のときよりも脳波が大きく変動して分類がしやすくなった可能性が考えられる．また，生来の手が右手の場合は，右付加手よりも左付加手の分類精度が高く，生来の手が左手の場合
は，左付加手よりも右付加手の分類精度が高い．生来の手がある側の付加手の分類
精度が低くなることが考えられる．そのため，脳波による手の操作は，生来の両手が存在する状態での利用が想定される第 3 の手よりも，片方の手がない状態での利用が想定される義手の方が容易だと考えられる．しかし，当研究室の今村一貴の研究 [13] では，付加手の位置が変わることによる分類精度の変化は確認されなかった．
ところで，脳波には個人特性があり，特徴が強く現れている周波数成分とそうでな
い周波数成分が個人によって変わることがわかっており，伊藤伸一らは脳波の個人特性を考慮した脳波分析方法の研究を行っている [18]．付加手と生来手との位置関係が変わったときの分類精度の変化について結果が異なっているのは，脳波の特性が個人によって異なっていることが要因であると考えられる．

第2章

付加手が右側と左側にある場合の CNN による脳波分類精度

表 2.2: 生来の手が右手の場合の分類精度
判定

右付加手

左付加手

右生来手

右付加手

64%

10%

26%

左付加手

17%

73%

10%

右生来手

27%

23%

50%

正解

表 2.3: 生来の手が左手の場合の分類精度
判定

右付加手

左付加手

左生来手

右付加手

79%

7%

14%

左付加手

15%

59%

25%

左生来手

23%

25%

51%

正解

14

15

第3章

3.1

右実手・右想像手・右付加手でのCNN による脳波分類精度

実験概要

付加手が体の右側にのみある状況を想定して実験を行った (実験 2)．実験では，右実手，右想像手，右付加手の合わせて 3 つの手のうちランダムにどれか 1 つの手を握る動作を行う，または想起する単一課題実行時の脳波を計測した．その上で、計測した脳波データを CNN で学習し，分類精度についての調査を行った．右実手とは，生来の右手を実際に握る場合の手と定義する．右想像手とは，生来の右手を握る動作を想像するが，実際には握らない場合の手と定義する．脳波の計測には，第2 章で述べた実験 1 と同様に Epoc Flex を利用した．

3.2

実験方法

実験参加者には画面に表示される画像によって実行する単一課題を指示する．まず，start ボタンを押すと図 3.1 のように 3 つの手が画面に表示される．ここで，表示されている画像は青色の手が右付加手を表しており，重なっている 2 つの手は手
前の手が右実手を表しており，奥の手が右想像手を表している．実手は当然，実際に存在しており，また付加手もロボットハンドなどにより実際に存在することを想定している．しかし想像手は，例えば HMD 越しに見ることはできるが，実際には存在しない．そこで課題指示において実手と想像手を画像のみで判定できるように，
想像手は半透明で表示する．3 つの手が表示された後，図 3.2 のようにランダムでどれか 1 つの手の上にランプが点灯する．その後，ビープ音が鳴ると図 3.3 のようにランプの点灯した手を握る動作が表示されるので，ランプの点灯した手が右想像手
か右付加手の場合は握る動作を想起し，右実手の場合は実際に握る．そして，ビー
プ音が鳴ってからの 3 秒間の脳波を計測する．

第3章

右実手・右想像手・右付加手での CNN による脳波分類精度

図 3.1: 実験 2 の開始時の画面

図 3.2: 実験 2 のランプ点灯時の画面

図 3.3: 実験 2 の手を握った時の画面

16

第3章

右実手・右想像手・右付加手での CNN による脳波分類精度

3.3

データセット17

実験参加者は 22 歳の利き手が右の男性 1 名である．実験参加者は右実手，右想像
手，右付加手の合計 3 つの手を握る動作を行う．手を握る 1 試行において 3 秒間の脳波計測を行う．これを各手に対して 375 試行ずつ行う．このうち各 300 試行ずつ，合計 900 試行の脳波データは CNN の学習に利用する．残りの各 75 試行ずつ，合計

225 試行の脳波データは分類精度を調査するためのテストに利用する．

3.4

CNN の学習

前処理として学習用脳波データを，CNN の入力信号の長さ 256，ステップ幅 80 でクロップした．以下の 4 つの組み合わせの学習データセットで 4 通りの CNN の学習をした．

(a) 右実手と右想像手と右付加手の 3 つの手の学習用脳波データ(b) 右実手と右想像手の 2 つの手の学習用脳波データ(c) 右実手と右付加手の 2 つの手の学習用脳波データ(d) 右想像手と右付加手の 2 つの手の学習用脳波データ
クロップ後の学習用脳波データ数は表 3.1 のようになった．CNN のアーキテクチャ
は表 3.2 のように決定した．
表 3.1: クロップ後の学習用脳波データ数
学習に使う手クロップ後のデータ数(a) 右実手・右想像手・右付加手

1474(b) 右実手・右想像手

988(c) 右実手・右付加手

981(d) 右想像手・右付加手

978

第3章

右実手・右想像手・右付加手での CNN による脳波分類精度18

表 3.2: 実験 2 の CNN のアーキテクチャ
レイヤー

サイズ

出力

フィルター数

活性化関数

ドロップアウト率

conv2D(21, 1)(236, 34)

25

...

...

conv2D(1, 34)(236, 1)35

elu

average pooling2D(2, 1)(118, 1)35

Dropout(118, 1)

0.2

Conv2D(16, 1)(103, 1)50

average pooling2D(2, 1)(51, 1)50

Dropout

elu(51, 1)

0.2

Conv2D(16, 1)(36, 1)80

average pooling2D(2, 1)(18, 1)80

Dropout

elu(18, 1)

0.2

Conv2D(14, 1)(5, 1)

110

average pooling2D(2, 1)(2, 1)

110

Dropout(2, 1)

Flatten

(220)

Dense

(3)

総パラメータ数

247638

訓練パラメータ数

247038

非訓練パラメータ数

600

elu
0.2
Softmax

第3章

右実手・右想像手・右付加手での CNN による脳波分類精度

3.5

評価方法

19

パターン (a) では，右実手，右想像手，右付加手の 3 つの手の学習用脳波データを同時に CNN で学習する．テストは，右実手，右想像手，右付加手の 3 つの手のテス
ト用脳波データで行う．右実手，右付加手，右想像手の 3 つの手が脳波のみで分類可能であるかを調査する．パターン (b) (c) (d) では，それぞれ 2 つの手の学習用脳波データで CNN の学習をする．テストは，3 つの手すべてのテスト用脳波データで行う．想像手が実手や付加手とどのような関係があるか調査する．学習では除外した種類の手が，学習対象の 2 つの手のいずれかに分類されるとき，どちらに似通っていると判断されるのか調べる．

3.6

結果と考察

各パターンの分類精度を表 3.3，表 3.4，表 3.5，表 3.6 に，小数点第 1 位を四捨五入して示す．表 3.3 は，パターン (a) 右実手と右想像手と右付加手の学習用脳波デー
タで学習を行った場合の分類精度である．3 つの手ともに分類精度は約 60%であり，高い分類精度とは言えないが，データ数を増やしたり CNN の改善などを行うことで高い精度での分類が可能になることも期待できる．正解が右実手の時は，右付加手と判定する確率よりも右想像手と判定する確率の方が高く，正解が右付加手の時は，右実手と判定する確率よりも右想像手と判定する確率が高く，正解が右想像手の時は，右実手と判定する確率と右付加手と判定する確率に差はあまりなかった．この要因には，想像手は実手を動かそうとしているため，実手を動かしたときの脳波と特徴が似た可能性や，想像手と付加手は共に手を動かそうと意識しているが，実際に手は動いていないため脳波の特徴が似た可能性が考えられる．
表 3.4 はパターン (b) 右実手と右想像手の 2 クラス分類，表 3.5 はパターン (c) 右実手と右付加手の 2 クラス分類，表 3.6 はパターン (d) 右想像手と右付加手の 2 ク
ラス分類の精度である．表 3.4 から，右付加手を右想像手と判定する確率は 78%で，
表 3.6 から，右実手を右想像手と判定する確率は 79%であることがわかる．想像手の脳波は実手と付加手の両方の脳波の特徴を持っていそうである．パターン (b) では，右付加手を右実手と判定する確率は 22%であり，パターン (c) では，右実手を右

第3章

右実手・右想像手・右付加手での CNN による脳波分類精度20

付加手と判定する確率は 21%であることから，実手と付加手のみでの分類は正確に行えるだろうと考えられる．また表 3.5 から，右想像手を右実手と判定する確率は58%であり，ほかの 2 つの結果と比べると低いが，判定が右実手に偏っていることがわかる．想像手が実手を包含している可能性が考えれる．想像手はメタバース利用
時のメタバース内の自身の手を生来の手を動かさずに脳波のみで動かすことを想定しているが，想像手が実手を包含している場合，メタバース内の自身の手を動かそうと思って生来の手を動かしてしまったとしてもその動きを反映できそうである．
表 3.3: (a) 右実手と右想像手と右付加手の場合の分類精度
判定

右実手

右想像手

右付加手

右実手

63%

24%

13%

右想像手

20%

59%

21%

右付加手

10%

24%

66%

正解

第3章

右実手・右想像手・右付加手での CNN による脳波分類精度

表 3.4: (b) 右実手と右想像手の場合の分類精度
判定

右実手

右想像手

右実手

68%

32%

右想像手

22%

78%

右付加手

22%

78%

正解

表 3.5: (c) 右実手と右付加手の場合の分類精度
判定

右実手

右付加手

右実手

75%

25%

右付加手

22%

78%

右想像手

58%

42%

正解

表 3.6: (d) 右想像手と右付加手の場合の分類精度
判定

右想像手

右付加手

右想像手

78%

22%

右付加手

28%

72%

右実手

79%

21%

正解

21

22

第4章

むすび

本研究では，BMI によるロボットハンドのような第 3 の手の制御を実現するために，単一課題実行時の脳波を付加手や想像手もある状況を想定して計測して，その上で計測した脳波データを CNN で学習し，様々なパターンでの分類の精度について調査した．第 2 章では，付加手が右側と左側にある状況を想定して行った実験について述べた．右付加手，左付加手，右生来手での 3 クラス分類と，右付加手，左
付加手，左生来手での 3 クラス分類を行った．2 種類の分類はともに，生来手の分類
精度は約 50%，生来手と同じ側の付加手の分類精度は約 60%，反対側の付加手は約75%であった．生来手と付加手の位置関係が変わることで分類精度が変わるという結果が得られた．脳波で操作するロボットハンドは，生来の両手を利用している状
態で 3 つ目の手として利用することが想定される第 3 の手ような手よりも，何らかの理由で片方の手が使えずに代わりとして利用されることが想定される義手のような手の方が適していると考えられる．また，生来手の分類精度より付加手の分類精度が高いという結果が得られた．付加手の分類精度が生来手の分類精度よりも高い
要因は付加手と生来手の念じ方の違いであると推測した．先行研究での，「実際の手か否か分類しただけ」という疑念を解決し，生来手と付加手を CNN で脳波分類できる可能性を示せたと考えられる．第 3 章では，付加手が右側にのみある状況を想定して行った実験について述べた．右生来手，右想像手，右付加手の 3 つの手について脳波を測定して 4 通りのパターンで学習して分類を行い，それぞれの手の関係について考察した．右実手，右想像手，右付加手での 3 クラス分類の精度は 60%から65%ほどであり，精度は低いが分類できていると考えられる．右付加手を学習から除外したパターン (b) では，右付加手を右実手と判定する確率が 22%であり，右実
手を学習から除外したパターン (d) では，右実手を右付加手と判定する確率は 21%であった．実手と付加手のみの分類であれば正確に行える可能性が考えられる．パ

第4章

むすび

23

ターン (b)，(c)，(d) において学習から除外した手が，学習対象にした 2 つの手それぞれに判定される確率から，想像手には実手と付加手両方の特徴が含まれている可能性や，想像手が実手を包含している可能性を推測した．想像手が実手を包含している場合は，メタバース上の手を脳波で動かしたい時に実際に手を動かしても動かさなくてもどちらでもよいという活用方法が考えられる．今後は，学習データを増やすなどして分類精度を向上させ，その上で分類方法による分類精度の違いがあらわれるのかを確認したい．また，本研究では実験参加者が 1 人であったが，複数人での実験を行って実験参加者ごとの違いも確認したい．

24

謝辞

本研究を進めるにあたって, 日頃から多大なご尽力を頂き, ご指導を賜りました名
古屋工業大学, 舟橋健司 准教授, 伊藤宏隆 助教授に心から感謝致します. 最後に, 本研究を進めるにあたり多くの助言, ご協力をいただいた名古屋工業大学舟橋研究室
諸氏に心から感謝致します.

25

参考文献

[1]

念

で機械を動かす最先端の脳科学がもたらす未来，

https://www3.nhk.or.jp/news/html/20231027/k10014236451000.html[2] 間島慶, 神谷之康, “Brain-Machine Interface の現状と将来の展望”, BRAIN andNERVE, vol.63, no.3, pp241-246, 2011[3] 中井敏晴, 松尾香弥子, 加藤知佳子, 守谷哲郎, 岡田智久, “核磁気共鳴法を用いた脳機能測定法 (fMRI) の方法論入門”, 認知科学, vol.5, no.3, pp3 100-3 118, 1998

[4] Guohua Shen, Tomoyasu Horikawa, Kei Majima and Yukiyasu Kamitani,“Deep image reconstruction from human brain activity”, bioRxiv, 2017,https://www.biorxiv.org/content/early/2017/12/28/240317.full.pdf[5] Fatima Ali Al-Nuaimi, Rauda Jasem Al-Nuaimi, Sara Saaed Al-Dhaheri, Soﬁa
Ouhbi and Abdelkader Nasreddine Belkacem, “Mind drone chasing using EEGbased brain computer interface”, 2020 16th International Conference on Intelligent Environments(IE), pp.74-79, 2020
[6] 日高智貴, 白石優旗, 河合由起子, 奥田次郎, “携帯型端末を用いた脳波による情報制御システム”, 情報処理学会インタラクション, 2014

[7] Robin Tibor Schirmeister, Jost Tobias Springenberg, Lukas Dominique Josef
Fiederer, Martin Glasstetter, Katharina Eggensperger, Michael Tangermann,Frank Hutter, Wolfram Burgard and Tonio Ball, “Deep learning with convolutional neural networks for EEG Decoding and visualization”, Human Brain
Mapping, vol.38, no.11, pp.5391-5420, 2017

26

[8] Kai Keng Ang, Zheng Yang Chin, Haihong Zhang, and Cuntai Guan, “Filter bank common spatial pattern (FBCSP) in brain-computer interface”, IEEE
World Congress on Computational Intelligence, Hong Kong, China, pp.23902397, 2008[9] Yanagisawa Takufumi, Hirata Masayuki, Saitoh Youichi, Goto Tetsu, Kishima
Haruhiko, Fukuma Ryohei, Yokoi Hiroshi, Kamitani Yukiyasu and Yoshimine
Toshiki, “Real-time control of a prosthetic hand using human electrocorticography signals”, Journal of neurosurgery, vol.114, no.6, pp.1715-1722, 2011[10] 岩﨑悠希子, 渡辺貴文, 岩田浩康, “随意操作が可能な [第三の腕] に関する研究―第一報：顔面ベクトルによる目標物指示性の VR 内における検証―”, ロボティ
クス・メカトロニクス講演会講演概要集 2016, 1A2-14a7, 2016[11] Sasaki Tomoya, Saraiji MHD Yamen, Fernando Charith Lasantha, Minamizawa
Kouta and Inami Masahiko, “MetaLimbs: multiple arms interaction metamorphism”, ACM SIGGRAPH 2017 Emerging Technologies, pp.1-2, 2017[12] Christian I. Penaloza and Shuichi Nishio, “BMI Control of a Third Arm for
Multi-Tasking”, Science Robotics, vol.3, Issue 20, 2018[13] 今村一貴, “BMI による第 3 の手制御実現のための単一課題実行時における生来の手との脳波分類”, 2022 年度 名古屋工業大学卒業論文, 2023

[14] EMOTIV EPOC Flex, https://www.emotiv.com/epoc-ﬂex-gel/[15] EMOTIV EPOC Flex User Manual, https://emotiv.gitbook.io/epoc-ﬂex-usermanual/[16] Andrew G. Howard, “Some Improvements on Deep Convolutional Neural
Network Based Image Classiﬁcation”, arXiv preprint arXiv:1312.5402, 2013,https://arxiv.org/ftp/arxiv/papers/1312/1312.5402.pdf[17] Ota Takashi and Funahashi Kenji, “Blending CNNs with diﬀerent signal lengths
for real-time EEG classiﬁcation sensitive to the changes”, International Work-27

shop on Advanced Imaging Technology (IWAIT) 2022, vol.12177, pp.390-395,
2022[18] 伊藤伸一, 満倉靖恵, 福見稔, 赤松則男, “脳波の個人特性を考慮した脳波分析法の提案”, 電気学会論文誌 C (電子・情報・システム部門誌), vol.124, no.6, pp.1259-

1266, 2004