2022 年度 卒業論文

論文題目
BMI による第 3 の手制御実現のための単一課題実行時における生来の手との脳波分類

指導教員
舟橋

名古屋工業大学

工学部

2019 年度入学

今村

情報工学科

31114015 番

一貴

健司

准教授

i目次
第 1 章 はじめに

1

第 2 章 単一課題実行時における脳波分類52.1

概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

52.2

脳波計 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

52.3

脳波計測の手順 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

82.4

データセット . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

102.5

CNN の学習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

102.6

結果と考察

12. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

第 3 章 第 3 の手の左右位置の違い

133.1

概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

133.2

結果と考察

14. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

第 4 章 むすび

16

謝辞

17

参考文献

18

1

第1章

はじめに

ブレインマシンインターフェース (BMI) とは, 脳と機械をつなぐ技術である. BMIには, 脳波などの脳活動を利用して人の意思を直接機械に伝える技術や, 機械からの情報を直接脳に伝え人の感覚に干渉する技術が含まれる. それらの中でも人の脳波から思考を読み取り, 機械を操作する研究が特に盛んにおこなわれている. 例えば,脳波で車いすを操作する研究 [1] や, 仮想キーボードを制御する研究 [2] などが行われてきた. 脳波とは, 脳内で生じる電気活動であり, 頭部に設置した電極で記録される. 近年では, 小型で可搬性に優れ, かつ時間的分解能が高い脳波計測器が開発されていることも, BMI の研究が盛んに行われている一因である. また, Schirmeister
らはニューラルネットワークの一種である CNN でも, 従来の脳波解読技術であるFBCSP [3] と同等の高い精度で脳波を分類できることを示した [4].
BMI の研究の中には, 障がい者に向けた義手の開発や, 障がいを持たない健常者に向けた第 3 の手の開発などを行っているものがある. 前者は人の身体能力を補うことを目的としており, 筋肉の信号や脳波から動作の意図を読み取ることで, あたかも自分の腕のように自在に操作できる義手などが開発されている [5]. 後者は人の身体能力を拡張することを目的としており, 足の動作と連動させることで両腕が自由な状態で操作することができる第 3 の手 (図 1.1) [6] や, あらかじめ動作を記憶させることで半自動的に操作できる第 3 の手などの開発が行われている (図 1.2) [7]. しかし, BMI で第 3 の手を自在に操作するのは難しいと考えられる. その原因として人が本来持っていない 3 本目の手の動作をイメージする必要があることや, 両腕を動かすことに伴う脳活動と区別する必要があることがあげられる. 国際電気通信基礎技術研究所 (ATR) は, 被験者に両腕を動かしながらロボットアームに対する特定の操作意図を持ってもらい, その操作意図を検出する新しい BMI 手法を開発し, 脳波による BMI でロボットアームを操作する実験を行った [8]. ロボットアームは被第1章はじめに2

験者の左横に設置され, 肩からもう 1 本腕が出ている (図 1.3). 実験では, 被験者は両手で板を持ち, 板の上に置かれたボールが, 板に描かれた 4 つの図形の上を順に回るように板を動かし続けた. 被験者はこの間, ペットボトルが差し出されたときにロボットアームでペットボトルをつかむよう指示された (図 1.4). ここで, ペットボトルが差し出されたときにロボットアームでペットボトルを握ることができ, またペットボトルが引き戻されたときにロボットアームを下ろすことができれば成功とみなし, それ以外の場合を失敗とし, 成功率を測定した. 実験の結果, ロボットアームをうまく操作できる人と, できない人とが明確に分かれ, これにはマルチタスク能力が関わっていると考えられると述べている. この研究によって, 両腕を動かしながら第3 の手を BMI によって操作できることが明らかになった. ところが, 第 3 の手と生来の手の脳波を分類できるかは明らかになっていない.
そこで, 本研究では第 3 の手と生来の手の脳波を CNN によって分類できるかどうか, 手を握るときの脳波を計測して CNN による分類精度を算出することで検証する. また, 前述の国際電気通信基礎技術研究所 (ATR) による研究で, マルチタスク能力が実験結果に影響を与えていたことを踏まえ, 本研究では単一課題実験実行時の脳波を計測して, 脳波と関係のない要素が関与しないようにする. 第 3 の手を含めた 3 本の手のうち 1 つの手だけを握るという単一課題における脳波を CNN で学習する. 学習した脳波とは別のデータをテスト用データとして用意し, これらに CNNを適用して 3 本の手それぞれについての分類精度を算出する. この分類精度によって CNN による分類がうまく行われているか調べ, BMI による第 3 の手の制御が実現できるか評価する. また, 第 3 章では第 3 の手を右に表示した場合と左に表示した
場合の CNN による分類精度を比較し, 利き手と表示位置の関係を検証する.

第1章

はじめに

3

図 1.1: 足の動作と連動する第 3 の手

図 1.2: 半自動的に操作できる第 3 の手

第1章

はじめに

図 1.3: ロボットアーム

4

図 1.4: 実験の様子

5

第2章

2.1

単一課題実行時における脳波分類

概要

単一課題実行時における脳波を計測し, CNN によって第 3 の手と生来の手を分類できるか検証した (実験 1). 具体的には, 第 3 の手を含めた 3 本の手のうちランダムに 1 つの手だけを握る課題を与え, その際の脳波を計測し CNN で学習させ, テスト用のデータに適用し分類精度を算出した.

2.2

脳波計

本実験では, 脳波計, Emotiv EPOC Flex Gel Kit (以下, EPOC Flex と呼ぶ) (図2.1) [9] を使用した. EPOC Flex は, 電極数が 34 (内 2 つは基準電極), 内部サンプリ
ングレートは 1024Hz で, 128Hz にダウンサンプルされた信号を取得することができる. EPOC Flex は図 2.2 のように, 導電性ジェルを塗布した電極を専用のキャップに固定して, そのキャップを被って使用する. 電極は EPOC Flex のユーザーマニュア
ル [10] に記されているように配置し, 頭全体を覆った (TP9, TP10 に基準電極, Cz,Fz, Fp1, F7, F3, FC1, C3, FC5, FT9, T7, CP5, CP1, P3, P7, PO9, O1, Pz, Oz, O2,PO10, P8, P4, CP2, CP6, T8, C4, FC2, FC6, FT10, F8, F4, Fp2 に電極を配置した) (図 2.3). 使用した導電性ジェルは Weaver 社の Ten20 である.

第2章

単一課題実行時における脳波分類

図 2.1: Emotiv EPOC Flex

図 2.2: EPOC Flex による脳波計測の様子

6

第2章

単一課題実行時における脳波分類

図 2.3: 電極の配置

7

第2章

単一課題実行時における脳波分類

2.3

脳波計測の手順8

脳波を計測する際の手順について詳しく説明する. 与えられる単一課題は, 生来の手と第 3 の手の 3 本の手のうちランダムに 1 つの手を握るものである. 実験を開始す
ると, まず図 2.4 のように 3 本の手が画面に映し出される. 次に, 図 2.5 のようにランダムに 1 つの手の上にランプが点灯する. その後, ビープ音が鳴るので, 音が鳴った
あとにランプが点灯した手を握る (第 3 の手の場合は握る動作をイメージする). このとき, 画面の手も握る様子が表示される (図 2.6). 脳波はビープ音が鳴ってから 3秒間計測される. このように, 手を握る動作以外の要素が関与しない脳波を計測する.

第2章

単一課題実行時における脳波分類

図 2.4: 課題開始時の画面

図 2.5: ランプ点灯時の画面

図 2.6: 手を握る画面

9

第2章

単一課題実行時における脳波分類

2.4

データセット10

実験被験者は 23 歳の男性 1 名である. 被験者は, 生来の手と第 3 の手の 3 本の手の, 手を握る動作についてそれぞれ 3 秒間の計測を 360 試行ずつ行った. このうち

300 試行ずつ, 計 900 試行を CNN の学習に使うための学習用脳波データとし, 60 試行ずつ, 計 180 試行を分類精度を算出するためのテスト用脳波データとした.

2.5

CNN の学習CNN の学習の前処理として, 学習用脳波データを CNN の入力サイズにクロップした. クロップとは CNN の入力サイズよりも大きいデータから CNN の入力サイズに切り出すことであり, 切り出す時刻を変えることで複数のデータとして扱う, 画像認識の分野でよく使われているデータの水増しの手法である. クロップは, Howardの研究 [11] により, 画像分類タスクにおいてその有用性が確認されてから, 主に画像認識の分野で一般的なデータ拡張の手法として用いられるようになった. クロップが EEG データに対しても有用であることが, Schirrmeister らにより確認されている [4] . ところで, クロップは適度に適用すると過学習を抑える効果があるが, 過剰に適用すると逆に過学習に陥ってしまうことがある. これは, データ拡張を行うことで元データに強く現れている特徴をより強く学習してしまうからである. そのため,
今回は CNN の入力サイズを 128, クロップ時のステップ幅を 40 に設定したものと,CNN の入力サイズを 256, クロップ時のステップ幅を 80 に設定したものを用いた.
これは同研究室の太田貴士による研究 [12] を参考にした. クロップすることで入力サイズが 128 の CNN の学習用脳波データ数を 5040, 入力サイズが 256 の CNN の学習用脳波データ数を 1440 とした. CNN のアーキテクチャは, Schirrmeister らの研究 [4] で使われていた CNN を参考にして, 表 2.1, 表 2.2 のように決定した. この

CNN で学習用脳波データを学習してテスト用脳波データに適用することで, それぞれの手の分類精度を算出した.

第2章

単一課題実行時における脳波分類11

表 2.1: 入力サイズが 128 の CNN のアーキテクチャ
レイヤー

サイズ

出力

フィルター数

活性化関数

ドロップアウト率

conv2D(21, 1)(108, 34)

60

...

...

conv2D(1, 34)(108, 1)80

Relu

average pooling2D(2, 1)(54, 1)80

Dropout(54, 1)

0.2

Conv2D(17, 1)(43, 1)110average pooling2D(2, 1)(43, 1)

110

Dropout

Relu(14, 1)

0.2

Conv2D(17, 1)(2, 1)

230

average pooling2D(2, 1)(1, 1)

230

Dropout(1, 1)

Flatten(230)

Dropout

(230)

Dense

(230)

総パラメータ数

602053

訓練パラメータ数

601093

非訓練パラメータ数

960

Relu
0.2
0.2
Softmax

表 2.2: 入力サイズが 256 の CNN のアーキテクチャ
レイヤー

サイズ

出力フィルター数

活性化関数

ドロップアウト率

conv2D(21, 1)(236, 34)

25

...

...

conv2D(1, 34)(236, 1)35

Relu

average pooling2D(2, 1)(118, 1)35

Dropout(118, 1)

0.2

Conv2D(16, 1)(103, 1)50

average pooling2D(2, 1)(103, 1)50

Dropout

Relu(51, 1)

0.2

Conv2D(14, 1)(2, 1)

80

average pooling2D(2, 1)(1, 1)

80

Dropout(1, 1)

Flatten(220)

Dropout

(220)

Dense

(220)

総パラメータ数230138

訓練パラメータ数229538

非訓練パラメータ数

600

Relu
0.2
0.2
Softmax

第2章

単一課題実行時における脳波分類

2.6

結果と考察

12

結果を表 2.3, 表 2.4 に示す. いずれの CNN 入力サイズでも, 第 3 の手の分類精度が最も高く, 右手と左手の分類精度が第 3 の手より低くてほぼ同じであることが分かる. 第 3 の手の分類精度が高くなったのは, 第 3 の手がよく分類できたと考えられる他, 実際の手とそうでない手で分けられて分類精度が高くなったという可能性も考えられる. また, CNN の入力サイズが大きいほど分類性能が高くなることが文献[12] により明らかになっており, 本実験の結果もそれに従っていることが確認できる. 入力サイズが 256 の CNN の結果だけを見ると, いずれの手も分類精度が高いた
め, CNN によって生来の手と第 3 の手を分類できると考えられる. しかし, 入力サイズが 128 の CNN の結果を見ると, 生来の手の分類精度が低く, 分類できるとは言い難い. ところで, 国際電気通信基礎技術研究所 (ATR) が行った実験では, 得られたデータは 250Hz でサンプリングされ, 短時間フーリエ変換 (STFT) によりデータ処理されている. そのため, その実験結果は分類精度という観点から, 本研究の実験結果と単純比較できない. 一方で ATR は, BMI でロボットアームを動かす訓練をすることでマルチタスク能力が向上する可能性について述べている. 訓練により能力が向上するという点は本研究にも当てはまるだろう. 本研究の被験者は今回初めて BMI による脳波測定を行った. 入力サイズが 128 の CNN は分類精度が低かったが, 訓練により分類精度が向上する可能性がある. また入力サイズが 256 の CNN は訓練せずとも分類精度が高かった. よって, CNN による生来の手と第 3 の手の分類は可能であると考えられる.
表 2.3: 入力サイズが 128 の CNN での分類精度 (%)
右手
左手
第 3 の手

48.1

42.5

91.9

表 2.4: 入力サイズが 256 の CNN での分類精度 (%)
右手
左手
第 3 の手

77.9

78.6

90.8

13第3章3.1

第 3 の手の左右位置の違い

概要

次に, 第 3 の手を右に表示した場合と左に表示した場合の CNN による分類性能を比較し, 利き手と表示位置の関係を検証した (実験 2). 第 2 章の実験 1 では第 3 の手を右に設置していたため, 同様の実験を第 3 の手を左に設置した場合について行い,CNN による分類精度を比較した. 被験者, データ数, CNN の構成は実験 1 と同じである.

第3章

第 3 の手の左右位置の違い

14

図 3.1: 実験 1 の画面

図 3.2: 実験 2 の画面

3.2

結果と考察

結果を表 3.1, 表 3.2 に示す. いずれの CNN 入力サイズでも実験 1 と実験 2 とで分類精度が少ししか変わっていない. 第 3 の手を右と左のどちらに表示しても分類精度に影響はなさそうである. よって, 第 3 の手を実用化する際には人が良く使う利き手と反対のほうに設置することで, 生来の手の動きを邪魔することなく制御できるのではないかと考える.

第3章

第 3 の手の左右位置の違い

15

表 3.1: 入力サイズが 128 の CNN での分類精度 (%)
右手
左手

第 3 の手実験 148.1

42.5

91.9

実験 246.8

45.987.9

表 3.2: 入力サイズが 256 の CNN での分類精度 (%)
右手左手

第 3 の手実験 177.9

78.6

90.8

実験 273.5

72.4

87.5

16第4章むすび

本研究では, BMI によるロボットハンドのような第 3 の手の制御を実現するために, 第 3 の手と生来の手の脳波を CNN によって分類できるかどうか, 単一課題実行時の脳波を計測して CNN による分類精度を算出することで検証した. また, 第 3 の手を右に表示した場合と左に表示した場合の比較を行い, 利き手と表示位置の関係を検証した. 実験により CNN による分類精度は十分であり, 第 3 の手と生来の手の脳波を分類できると考えられる. 第 3 の手は右と左のどちらに表示しても分類精度に影響はないことが分かった. 本研究では被験者 1 名で実験を行ったが, より普遍的な見解を得るためには被験者を増やす必要がある. 脳波情報は人によって特徴が大きく異なるため, 異なる被験者の脳波データを用いて学習した CNN は, 同じ被験者の脳波データを用いて学習した CNN に比べて, 分類性能が低いと一般的に言われている. Yonghao Song らはこの問題点を指摘しており, 異なる被験者の脳波データを用いた脳波分類タスクのためのデータ拡張手法を提案している [13] . そのため今後の課題として, 異なる被験者に同じ数の脳波データを用意してもらい, 各々で CNNを学習し分類精度を比較することがあげられる. また, 本実験では画面に手を模したCG モデルを映し出したが, 佐々木智也らの研究 [6] [7] や国際電気通信基礎技術研究
所 (ATR) の研究 [8] などは実際の手とロボットアームを用いて, リアルタイムで第3 の手を BMI によって制御する実験を行っている. 実際に第 3 の手を実用化する際には, 人間の手を模したロボットアームを装備すると考えられるため, ロボットアー
ムを用いた実験も必要である.

17

謝辞

本研究を進めるにあたって, 日頃から多大なご尽力を頂き, ご指導を賜りました名古屋工業大学, 舟橋健司 准教授, 伊藤宏隆 助教授に心から感謝致します. 最後に, 本研究を進めるにあたって多くの助言を頂き, ご協力いただいた名古屋工業大学舟橋研究室諸氏に心から感謝致します.

18

参考文献

[1] 田中一男, “脳波指令で動く車いすの開発,” 精密工学会誌, vol.78, no.8,
pp.662–665, 2012[2] Emanuel Donchin, Kevin M. Spencer, Ranjith Wijesinghe, “The mental prosthesis: Assessing the speed of a P300-based brain-computer interface,” IEEE
Transactions On Rehabilitation Engineering, vol.8, no.2, pp.174–179, June 2000
[3] Kai Keng Ang, Zheng Yang Chin, Haihong Zhang, and Cuntai Guan, “Filter bank common spatial pattern (FBCSP) in brain-computer interface,” IEEEWorld Congress on Computational Intelligence, Hong Kong, China, pp.23902397, June 2008
[4] Robin Tibor Schirmeister, Jost Tobias Springenberg, Lukas Dominique Josef
Fiederer, Martin Glasstetter, Katharina Eggensperger, Michael Tangermann,Frank Hutter, Wolfram Burgard, and Tonio Ball, “Deep learning with convolutional neural networks for EEG Decoding and visualization,” Human Brain
Mapping, vol.38, no.11, pp.5391-5420, August 2017[5] digitaltrands,
https://www.digitaltrends.com/cool-tech/ces-2020-brainco-prosthetic-hand/[6] Tomoya Sasaki, MHD Yamen Saraiji, Charith Lasantha Fernando, Kouta Minamizawa, and Masahiko Inami, “MetaLimbs: multiple arms interaction metamorphism,” SIGGRAPH 2017 Emerging Technologies, no.16, pp.1-2, July 2017[7] Guillaume Gourmelen, Adrien Verhulst, Tomoya Sasaki, Benjamin Navarro,Gowrishankar Ganesh, Masahiko Inami, “Co-Limbs: An Intuitive Collaborative19

Control for Wearable Robotic Arms,” SIGGRAPH Asia 2019 Emerging Technologies, no.19, pp.9-10, November 2019[8] Christian I. Penaloza and Shuichi Nishio “BMI Control of a Third Arm for MultiTasking,” Science Robotics, Vol 3, Issue 20 (2018).
[9] EMOTIV EPOC Flex, https://www.emotiv.com/epoc-ﬂex/[10] EMOTIV EPOC Flex User Manual,https://emotiv.gitbook.io/epoc-ﬂex-user-manual/electrodes/example-electrodeplacement[11] Andrew G. Howard, “Some Improvements on Deep Convolutional Neural Network Based Image Classiﬁcation,” December 2013,https://arxiv.org/ftp/arxiv/papers/1312/1312.5402.pdf[12] 太田貴士, 舟橋健司, “BMI のための入力脳波長の異なる CNN のブレンドによる変化に鋭敏な実時間分類,”
第 26 回日本バーチャルリアリティ学会大会論文集, 2C2-5, September 2021

[13] Yonghao Song, Lie Yang, Xueyu Jia, and Longhan Xie, “Common Spatial Generative Adversarial Networks based EEG Data Augmentation for Cross-Subject
Brain-Computer Interface,” February 2021,
https://arxiv.org/pdf/2102.04456.pdf