JAIST Repository
https://dspace.jaist.ac.jp/

Title

脳機能信号と行動生理信号を組み合わせたBrain
Machine Interface(BMI)の提案

Author(s)渡邊, 大輔CitationIssue Date

2016‑03

Type

Thesis or Dissertation

Text version

author

URL

http://hdl.handle.net/10119/13649

RightsDescription

Supervisor:田中宏和, 情報科学研究科, 修士

Japan Advanced Institute of Science and Technology

修 士 論 文

脳機能信号と行動生理信号を組み合わせた
Brain Machine Interface(BMI)の提案

北陸先端科学技術大学院大学
情報科学研究科渡邊大輔

平成 28 年 3 月

修 士 論 文

脳機能信号と行動生理信号を組み合わせた
Brain Machine Interface(BMI)の提案

1210302 渡邊大輔

主指導教員 田中宏和
審査委員主査 田中宏和
審査委員 党建武審査委員 鵜木祐史

北陸先端科学技術大学院大学
情報科学研究科

平成 28 年 2 月1_______________________________________
Copyright © 2016 by Daisuke Watanabe2概要
従来の Brain Machine Interface(BMI)に使用する脳機能信号の計測手法として機能的核磁気共鳴装置（fMRI：functional magnetic resonance imaging)、脳磁計測（MEG：Magnetic resonance imaging）、
脳波計測（EEG：Electroencephalography）等が使用されているが、fMRI や脳磁計測については、計測にかかるコストや一度の計測に手間がかかるといった欠点がある。一方、脳波計測については、計測コストの低さと計測の手軽さから BMI 研究に利用されることが多い。しかし、脳波計測の欠点
として、脳波が非常に微弱な信号であることが挙げられる。その為、計測した脳波から何らかの判断を行う為には、複数回の試行を繰り返す必要があり、単純な 2 値の判断をする為であっても処理時間がかかってしまうという欠点がある。また、頭部の振動や瞬きといった、わずかな体動によるノイズ
で簡単に消えてしまう為、計測した脳波から何らかの判断をした場合の正答率が低いという欠点もある。これらの課題を解決する為に、様々なアプローチが行われているが、上記課題の解決には至っていない。一方で、瞳孔の大きさ、視線の動き、心拍といった行動生理信号を使用して、何らかの判断を行うという研究も行われている。被験者にワーキングメモリ課題を与えた際に記憶量が多くなるほど瞳孔の開きが大きくなるという研究がある。行動生理信号は脳波と同様に、判断や記憶量といった認知指標と関連があるという特徴と、脳波計測と比較してノイズに強く正確に取得することが可能であるという特徴がある。また、同様のワーキングメモリ課題において、記憶量が多くなるほど脳波の振幅が大きくなるという研究もあり、瞳孔の開きと脳波の振幅には相関があるのではないかと予測される。本研究では、脳波計測を使用した BMI の課題を解決する為に、脳波と同時に瞳孔の大きさを計測し、脳波の情報を瞳孔の情報で補足する、「脳波・瞳孔同時計測システム」を提案する。具体的には、2 択の判断を行うワーキングメモリ課題を行っている際の、瞳孔の大きさの変化と、脳波を同時に計測する。計測したデータを主成分分析で最適化するとともに、Support Vector Machine を使用して、2 択のパターンを学習する。学習結果に対して、新たな試験データを投入し、2 択のどちらの結果であるかを推定する。その推定結果の正答率について、脳波計測のみで解析した場合と、瞳孔の情報を加えた場合とで、正答率を向上させることができることを検証する。

目次
第1章

序論 ....................................................................... 5

1.1

脳波と行動生理信号を組み合わせた BMI を提案する背景 ...................................................5

1.2

脳波と行動生理信号を組み合わせた BMI を提案することの目的 ........................................6

1.3

論文の構成 ............................................................................................................................6

第2章

BMI の事例と課題について .................................................... 7

2.1

BMI に使用される脳波の種類について ................................................................................7

2.2

脳波を使用した BMI の事例とその課題 ...............................................................................8

2.2.1

運動想起を用いた BMI ..................................................................................................8

2.2.2

SSVEP 型の BMI...........................................................................................................92.2.3

P300 型の BMI ..............................................................................................................9

2.3

BMI の性能向上に使用する行動生理信号についての先行研究.............................................92.4

脳波を用いたワーキングメモリ課題の事例 ........................................................................10

2.5

脳波と行動生理信号を組み合わせた BMI の事例 ............................................................... 11

第3章

従来の BMI の課題を解決する為の提案 ......................................... 123.1

脳波と行動生理信号を組み合わせた BMI（脳波・瞳孔同時計測システム）の提案 ..........123.1.1

脳波計測方法について .................................................................................................13

3.1.2

瞳孔計測方法について .................................................................................................193.2

脳波・瞳孔同時計測システムの実験詳細 ............................................................................223.2.1

脳波・瞳孔同時計測システムの計測イメージ..............................................................223.2.2

脳波・瞳孔同時計測システムのソフトウェアについて ...............................................23

3.2.3

脳波・瞳孔同時計測システムで使用する実験タスクについて.....................................24

3.3

本研究で使用する信号解析手法について ............................................................................30

3.3.1

主成分分析 ...................................................................................................................30

3.3.2

Support Vector Machine(SVM)...................................................................................32

3.3.3

5-Fold cross validation................................................................................................35

3.3.4

Permutation test .........................................................................................................36

3.3.5

本研究における信号解析 ..............................................................................................37

i

第4章

脳波・瞳孔同時計測システムの実験結果 ....................................... 39

4.1

瞳孔データのみを解析した場合の実験結果 ........................................................................394.2

脳波データのみを解析した場合の実験結果 ........................................................................42

4.3

瞳孔データと脳波データを合わせて解析した場合の結果 ...................................................45

第5章

結論：まとめと将来の展望 ................................................... 49

5.1

脳波・瞳孔同時計測システムの評価 ...................................................................................49

5.2

課題 1：特徴抽出方法の違いが BMI の性能へ影響するかについて ...................................49

5.3

課題 2：コンフィデンスの有無が BMI の性能へ影響するかについて................................50

5.4

課題 3：被験者の反応（行動）が BMI の性能へ影響するかについて................................52

5.5

その他の課題について ........................................................................................................53

5.6

今回の実験で技術的に困難であった点 ...............................................................................53

参考文献 ..........................................................................

2

54

図目次
図 3.1：本研究のおける信号解析イメージ ................................................................................12
図 3.2: Emotiv Epoc ..................................................................................................................13
図 3.3：Emotiv Epoc 装着例 ....................................................................................................14
図 3.4：Emotiv Epoc の電極配置 .............................................................................................15
図 3.5：国際 10-20 法の電極配置 ..............................................................................................15
図 3.6：Emotiv Epoc の接続インターフェース例 .....................................................................16
図 3.7：Emotiv Epoc で計測した脳波のサンプル .....................................................................17
図 3.8 :OptiTrack FLEX V100R2 .............................................................................................19
図 3.9：瞳孔計測時のセットアップ図 .......................................................................................19
図 3.10：瞳孔計測ソフトウェアの起動例 .................................................................................20
図 3.11：瞳孔計測結果のサンプル ............................................................................................20
図 3.12：脳波・瞳孔同時計測システムの計測イメージ ............................................................22
図 3.13：脳波・瞳孔同時計測システムの計測イメージ ............................................................23
図 3.14：脳波・瞳孔同時計測システムのフェーズ 1(左：初期画面、右：カウントが進んだ様子)............................................................................................................................................24
図 3.15：脳波・瞳孔同時計測システムのフェーズ 2(視覚刺激提示画面) .................................25
図 3.16：脳波・瞳孔同時計測システムのフェーズ 3(待機画面)................................................26
図 3.17：脳波・瞳孔同時計測システムのフェーズ 4(視覚刺激再提示画面) ..............................26
図 3.18：脳波・瞳孔同時計測システムのフェーズ 5(タスク回答画面) .....................................27
図 3.19：脳波・瞳孔同時計測システムのフェーズ 6(コンフィデンス回答画面).......................28
図 3.20：視覚刺激の数によるタスク正答率の推移 ...................................................................29
図 3.21：使用する主成分の数による性能の推移 .......................................................................32
図 3.22：Support Vector Machine イメージ ............................................................................33
図 3.23：Support Vector Machine 識別関数のイメージ ..........................................................34
図 3.24：5-Fold cross varidation のイメージ ...........................................................................35
図 3.25：Permutation test のイメージ ....................................................................................36
図 3.26：Permutation test の実施例 ........................................................................................37
図 4.1：瞳孔のみを解析した場合の結果 ...................................................................................40
図 4.2：瞳孔のみを解析した場合の結果（エラーバー付） .......................................................40
図 4.3：瞳孔データからの弁別率の Permutation test による検証 ...........................................41
図 4.4：瞳孔データからの弁別率（計測サンプル数 200×10 回） ............................................42
図 4.5：脳波のみ解析した場合の結果 .......................................................................................433図 4.6：脳波データからの弁別率の Permutation test による検証 ...........................................44
図 4.7：脳波データからの弁別率（計測サンプル数 200×10 回） ............................................44
図 4.8：瞳孔と脳波データからの弁別率の Permutation test による検証 ................................45
図 4.9：瞳孔と脳波データからの弁別率（計測サンプル数 200×10 回） ..................................46
図 4.10：脳波データ単体の弁別率と瞳孔＆脳波の弁別率の差分比較.......................................47
図 4.11：瞳孔データ単体の弁別率と瞳孔＆脳波の弁別率の差分比較 .......................................48
図 5.1：瞳孔の計測結果の例 .....................................................................................................50
図 5.2：各パターンにおける弁別率の結果 ................................................................................51
図 5.3：タスク正解時と不正解時の回答時間の分布 .................................................................52

4

第1章

序論

1.1 脳波と行動生理信号を組み合わせた BMI を提案する背景
Brain Machine Interface（BMI）とは脳機能信号をインプットデータとしてコンピュータを制御した
り、人の内的情報を推定する技術の総称である[1,2]。例えば、脳波や脳の血流量の変化といった脳機能信号を解析し、解析した結果をインプットデータとして、ロボットアームなどの機械を操作したり[3]、視覚情報を再構成したり[4]、Yes/No などの 2 値の判断を行う[5]技術がある。本研究では、主に、人の内的情報を推定するという点で BMI を取り扱う。利用する脳機能信号の計測方法としては、神経活動が作る磁場を計測する脳磁計測（MEG：Magnetoencephalography）、還元ヘモグロビンの磁性から脳の血流量変化を計測する機能的核磁気共鳴装置（fMRI：functional magnetic resonance imaging)、体内に放射性同位元素を注入し、発生したγ線を計測する PET、酸化ヘモグロビンの変化を、近赤外線を照射することによって計測する NIRS（赤外分光方法）、脳の電気活動により生じた２つの電極間の電位差を計測する

脳波計測（EEG：Electroencephalography）等がある[1]。
BMI 技術を用いて実現したいこととして、体が不自由な人が手を使わずにロボットアームを操作した
り、何らかの意思を伝えたり、また車椅子を操作したりすることが想定されている。これらを実現する為には、脳機能信号の計測が、①非侵襲的であること、②計測にコストがかからないこと、③計測が比較的容易であること、④時間分解能が高いことが必要である。BMI 技術を用いて実現したいことは、比較的日常的に行いたいと思うことであるため、侵襲的であったり、計測にコストがかかったり、都度の計測に手間がかかったりすることは望ましくない。また、車椅子を操作するといったリアルタイム性の高い利用方法に対しては、時間分解能が低いと想定した効果を望むことができない。
これらのことから、fMRI や MEG は計測に数億円のコストがかかり、また、時間分解能も低く、計測が容易にできないことから、BMI に利用されることは少ない。PET についても侵襲的であり、容易な計測ができないことから、利用されることは少ない。BMI に最もよく利用される脳機能計測法は、非侵襲的で、計測が数万円から可能で、時間分解能も高い EEG である。
従来の EEG を利用した BMI 技術として、運動想起（自身が特定の運動をしている状況を想像）する
際に発生する感覚運動μリズムを使用して二値の判断を行うものや[1]、オドボール課題などのタスクを行う際に生じる脳波である P300 を使用して、脳波信号だけでキーボード入力を行う P300 タイピングシス
テム[6]などの研究がある。脳波は 10～20μV と非常に微弱である為、脳波から何らかの判断を行うには，複数回の試行によって得た脳波を加算平均する必要があり、二値の判断を行うことや、キーボードに１文字入力するだけで，10 秒前後必要とするなど、実用性の面で課題がある．また脳波計測中に瞬目(500μV)をしたり、頭を前後左右に揺らしたりすることで、そのノイズで脳波が消えてしまいタスクの正答率が下がってしまう課題もある。P300 タイピングシステムに辞書を組み込む方法や，P300 マトリックスの文字配列を変える方法で精度を向上させる研究[7]や、歩いたり、走ったりしながら EEG を計測してもの

5

ノイズの影響を受けないようにする研究[8]など、様々なアプローチが行われているが、上記課題の解決には至っていない。

1.2 脳波と行動生理信号を組み合わせた BMI を提案することの目的
脳機能信号の他に、瞳孔の大きさや、視線の向き、心拍といった人間の行動生理信号を計測して、BMIと同様に、計測結果から何らかの判断を行うという研究も行われている。例えば、被験者に作業記憶課題を与えた際に記憶量が多くなるほど瞳孔の開きが大きくなるという研究[9]があり、行動生理信号は脳波と同様に、判断や記憶量といった認知指標と関連があり、脳波計測と比較して、ノイズに強く正確に取得することが可能であるという特徴がある。また、同様のワーキングメモリ課題において、記憶量が多くなる
ほど脳波の振幅が大きくなるという研究[10]もあり、瞳孔の開きと脳波の振幅には相関があるのではないかと予測される。
本研究では、上述のような、計測結果から何らかの判断を行う為に処理時間がかかること、及び、ノイズに弱いという EEG の課題を解決する為に、脳波と同時に瞳孔の大きさを計測し、脳波の情報を瞳孔の情報で補足する、「脳波・瞳孔同時計測システム」を提案し、EEG を使用した BMI の性能を向上させることを目的する。具体的には、あるタスクに対する正答率について、脳波計測のみで解析した場合と、瞳孔の情報を加えた場合とで、正答率を向上させることができることを検証する。

1.3 論文の構成
本論文は現在の章（序論）を含め、５つの章から成る。第２章では、従来行われてきた、脳波を使用した BMI の先行研究、行動生理信号に関する先行研究、脳波と行動生理信号を組み合わせた BMI の先行研究についてと、その課題について説明する。第３章では、今回提案する「脳波・瞳孔同時計測システム」の詳細について説明する。第４章では、実施した実験についての結果を説明する。最後に第５章では、今回の提案手法についての評価、及び、今後の課題について説明する。

6

第2章

BMI の事例と課題について

2.1 BMI に使用される脳波の種類について
BMI の事例を説明する前に、BMI で使用される脳波について概要を説明する。脳波は脳から生じる電気活動を 2 つの電極間の電位差を計測することで取得されるものであり、頭皮の上、頭蓋骨の表面、脳の表面等に電極を取り付けることで計測する。脳の表面に電極を取り付けて計測する方法を ECOG といい、頭蓋骨や頭皮を解さずに脳機能信号を取得できる為、サルに対しての実験等で高い精度での計測が実現できている[11]。ヒトに対しては、てんかんの患者等の協力によって行っている研究もあるが、前述のとおり、BMI においては非侵襲的であることが求められるため、頭皮の上に配置した電極で計測することが多い。本研究においても頭皮の上に配置した電極によって脳波を計測することを前提としている。頭皮の上に配置した電極によって脳波を計測する場合は、頭蓋骨や頭皮を解して信号を取得することになるため、信号が減衰し、前述のとおり、計測した信号は微弱なものとなってしまう。
脳波については、どのような場合に発生する脳波であるかによって、いくつかの種類がある。まず、何も活動をしていなくても常に生じている脳波を自発脳波という。周波数帯域によって名前があり、安静にしている際に増大するα波（8～13Hz）、眠っているときに生じるθ波（4～8Hz）やδ波（2～4Hz）、集中している時に生じるβ波（13～30Hz）などがある。
また、自発脳波に対して、何らかの活動や、外部からの刺激に対して発生する脳波を誘発脳波という。
誘発脳波は自発脳波に対して非常に小さいという特徴がある。誘発脳波の中には、どのような外部からの刺激を受けることで発生するものか等によって、いくつかの種類がある。まず、何らかの視覚的な外部刺激を受けることによって生じる脳波を視覚誘発電位（VEP）という。例えば、ディスプレイに表示する光や、色など、視覚的な外部刺激は比較的容易に与えることができるので、BMI の研究においてもよく利用される。さらに、この視覚刺激の提示頻度が非常に高い場合に発生する脳波を定常状態視覚誘発電位（SSVEP）という。300ms よりも短い一定の時間間隔で視覚刺激が提示された場合に生じる。次に、何らかの聴覚刺激に対して発生する脳波を聴覚誘発電位（AEP）という。視覚刺激同様に、活動中は基本的に常に発生している電位であり、聴力の検査や、脳死判定に使用される場合もある。
何らかの事象に関連指定生じる脳波として、事象関連電位（ERP）がある。事象関連電位についても、何らかの外部刺激を受けて発生しているという意味では、誘発脳波として考えることもできるが、誘発脳波は視覚刺激や聴覚刺激のように、被験者の意思にかかわらず発生する脳波を指すことが多く、対して、
事象関連電位は、被験者の意思や精神活動に関係して生じる脳波を指すことが多いため、この 2 つは区別されることが多い。代表的な事象関連電位として、オドボール課題による P300 や陰性緩電位変動（CNV）がある。オドボール課題とは、被験者に対して、片方の刺激が高頻度で提示され、もう片方の刺激が低頻度で提示されるような 2 種類の刺激をランダムに提示し、被験者には低頻度の刺激に注意してもらう。この際に、低頻度の刺激が発生した際に生じる脳波を P300 という。視覚刺激の提示後約 300ms 後に発生7するため、P300 と呼ばれる。また、被験者がどれだけ真剣に実験に取り組んでいるなど、被験者の精神状態によって、P300 が生じるかどうか変わってくる。つまり、被験者の集中力や精神状態によっては、同様の刺激が与えられていても結果が異なってくることになる。これが、視覚誘発電位や聴覚誘発電位な
どの誘発電位との違いであると考えられる。また、CNV とは集中や期待に関連して生じる事象関連電位
で、刺激が提示されたらボタンを押下するような何らかの行動をとる課題を被験者に与えた場合に、被験者が刺激がくるのを待っている間に、発生する脳波のことを言う。事象関連電位については、一度の視覚刺激に対する計測では、ノイズ等の問題により期待する波形を得ることは難しい為、複数回の計測結果を加算平均することになる。これが前述のとおり、脳波を利用した BMI の精度が低くなる原因となっている。
また、感覚運動リズム（SMR）と呼ばれる、12～15Hz のα波とβ波の間の脳波もある。これは静かで冷静でありつつも、いつでも行動を起こせるアイドリングのような状態であると言われ、アスリートがパ
フォーマンスを向上させるために、この脳波を自在に発生させられるようにトレーニングしたり、ADHD（多動性、不注意、衝動性等の症状がある障害）の改善に利用されたりする。

2.2 脳波を使用した BMI の事例とその課題
脳波を使用した BMI の事例として、運動想起を用いた BMI、SSVEP を用いた BMI、P300 を用いた
BMI について説明する。

2.2.1 運動想起を用いた BMI
脳波を利用した BMI の事例として運動想起を用いた BMI がある。運動想起とは、ある特定の運動を自信が行っていることを想像することで、例えば、右腕を動かしているところを想像したりすることである。
この運動想起を行う際に、発生する感覚運動リズム（SMR）を使用することで、YesorNo といったある 2 択の判断を行えるようにするというのが、運動想起を用いた BMI である。ある質問に対して、Yesの場合は右腕を動かすことを想像してもあり、No の場合は想像しないというルールを決め、被験者に 2択の質問を行う。その際の脳波を計測する。SMR が観測できた場合には、被験者が Yes と答えていると判断し、SMR が観測できない場合は No と答えていると判断するというものである。この BMI の課題として、右腕を動かしているところを想像して、確実に SMR を生じさせるようになる為には、数ヶ月程度のトレーニングが必要であるということがある[1]。

82.2.2 SSVEP 型の BMISSVEP 型の BMI というものもある。提示される視覚刺激の周波数の違いによって、生じる脳波の周波数にも違いがでることを利用した BMI である。測定した脳波をフーリエ変換することで、視覚刺激の周波数の箇所にピークが生じることが観測できる。ディスプレイ上に、周波数の違う高速で点滅する視覚刺激を 2 つ表示して、例えば、ある質問に対して Yes の場合は左の視覚刺激を見つめてもらい、No の場合
は右の視覚刺激を見つめてもらうようにする。計測された脳波によって、Yes か No を弁別するというものである。視覚刺激を注視しなくても、注意を向けるだけでも同様の効果を得られる可能性があるなど、眼球運動する行うことができない患者への適用や、トレーニング無しでも利用できるなどの特徴がある[1]。
実際に、ALS（筋萎縮性側索硬化症）患者等に対して、SSVEP 型の BMI を利用して、文字盤を注視することで、文字入力をさせるコミュニケーション支援システムの研究等も行われているが、3 文字程の入力に対して数十秒要するなと、処理時間の問題で課題がある[12]。

2.2.3 P300 型の BMI
P300 型の BMI は、前述のように、オドボール課題によって得られる P300 という脳波を利用した BMIである。代表的な P300 型の BMI として P300 Speller と呼ばれる、文字入力支援システムがある[5]。これは、ディスプレイ上にアルファベット等の文字をマトリックス状に表示させ、各文字がランダムに点滅する。被験者には、入力したい文字が点滅する数をカウントしてもらい、この際に発生する脳波を計測し、加算平均することで、どの文字が点滅した後に P300 が発生しているかを解析し、文字を入力するというものである。トレーニング不要で行えることや、キーボード文字入力のように複数選択しからの判断が可能であるが、計測した脳波の加算平均が必要であること等もあり、1 文字の入力に数秒から数十秒を要す
るなど、こちらの BMI についても処理時間についての課題がある。

2.3 BMI の性能向上に使用する行動生理信号についての先行研究
本研究では、BMI の性能を向上させる為に、BMI の入力データとして、脳波に加えて行動生理信号を使用することを提案する。今回、行動生理信号を用いることとした理由の説明と共に、行動生理信号を使用した先行研究について説明する。行動生理信号は判断や記憶量といった認知指標と関連があり、脳波と比較してノイズに強く計測しやすいという特徴がある。中でも瞳孔については、記憶量（ワーキングメモ
リ）と密接に関係があると言われている。脳波と行動整理信号に共通する課題としてワーキングメモリ課
題がある。行動生理信号を用いた研究の事例として、ワーキングメモリ中に計測した瞳孔の開き具合から被験者の記憶量を推定する研究ついての事例を紹介する[9]内容としては、画面に表示した被験者に数字の文字列を記憶してもらい、後に、記憶した文字列を回答

9

してもらうというもので、タスク中の瞳孔の大きさを計測するというものである。文字列の長さを 3 文字
から７文字の間で変更し、それぞれについて瞳孔の大きさを計測すると、文字列の長さが長い場合、すな
わち、課題の難易度が高いほど、瞳孔が大きく開くという結果が出ることが示されている。この結果から、瞳孔の開き具合とワーキングメモリにおける記憶量には関係があるのではないかと考えられる。
また、次節で述べるが、脳波についても瞳孔と同様にワーキングメモリにおける記憶量と関係があると考えられている。ワーキングメモリにおける記憶量と関係があると考えられる「瞳孔の開き具合」と「脳波」を同時に計測し、情報を補完し合えることが示せれば、脳波を使用した BMI においても瞳孔を同時に計測することで性能を向上させることができるのではないかと考え、本研究では、脳波と同時に瞳孔を計測することを提案する。なお、行動生理信号については、瞳孔の他にも心拍等があるが、本研究においては、その計測の容易さと、上記、先行研究から、行動生理信号としては瞳孔を取り扱うこととする。

2.4 脳波を用いたワーキングメモリ課題の事例
ワーキングメモリ課題中の脳波の状態の研究について紹介する[10]。ワーキングメモリ課題は被験者にディスプレイに表示される画像を見てもらうことで行う。内容としては、以下の流れとなっている。

①

初期状態としてディスプレイ中央に「＋」を 200ms 表示する。眼球の動きや瞬き、頭部の振動はノイズに繋がるため、基本的に頭部、および、視点を固定する必要があるため、被験者にはワーキングメモリ課題中は基この「＋」を注視し続けてもらうことになり、課題中に表示される、その他の画像については、直接注視せずに、周辺視で見ることになる。

②

続いて、記憶フェーズとして「＋」の周りに、8 つの四角形がランダムな位置に表示される。
この 4 角形は 8 色（red, blue, violet, green, yellow, black and white）の色がついており、同じ色が 2 つまでは重複が許可される。そして、これらは 100ms の間のみ表示される。被験者は表示された四角形の色を記憶する。

③

次に、インターバルフェーズとして②で表示された四角形は消え、再び、「＋」のみが表示される状態が 900ms 続く。

④

最後に試験フェーズとして、再度、②で表示された四角形が同じ位置に表示される。ただし、8 つの四角形のうち、どれか 1 つの四角形の色が変わっている場合がある。被験者は②の状態と比較して色の変化があったかどうかを回答する。

このタスクの結果、②のフェーズ終了後の 300ms 付近から、③のフェーズにかけて脳波の振幅が大きくなるという結果が出ている。前述のワーキングメモリ課題中に瞳孔の大きさを計測した研究と同様に、

10脳波にも、ワーキングメモリの記憶量と相関があるのではないかと考えられる。
ちなみに、今回のようなワーキングメモリ課題は、課題の難易度を容易に変更できるという長所がある。
例えば、四角形の数を変更することで、難易度を容易に変更できる。

2.5 脳波と行動生理信号を組み合わせた BMI の事例
前述のとおり、ワーキングメモリ課題における瞳孔の開き具合と、脳波の振幅の増減については、ワーキングメモリ課題の難易度が向上するほど、瞳孔が開く、および、脳波の振幅が大きくなるという同様の特徴があり、瞳孔の開き具合と脳波の振幅の増減の間には、何らかの相関があるのではないかと考えている。本研究においては、瞳孔と脳波を同時に計測する BMI の提案を行うことを目的としているが、実際に脳波とその他の信号を用いて、BMI の制度を向上させる研究が行われている[13]。これらの研究では、
脳機能信号として、脳波と NIRS を使用し、その他の信号として、心拍と視線が使われているが、BMIの性能が数%向上する結果に留まっている。また、脳波に比べて NIRS を使用した場合の方が、精度が高いという結果が出ており、脳波を使用した BMI の性能向上には至っていない。

11

第3章

従来の BMI の課題を解決する為の提案

3.1 脳波と行動生理信号を組み合わせた BMI（脳波・瞳孔同時計測システム）の提案
本研究では、上述のような、計測結果から何らかの判断を行う為に処理時間がかかること、及び、ノイズに弱いという理由から BMI の性能が制限を受けているという脳波 BMI の課題を解決する為に、脳波と同時に瞳孔の大きさを計測し、脳波の情報を瞳孔の情報で補足する、「脳波・瞳孔同時計測システム」を提案し、脳波を使用した BMI の性能を向上させることを目的する。具体的には、あるワーキングメモリ
課題に対して被験者が課題に正解したか不正解であったかどうかを、計測した脳波、及び、瞳孔データから推定することを考える。その際の推定結果の精度について、脳波計測のみで解析した場合と比較して、瞳孔の情報を加えた場合の方が、向上することを示す。推定にあたっては、計測したデータを訓練データと試験データに分け、訓練データから Support Vector Machine を使用して弁別器を作る。作成した弁別器に試験データを投入して、その弁別結果を求める。尚、本研究においては、被験者がワーキングメモリ課題に正解できているかを推定できた確率を弁別率として定義し、これを BMI の性能と考える。
また、今回、ワーキングメモリ課題を選択した理由についてであるが、コンピュータやマウスやロボッ
トアームを運動意思で動かす BMI が主流であるが、被験者の物忘れや見落としを検出することも広い意
味での BMI と考えられる。物忘れや見落としを実験室環境で模擬するものとして、ワーキングメモリ課
題を選択した。応用としては、脳活動からヒューマンエラーのモニターが考えられる。

図 3.1：本研究のおける信号解析イメージ

提案するシステムの詳細については、3.2 項で説明する。まず、今回使用する脳波計測方法、及び、瞳12

孔計測方法について説明する

3.1.1 脳波計測方法について
本研究での脳波計測は Emotiv 社製の Emotiv Epoc という脳波計を使用する[14]。本研究では、EEGを利用した BMI の最終的な目的は誰でも気軽に利用可能であることであると考えている為、脳波計についても、安価で準備が比較的容易であるものを選定することとした。Emotiv Epoc は比較的安価で、計測に必要な準備も少ないため、採用することとした。Emotiv Epoc は Bluetooth 受信機をコンピュータ側に接続し、図 3.2 のようなヘッドセットを頭部に装着することで、脳波を計測することが可能である。脳波の計測に当たっては、生理食塩水に浸した電極フェルトを電極に装着して計測する。これは頭部と電極の間の伝導性を高めることを目的としており、通常は伝導性ジェルを使用することが一般的であるが、Emotiv Epoc においてはジェルを使用しないことで計測の手間を軽減させている。

図 3.2: Emotiv Epoc

また、図 3.3 に Emotiv Epoc の装着例を示す。

13

図 3.3：Emotiv Epoc 装着例

また、Emotiv Epoc は図 3.4 のように 14 チャネルでの脳波計測が可能である。通常は図 3.5 のような国際 10-20 法[15]に従って、電極を配置するのが一般的であるが、Emotiv Epoc は国際 10-20 法と比較して、頭頂部に電極が配置されていない形となっている。本研究では使用しないが、頭頂部に対して電極が必要な場合は、Emotic Epoc を一部改修して使用する必要がある。

14

図 3.4：Emotiv Epoc の電極配置

図 3.5：国際 10-20 法の電極配置

15

Emotiv Epoc は計測にあたって専用の画面インターフェースツールがあり、各電極の接触状況を確認することができる。正確に接続されており、脳波を計測できる状態になっている場合は緑、信号が弱い場合
は黄色、計測できていない場合は赤が表示されるようになっている。例を図 3.6 に示す。

図 3.6：Emotiv Epoc の接続インターフェース例

16また、図 3.6 は Emotiv Epoc で取得した脳波のサンプルをグラフにプロットしたものである。
尚、Emotiv Epoc にはジャイロセンサーが付属しており、14 チャネルの脳波データに加えて、垂直方向、
水平方向の頭部の動きについても計測可能である。図 3.7 の例では意図的に頭部を動かしているため、垂直方向、水平方向に波形が出ているが、通常の脳波計測時には、可能な限り頭部を固定して計測を行い、垂直方向、水平方向のノイズが出ないようにする。一定以上のノイズが検出された場合は、そのデータを破棄する等の調整が必要である。

図 3.7：Emotiv Epoc で計測した脳波のサンプル

また、図 3.8 に Emotiv Epoc で取得できる脳波の生データのサンプルを示す。サンプリングレート
128SPS で出力される。

17

表 3-1：Emotiv Epoc で計測した脳波データのサンプル

時間（秒）00.007813
0.015625
0.023438
0.03125
0.039063
0.046875
0.054688
0.06250.070313
0.078125
0.085938
0.09375
0.101563
0.109375
0.117188
0.125
時間（秒）
0
0.007813
0.015625
0.023438
0.03125
0.039063
0.046875
0.054688
0.06250.070313
0.078125
0.085938
0.09375
0.101563
0.109375
0.117188
0.125

脳波データ
FC5
T7
4316.41 4270.77
4316.41 4273.85
4313.85 4270.26
4309.74 4266.15
4305.134264.14304.1 4264.62
4303.08 4265.13
4303.08 4266.67
4306.15 4271.79
4306.15 4275.38
4307.69 4275.38
4312.314275.94312.82 4276.92
4306.15 4271.79
4303.08 4265.13
4304.62 4263.59
4302.05 4263.59

AF3
4476.414477.444477.95
4470.774460.514459.494461.544458.974460
4461.544460
4461.034461.034458.464457.444460
4457.95

F7
44604455.384452.314450.774449.234449.744449.234446.674447.694449.234450.774452.314450.264448.72
4450.774446.154439.49F34777.444777.95
4772.314767.184762.054758.974761.544762.564760
4762.054764.624762.054760
4757.95
4755.94758.464756.41P84354.874353.854345.644341.034341.544341.034343.594350.774355.94355.384352.314347.184341.034339.494341.544336.924326.15T8
4151.794155.94152.314141.544139.494148.724155.38
4152.314156.414163.084158.974154.364153.33
4150.77
4151.794152.314140.51

脳波データ
FC6
F4
4533.85 4382.56
4531.79 4382.05
4523.59 4376.41
4518.46 4368.72
4518.46 4364.62
4520 4366.15
4522.05 4367.18
4528.72 4369.23
4532.31 4373.33
4529.74 4371.79
4527.69 4372.31
4529.74 4373.85
4526.15 4366.15
4518.46 4358.46
4519.49 4363.08
4522.05 4363.59
4518.974355.918F84590.264593.33
4589.234581.034576.924577.95
4582.054587.184593.33
4594.874594.874597.444592.314581.544583.594587.694583.08P74541.034540
4537.444538.464537.95
4537.444540.514543.594543.594545.134552.314552.314542.054537.95
4543.084535.94523.59O14416.92
4414.874408.214403.594400.514402.054403.594405.134410.774412.314410.264407.694401.544396.92
4399.494398.974390.26

O2
4770.774768.214762.564754.874754.364760.514762.564760.514765.644769.234765.644765.644762.564755.384755.384752.314743.59AF44410.264405.644402.054400.514394.874389.234387.184387.184388.724389.744389.744385.644380
4375.94372.824370.774370.77

ジャイロ
水平
垂直
1682
1683
1680
1683
1682
1683
1681
1683
1682
1683
1681
1683
1681
1683
1680
1682
1679
1684
1680
1682
1678
1683
1679
1682
1678
1682
1678
1682
1678
1681
1678
1681
1677
1681

3.1.2 瞳孔計測方法について
次に、瞳孔計測方法について説明する。瞳孔計測にあたっては、瞳孔計測用のフリーソフトウェアである GazeParser、及び、SimpleGazeTracker を使用する[16]。また瞳孔計測にあたっては、赤外線カメラ
OptiTrack FLEX V100R2（図 3.9 参照）を使用する。こちらも比較的安価に準備することができる。

図 3.8 :OptiTrack FLEX V100R2

また、瞳孔計測に当たっては、以下図 3.10 のようにディスプレイ、カメラ、あご台をセットする。

図 3.9：瞳孔計測時のセットアップ図

19

ディスプレイは、何らかの視覚刺激やタスク内容を表示する。カメラはやや下から斜め上方に向けてセットし、頭はあご台に固定する。このセットアップ方法については、前述の GazeParser の初期セットア
ップ方法を参考にしている。
瞳孔計測ソフトウェアを起動すると、図 3.11 のような画面が起動し、瞳孔を検出する。水色の青い円が、検出された瞳孔となる。

図 3.10：瞳孔計測ソフトウェアの起動例

また、図 3.12 は、瞳孔の大きさの計測結果をグラフにプロットしたものである。この例では、ある、2 ケースについて瞳孔の大きさを計測した結果がそれぞれプロットされている。横軸をミリ秒、縦軸を動向の大きさを示している。計測開始時点を基準（ゼロ）として、時間の経過とともに、瞳孔の大きさが変動している状態を示している。

図 3.11：瞳孔計測結果のサンプル
20また、図 3.13 に GazeParser で取得できる瞳孔の生データのサンプルを示す。サンプリングレート
125FPS で出力される。また、瞳孔サイズと合わせて、原点を基準とした視線の水平方向、垂直方向へのずれを計測できる。これが、大きくずれているようだと視線がずれていることとなり、瞳孔のサイズが正しく計測できていないことを表す。実際の実験においては、被験者には画面中心を常に見てもらうように依頼して計測を行うが、このデータを見て、視線がずれていると判断できる場合は、当該データを除外して解析する等が必要となる。

表 3-2：GazeParser で計測したデータサンプル

時間
（ミリ秒）
19.8
30.6
38.6
46.6
54.6
62.6
70.6
78.7
86.7
94.7
102.7
110.7
118.7
126.7
134.7
142.7
150.7
158.7
166.7
174.7
182.7

水平
方向
-18
-20
-23
-23
-23
-23
-23
-22
-23
-23
-22
-19
-21
-22
-22
-24
-21
-21
-21
-21
-21

21

垂直
方向
0
-2
0
0
0
-1
-2
0
-2
-2
-5
-5
-7
-7
-7
-8
-12
-11
-8
-8
-7

瞳孔
サイズ
349
349
349
349
349
349
349
349
350
350
351
351
353
353
353
353
354
353
352
352
352

3.2 脳波・瞳孔同時計測システムの実験詳細
本稿では、今回提案する脳波・瞳孔同時計測システムの詳細について説明する。

3.2.1 脳波・瞳孔同時計測システムの計測イメージ
提案する、脳波・瞳孔同時計測システムの計測イメージについて説明する。基本的には、GazeParser
による瞳孔計測と Emotiv EPOC による脳波計測をそれぞれ同時に起動して計測する。計測イメージを図3.14 に示す。

図 3.12：脳波・瞳孔同時計測システムの計測イメージ

また、実際に計測機器をセッティングした様子を図 3.15 に示す。

22

図 3.13：脳波・瞳孔同時計測システムの計測イメージ

図 3.15 の①で示すように、Emotiv Epoc を頭部に装着し脳波を計測する。②に示すように GacePaserを設置し瞳孔を計測する。そして、瞳孔のピント等のセッティングを③のようにディスプレイで調整する。
また、実験タスク等についてもディスプレイに表示する。
尚、
コンピュータ側の CPU 負荷高騰等に伴う、処理速度の遅延を防ぐ為に、
実験タスクを表示する PC、
瞳孔、脳波を計測する PC を別々にしたほうが良いという考え方もあるが、今回の計測においては、全て同じ PC を使用している。

3.2.2 脳波・瞳孔同時計測システムのソフトウェアについて
本研究で使用する、脳波・瞳孔計測システムのソフトウェアについて説明する。GazeParser には瞳孔を計測する為のサンプルプログラムが GazeParser のホームページ上で公開されている。プログラム言語
は python で記述されている。今回は基本的に、このプログラムをベースにして計測プログラムを作成している。一方、脳波を計測するにあたって、Emotiv Epoc にも脳波を計測する為のサンプルプログラムが付随している。プログラム言語は、C++、Java、DotNet、Matlab、Python が用意されているが、GazeParserのサンプルプログラムが Python であることから、融和性を考慮し、Python のサンプルプログラムをベ23

ースにして計測する。プログラムイメージとしては、瞳孔計測プログラムと、脳波計測プログラムを２つ同時に起動するのではなく、瞳孔計測プログラムと脳波計測プログラムを融合し、１つのプログラムとして実行させている。瞳孔計測プログラムと脳波計測プログラムを２つ同時に起動して、それぞれの信号を計測する場合は、公開されているサンプルプログラムをほとんどそのまま使用できるという利点があるが、それぞれのプログラムで時間の同期が取りにくくなってしまうという問題があるため、今回は２つのプログラムを組み合わせてして１つのプログラムとして実行する方式を採用している。

3.2.3 脳波・瞳孔同時計測システムで使用する実験タスクについて
次に、脳波・瞳孔同時計測システムで使用する実験タスクについて説明する。実験タスクはワーキングメモリ課題実施時の脳波計測をしている先行研究[10]を参考に行う。

（１）フェーズ１（初期画面）
まず、タスクが開始されると、以下の図 3.16 のように初期画面が表示される。画面中央に、視点を固定する為の目安とする「＋」を表示し、現在実行しているトライアル数を示している。一度の計測で、ここで説明するタスクを 200 回繰り返す（200 トライアル実施）する。初期画面は 2000 ミリ秒の間表示される。この 2000 ミリ秒の待機時間はでトライアル間の干渉を少なくする効果がある。画面下部に次画面に遷移するまでの時間がカウントされており、これが「2→1」とカウントされた後、次画面に遷移する。
また、被験者は本フェーズから、後述するフェーズ 4 までの間は、画面中央の「＋」を見たまま、瞬きをしないように注意する。

図 3.14：脳波・瞳孔同時計測システムのフェーズ 1(左：初期画面、右：カウントが進んだ様子)

24

（２）フェーズ２（視覚刺激提示画面）
続いて、初期画面から遷移し、図 3.17 に示すように視覚刺激提示画面が表示される。視覚刺激として、
8 つの四角形が表示され、それぞれ Red、Green、Blue、Yellow、Violet、Black、White の中からランダムで選ばれた色がついている。四角形が表示される位置はランダムである。また、同じ色は 2 か所まで許可されている。（同じ色が 3 か所についていることはない）。被験者はこの時の各四角形の色を記憶する。
また、注意が必要なのは、この際に、四角形自体を直接見ないことである。四角形の色を確認する為に、瞳孔を動かして、直接四角形を見てしまいがちであるが、そうすると、瞳孔の開き具合が正確に計測できない。また、場合によっては、眼球の動きが脳波計測にあたってのノイズに繋がってしまうからである。
そのため、被験者には、画面中心に表示された「＋」を見てもらうように注意する。また、このフェーズ
2 の画面は 100 ミリ秒の間だけ表示される。

図 3.15：脳波・瞳孔同時計測システムのフェーズ 2(視覚刺激提示画面)（３）フェーズ３（待機画面）
次に、図 3.18 に示すような、画面中心に「＋」だけが表示された画面を表示し、視覚刺激を一度非表示にする。この画面は 900 ミリ秒の間表示される。この画面が表示されている間は、画面には視覚刺激等
は何も表示されていないが、被験者には引き続き、画面中央の「＋」を見てもらい、視線を動かさないこと、瞬きをしないこと、頭を動かさないことを注意してもらう。

25

図 3.16：脳波・瞳孔同時計測システムのフェーズ 3(待機画面)（４）フェーズ４（視覚刺激再提示画面）
次に、図 3.19 に示すように、視覚刺激を再提示する画面を表示する。この画面では、フェーズ 2 で表示された視覚刺激と比較して、表示される四角形の数、及び、位置は変更されていないが、8 つの四角形のうちのどれか１つについて、色が変わっている可能性がある。色が変わっているか、変わっていないか
はランダムで決定する。被験者は、フェーズ２で記憶した四角形の色と比較して、色が変わった四角形があるかどうかを判断する。このフェーズは 2000 ミリ秒の間表示される。

図 3.17：脳波・瞳孔同時計測システムのフェーズ 4(視覚刺激再提示画面)（５）フェーズ５（タスク回答画面）
次に、図 3.20 に示すような、タスク回答画面が表示される。この画面では、被験者はフェーズ２とフェーズ４で表示された視覚刺激を比較して、色が変わった四角形があったかどうかをキーボード入力から26

回答する。色が変わったと思った場合は、キーボードの「←」キーを押下する。色が変わっていないと思った場合は、キーボードの「→」を押下してもらう。また、この時、色が変わったかどうか「わからない」という場合でも、どちらか選択してもらうようにしている。さらに、このフェーズからは、瞳孔、及び、脳波の計測はしておらず、その代わりに反応時間[ms]を計測している。本画面が表示される時間も設定しておらず、被験者が回答したら次のフェーズに進むようにしている。瞬きをする場合は、このフェーズを利用して、行ってもらうようにする。

図 3.18：脳波・瞳孔同時計測システムのフェーズ 5(タスク回答画面)（６）フェーズ６（コンフィデンス回答画面）
最後に、図 3.21 に示すようなコンフィデンス回答画面を表示する。これは、フェーズ５での回答にコ
ンフィデンスが有る（自信が有る）のか、コンフィデンスが無い（自信が無い）のかを、回答してもらうフェーズで、フェーズ５と同様にキーボードから回答してもらう。コンフィデンスが有る場合は、キーボードの「←」キーを押下する。コンフィデンスが無い場合は、キーボードの「→」を押下してもらう。また、本フェーズでは、フェーズ５と同様に、本画面が表示される時間を設定しておらず、被験者が回答したら次のフェーズに進むようにしている。瞬きについても、このフェーズを利用して、行ってもらうよう
にする。

27

図 3.19：脳波・瞳孔同時計測システムのフェーズ 6(コンフィデンス回答画面)

コンフィデンスを回答は、以下のようなパターン別による解析を実施することを目的としている。

・パターン①：自信が有って、本タスクに正解した場合・パターン②：自信が有って、本タスクに正解しなかった場合・パターン③：自信が無くて、本タスクに正解した場合・パターン④：自信が無くて、本タスクに正解しなかった場合

例えば、上記のパターン①とパターン③では、共にタスクに正解しているが、パターン①の自信が有った
場合は、記憶が成功した上でタスクに正解している可能性が高い。一方、パターン③では、記憶に失敗しているが、偶然にタスクに正解した可能性が高い。この違いが、脳波や瞳孔の開きに影響しているかどうかを検証するために、このフェーズでコンフィデンスを取得することとしている。

以上のような、フェーズ１からフェーズ６を１つのトライアルとして、200 トライアル実施することを計測の１単位としている。フェーズ 1～フェーズ 4 で 3200 ミリ秒、フェーズ 5～フェーズ 6 で約 1000
ミリ秒～2000 ミリ秒であるため、1 トライアル当たり約 5000 ミリ秒×200 トライアルで、一度の計測時
間は約 1000 秒（16 分 40 秒）である。
瞳孔計測や、脳波計測などの身体情報の計測においては、計測器を一度取り外す、席を立つといった、微妙な条件の変化で計測結果が変わってしまうことがあるので、基本的にはこの 200 トライアル毎のデー
タを独立に使用してデータ解析する。別のタイミングで取得したトライアルデータを混合して解析は行わない。

実験の設定、制約条件等について以下にまとめる。
※実験の設定・制約条件等

28

・画面のサイズは：9.8°×

7.3°

・四角形のサイズ：0.65°× 0.65°
・四角形の色：Red、Green、Blue、Yellow、Violet、Black、White・四角形の数：8 個・その他制約等：－1 つのトライアルで同じ色は 2 か所まで使用可能。
－表示する四角形の位置はトライアル毎にランダムで決定される。
－色が変動するかどうかはランダムで決定される。

また、今回の実験タスクではタスクの難易度を四角形の数を変更することで用意に変更することができる。その為、四角形の数を増やし、難易度を上げていくことで、先行研究で示されているように、瞳孔の開き具合や、脳波の振幅が大きくなり、より計測結果が明確になるのではという推測がある。ただ、実際には、難易度が一定以上に増加すると、記憶することができなくなり、結局はタスクへの正答率がチャンスレベルに下がってしまう。この場合、ワーキングメモリへの記憶量が瞳孔や脳波に影響しているとはいえなくなってしまう為、今回は四角形の数として 8 個を選択している。図 3.22 に四角形の数による正答率の変化を示す。視覚刺激の数が 10 個になるとチャンスレベル(正答率 50%に近づく)

図 3.20：視覚刺激の数によるタスク正答率の推移

29

3.3 本研究で使用する信号解析手法について
本稿では、脳波・瞳孔計測同時計測システムにて計測したデータの解析手法について説明する

3.3.1 主成分分析
本研究において、計測した脳波データの解析に当たって、主成分分析を使用する。本研究で計測する脳波信号は 14 チャネルの信号である。これらの信号全てをそのまま信号解析に使用すると、ノイズが乗ってしまう可能性が高いと考えた為、本研究においては、主成分分析を使用して、次元縮約する。
主成分分析とは、多くの変数を持つデータに対してできるだけ情報量を保持したまま、より少ない次元でその特性を表す手法で、分散共分散行列、あるいは、相関係数行列に対する固有値分解によって求めることができる。簡単な流れを以下に示す。

①計測データを基準化する。
計測データをる。（、基準化後のデータをとすると基準化したデータは以下の式で求めることができ

は行列の行、 は行列の列を示す）

(3.1)

＝

②基準化したデータから相関係数行列を求める。
相関係数は、共分散を、相関係数をとすると以下の要領で求めることができる。これを利用して相関係数行列を求める。

(3.2)③上記で求めた相関係数より、以下のように相関行列 R を求める。

1
⋮

1
⋮

③相関係数行列より、固有値、固有ベクトルを求める。
固有値、及び、固有ベクトルは、

30

⋯
⋯
⋱
⋯

(3.3)
⋮
1

を満たす実数λと列ベクトル（v0が存在するときの、

を

(3.4)

の固有値、

を固有ベクトルといい、それぞれ求めることができる。

④固有値より、主成分の精度を確認する。
③で求めた固有値が主成分となり、今回では第１主成分から第 14 主成分までが算出される。このうち、どの主成分までを信号解析に使用するかを、寄与率、及び、累積寄与率をも求めることで決定する。固有値の値がその主成分が持つ情報量であるため、第分の寄与率はとなる。また、第番目の固有値の値をとすると、第番目までの主成分に対する累積寄与率番目の主成は以下で示せる。

(3.5)

また、当該主成分までの寄与率の合計値が累積寄与率であり、例えば、第２主成分までの累積寄与率は第１主成分の寄与率と第２主成分の合計値となる。この累積寄与率が 80%～90%以上であれば、元のデータの情報を表現していると一般的に考えられている。今回の研究においては、信号解析に第１主成分だけ使用した場合から第 14 主成分まで使用した場合の 14 通りについて、今回の実験タスクで求めた性能の比較を行い、最も性能が高かった第 5 主成分までを使用するパターンを採用している。図 3.23 に第１主成分だけ使用した場合から第 14 主成分まで使用した場合の性能比較について示す。

31

図 3.21：使用する主成分の数による性能の推移

3.3.2 Support Vector Machine(SVM)
本研究における、信号解析においては、最初に学習用の計測データを用いて弁別器を生成し、その後、試験データを用いて、作成した弁別器の性能を評価する。弁別器の作成は Support Vector Machine[17]を使用する。
Support Vector Machine は２クラスのパターン識別に利用される手法の一つで、マージン最大化という考え方に基づいて識別を行う。識別面から、最近傍のサンプルまでの距離を最大化するように識別面を設定する。この最近傍のサンプルのことをサポートベクタという。

32

図 3.22：Support Vector Machine イメージ

識別面の決定においては、以下の識別関数において、(3.6)

以下となるような識別面、及び、サポートベクタを通る直線を定義した際の

33

と

を求める。

0

(3.7)

1

(3.8)

1

(3.9)

図 3.23：Support Vector Machine 識別関数のイメージ

ここで、入力データに対する教師信号をとすると、以下の２つの境界面を表す式は、以下のように表現できる。

1(3.10)

1

1(3.11)

1

さらに、以下のように書き直し、これを制約条件として ǁ ǁ を最小化する問題と考えられる。

(3.12)

1

これは、上記を主問題とすると、ラグランジュ未定乗数λを用いて定義したラグランジュ関数を最大化する問題を補問題として捕らえることができる（双対問題）。ラグランジュ関数

は以下のように定義でき、これを解くことでサポートベクタを求めることができる。

, ,

1
ǁwǁ
2

1

34

(3.13)

3.3.3 5-Fold cross validation
本来、上記のように Support Vector Machine で作成した弁別器に対して使用する、訓練データと試験
データは、別の機会に計測したデータを使用できることが望ましい。なぜなら、本来の BMI の使用用途から考えても、一度学習したデータを弁別器として定義しておき、次回以降は、学習済みの弁別器を利用して何らかの弁別ができることが求められるからである。ただし、別の機会に計測したデータは脳波計測
時のコンディションの違いによって、計測データに差異が発生する可能性が非常に高い。本研究においても、その課題については解決できていない為、訓練データと試験データについては同一計測内で取得したデータを使用することを前提とする。そのため、弁別器の作成と、作成した弁別器を使用した試験においては、5-Fold cross validation[18]を用いて行う。以下に手順を示す。

①サンプルを５つのグループに分割する。今回は 200 トライアルである為、40 回ずつ５つのグループにデータを分割する。
②５つのグループのうち４つのグループを訓練データとして、１つのグループを試験データとする。
③サポートベクタマシンで訓練データを使用して弁別器を作り、試験データを用いて弁別し、その弁別率を算出する。
④②と③を５回繰り返して、５回の弁別率の平均を取る。各フェーズの弁別率の値を

全フェーズの弁別率から算出した平均値を E とすると、以下の式で求められる。

∑

図 3.26 にイメージを示す。

図 3.24：5-Fold cross varidation のイメージ
35(3.14)

3.3.4 Permutation test
次に、上記（３）のように算出した弁別器の性能を評価する為に、Permutation test [19]を実施する。
Permutation test とは、計測データの値をランダムに付け替え、付け替え後のデータに対して、付け替え前に実施したものと同様の解析を複数回実施し、結果を正規分布等にプロットする。プロットした結果に対して、元の計測データから解析した結果がどの程度発生する可能性がある結果であるのか、確率を計算する。例えば、元の計測データを用いて実施した弁別器の性能が 70%と算出された場合、70%と値が算出される確率がどれくらいであるのかを求める。

図 3.25：Permutation test のイメージ

図 3.28 の例では、計測データの値を平均 50%、標準偏差 4%の正規分布がプロットされており、弁別器の性能が 69%以下となる確率 1.00 であることを示している。これにより計測したデータが有意である
ことを示している。尚、本研究においては、データ付け替えを実施しての解析を 1000 回繰り返している。

36

図 3.26：Permutation test の実施例

3.3.5 本研究における信号解析
今回の研究における、信号解析について説明する。信号解析に使用するインプットデータとしては瞳孔、及び、脳波の計測データを使用し、アウトプットデータとしては、SVM を使用した弁別結果とする。

（１）インプットデータ（瞳孔）
瞳孔はトライアル毎の瞳孔の開き具合をインプットデートする。トライアル開始時点の瞳孔のサイズを0 として、トライアル中の最大の瞳孔サイズとの差をインプットデータとしている。

：トライアル数、1,2 … 200 をトライアル毎の瞳孔のサイズとして、これを信号解析時の入力データの一つとして1：トライアル数、1,2 … 200 とする。
37

（２）インプットデータ（脳波）
脳波はトライアル毎の脳波の振幅をインプットデートする。トライアル開始時点の脳波の振幅を 0 として、トライアル中の最大の振幅との差をインプットデータとしている。

：トライアル数、1,2 … 200 をトライアル毎の脳波のサイズとして、これを信号解析時の入力デー
タの一つとして2~ 6：トライアル数、1,2 … 200 とする。脳波は 14 チャネルあるが、主成分分析で次元縮約し 5 変数にする。瞳孔データと合わせた

1~ 6：トライアル数、1,2 … 200 をインプットデータとする。

（３）アウトプットデータ
アウトプットデータは上記インプットデータを使用して作成した弁別器に試験データを投入して実施した弁別結果とする。アウトプット：トライアル数、1,2 … 200 は以下のように示せる。

1,

弁別成功

0,

弁別失敗

38

(3.14)

第4章

脳波・瞳孔同時計測システムの実験結果

脳波・瞳孔同時計測システムを用いた、実験結果について説明する。瞳孔、及び、脳波を個別に解析した場合に、どのような結果が得られるのかを説明する為に、瞳孔のみを解析した場合と脳波のみを解析した場合、それぞれについて説明し、その後、脳波と瞳孔データを同時に解析計測した場合について説明する。尚、本実験では、被験者は、30 代の男性 1 名としている。

4.1 瞳孔データのみを解析した場合の実験結果
まず、瞳孔単体で解析した場合の結果について説明する。瞳孔のみを解析したデータを用いて、瞳孔の開き具合と、タスクに正解したか、不正解であったかを訓練データとする弁別器を作成し、試験データをどの程度弁別することができるかの弁別率を算出する。

①200 トライアルに対して、瞳孔のサイズ（トライアル開始時点を 0 として、トライアル中の最大値を使用する）とトライアル毎にタスクに正解したか不正解であったかを、SVM の入力データとして、弁別器をつくる。
②作成した弁別器を用いて、5-Fold cross validation で弁別率を算出する。

尚、瞳孔は前述のとおり、GazeParser を用いて計測する。図 4.1 に実験タスクを行った際に計測した瞳孔の大きさを加算平均した結果をグラフにプロットした結果を示す。実験タスクは 200 トライアルの為、200 回の計測結果を加算平均したものである。また、図 4.2 にエラーバーを付与したものを示す。

39

図 4.1：瞳孔のみを解析した場合の結果

図 4.2：瞳孔のみを解析した場合の結果（エラーバー付）

40

上記グラフでは、横軸を時間(ミリ秒)として、各トライアル開始時からトライアル終了の 3200 ミリ秒までを表し、縦軸に瞳孔の増減を表している。瞳孔の増減はトライアル開始時点を 0 とした場合の増減を示している。また、色が変わっているか、変わっていないかの回答に対して正しい解答をした場合は青線、
間違った解答をした場合は赤線を示している。
上記計測データからの弁別率は 69%を示しており、この結果が有意性のあるデータであるのか、
Permutation test によって、検証した結果を図 4.3 に示す。

図 4.3：瞳孔データからの弁別率の Permutation test による検証

検証の結果、平均 50、標準偏差 4、P 値は 1.00 となる。これは「69%という弁別率は偶然に起こった結果である」という帰無仮説を、有意水準 5%で棄却することになり、有意性があると示すことができた。ただし、これは、複数回実験を実施した中での最良の結果であり、必ずしも同様の結果が得られているわけではない。同様の計測を 10 回実施し、それぞれについての弁別率を算出した結果を図 4.4 に示す。

41

図 4.4：瞳孔データからの弁別率（計測サンプル数 200×10 回）

上記の結果より、10 回の計測結果からの弁別率を平均すると、弁別率は 55.9%まで低下する。

4.2 脳波データのみを解析した場合の実験結果
次に、脳波のみを解析した場合の結果について説明する。瞳孔のみで計測した場合と同様に、脳波の振幅と、タスクに正解したか、不正解であったかを訓練データとする SVM 弁別器を作成し、試験データをどの程度弁別することができるかの弁別率を 5-Fold cross validation で算出する。
尚、脳波は前述のとおり、Emotiv Epoc を用いて計測する。図 4.5 に実験タスクを行った際に計測した脳波を加算平均した結果をグラフにプロットした結果を示す。実験タスクは 200 トライアルの為、200 回の計測結果を加算平均したものである。また、下記は、計測した 14 チャネルの計測結果を主成分分析により求めた寄与率の高かった 5 つの主成分を使用して次元縮約データである。

42

図 4.5：脳波のみ解析した場合の結果

上記計測データからの弁別率は 60.5%を示しており、この結果が有意性のあるデータであるのか、
Permutation test によって、検証した結果を図 4.6 に示す。
ちなみに、上記結果は主成分分析を実施して次元縮約した結果を用いて、解析をじっししているが、主成分分析を行わずに、14 変数全てをそのまま用いて解析した場合の弁別率は、55.5%となっており、計測したそのままの脳波データにはノイズが含まれている可能性があることが推定できる。
検証の結果、平均 50、標準偏差 4、P 値は 0.966 となる。これは「60.5%という弁別率は偶然に起こった結果である」という帰無仮説を、有意水準 5%で棄却することになり、弁別率 60.5%は有意性があると示すことができた。ただし、これは、瞳孔のみで計測した場合と同様に、複数回実験を実施した中での最良の結果であり、必ずしも同様の結果が得られているわけではない。また、P 値についても瞳孔のみの場
合と比較して、低い結果となっている。同様の計測を 10 回実施し、それぞれについての弁別率を算出した結果を図 4.7 に示す。

43

図 4.6：脳波データからの弁別率の Permutation test による検証

図 4.7：脳波データからの弁別率（計測サンプル数 200×10 回）

上記の結果より、10 回の計測結果からの弁別率を平均すると、弁別率は 53.2%まで低下する。

44

4.3 瞳孔データと脳波データを合わせて解析した場合の結果
続いて、瞳孔と脳波を同時に解析した場合の結果について説明する。瞳孔の計測データと脳波の計測データ（主成分分析で 5 変数に次元縮約したデータ）を合わせて 6 変数にしたデータと、タスクに正解したか、不正解であったかを訓練データとする SVM 弁別器を作成し、試験データをどの程度弁別することができるかの弁別率を 5-Fold cross validation で算出する。

瞳孔と脳波の同時計測データからの弁別率は 72.0%を示しており、この結果が有意性のあるデータであるのか、Permutation test によって、検証した結果を図 4.8 に示す。

図 4.8：瞳孔と脳波データからの弁別率の Permutation test による検証

検証の結果、平均 50、標準偏差 5、P 値は 1.00 となる。これは「72%という弁別率は偶然に起こった結果である」という帰無仮説を、有意水準 5%で棄却することになり、弁別率 72.0%は有意性があると示すことができた。これは、瞳孔、脳波を個別で計測した場合と同様に、複数回実験を実施した中での最良の結果である為、同様の計測を 10 回実施し、それぞれについての弁別率を算出した結果を図 4.9 に示す。
比較のために、瞳孔のみ、及び、脳波のみの場合の結果についても合わせて表示する。

45

図 4.9：瞳孔と脳波データからの弁別率（計測サンプル数 200×10 回）

上記の結果より、10 回の計測結果からの弁別率を平均すると、弁別率は 59.2%となる。
また、図 4.9 におけるパターン 1 とパターン 3、及び、パターン 2 とパターン 3 に統計的有意差があるか t 検定を用いて検証する。結果、パターン 1 とパターン 3 に対する t 検定における P 値の値は 0.032 となり、有意水準 5%において「パターン 1 とパターン 3 には有意な差はない」という帰無仮説を棄却することができる。同様にパターン 2 とパターン 3 に対しても t 検定を実施すると P 値は 0.007 となり、有意水準 5%において「パターン 1 とパターン 3 には有意な差はない」という帰無仮説を棄却することができる。
さらに、瞳孔と脳波を合わせて解析した場合と、脳波のみで解析した場合の、それぞれ最良データにおける弁別率は 72.0%、及び、60.5%となっており、瞳孔と脳波を組み合わせることで、11.5%精度向上していることとなる。この値が有意であるのか検証する為に、10 回の計測結果それぞれについて、脳波のみで解析した場合の弁別率と瞳孔と脳波を組み合わせた場合の弁別率の向上値を算出し、図 4.10 に結果を示す。結果、最大で 11.5%の弁別率の向上、平均して 5.15%の向上という結果となる。

46

図 4.10：脳波データ単体の弁別率と瞳孔＆脳波の弁別率の差分比較

瞳孔と脳波を合わせて解析した場合と、瞳孔のみで解析した場合の、それぞれ最良データにおける弁別率は 72.0%、及び、69.0%となっており、瞳孔と脳波を組み合わせることで、3%精度向上していることとなる。この値が有意であるのか検証する為に、脳波の場合と同様に 10 回の計測結果それぞれについて、瞳孔のみで解析した場合の弁別率と瞳孔と脳波を組み合わせた場合の弁別率の向上値を算出し、図 4.11に結果を示す。結果、最大で 7%の弁別率の向上、平均して 2.4%の向上という結果となった。脳波単体で解析した場合からの向上率と比較して、向上率は低くなっているが、こちらも精度が向上した結果を示し
ている。

47

図 4.11：瞳孔データ単体の弁別率と瞳孔＆脳波の弁別率の差分比較

また、各パターンの弁別率、及び、今回実施した 10 セッションの計測について帰無仮説を棄却できた数を以下の表にまとめる。

表 4-1：脳波のみ、瞳孔のみ、脳波と瞳孔を組み合わせた場合の弁別率比較

最良の場合
平均値
帰無仮説を棄却できた回数（10セッション中）

脳波のみ
瞳孔のみ
脳波＆瞳孔
60.5%
69.0%
72.0%
53.2%
55.9%
59.2%
2回

4回

6回

この結果から、脳波と瞳孔を組み合わせた場合で最も弁別率が高く、帰無仮説を棄却できた数も多かったことがわかる。また、上記結果では、脳波よりも瞳孔が、弁別率への影響度が高いと考えらえるが、実際に BMI を実環境で使用する場合には、瞳孔は照明などの光源の影響を受けると正確に計測できないことや、計測機までの距離や視線の向きが変わると、瞳孔のサイズが計測できなくなるという問題があり、実際には影響度が下がると考えられる。

48

第5章

結論：まとめと将来の展望

5.1 脳波・瞳孔同時計測システムの評価
本研究で実施した実験タスクから考察される、脳波と瞳孔を組み合わせることにおける BMI の性能向上について述べる。第４章で示したとおり、2 値の弁別課題においては、脳波信号のみを使用した場合と、脳波信号と瞳孔信号を組み合わせた場合で比較すると、最大で 11.5%の弁別率向上、平均で 5.15%の弁別率向上という結果が出ている。これは、Permutation Test、及び、t 検定の結果から、「脳波信号のみを使用した場合と、脳波信号と瞳孔信号を組み合わせた場合の弁別結果に統計的有意差はない」という帰無仮説を棄却しており、本研究では、脳波信号に瞳孔等の行動生理信号を組み合わせることで、BMI の性能を向上させることができるという、可能性を示すことができたと考える。更なる性能向上に繋がる計測方
法や信号解析方法などについて、課題がある。5.2 節、5.3 節、5.4 節にて、それらの課題に対しての今後の展望について考察する。

5.2 課題 1：特徴抽出方法の違いが BMI の性能へ影響するかについて計測した信号からの特徴抽出方法についても課題がある。今回は、トライアルの開始時点を 0 として、トライアル中の最大値との差を、脳波の振幅、及び、瞳孔の開いた大きさとして定義している。しかし、計測した信号からの特徴抽出方法の違いによっては、さらなる性能向上に繋がる可能性がある。脳波については解析に使用する時刻を変更することで、脳波からデコードする結果が変わってくるという研究[20]もされている。今回の研究では、一度のトライアルに対して、以下のようなフェーズにおける信号を計測している。

①フェーズ１：トライアル開始から視覚刺激提示までの状態 （0 秒～200 ミリ秒）
②フェーズ２：視覚刺激が提示されている状態 （200 ミリ秒～300 ミリ秒）
③フェーズ３：一度視覚刺激が画面からクリアされた状態 （300 ミリ秒～1200 ミリ秒）
④フェーズ４：視覚刺激が再提示されている状態 （1200 ミリ秒～3200 ミリ秒）

上記の状態において、図 5.2 のような瞳孔の計測結果を見てみると、フェーズ３の開始後に瞳孔が大きく開き始め、フェーズ４開始後しばらくして、ピークを向かえるという傾向があることがわかる。ここから、フェーズ３における瞳孔の変化具合だけを信号として扱う、または、ピーク時前後の信号のみを使用するなど、どの時間帯の信号を使用すると、最も特徴が大きくなるのか、検討してみることが今後の大きな課題の一つであると考えている。実際に、計測データにおいて、解析に使用する時間帯を変えることで、

49

解析結果の性能を向上させる研究[20]も行われている。

図 5.1：瞳孔の計測結果の例

5.3 課題 2：コンフィデンスの有無が BMI の性能へ影響するかについて
今回は、実験タスクに対して、被験者が正解していたか、不正解であったかの２値について弁別できるかどうかを検討している。しかし、今回は被験者がタスクに正解したか、不正解であったかという情報のほかに、コンフィデンスの有無、及び、被験者がタスクにおいて色が変わったと思ったか、変わっていな
いと思ったかという情報も計測している。これらを使用することで更に、精度の高い弁別をすることができるかどうかについて検討する必要がある。特にコンフィデンスの有無については、コンフィデンス有でタスクに正解しているのか、コンフィデンス無で、タスクに正解しているのかでは、同じタスクに正解したという結果であっても、意味が違ってくる為、それらの違いを考量し、BMI の性能向上に生かすことができれば、実際に BMI 技術が社会生活の中で使用された場合に大きな意味があると考えられる。本研究においては、以下の６パターンについて、弁別率の推定を実施している。

①コンフィデンス無と答えた中で、色が変わったと思ったかどうかを弁別する。

50

②コンフィデンス有と答えた中で、色が変わったと思ったかどうかを弁別する。
③色が変わっていないと答えた中で、コンフィデンスの有無を弁別する。
④色が変わったと答えた中で、コンフィデンスの有無を弁別する。
⑤コンフィデンス無と答えた中で、タスクに正解したかどうかを弁別する。
⑥コンフィデンス有と答えた中で、タスクに正解したかどうかを弁別する。

図 5.3 に上記 6 パターンについての弁別率の結果を示す。

図 5.2：各パターンにおける弁別率の結果

この結果から、パターン 6 以外は、チャンスレベルの結果と言え、パターン 6 のみが有意性の有るデー
タと考えられる。コンフィデンス有、つまり、自信を持って回答したトライアルについては、瞳孔、及び、
脳波信号それぞれについて、特徴が正確に表れやすいのではないかと推測する。今後の課題として、どういったパターンの信号を使用して学習することが弁別率の向上に繋がるのかと言ったこと等について見当することが必要と考えている。

51

5.4 課題 3：被験者の反応（行動）が BMI の性能へ影響するかについて
被験者の反応（行動が）BMI の性能向上に繋がる可能性も考えられる。例えば、今回の研究においては、実験タスクに対する被験者の回答時間が、タスクへの正解、不正解の結果と何らかの相関があるのではないかということである。被験者が実験タスクにおいて、以下等のパターンにおいて回答時間に差が見られれば、それを一つの信号として加えることで、BMI の性能向上に繋げられるのではないかと考えた。

①実際にタスクに正解していたか、不正解であったか②コンフィデンスの有無③実験タスクにおいて色が変わったと思ったか、思わなかったか

実際に上記について、被験者の回答時間を計測したが、全ての場合において平均して 0.4 秒前後となっており、パターンによる違いが見られなかった。例えば、コンフィデンスが有る場合は、回答時間が短くなる等の傾向が見られれば、一つの可能性となると考える。参考として、図 5.1 に、ある計測における、①のパターンにおける、回答時間の分布を示す。

図 5.3：タスク正解時と不正解時の回答時間の分布52

5.5 その他の課題について
上記課題の他に、本研究で考慮できていない点として、被験者の疲労が実験結果に及ぼす影響と、計測結果がワーキングメモリ課題の実施により生じた反応であることの証明の２点がある。被験者の疲労が実
験結果に及ぼす影響については、今回実施した実験が 200 トライアルの実験を 1 セッションとして計測しているが、前半の 100 トライアルと後半の 100 トライアルに分けて計測結果を解析したが、特徴の違いを抽出することはできなかった。しかし、被験者の疲労により、集中力の低下が起こり、瞳孔の開き具合
や、脳波の振幅に影響が出る可能性もあり、検証が必要な事項であると考える。また、計測結果がワーキ
ングメモリ課題の実施により生じた反応であることの証明については、瞳孔の開きや、脳波の振幅に影響する可能性のある事項を洗い出して、一つずつ検証していく必要があると考えられるが、本研究では実施することができなかったため、今後の課題の一つとしたいと考えている。

5.6 今回の実験で技術的に困難であった点
最後に本研究のおける実験を実施するにあたって、技術的に困難であった点について所感を述べる。まず、瞳孔計測については GazeParser を使用した環境構築が困難であった。GazeParser は初回の計測時にカメラの位置や照明の場所等の設定が必要であり、設定がうまくいっていなかったために、実験開始当
初は期待する瞳孔の値が取れないことが多かった。
次に、脳波計測については、より正確な信号を計測する為の、セッティングについて苦労した。特に、Emotiv EPOC と頭部の接触具合によっては、うまく信号が取得できないことが多かった。信号が安定するまでに少し時間がかかることや、計測時間が長くなるにつれて、生理食塩水に浸した電極フェルトが乾
いてくることにも注意しており、できるだけ同様のコンディションで計測するようにしている。
そして、瞳孔と脳波を同時に計測することにおいては、それぞれの信号を同期することが困難であった。
当初は、瞳孔と脳波の計測プログラムはそれぞれ別のプログラムとして動作していた。すると、プログラ
ムの実行開始タイミングや、処理遅延の問題等で正確に同期することが難しかった。最終的には一つのプログラムで瞳孔と脳波を計測するようなプログラムを作成することで、同期の問題を改善することができ
た。

53

参考文献
[1] G.Dornhege, J. del R.Milln, T.Hinterberger,：“Toward Brain Computer Interfacing” The MIT Press，
2007.

[2] J. R. Wolpaw, N. Birbaumer, D. J. McFarland, G. Pfurtscheller,and T. M. Vaughan：“Brain–computer interfaces for communication and control”,Clinical Neurophysiology Volume 113, Issue 6,
Pages 767–791,2002[3] Leigh R. Hochberg, Daniel Bacher, Beata Jarosiewicz, Nicolas Y. Masse, John D. Simeral, Joern
Vogel,Sami Haddadin, Jie Liu1, Sydney S. Cash, Patrick van der Smagt & John P. Donoghue，“ Reach and grasp by people with tetraplegia using a neurally controlled robotic arm” ，Nature 485, 372–375 ,2012.

[4] Yoichi Miyawaki "Visual Image Reconstruction from Human Brain Activity using a Combinationof Multiscale Local Image Decoders" Neuron Volume 60,Issue 5,10,Pages 915–929,2008.

[5] D.J. Krusienski, E.W. Sellers, D.J. McFarland, T.M. Vaughan, J.R. Wolpaw，“Toward enhanced
P300 speller performance”，Journal of Neuroscience Methods 167 ,15–21,2008.

[6] L.A.Farwell, E.Donchin：“Talking off the top of your head : toward a mental prosthesis utilizing
event-related brain potentials”，Electroencephalography and Clinical Neurophysiology，vol.70，1988.

[7] S.T.Ahi, H.Kambara, Y.Koike：“A Dictionary-Driven P300 Speller With a Modified Interface”，
IEEE Transactions on Neural Systems and Rehabilitation Engineering ，vol.19，2011.

[8] Joseph T. Gwin, Klaus Gramann, Scott Makeig, Daniel P. Ferris：“Journal of Neurophysiology
Published” 1 June 2010 Vol. 103 no. 6, 3526-3534,2010.

[9] D.Kahneman：“Pupil Diameter and Load on Memory”，Science, Vol.154，1966[10] E.K.Vogel, M.G.Machizawa：“Neural activity predicts individual differences in visual working
memory capacity”，Nature，vol.428，2004[11] Watanabe H, Sato M, Suzuki T, Nambu A, Nishimura Y, Kawato M, Isa T：“Reconstruction of
movement-related intracortical activity from micro-electrocorticogram array signals in monkey

54

primary motor cortex.” Journal of Neural Engineering,2012[12] 兵藤まりこ,千葉慎二：“SSVEP を用いた障害者コミュニケーション支援システムの開発”,第 76 回全国大会講演論文集 2014(1), 421-422, 2014.

[13] G.Pfurtscheller, B.Z.Allison, C.Brunner, “The hybrid BCI”，Frontiers. Neuroscience，vol.4，2010[14] emotiv 社ホームページ： https://emotiv.com/[15]George H. Klem, Hans Otto LuÈders,and C. Elger,"The ten±twenty electrode system of theInternational Federation" , Recommendations for the Practice of Clinical Neurophysiology,1999[16] gasepaser ホームページ：http://gazeparser.sourceforge.net/[17] Corinna Cortes and Vladimir Vapnik "Support-Vector Networks" ,Machine Leaming, Vol20,
273-297 1995

[18] Ron Kohavi "A Study of Cross-Validation and Bootstrap for Accuracy Estimation and Model
Selection" Appears in the International Joint Conference on Articial Intelligence (IJCAI), 1995

[19] Gordon K. Smyth & Belinda Phipson "Permutation P-values Should Never Be Zero:Calculating
Exact P-values When Permutations Are Randomly Drawn" , Statistical Applications in Genetics
and Molecular Biology 9 (2010), No. 1, Article 39.

[20] Lucie Charles, Jean-Re´mi King and Stanislas Dehaene "Decoding the Dynamics of Action,
Intention, and Error Detection for Conscious and Subliminal Stimuli" ,The Journal of
Neuroscience, (2014) • 34(4):1158 –1170[21] Steven J. Luck & Edward K. Vogel "The capacity of visualworking memory for features andconjunctions", NATURE VOL 390 (1997)[22] Edward K. Vogel, Andrew W. McCollough & Maro G. Machizawa "Neural measures reveal
individual differences in controlling access to working memory" , NATURE Vol 438 (2005)[23] Weiwei Zhang & Steven J. Luck "Discrete fixed-resolution representations in visual working
memory" ,NATURE Vol 453 (2008)55

[24] Mamoru Nagatsuka and Yasutaka Shimizu "Pupil Size and EEG Affected by Visual Stimuli" ,電子情報通信学会論文誌 VOL J76-A No9 (1993)[25] Hirofumi Arakawam, Minoru Nakayama and Yasutaka Shimizu "A Relation of EEG and Pupil
Size in the Memorizing Numeral Tasks" , 電子情報通信学会論文誌 VOL J82-D-l No9 (1999)56謝辞
本研究を進めるにあたり、熱心にご指導くださった、本学田中宏和准教授、及び、副指導として貴重なご助言を頂きました、党建武教授、鵜木祐史准教授に心より感謝申し上げます。田中准教授にとって、初めての学生であると同時に、本学東京サテライトの社会人学生ということもあり、非常に指導しにくい状況であったと思いますが、いつも本当に熱心にご指導頂き、本当に感謝しております。社会人として仕事をしながら研究を進めることは、時間の捻出や頭の切り替えといった部分で、想像以上に難しく、何度も何度も挫折しそうになりましたが、田中准教授に、時には厳しい言葉もかけて頂きながら、サポート頂けたことで、ここまで辿り着くことができました。社会人としても大きく成長することができました。
最後に繰り返しになりますが、ご協力頂けました皆様に心より感謝いたします。

57