情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2A15
2018/3/5

E-state：脳波を用いた操作コマンド生成手法
大場 隆史1

濱川 礼1

概要：本論文では，非侵襲的測定による脳波を機械学習を用いて分類し，時系列の判定結果をコマンドとする手法「E-state」について述べる．脳活動に関する研究は多くみられ，脳波等を検出し機械などを操作する BCI（Brain Computer Interface）を用いた研究では様々な手法が発表されている．特に，脳に直接埋め込まない非侵襲式 BCI を用いた研究の発展は目覚ましい．しかし多くの手法が訓練に時間が掛かる，使用できる環境に限りあるなどの問題が存在している．E-state では機械学習によって脳波を集中/リラックスの 2 クラス分類を行い，時系列出力をコマンドとすることで，訓練時間の短縮や使用可能環境に制限が少ない手法を提案する．

Operation command generation system using EEG
TAKASHI OHBA1

REI HAMAKAWA1

Abstract:
In this paper, we describe ”E-state” which classifies electroencephalograms by non-invasive measurement
using machine learning and uses time series judgment results as commands. There are many researches onbrain activity, various studies have been published in research using BCI (Brain Computer Interface) which
detects brain waves and the like and manipulates machines and the like. Especially, the development ofresearch using non-invasive BCI which is not directly embedded in the brain is remarkable. However, manymethods take time to train, there are problems such as limited use environment. In this system, we classify
two classes of brain wave concentration / relaxation by machine learning and use the time series output asa command to propose a method that shortens training time and few restrictions on usable environments.

1. はじめにの大きく 2 つに分類される．侵襲式は外科手術により脳信号を測定するための電極を脳に埋め込み，直接神経活動近年，様々なインターフェースが開発されている．そのを測定し信号を取得する．この方式では脳信号の測定に対中でも手の操作の代替となるシステムの研究は多く行われするノイズが少なく高い精度の脳波を取得可能であるが，ている．手の代替の例として，音声 [1] や視線 [2] 等が挙げ

脳を直接傷つけるなどリスクが高い．代表的な例として，られる．また，脳波においては医療や福祉関連だけでなくSUA(single unit activity),LFP(local field potential) 等がゲーム・エンターテインメントでも注目を浴びている．

挙げられる．非侵襲法は電極を頭皮の上から接触させる．

世界の BCI 市場は，2017 年に 1 億＄を突破し，近年年率そのため外科手術の必要がなく安全である．非侵襲式はノ10 ％以上の成長を見せた．今後も医療ヘルスケアやゲーイズを多く含み，解析が困難であったが，近年の脳計測装ム・エンタテイメントなどの需要拡大が牽引し，15〜22%程置の発展により克服されるようになりつつある．代表的な度の高成長が続くものと見られ，2022 年には 2.5 億＄を超例として EEG(electroencephalography)，脳磁図などが挙えるものと予測されている [3]．それに伴い，BCI を用いげられる [4]．

た研究も発展している．

BCI で用いる脳活動の測定方法は，侵襲式と非侵襲式

また，非侵襲式の BCI を用いたインターフェースの研究では様々な手法が取られている．Farwell ら [5] は事象関連電位である P300 という脳波で，注視した瞬間を判定し，

1

中京大学 工学部
School of Engineering Chukyo University© 2018 Information Processing Society of Japan

文字入力を可能としている．鷹箸ら [6] は事前に脳波の登578

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

図 1 従来の手法のイメージ図

2A15
2018/3/5

図 2

E-state のイメージ図録訓練を行うことで特定の数字を連想することで車いすをた脳は，その感覚情報を処理を行う (注意・認知・課題解動かすことを可能としている．しかし，これらの研究では決・随意運動への心理・精神活動など)．その上必要であ使用可能環境に制限がある場合や脳波の登録や訓練に時間れば運動を惹起させることもある．この様な一連の精神活が掛かる場合が多く，ユーザビリティが高いとは必ずしも動の過程で出現する電位を総称して ERP(Event Related

言えない．

Potentials; 事象関連電位) と呼ばれている [8]．

E-state では非侵襲式の BCI を用いて脳波による操作のFarwell ら [5] は事象関連電位（ERP）のなかでも，刺激簡潔化及び登録にかかる時間の軽減を目指す手法を提案

に対する認知反応が 300ms 前後で発生する P300（図 3）する．従来の脳波をインタフェースに用いる研究は脳波か[4] を利用することで，四肢麻痺患者が注視させた瞬間をら直接ユーザの意図を読み取り，その意図の内容を出力す判定し，文字入力を可能としている．しかし，この手法はる手法を取っている．しかしこの手法では脳波登録に数時想定ユーザが手の不自由な障がい者である．健常者にとっ間，脳波からの意図検出に十数秒掛かるなどの条件が存在て特定の刺激によって反応する脳波を用いることは，受動する．それらの条件を克服するため，E-state では使用す的なシステムとなりユーザビリティが高いとは言えない．

る脳波の状態を「集中：1」と「リラックス：0」に絞る．そE-state の手法では脳波測定可能者であれば使用でき，幅して，時系列の出力をコマンドとすることで様々な出力が広く同じユーザビリティのまま利用可能である．

可能とする手法である．ここで，コマンドは「010」などの「0」と「1」で構成された信号とする．また，E-state の名
前は EEG(electroencephalography) の頭文字「E」と状態を意味する「state」からなる．

2. 関連研究
脳波を用いたインターフェースの研究は多く行われており，様々な手法により実現されている．

2.2 集中度を用いた手法
集中度を指標とした研究も存在する．
日高ら [9] は手の代替として脳波解析をすることで，スマートフォン上のアプリケーションを自動制御する方式を提案している．この研究ではスマートフォンに新着のメールやニュースが来たことを音声で通知．その通知を聞いた後の脳波データをサーバ上の学習モデルを基に判定し，その一定時間の集中頻度結果によってアプリケーションの自2.1 事象関連電位を用いた手法

動制御を可能としている．しかしこの手法もまた，起動し脳波の 1 種である事象関連電位を用いた研究がある [7]．

たいアプリケーションからの通知を起因として起動するこ

視覚・聴覚・感覚・味覚・臭覚等の刺激がそれぞれ特有の神としか出来ないため，ユーザが能動的にアプリケーション経経路を通り，脳に伝えられる．それらの刺激を受け取っを起動することが出来ない．E-state の手法では起動したいアプリケーションからの通知なしで出力として設定できるため，ユーザが能動的にアプリケーションの起動することが可能である．

2.3 分類器を用いた手法
機械学習によって作成した学習モデルを分類器として用いた研究も存在する．

Ori ら [10] は非侵襲式の BCI を用いた「階層的ポインティング・デバイス」という手法を提案している．この研究では，画面全体を 4 分割し，4 つの画面にある利用した
図 3

P300 等を含んだ事象関連電位を示す波形の例*1© 2018 Information Processing Society of Japan

い項目を含む画面を選択することを繰り返すことで任意の579

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2A15
2018/3/5

目を選択できる．選択判定には Emotiv Epoc[11] のさまざ差を補うために個々の脳波データの使用且つ機械学習を用

まな顔の表情と関連している神経信号を検出や，特定の思いる．

考と関連付けた脳波パターンを検出するように学習させる機能を用いている．この手法では画面上の任意の項目を選択するという使用条件に制限がある．E-state では非侵襲式の BCI を装着可能な場面であれば使用可能である．

3. 脳波を用いたインターフェース
E-state では BCI と Android 端末を Bluetooth 接続し，Android 端末を介して脳波データを取得する．ユーザには

図 5 集中状態の脳波例

初期学習として，集中及びリラックス状態の脳波計測を行う．初期学習によって作成した学習モデルは，サーバに格納される．脳波の判定はリアルタイムで行われる．脳波データの 2 クラス分類の結果を「0」，「1」とし，その N 個の時系列結果を 2 進数と見なすことで N bit のコマンドとする（図 4）．

図 6 リラックス状態の脳波例

3.1.2 特徴量
学習させる時系列脳波データの特徴量について述べる．

E-state では，BCI と Android 端末に Bluetooth 接続の使用やリアルタイムの脳波データ解析を行う．また，リアルタイム判定の遅延防止のため学習用脳波データは，脳波測定デバイス 5 ヶ所（図 7）の電極から 0.1 秒間隔で取得した 5 種の脳波データ（θ波，α波，Low-β波，High-β波，
図 4 コマンドの構成γ波）の 1 秒分計 250 種の特徴量を学習用脳波データの特徴量とした．また，学習用脳波データ B の構造及び条件は

3.1 脳波解析

図 8 と式（1），（2）のようになっている．

機械学習を用いて脳波の 2 クラス分類，判定を行う．

3.1.1 脳波状態定義
E-state では機械学習を用いて脳波の 2 クラス分類を行う．脳波信号には帯域ごとに名称がついており各帯域が様々な機能に関わると言われている [12]．その中でもα波はリラックス，β波は集中に結び付けて分類を行う研究が多くみられる [13]．また，脳波活動には個人差が存在す
る [14]．石塚ら [15] は被験者 4 人に眼を閉じリラックスした状態，リラックス効果があると言われているクリスタル
演奏を CD で聞いた場合と生演奏を聞いた場合の状態の脳波を測定する実験を行った．その結果，各状態それぞれにおいて個人差は存在すると述べている．
表 1
状態内容

脳波状態定義状態 R状態 C

リラックス

集中

図 7 国際 10-20 法における電極位置

3.1.3 学習モデル作成
定義した特徴量を基に学習モデルを作成する．脳波の判定を行う手法には幅広い環境下で利用できるように比較的計算量が小さく良質な解が期待できる softmax 回帰による

以上より分類する脳波の状態は，ユーザがリラックス状単純パーセプトロンを用いる．また E-state では，学習モ態の脳波である状態 R と集中状態の脳波である状態 C とデル作成は，人間の集中継続時間は 8〜15 秒と言われてい定義した（表 1）．そして，各状態の脳波登録には，個人るため [16][17]，リラックス状態の脳波及び集中状態の脳© 2018 Information Processing Society of Japan580

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2A15
2018/3/5

波それぞれを 15 秒間の脳波データをデータセットとして用いる．

図 8 学習用脳波データ構造

T (= t0 , t1 ,t2 , · · · , t8 , t9 , t10 )図 9システム構成(t10 − t0 = 1.0, tn − tn−1 = 0.1, 0 ≤ n ≤ 10)(1)
B(= b1 , b2 , b3 , · · · , b8 , b9 , b10 )(2)

3.1.4 脳波判定
Android 端末から転送される 1 秒間の脳波データを学習モデルを基に判定を行い，状態 R（リラックス状態の脳波）か状態 C（集中状態の脳波）かの割合の算出及び判定を行う．

図 10 Emotiv Insight

3.2 出力に送信する．判定結果結果を受け取った Android 端末は送脳波の時系列の判定結果を出力データとする．E-state
では状態 R（リラックス状態の脳波）の判定の場合は「0」，信した 1 秒間の脳波データの判定情報を出力し，蓄積した判定結果を基に出力を決定する．

状態 C（集中状態の脳波）の判定の場合「1」とし，2N 種類のコマンドを生成可能である．

4. E-state を用いたシステム実装

4.2 システムの流れ
E-state の手法を用いて構築したアプリケーションは図
11 の画面で構成され，図 12 のように BCI デバイスを装着

4.1 システム構成
E-state を用いて作成したシステムは BCI，Android 端し，Android 端末を用いて利用する．

末，サーバからなる（図 9）．Android 端末は Bluetooth*3 の( 1 ) 集中・リラックス状態の脳波登録機能を有した脳波測定ヘッドセットを介して，脳波データメイン画面（図 11(1)）でナビゲーションドロワー*5を取得する．機械学習には Python で書かれた，Tensor-（図 11(2)）を表示し，脳波登録画面 (図 11(3)) に遷移

Flow または CNTK，Theano 上で実行可能なニューラル

する．集中，リラックス状態の脳波それぞれを登録す

ネットワークライブラリである Keras[18] を用いる．また，る．集中状態の脳波登録では黒い点を表示し，注視す

BCI には Emotiv Insight（図 10）を使用している．Emotivることで脳波の変化を促している [19]．リラックス状*4態の脳波登録では，呼吸を深く，脳波のノイズの軽減

Insight[11] は 5 つの電極 (図 7 の F3，F4，T3，T4，Pz)のため薄目を開けた状態で行う．

を持ち，それぞれθ波（4-8Hz），α波（8-12Hz），Low-β波（12-16Hz），High-β波（16-25Hz），γ波（25-45Hz）の( 2 ) 脳波データ判定開始
ユーザのタイミングで 1 秒毎の脳波データを解析開始

5 種類の，脳波を高速フーリエ変換した値を出力する．
脳波測定ヘッドセットから受信した 1 秒間の脳波データし，その結果を Android 端末に表示．この際，解析開を Android 端末からサーバに送信する．サーバでは受信し始してから 5 秒間は待機時間となり，「*」が出力される．また，現時点の脳波の状態を可視化するために画た 1 秒間の脳波データの判定及びその結果を Android 端末*3*4

Bluetooth Low Energy (Bluetooth 4.2)
国際 10-20 法から引用”https://ja.wikipedia.org/wiki/脳波”© 2018 Information Processing Society of Japan*5

画面の左端にアプリのメインナビゲーションオプションを表示す
るパネル

581

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2A15
2018/3/5面（図 11（4））には解析開始時点からの，脳波が集中状態かリラックス状態かの割合をグラフで表示している．

( 3 ) 出力（2）で蓄積した判定結果を出力．図 11（4）では 0〜1 秒間，1〜2 秒間をリラックス状態と判定し，2〜3 秒間を集中状態と判定している．

図 12

利用イメージ

5. 評価
E-state の精度の検証についての考察するため，評価実験を筆者が行った．実験で出力できるコマンドを 21 ，22 ，23 種類に設定した．
5.1 実験手順
E-state で構築したアプリケーションを用いて，脳波の登録及びコマンドを出力する実験を行った．実験では 21 ，22 ，23 種類のコマンドを各種でランダムに行い，失敗回数をカウントした．結果は表 2，3，4，5 の通りである．全体の平均失敗（21 + 22 + 23 ）回数は 2.5 回であり，コマンドが 23 種類の平均失敗数が一番多い．
表 2 21 種類の時の結果

表 4

表 5

表 322 種類の時の結果

23 種類の時の結果

各種の平均失敗数

図 11 学習モデル作成から利用までの画面例© 2018 Information Processing Society of Japan582

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

6. 考察
実験の結果より，状態が連続しているコマンド「000」，「111」などのコマンドは失敗が少ないことがわかる．しかし，集中状態とリラックス状態を交互に脳波を操作する必要がある「010」，「101」などのコマンドは失敗が多いこともわかる．よって，コマンド入力の精度向上には，すべての判定の時間間隔を 1 秒以上に変更か後半の判定の時間間隔を 1 秒以上に変更が必要だと考えられる．その上，E-stateでは以下の問題も存在している．

( 1 ) 判定区間確認方法( 2 ) 演算による判定結果の遅延（1）は，脳波を操作するタイミングが 1 秒前の判定結果を確認後であるため，ユーザの意図するタイミングで判定が行われていないのではないかと考えられる．その上，判定結果を確認する行為自体が集中することに繋がることも考えられ，脳波をリラックス状態に操作する妨げになる問題も存在している．
（2）は，脳波データが BCI から Android端末を介してサーバに送られ，脳波の状態判定に掛かる時間が 1 秒以上掛かる場合が存在し，この問題もまたユーザの意図するタイミングではないタイミングで判定が行われる問題に繋がっていると考えられる．また本実験では被験者の人数が少ないため，複数人による脳波を操作しやすい人と操作しにくい人における差異やコマンドの種類による差異などの検証も必要だと考えられる．

7. 展望
本論文ではコマンドを生成しているだけであるが，それぞれのコマンドをアプリケーションの起動などに結び付けることで様々な操作にも応用することが可能であると考える．また，E-state では個人差の存在する脳波を個別で登録しているため，登録した本人以外では思い通りに動かない仕様となっている．その登録した脳波データの独立性を利用することで個人認証の技術に応用できるのではないか

2A15
2018/3/5tary) and segment forecasts to 2022.
https://www.grandviewresearch.com/industry-analysis/brain-computer-interfaces-market, 2016.
[4]
宮内哲, 星詳子, 菅野巖, 栗城眞也. 脳のイメージング.
2016.
[5]
L. A. Farwell and E. Donchin. Talking oﬀ the top of yourhead: Toward a mental prosthesis utilizing event-related
brain potentials. Electroencephalography and Clinical
Neurophysiology, Vol. 70, pp. 510–523, 1988.
[6]
鷹箸孝典, 阿部拓真, 中沢実. 脳波を用いた車いすロボッ
ト制御システム. 情報処理学会 インタラクション, 2015.
[7]
J N Mak, Y Arbel, J W Minett, L M McCane, B Yuksel,
D Ryan, D Thompson, L Bianchi, and D Erdogmus. Optimizing the p300-based braincomputer interface: current status, limitations and future directions. Journal ofNeural Engineering, Vol. 8, No. 2, p. 025003, 2011.
[8]関東神経生理検査技術研究会ビギナーのための erp(事象関連電位) 入門. http://www2.oninet.ne.jp/ts0905/erp/erpsemi.htm.
[9]
日高智貴, 王元元, 河合由起子, 奥田次郎. 脳波を用いたス
マートフォンのアプリ自動制御方式. 情報処理学会 イン
タラクション, 2015.
[10] Ori Ossmy, Ofir Tam, Rami Puzis, Lior Rokach, Ohad
Inbar, and Yuval Elovici.
Minddesktop: a general purpose brain computer interface. CoRR, Vol.
abs/1705.07490, , 2017.
[11] Emotiv. https://www.emotiv.com/.
[12] 高橋宏知. メカ屋のための脳科学入門:脳をリバースエンジニアリングする. 2016.
[13] 野口稔明, Kosin Chamnongthai, 坂主樹哉, 山田功. 簡易脳波センサ mindwave で計測される車椅子使用時の集中度とリラックス度の解析. 自動制御連合講演会講演論文集, Vol. 57, pp. 1563–1564, 2014.
[14] 伊藤伸一, 満倉靖恵, 福見稔, 赤松則男. 脳波の個人特性を考慮した脳波分析法の提案. 電気学会論文誌Ｃ（電子・情報・システム部門誌）, Vol. 124, No. 6, pp. 1259–1266,2004.
[15] 石塚麻実, 志賀一雅. 聞くだけで脳の疲れがとれる cd ブック. 2016.
[16] 中 井 隆 栄. Tv コ マ ー シ ャ ル の 時 間 が 15 秒 な わ け.
http://www.magiclamp.co.jp/blog/archives/2369.
[17] 石川善樹. 仕事はうかつに始めるな ―働く人のための集
中力マネジメント講座. 2017.
[18] Franois Chollet. Keras. https://keras.io/ja/.
[19] 石川由羽, 吉田智奈美, 高田雅美, 城和貴. 脳波個人認証のための特徴抽出. 研究報告数理モデル化と問題解決（MPS）, Vol. 2014, No. 20, pp. 1–6, feb 2014.とも考える．しかし，脳波をバイオメトリクス認証として利用する研究は既に存在しており，利用するためにはユー
ザの意図するタイミングによる脳波操作についての問題解決が必須であると考える．
参考文献
[1]
[2]
[3]

SRI Internationa,Apple Inc. Siri. https://www.apple.
com/jp/ios/siri/.
Pivi Majaranta. Communication and text entry by gaze.
pp. 63–77, 01 2012.
Global brain computer interface (bci) market
analysis by product (invasive, partially invasive,non-invasive), by application (healthcare, smart
home control, communication & control, entertainment, gaming), by end-use (medical, mili-© 2018 Information Processing Society of Japan583