情報処理学会 インタラクション 2014
IPSJ Interaction 2014

B4-3
2014/2/28

携帯型端末を用いた脳波による情報制御システム
日高 智貴1

白石 優旗2

河合 由起子1

奥田 次郎1

概要：本研究は，人間の脳波とコンテンツの関係性を分析することで，思考に基づいて必要なコンテンツを発見し，操作可能な新たな情報制御システムの構築を目指す．提案システムで使用した携帯型簡易脳波
計測機器は，ヘッドバンド型で 8 種類の脳波と集中／リラックス時の脳波を取得可能である．本システム
では，事前に学習用サンプルとして集中およびリラックスの脳波を取得し，集中およびリラックス状態の判定に用いる．次に，情報制御時における脳波を携帯端末より取得し，判定器を用いて集中／リラックス
状態に即した情報を携帯端末上に推薦する．本論文では，脳波の取得および提案する状態判定手法について述べ，提案手法を用いて構築した制御システムを検証する．

Information Control System Based on EEG Using Smartphone
Tomoki Hidaka1

Yuhki Shiraishi2

Yukiko Kawai1

Jiro Okuda1

Abstract: We aim to develop novel system which is able to find and control contents based on thought byanalyzing the relation between contents and the electroencephalography(EEG). The Headset which is usedin the proposed system is head band type, and is possible to get the EEG of concentration / relaxation stateand eight types. we acquires the EEG of concentration / relaxation state as a learning sample in advance andmake up a pattern classifier to predict concentration / relaxation state. Then, the system acquire the EEGof user on the smartphone and control contents adapted to the EEG of concentration / relaxation state byusing classifier. In this paper, we describe method of predicting state, verify the control system constructedby using the proposed method.

1. はじめにら [7] は，人の四肢動作時における脳波を用いて状態推定を行い，ロボットをリアルタイムで制御し動作させている．

近年，大量データのリアルタイム処理技術の向上に伴これらの研究は，脳の表面に脳波電極を留置して計測する

い，生体計測情報分析に関する研究が活発に行われている

ことや脳の広範囲を計測を必要としている．また，ヘッド[1]∼[4]．生体情報には，心拍数や脈拍，眼球運動などがあギアや MRI といった高価で拘束性の高い機器を使用する

るが，本研究では生体情報として脳波を対象とし，脳波をため，一般ユーザにとっての実用性は低い．

分析することで思考に即した情報推薦を目的とする．

一方で，携帯型の脳波計測機器 (B-Bridge 社 B3Band)

これまで，脳波の状態から人の思考を推測し，ハードも開発されている．脳波としては 8 種類 (delta，theta，

ウェアを動作させる多くの研究開発が行われている．柳澤

low/high alpha，low/high beta，low/mid gamma) と限ら

ら [5][6] は，患者にグーチョキパーの 3 種類の運動を行われており，従来機器より多くのノイズを含むが，ヘッドせ，その際の感覚運動野における皮質脳波を計測し，学習

フォン型のため拘束性が低く安価である．そこで本研究でさせることで，どの運動を行うか推定し，推定結果に基づは，簡易型脳波計測機器と携帯端末 (スマートフォン) を用いてリアルタイムに電動義手を制御可能としている．飯田

いることで，場所を問わずユーザの脳情報を取得，分析し，

1

2

京都産業大学
Kyoto Sangyo University
筑波技術大学
National University Corporation Tsukuba University ofTechnology© 2014 Information Processing Society of Japan

情報推薦又は制御を可能とするシステムの研究開発を目指す．
本論文では，脳波による判定器でユーザの状態を推定し，480

図 2 情報制御システム概要図

図 1

脳波からアプリケーション起動

ユーザが情報を制御するシステムを検証する．
今回検証に用いる情報制御システムは，携帯端末（スマートフォン）上のアプリケーションに対して，ユーザが選択する／しないのいずれの状態であるかを判定し，ユー
ザが選択する状態であれば，自動的にアプリケーションを起動させる（図 1）．具体的には，まず，事前に脳波取得を行い，各ユーザに最適化した閾値を決定する．次に，時刻と位置，脳波の情報からアプリケーションを各ユーザに最適化してランク付けし，最上位にランク付けされたアプリ
ケーションをユーザに推薦する．ユーザが推薦されたアプ

図 3 10-20 法による脳波記録用電極の装着部位

リケーションの利用を希望する場合は集中し，希望しなけ
ればリラックスする．取得した脳波を閾値により，ユーザ

サーバはそれらの情報を用いて再帰的に学習可能とする．

の希望のアプリケーションか否かを判別し，希望のアプリ
ケーションであれば起動し，異なれば次のアプリケーショ
ンを推薦する．

2. システム概要

3. 脳情報抽出および情報制御
3.1 脳波脳波計測機器によって頭皮上から記録される電位は，大本論文では，脳波を 2 値分類し，コンテンツを推薦又は脳皮質神経細胞の尖頂樹状突起で生じたシナプス後電位で制御可能なシステムとして情報制御システムを構築する．

ある．シナプス後電位は数十 mV の単位であるが，頭皮上

図 2 に情報制御システムの概要を示す．本システムではから記録される脳波の電圧は，通常数十 µV と非常に低電簡易脳波計測機器と携帯端末を Bluetooth で接続し，携帯圧である．

端末で脳波を計測し取得する．前提としてユーザには初期

脳波計測機器の電極は 10-20 法に沿った配置で装着する．

学習として，ユーザが集中する又はリラックスした時の脳10-20 法とは国際臨床神経生理学会連合が国際標準として

波計測を行い，閾値を決定する．

定めた電極配置である [8][9]．図 3 に電極配置を示す．そ

推薦時は，まず携帯端末は時刻および場所情報，脳波をれぞれの部位の記号は脳部位と関連している．Fp (frontal

サーバへ送信する．次に，サーバ側は取得した時刻や場所，

pole: 前頭極)，F (frontal: 前頭部)，C (central: 中心部)，

脳波といった情報に基づきアプリケーションを各ユーザに

P (parietal: 頭頂部)，O (occipital: 後頭部)，T(temporal:

最適化してランキングし，ランクの高い順に推薦する．携側頭部) という記号と，正中線を z とし，そこから側頭部に

帯端末では受信したアプリケーションを提示し，その際の向けて番号を付けて部位を表している．本論文では，Fp1，

ユーザの脳波をサーバに送信する．サーバは取得した脳波

Fp2 および A1 を用いる．

から閾値によりユーザが希望するアプリケーションか否なお脳波計測の際，瞬きをすることで脳波に影響があるかを判定する．ユーザ選択の際に脳波を使用した時刻や場ということが報告されている [10] が，B3Band 本体では，所，脳波，情報推薦の正誤情報と共に保存しておくことで，瞬きによるノイズは軽減されている．

© 2014 Information Processing Society of Japan481

の指標であり，出力は集中又はリラックスの 2 出力である．
取得した脳波からユーザの集中／リラックスの状態の具体的な判定方法を説明する．
判定方法は，分類器を使用し 1 秒毎に下記の式で集中又はリラックスに分類する．
{
集中
if y1j > y2j
リラックス

else

集中の出力値は y1j ，リラックスの出力値は y2j に対応し
図 4

B3Band3.2 簡易脳波計測機器使用する簡易脳波計測機器は，B-Bridge 社の B3Band (図4) である．外形は 54mm(L)×25mm(W)×17mm(H)，重量は約 100g とコンパクトであり，拘束性が低い．B3Band 本
体から伸びている左耳の金属部（図 3 の A1）と，バンド部に電極が実装されている．このバンド部は，電極配置 Fp1と Fp2 の箇所である（図 3 の Fp1 および Fp2）
．計測手法には，左耳の金属部の端子で耳朶を基準とし，バンド部の端子との電圧差を測定する双極誘導法を用いて Fp1 およびFp2 を計測する．

ており，どちらも 0∼1 の実数値をとる．(j = 1 ∼ n)

3.3.2 エラー率による閾値決定John Chuang らは，脳波に基づいた認証手法 [16] を提案しており，高い認証精度を確認している．今回提案する判定手法は，この John Chuang らの手法に基づき集中とリラックスの判定器の構築を実現する．提案する判定手法の流れは，重心と各データのコサイン類似度を算出し，仮定した複数の閾値をエラー率で評価する．エラー率が最小となる閾値を判定器とする．以下では，ユーザが集中する又はリラックスした時の脳波を用いてユーザの状態を推定す
る手法について述べる．（図 5）1.

（1）で算出計測可能な脳波はリラックス度や覚醒度といった感情とn は集中群，リラックス群の各データ数である．

相関があると考えられている次の 8 種類である．

ai ，mi はそれぞれ，Attention，Meditation を表す．
∑n
∑n
ai
mi
ga,m
~ = ( i=1 , i=1
)
(1)
n
n

( 1 ) delta：0.5 - 2.75Hz( 2 ) theta：3.5 - 6.75Hz( 3 ) low-alpha：7.5 - 9.25Hz( 4 ) high-alpha：10 - 11.75Hz

集中群とリラックス群の各々の重心 ga ，gm を式

2.

(A) 集中群の各データ d と重心 ga とのコサイン( 5 ) low-beta：13 - 16.75Hz

類似度を式（2）により算出( 6 ) high-beta：18 - 29.75Hz(B) リラックス群の各データ d と重心 gm とのコ( 7 ) low-gamma：31 - 39.75Hz

サイン類似度を同様に式（2）により算出( 8 ) mid-gamma：41 - 49.75Hz

m は 1 つのアプリケーション画像に対し，集中／

これら 8 種類の脳波に基づいて，Attention（集中度）とリラックスした時の秒数である．
~~ = ~g · dcos(~g , d)(2)
|g||d|
3. 2 で計算した各コサイン類似度（A）と（B）を閾値

Meditation（リラックス度）が計測される．これらの指標

T h と仮定し，各データと各重心とのコサイン類

は 0∼100 の値で，毎秒 1 回取得可能である．

似度を仮閾値により判定する．判定結果は False

これら８種類の脳波は 0∼1677215 の値で，毎秒 1 回取得可能である．

Acceptance Rate（FAR）と False Rejection Rate
3.3 脳波データ判定手法（FRR）で評価

今回，２種類の判定手法を提案する．１つは，Support

Vector Macine（SVM）により集中群とリラックス群の識F AR =

正解と判定された不正解データ
全不正解データ

F RR =

不正解と判定された正解データ
全正解データ

別面を決定し，ユーザの状態を判定する．もう一つは，コサイン類似度で脳波同士の類似度を表し，エラー率によりユーザの状態を判定する閾値を決定する．

3.3.1 SVM による判定
SVM は，クラス分類において汎化能力が高いと報告されており [11]，集中とリラックスの状態の判定に SVM に

4.

3 より FAR と FRR の平均 Half Total Error Rate
（HTER）を式（3）で算出し，集中群（リラックス群）において，エラー率 HTER が最小値となる

T h を閾値として決定よる分類器を用いた．構成した分類器の入力は 3.2 で述べた簡易脳波計測機器で取得可能な Attention と Meditation© 2014 Information Processing Society of JapanHT ER =F AR + F RR
2

(3)

482

図 5

5.

脳波データ分類手法のフローチャート

評価データと集中群（リラックス群）の重心 qa とのコサイン類似度を算出し，4 で決定した閾値より大きい場合集中（リラックス）と判定

4. アプリケーション制御システム

図 6

判別器構築時の脳波取得画面

今回の提案手法に基づき，B3Band を用いてスマート
フォン上のアプリケーションを推薦および起動するシス，正解画像でなければユーザにリラックスさせる
させ（d）

テムを開発し，実装したアプリケーションに基づき評価を（e，f）．

行った．
使用したスマートフォンは，SamSung の GalaxySIII，OS

4.2 アプリケーション推薦・起動システム

は Android OS 4.1.1 である．スマートフォンは Wi-Fi でアプリケーションを推薦し，ユーザの脳波からアプリ

サーバと通信を行い，サーバでは R（version2.15.1）によりケーションを起動させるシステムを開発した．開発したシ閾値算出等の演算を行っており，サーバの OS は CentOS

ステムの画面を図 7 に示す．

6.2 である．

まず，スタート画面では起動可能なアプリケーションを提示する（a）．次にアプリケーションが画面に 10 秒間推

4.1 脳波計測アプリケーション

薦（提示）され（b），ユーザは起動したければ集中し，起動判定器を構築する際に，事前にサンプルデータ取得が必

したくなければリラックスする．脳波送信画面（c）では，要となる．サンプルデータと評価用データ取得のため，脳サーバへ脳波を送信し，構築した判定器よりユーザの状態

波計測アプリケーションを開発した．
（図 6）を判定する．判定結果により．ユーザが集中していればア

脳波計測アプリケーションは，脳波計測機器 B3Band とプリケーションを起動し（d），リラックスしていれば次のBluetooth で接続する．アプリケーションアイコンが呈示

アプリケーションを推薦する（e）．なお，アプリケーショ

される 10 秒間の脳波を計測し，アプリケーション終了時

ンが起動されるまでアプリケーションの推薦を繰り返す．

に計測した脳波を全てサーバへ送信する．
開発した脳波計測アプリケーションでは，説明画面を提示し（a），正解画像が提示された場合は集中し，不正解画像が提示された場合はリラックスするように説明する．次に各選択画面を提示し（b），B3Band と接続し，課題試行

4.3 判定精度の検証
提案手法によるユーザの集中又はリラックスの状態判定の判定精度を検証する. 評価手順は以下の通りである．

1.

を開始する．実験開始画面（c）では，ランダムに正解画

ユーザの集中またはリラックス状態の脳波を 10秒間計測

像を一番上に提示する（図 6 では FireFox）．正解画像であ2.

10 秒間の脳波のうち 4∼8 秒間の 5 秒間を抽出

るアプリケーションアイコンが呈示されればユーザに集中

3.

脳波を取得し，集中またはリラックスとラベル© 2014 Information Processing Society of Japan

483

表 1

学習データに対する正答率
閾値
SVM

被験者 A

62.50%

75.83%

被験者 B

56.67%

70.00%

被験者 C

75.00%

82.50

表 2

未知データに対する正答率
閾値
SVM

被験者 A

49.17%

44.17%

被験者 B

55.83%

56.67%

被験者 C

49.17%

55.00%

かな場所で行った．なお，本実験では，各個人ごとに最適化した閾値を決定する．
閾値を構成する学習データの評価結果を表 1 に示す．被験者 A の学習データは，閾値での正答率は 58.3%で，SVMでの正答率は 75.83%となった．
被験者 B，C についても同様の評価を行ったところ，それぞれ閾値での正答率は 62.5%，91.67%となり，SVM での正答率は 70%，82.5%となった．
決定した閾値による未知データの評価を行った．未知
データは 4.1 節の脳波計測アプリケーションで計測し，デー
タ数は学習データと同じ集中群およびリラックス群のデー
タ各 60 個 (計 120 個) となる．
評価結果を表 2 に示す．被験者 A の未知データの正答率
は，閾値では 49.17%で，SVM では 44.17%となった．被験者 B，C についても同様に未知データを評価した結果，それぞれ閾値での正答率は 55.83%，49.17%となり，SVM での正答率は 56.67%，55.00%となった．
図 7 アプリケーション推薦・起動システム画面

5. 考察
閾値による判定精度の検証では，提案手法である閾値と付け

4.

SVM および閾値による比較評価

SVM の二つの手法により学習データの正答率を算出した．
提案手法での学習データに対する正答率は，被験者 C の実験条件として，3 種類のアプリケーション (メール，音み高く，被験者 A，B は低い．この理由の１つとして，被楽，web) をランダムで提示し，２０代男性３名の被験者 3

験者 C の脳波が集中時とリラックス時に明確な差があっ

名 (A，B，C) を対象にそれぞれ計測を行った．各アプリ

たことが考えられる．他の理由は，被験者 C が脳波計測をケーションの提示時間は 10 秒間とした．1 セットの計測行ったことがあり，脳波のコントロールに他の人より長けで，アプリケーションの提示は 12 回行われ，被験者が集ている可能性がある．今後は，脳波計測の訓練を行った被中又はリラックスする回数はそれぞれ 6 回ランダムに提示

験者又は初めて脳波計測を行う被験者をターゲットにするする．取得した 10 秒間のデータのうち 5 秒間を判定対象かを決定しなければならない．

データとして抽出した．これは先行研究 [17] より，前に提SVM での学習データに対する正答率は，どの被験者も示したアプリケーション画像を見た時の脳波が，始めの数正答率が高い．しかし，分類器を構築する際の入力データ

秒に影響することを確認している．４〜8 秒間の５秒を抽が少ないため，識別面は少ない要素によって決定されてい出することは，前後数秒間の影響の除去に繋がる．1 セッ

る為，正答率の信頼性は低い．

トの計測で取得できるデータ数は，1 秒毎の脳波取得が可能なため 5 秒× 12 回=60 個である．判定器構築のため，今後の課題は，閾値と SVM での正答率を上げることと，判定方法の２つである．

計測は 2 セット行い，集中群およびリラックス群のデータ

正答率をあげる為には，学習データの見直しが必要にな

各 60 個（計 120 個）を計測した．計測環境は，屋内の静ると考える．閾値決定には，学習データにノイズデータが© 2014 Information Processing Society of Japan484

混じっている場合，重心が移動し，ノイズデータによって判定精度が低下する．SVM での分類器の構築には，学習データのノイズデータは学習データ数が多ければ考慮せず

参考文献

識別面を決定することが可能である．よって判定手法によ[1]り学習データを変更することが必要である．
閾値決定時に，再帰的に学習することによってノイズ[2]

データを除くことができると考える．再帰的に学習法は，決定した閾値で学習データを評価した際に，正しく判定されなかった学習データは廃棄され，新たなデータを学習
データを追加する方法である．

[3]
[4]

閾値での判定方法に関して，行っている判定方法は，集中群／リラックス群との類似を判定する各閾値により行われている．しかし，各群の閾値は独立で判定しているが，[5]同じ次元に存在するデータであるため，各群の関係性を考えた判定方法を考案することが必要であると考える．

6. 関連研究[6]

四肢麻痺患者が念じるだけで電動義手を操作する研究[5] や人の四肢運動時の脳波でロボットを制御し動作させる研究 [7] は Brain Machine Interface (BMI) 技術を用いている．これらの研究は，脳波から計測者の動作を推定する[7]という点では本研究とも共通しているが，目的はあくまでハードウェアの制御である．本研究では，脳波から動作を推定できることに加え，その情報を再び計測者に情報推薦するという点で異なる．また，脳波計測時には拘束性の低いヘッドフォン型の簡易脳波計測機器用いているという点

[8]
[9]
[10]

でも異なる．
簡易脳波計測機器を用いた研究では，取得した情報から[11]

感情識別や思考状態の推定をするシステムなどの開発が行われている [13][14]．これらの研究は思考を抽出するとい[12]

る点では本研究と類似しているが，思考を抽出し情報推薦と組み合わせる点が異なる．また，簡易型脳波計測機器の情報から二値判定を行う研究 [15] も行われているが，SVM[13]を用いて学習する点や，入出力を携帯端末で行う点で本研
究と異なる．

[14]

7. まとめと今後の課題[15]

本研究では，脳波による情報制御システムを提案し，2つの電極より取得した脳波に基づきスマートフォン上のア[16]

プリケーションを推薦し起動するシステムを構築した．取得した脳波分析として，SVM および閾値の２種類による判定器を提案システムに応用した．実装した提案システム
による評価では，学習データの評価は 3 名の被験者のうち[17]

西村奈令大，石井明日香，佐藤未知，福嶋政期，梶本裕
之，自己の心拍数を触覚提示するデバイスの検討，IPSJ
Interaction，3EXB-16，2012．
草島暁史，中島一樹，斉藤建夫，佐々木和男，衣類を介した光電脈波計測のための脈波センサ開発，電子情報通信学会論文誌. D，情報・システム J95-D(4), 713-721，2012．
甲田卓哉，新津善弘，視線情報と脳波を用いた興味度推定法の検討，電子情報通信学会総合大会，B-19-19，2011．
美野田友樹，二見亮弘，皮膚電気刺激による感覚神経誘発電位の増減とそのモデリングについて，電子情報通信学会技術研究報告. MBE，ME とバイオサイバネティッ
クス 110(460), 69-74，2011．
TakufumiYanagisawa，MasayukiHirata，YouichiSaitoh，TetsuGoto，HaruhikoKishima，RyoheiFukuma，HiroshiYokoi，YukiyasuKamitani，ToshikiYoshimine，
Real-time control of a prosthetic hand using human
electrocorticograms
平田雅之，柳澤琢史，松下光次郎，Shayne Morris，神谷之康， 鈴木隆文，吉田毅，佐藤文博，齋藤洋一，貴島晴彦，後藤哲，影山悠，川人光男，吉峰俊樹，ブレイン・マ
シン・インターフェースによる機能支援 : リアルタイム
ロボットアーム制御とワイヤレス完全体内埋込装置の開発，脳神経外科ジャーナル 21(7)，541-549，2012．
飯田貴昭，武藤光，吉井晴香，佐々木実，伊藤聡，脳波を用いたロボット制御，ロボティクス・メカトロニクス講
演会講演概要集，1A1-E26(1) - 1A1-E26(3)，2010．
柴崎浩，米倉義晴，脳のイメージング - 脳のはたらきはどこまで画像化できるか - ，共立出版，1994．
入戸野宏，心理学のための事象関連電位ガイドブック，北大路書房，2005．
中西功，馬場貞尚，脳波による個人認証の研究 : 瞬きに関する検討，電子情報通信学会技術研究報告. CS, 通信方
式 109(436)， 245-246，2010．
C. Cortes and V. Vapnik. Support Vector Networks.Machine Learning, Vol. 20, pp. 273-297, 1995.
川上俊，洪志勲，大槻知明，サポートベクターマシンを用いた信号部分空間の次元拡張に基づくアレーセンサによる位置推定法，電子情報通信学会技術研究報告. RCS, 無線通信システム 110(433)，367-372，2011．
高橋和彦，簡易脳波計測装置を用いた感情識別の一考察第３報 SVM による識別-，日本機会学会第 12 回インテリジェント・システム・シンポジウム公園論文集，2-210,2002.
林剛史，福井健太郎，宮田章裕，重野寛，岡田謙一，簡易脳波計測による時間幅を考慮したリアルタイムな思考状態の推定，FIT2005（第４回情報科学技術フォーラム），L-090，2005．
丸山隆弘，菊池眞裕之，簡易型 NIRS を用いた BrainComputer Interface の開発，社団法人映像情報メディア
学会技術報告，Vol.35,No.51，2011．
John Chuang, Hamilton Nguyen, Charles Wang, andBenjamin Johnson, ”I Think, Therefore I Am: Usability and Security of Authentication Using Brainwaves” ，Financial Cryptography and Data Security 2013 ．
日高 智貴，増谷 直人，木下 裕輝，白石 優旗，河合 由起
子，奥田 次郎，携帯型端末を用いた脳情報に基づく情報
推薦システムの提案，DEIM2013．

2 名において両手法ともに良好な結果を確認できた．未知
データでは，データの選別を行わなかった為，両手法ともに 50%程度の正答率であった．今後は, より多くの被験者実験および判別器の精度向上を行う予定である.

© 2014 Information Processing Society of Japan

485