P300-BMI による実空間オブジェクトのポインティング装置
松下光 次 郎†Maryam Alimardani††,†††山 本 知 幸 †††頭皮脳波の分析を利用したブレインマシンインターフェイスである P300-BMI を応用して実空間のオブジェクトを指定するポインティング装置を開発した。ディスプレイ上に点滅する文字などの視覚刺激を選択してスペリングなどを行う一般的な P300-BMI と異なり、実世界の空間内にフラッシャーを配置してオブジェクトを選択するが、ディスプレイ上のような黒バックを使用せずとも視覚刺激の弁別が可能であることが実験により確認された。BMI の新たな応用として、日常的に使用することも可能なインターフェイスを提案する。

A Pointing Device for Real World Objects Using P300-BMI
Kojiro Matsushita,† Maryam Alimardani††,†††and Tomoyuki Yamamoto †††In this research, we propose a novel pointing device based on P300-BMI. This device presents
an extension of the conventional P300-BMI P300-Speller from 2D display to 3D life space,by using LED ﬂashing markers as visual stimuli. A performance comparison between theproposed P300-BM and typical P300-Speller was made and experimental results showed thesame selecting accuracy for the two methods. This proves that LED-ﬂashing markers can workeﬀectively in the 3D life space despite major disturbances in the visual ﬁeld. It is therefore
concluded that the proposed device can potentially contribute to the realization of a practicalP300-BMI in the 3D life space.

1. は じ め に（Electrocorticogram:ECOG）、Spike 波/LPF(LocalField Potential) に基づく BMI が主流であった。特近年、ブレイン・マシン・インターフェース（BMI）に、EEG-BMI となる P300 Speller2) は、非侵襲計の研究開発が盛んに行われている。BMI は、脳の活測であり、トレーニングも不要という理由から、現在動状態の計測から得られたデータを分析することでも実用化を目指し多くの研究者・企業が開発を行ってヒトの意図を検出するものである。これを利用して、いる。P300 Speller は、ヒトが注意して受けた感覚刺身体を動かさずに装置を制御する環境制御やコミュ激の約 300 ミリ秒後に発生する緩やかなピークを持つニケーションを実現させることを目指している。そ

陽性電位 P300 を利用するシステムである (図 1, 2)。のため、筋萎縮性側索硬化症（ALS）患者などの重その手順としては、(1) まず、EEG 計測対象者にディ度な麻痺者に対して有効なインターフェースになる

スプレイ上の 6 行 6 列に配置された文字群の一文字と期待されている1) 。これまでの BMI 研究開発におを選択・注視させる.(2) その状態で、ディスプレイ上いては、インターフェースに要求される携帯性・即の文字群を行/列単位でランダムに発光させ（ただし、応性を考慮した上で、電気的に脳活動状態を計測すすべての文字が同じ回数発光させるようになる）、(3)る頭皮脳波 (Electroencephalogram:EEG)、皮質脳波

各文字の発光タイミングと P300 の波形タイミングとの対応関係を PC にて分析し、EEG 計測対象者の選† 大阪大学 大学院医学系研究科, 大阪大学 大学院工学研究科
Osaka University Medical School and Dept. of Adaptive Machine Systems, Osaka University†† 国際電気通信基礎技術研究所 知能ロボティクス研究所
ATR Intelligent Robotics and Communication Laboratories††† 大阪大学 大学院基礎工学研究科
Graduate School of Engineering Science, Osaka University

択した文字を推測するものである。P300 Speller の現状は利便性の向上を目指す課題が多く、情報処理を用いた P300 検出性能の向上や、ディスプレイに表示に関する形式（発光タイミング、表示内容）など3)∼5) となっている。
そこで本研究では、主に環境制御に適した P300-

BMI システムの開発を目指し、実環境における室内情報処理学会 インタラクション 2011

点滅マーカーとオブジェクトの意味付けは、マー頭皮電極

カーを直接貼付ける物理的な意味付け、またはアイコンなどで表現することで行われる。TV を操作する場

M

O

Nx

Px x

判別

イベント

5 個程度は必要と思われるが、この場合５個は多数のLED でフラッシュするアイコンを作る、または操作ボ

L

K

JI

K

H

GFE

D

C

B

A

合、電源、チャンネル (上下)、ボリューム (上下) のxx+ +xx

タンに隣接して貼付ける、という方法が考えられる。
++++

出力

図 1 BMI の概念図
Fig. 1 Schematic drawing of BMIBMI は主に肢体不自由者に向けて開発されているが、健常者の日常生活中でも、両手が塞がっている状態でさらに別の作業をしたいことが頻繁におこっている。例えば両手でものを抱えている最中に照明のスイッチを操作したい場合である。さらに、冬の日本では炬燵から離れずに可能な限りの欲求を満たそうとするために空調や AV 機器のリモコンがコタツの天板の上に散乱する事態を招いている。また、高 G 駆動を行う航空機などの高度な職能の領域でも、手を動かさずにポインティングをするインターフェイスの需要が存在する。

3. 機材と手法
3.1 機材

脳波計として g.Tec 社 (オーストリア) の g.USBAmpと g.GammaBox を使用し、これに対応する同社のアクティブ電極を使用した。ソフトウェアとして同社のP300 を使用した MATLAB/Smulink 上で実行する
図 2 システムの構成と流れの概要
Fig. 2 Orgnization of the P300 BMI system and its
system flow.

P300 スペリングアプリケーションを使用した。システムの構成と流れを図 2 に示した。電極は 8 個使用し、256Hz で測定を行った。電極貼付け位置は Fz(前頭部), Cz(頭頂部), P3, Pz, P4, PO7, POz, PO8(各オブジェクト（テレビ・電話・室内灯など）に接続可後頭部) であり、リファレンスを A2 耳で、グランド能とする「P300 刺激用発光マーカー」と「オブジェを Nz(額) にとった。

クト制御装置」を組み込んだデバイスの研究開発を行ディスプレイ表面の任意に選んだ文字に対応する箇う。特に本論文においては、三次元空間においての視所に CdS センサーを貼付け、マイコン (秋月電子製覚刺激に基づく P300 Speller システムの検証を行う

AKI-H8/3664) を介して LED を駆動し、ディスプレものである.

イの文字に対応する画素が発光したときに LED が発

2. コンセプト
このインターフェイスは、実空間のオブジェクトの光する、ディスプレイ同期型の点滅マーカーを作成した。点滅マーカーには「＋」「△」「○」の形状に LEDを配置した (図 3) 。

ポインティングを BMI を介して行うものである。空マーカーの配置は、日常環境を模するために、日常間中に点滅する発光マーカーを配置し、視覚刺激によ生活で利用する物体に貼付けた。TV、電話機、湯沸る P300 電位を分析することによりマーカーに意味付かしポットの 3 点とした。この実験ではポインティンけられているオブジェクトを選択するものである。

グの結果として実行される制御コマンド送出機能は実点滅するオブジェクトはディスプレイ上の一部のピ装されていないが、実用的なインターフェイスを実現

クセルに限らず、視野の中にほかのオブジェクトと共する際には BMI を実行するコンピュータ側から制御存していても P300 が検出できるならば、健常者にとっ信号が送られることになると考えられる。ても便利に使えるインターフェイスとなる。

P300-BMI による実空間オブジェクトのポインティング装置

れにより P300 Speller と同程度の成功確率で選択を行えることが示された。
被験者 2 は最も成功回数が多かったため、発光回数を 6 回に減らしたところ 30 試行中 25 試行で成功した。これはディスプレイを使用した場合でも達成することが困難なレベルである。
図 3 マーカーの形状
Fig. 3 Shape of the markers

表 1 30 試行中の P300-BMI 選択成功回数
Table 1 Success number of P300-BMI expeiment out of30 trials.
被験者 1

被験者 2

被験者 3

282530292419

ディスプレイ空間マーカー

5. 議論

P300 Speller はこれまで統制された環境下での実験が一般的であり、また刺激提示方法もディスプレイを使用することが一般的だった。その背後には、提示されたシグナルがなるべく「汚染」されていない状態で
図 4 実験状況
Fig. 4 Situation of experiment

あるべきという心理実験の常識があると考えられる。
しかし、人間の認知能力には頑健性があり、ユーザーが集中できている場合は周囲にあまり影響されずに刺3.2 手法激を認識できる。ディスプレイのような限定された視3 人の被験者が参加した。実験環境の状況を図 4 に野でなく、明かりのついた、無関係なオブジェクトも示した。日常環境を模するために、マーカーを貼付け多い実世界の環境でも P300Speller が同等な成功率でていないオブジェクトも配置した。

実現できたことには意味があると考えられる。

P300 Speller は文字 (マーカー) をランダムな順番で各文字一定回数 (10 回程度) 発光させ、加算平均か6. インターフェイスとしての発展ら反応の有無を求めるものである (1 章参照)。３つのインターフェイスとして実用化するには、マーカーマーカーを弁別する実験を 30 試行繰り返した。なお、の刺激の強化、出力装置の実装、センサー装着の容易ターゲットとなる文字 (マーカー) は各試行の開始時に化が要求される。

1 秒間提示される。マーカーを実空間に配置した場合

6.1 マーカー刺激の強化と比較するため、ディスプレイ上でのスペリングも同明るい部屋でも影響を受けにくくするために、発光じ条件 (発光回数) で 30 試行繰り返し、結果を比較しマーカーは明るく視認しやすい形状のものである必要た。なお、被験者ごとに P300 の出現パターンが異ながある。本研究では LED を複数使用したが、予備実るため、最初にディスプレイ上で 30 回発光する条件で験の段階では 1 個から複数にしたことで視認性が大き

8 試行実験を行い、そのデータをもとにキャリブレーくあがった。P300 Spelling の成功確率向上としてのションを行った。得られたキャリブレーションデータ寄与は不明であるが、この成功確率はユーザーの集中は被験者ごとに両方の提示方法で共通に使用した。

力の維持にかかっているため、効果はあるのではない

4. 結

果かと期待される。また、アイコンなど親しみやすい画像を構成したり小型ディスプレイを使用することにもP300 Speller および発光マーカーを使用した場合の効果があると考えられる。

選択の成功回数を表 1 に示した。1 試行あたり各マー

6.2 出力装置の実装カーの発光回数は 10 回であり、被験者ごとの試行回

本研究では刺激応答を解析した後選択されたオブ数は 30 回である。被験者数は 3 人と少ないが、t 検ジェクトに対し出力を行う機能は実装されていない。

定により有意差は見いだされなかった (p = 0.43)。こインターフェイスとして実用に供するためには必要情報処理学会 インタラクション 2011

な機能であるが、PC を分析器として使うため、そのPC から有線ないし無線のネットワーク、赤外線通信、USB 等の周辺機器用のインターフェイスそ使用してコマンドを送る機能の実装は用意である。

6.3 センサー装着の容易化
本研究で最もボトルネックとなるのがセンサーの装着である。専用のキャップをかぶり、髪の毛をかき分けて導電性のジェルを塗布して電極を装着することは慣れれば容易であるが日常生活で使うことは容易ではない。少なくともセンサーとアンプを一体化し、ワイヤレス化してヘッドホン並みのサイズにする必要があ

図 5 提案したシステムを利用したインターフェイスの概念図
Fig. 5 Conceptual pictue of an application of theproposed systemる。現在携帯可能なサイズの BMI も実現されており、アンプを小型化することで技術的には可能である。

6.4 インターフェイスとしての将来像指す。
謝辞 本研究は文部科学省科研費若手研究 (B)(22700574)、

これまでに P300-BMI は主に肢体不自由なユーザー

大阪大学グローバル COE プログラム「認知脳理解にの代替入力装置として開発されている。1) この装置の基づく未来工学創成」、科研費基盤研究 (S) (20220002)

潜在的なニーズは健常者にもあり、2 章で述べたようの助成を受けたものである。に両手が塞がっている、又は動かせない/動かしたくない状況においては有効である。図 5 にインターフェイスとしてのイメージを示した。
図ではユーザーがベッドに横たわっているが、ユーザーの状態は体を動かせないか動かしたくないかのいずれかである。手を動かさずに刺激マーカーを選択し、あらかじめマッピングされたオブジェクトに対し PCから制御信号が送信される。視覚刺激は特に後頭部の頭皮に電極を設置するため、寝た姿勢での電極接地に関わるユーザーの負担は小さいと考えられる。
日常生活中では、荷物を抱えてたり調理中に両手が塞がっていることが多い。特に後者では作業中に調味料を投入したり、レンジの火の調整をしたくなるなど、様々な自動化機器を脳波で制御できれば便利になり技能や生産性が向上する場面も少なくない。
また、自動車の運転にも BMI を適用するための研究が進展中である (例えば6) )。頭皮電極は非侵襲的であるため、健常者としても有用である。現在の BMI は時間のかかる医療機器の認定を受け、販売数も限られているために高価であるが、一般に普及すれば比較的安価になり将来的には広範に使われる可能性がある。

7. お わ り に本研究では、刺激提示部をディスプレイから実空間に分散させることで、P300 Speller をポインティング装置として使う方法を提案した。LED アレイで視覚刺激を提示する装置を実装し、実験的にその有効性を確認した。日常生活環境中での BMI を提案し、今後は出力部を作ってインターフェイスとしての実装を目

参 考文献

1) Piccione F, Giorgi F, Tonin P, et al.: P300based brain computer interface: Reliability andperformance in healthy and paralysed participants, Clin Neurophysiol, Vol. 117, No. 3, pp.
531–537 (2006).
2) Farwell LA, Donchin E.: Talking oﬀ the top ofyour head: toward a mental prosthesis utilizing
event-related brain potentials, Electroenceph
Clin Neurophysiol, Vol.70, pp.510–23 (1988)
3) Donchin E, Spencer KM, Wijesinghe R: TheMental Prosthesis: Assessing the Speed of aP300-Based Brain-Computer Interface, IEEE
Transactions on Rehabilitation Engineering,
Vol.8 No.2 (2000)
4) Fazel-Rezai, Reza Abhari, Kamyar: A comparison between a matrix-baed and a regionbased P300 speller paradigms for braincomputer interface, in 30th Annual International Conference of the IEEE Engineeringin Medicine and Biology Society, pp. 1147-50(2008)
5) L. Citi, R. Poli, and C. Cinel: Documenting, modellling and exploiting P300 amplitude changes due to variable target delays in
Donchin’s speller, Journal of Neural Engineering, Vol.7, p.056006 (2010)6) 松島寛樹, 稲垣伸吉, 鈴木達也, 早川聡一郎:ドライビングシミュレータ運転時における脳波計測とその解析:ロボティクス・メカトロニクス講演会
2009