2-1-13
聴覚注意を用いた実環境でのブレインマシンインタフェースに関する基礎検討∗☆石堂なつみ (奈良先端大), 小川 剛史, 森本 智志, 兼村 厚範, 丸山 雅紀, 川鍋 一晃 (ATR),
石井 信 (京大), 猿渡 洋, 中村 哲 (奈良先端大)

1

はじめに

Brain-Machine interface (BMI) とは，手足を使わずに，脳と外部機器を直接結ぶインタフェースである．近年注目を浴びている分野であり，脳活動デコー
ディングをはじめ， さまざまな研究が盛んに行われている [1][2]．しかし，その研究の多くが実験室などの限られた環境下で実施されたものであり，実環境で使うことのできる BMI の開発が急がれている．
一方で，非侵襲に測定できる脳活動のひとつとして脳波 (Electoroenphalogram: EEG) があげられる (脳活動計測には，頭皮や脳に直接電極を埋め込む非侵襲方式と，頭皮上に電極を設置する非侵襲方式がある [3])．中でも， 外的あるいは内的な事象に時間的に関連して生じる脳の一過性の電位変動である事象関連電位（event-related potential: ERP）の要素として，P300 という陽性の電位変化が確認されている．
これは，なんらかの感覚刺激を選択的に注意・識別させると，刺激提示後からおよそ 300 ms 後に発生するものである [4]．つまり，P300 は注意を向けている刺激が提示された時のみ発生し，注意を向けていない刺激に対しては発生しない．人々が，家電を使いたいと思う時，その家電に注意を向けることから，我々はこの P300 を用いた聴覚注意駆動の脳波を BMI に利用できないかと考えた．

2関連研究

2.1

P300 を用いた関連研究

P300 を用いた BMI の先行研究では，視覚注意を用いたものが多く，1988 年に Donchin らによって報告された P300 spreller[5] が挙げられる．これは 6 ×6 のマトリックス上にアルファベットと数字の語群が配置されており，入力したい文字の含まれる部分が発光した回数を被験者がカウントすることで P300 が発生し，さらに P300 が検出されたときに発光していた行と列の交点により入力文字を決定するというものでる．また，聴覚注意を用いた BMI の研究として，2010 年に Martijn Schreuder らが報告した，空間的な聴覚注意を用いたものがある [6]．これは，被験者の周囲に 45 °間隔で 8 個スピーカーを配置し，特定の 1 つの方位にだけ注意を向けさせ，どの方位に注意を向けていたかをデコーディングし BMI を実現するというものである．しかし，視覚注意を用いた BMIの場合，視覚刺激を被験者に提示するため，被験者の目の前に常にモニターを設置する必要があり，実環境∗での応用には携帯性に優れないなどの問題点がある．
そこで，[6] のような聴覚注意を用いた BMI の実現が期待されるのだが，[6] では被験者の周囲の決まった位置にスピーカーを設置する必要があるため，被験者の位置が固定されてしまう．

2.2

種類のことなる音刺激を用いた実環境聴覚注意駆動 BMI

以上のことを踏まえて，我々は，一つのスピーカーから種類の異なる音刺激を提示し，どの種類の音刺激に注意を向けているかをデコーディングする聴覚注意駆動の BMI を提案する．さらに，この聴覚注意駆動の BMI を実環境で実現するにあたって，実環境にある雑音にも注意を取られないような，実験デザインを考える必要がある．先行研究 [7] により，人の注意の向け易さは実験デザインの難易度に影響を受け，被験者それぞれに，難しすぎず簡単すぎない適切な難易度の音刺激を設定する必要があることがわかっている．本研究では，実験室内での BMI 実験を行った先行研究において，成績の良かった被験者に協力してもらい，実環境を模した実験施設にて行った実験結果と，実験室での結果を比較し，聴覚注意駆動 BMIの実環境での実現可能性を調査した．

3

実験手法

3.1

実験施設

実験は，実験室と BMI ハウスの 2 箇所で行った．
実験室は，外部からの雑音や電波を遮断するシールドルームである．また，BMI ハウスとは実際の生活環境を模して構築した実験施設であり，日常生活を送れるように住宅としての体裁を保ちつつ生活行動をBMI でサポートできるように各種センサとアクチュエータ (生活支援機器) を配備している (Fig. 1 参照)．

3.2

計測機器

本研究においては，実験室と BMI ハウスで異なる脳波計測器を用いた．実験室では Biosemi 製の脳波計を使用した．これは，頭皮に設置した 64 チャネルの電極から脳波を計測するものである．また，BMIハウスでは 8 チャネルの電極から脳波を計測する島津製作所製の脳波計を使用した．脳波計の電極配置を Fig. 2 に示す，国際式 10-20 法に基づいた 64 チャネルの電極配置とした． 国際式 10-20 法とは，頭皮上脳電図 (EGG: Electroenc Elphalo Graphy) 等で用いられる電極の国際基準であり，鼻根から後頭結節ま“Basic Study on Auditory ERP-Based Brain-Machine Interfacet in Real Environment,” by Natsumi
ISHIDO, Takeshi OGAWA, Satoshi MORIMOTO, Atsunori KANEMURA, Masaki MARUYAMA, Motoaki KAWANABE, Shin ISHII, Hiroshi SARUWATARI, and Satoshi NAKAMURA

日本音響学会講演論文集- 655 -2013年9月

Target beep
Other beeps
1TARGETPRESENTATION
0.5s

Fig. 1 Experimental setup in BMI house. There
was loudspeaker in front of subject who wore 8channel wireless EEG recorder during task.

Fig. 2ber).

International 10-20 System (channel num-での長さと左耳から右耳までの長さをそれぞれ 10%及び 20% を単位として電極位置を決めたものである．
被験者ごとに頭の形は異なるが，国際 10-20 法により, どの被験者に対しても毎回同じ位置で計測を行うことができる．

3.3

被験者及び実験タスク

この実験には，25 歳の健康な被験者が参加した．本
被験者は 20 年間ピアノを習うなどの音楽経験があり，絶対音感を有している．
本研究では，オドボール課題を基とするタスクを被験者に課した．オドボール課題とは，ERP の測定によく用いられる単純な刺激分類課題である．同じ刺激が繰り返し呈示される系列の中に，時々異なった刺激（オドボールとは 変わり者 の意味）が挿入される．被験者は２つの刺激を区別して，それぞれに異日本音響学会講演論文集

REST
5s

…

BLOCK

x20 BLOCKS
REST

TASK
0.6s

TASK

5s
…

…

…

5 times

15 times

Fig. 3Timeline used in experiment

N times!

なった反応をする．本実験では，261.6 Hz (音程 C3)，329.7 Hz (音程 E3)，392.0 Hz (音程 G3) という，異なる周波数の正弦波を刺激音として用いた．そして，そのうち一つを目標刺激，その他を非目標刺激として被験者にランダムに提示し，被験者には目標刺激のみの出現回数を数え上げ，他は無視するという課題を課した．実験のタイムラインを Fig. 3 に示す．被験者は，最初の 5 回の目標刺激提示で，目標音を記憶し，各ブロックで 15 回，ランダムに提示される音刺激のうち，目標刺激のみを数えレスト中にその回数を報告する．なお，目標刺激の出現頻度は各ブロッ
クとも 30% とした．

4解析手法

4.1

前処理

ERP が低周波成分で構成されていることから，高周波成分を除去する目的で，1 次の Butterworth バン
ドパスフィルタ (通過帯域 0.2〜30 Hz) をかけた．そして，試行毎に刺激音提示開始時刻を 0 s として，0s 〜600 s のデータを 1 試行分として切り出した．また各試行において，Fig. 2 に示す Fp1 や Fp2 などの前方の電極で± 50 µV 以上の電位変化を計測したとき，その試行は瞬きなどのアーティファクトに影響されているとして，試行数から除外した．
4.2

加算平均波形ERP は，背景脳波に比べて振幅が小さいため，一試行ごとに観察するのは難しい．そこで，多数の試行で得られた脳波データを事象の生起時点にそろえて加算平均するという方法を行う．この加算平均法により，事象とは時間的に無関係に生じる背景脳波を相殺し，検討したい事象に関連した電位を抽出することができる．なお，P300 に関連した BMI 研究で，電極Pz にて，最も P300 が観測されやすいとされている．
Figure 4 に，実験室でのオドボール課題時の Pz の加算平均波形を，Fig. 5 に BMI ハウスでの加算平均波形を示す．Figures 4, 5 のキャプション中に示す
Accuracy of subject’s performance は，オドボー
ル課題において被験者がどれくらいの正答率で目標音を数えられたかを示している．
Figure 4 を見ると，実験室で行った実験では，どの- 656 -

2013年9月

音に注意を向けている場合でもはっきりとした P300を確認できた．しかし Fig. 5 において，BMI ハウスで行った実験では，はっきりとした P300 を確認できなかった．しかし Fig. 5 (b) において，sine 329.7 Hzの音に注意を向けている時の加算平均波形には，微弱であるが P300 を確認できた．また Accuracy ofsubject’s performance に関して，被験者は実験室においても，BMI ハウスにおいても高いパフォーマンスを維持した．

4.3

5識別結果

5.1

シングルチャネル識別結果

実験室と BMI ハウスで得られた脳波形それぞれに対して，加算平均回数を 20 及び 50 としたときのシングルチャネル識別結果を Table 1 に示す．今回は，目標刺激と，非目標刺激の 2 クラス問題のため，チャンスレベルは 50% である．Table 1 より，実験室で得た脳波形は，シングルチャネルでも十分注意音をデコードできるだけの識別能力があることがわかった．
一方で，BMI ハウスで得られた脳波形からの識別率は高いもので 70% を超えない程度にとどまり，シングルチャネルでの BMI への適用は難しいということが示唆された．
マルチチャネル識別結果

実験室と BMI ハウスで得られた脳波形それぞれに対して，加算平均回数を 20 及び 50 としたときのシングルチャネル識別結果を Table 2 に示す．実験室での結果は，50 回の加算平均でどの音刺激に対しても100% に近い非常に高い識別率を得た．また，BMI ハウスにおける結果も，シングルチャネルと比較すると大きく向上した．

日本音響学会講演論文集

Single-channel classiﬁcation result

In experimentalroom
In BMI house

Table 2

Linear Discriminant Analysis によるクラス識別

EGG のクラス識別は，Linear Discriminant Analysis を用いて行った．シングルチャネルとマルチチャネルでそれぞれで，注意音と非注意音を 2 クラスに分離するクラス識別を行い，どの音に注意を向けていたかをデコードした．特徴量には，シングルチャネル識別では P300 成分がもっともよく現れると考えられる，Pz の刺激提示後 300〜500 ms のデータの平均値を用
い，マルチチャネル識別では，FC3，C3，CP3，Pz，FC4，Cz，C4，CP4 のそれぞれの刺激提示後 300〜500 ms のデータの平均値を特徴量として用いた．また， 評価については得られたデータ数 N のうち (N1)/N のデータを識別器構築に使いつつ，全データを性能の評価に使う LOO 法 (leave-one-out-method) を採用した．さらに評価に使用するデータは，計測データからランダムに抽出し，組み合わせることで，限られたサンプル数を最大限に使用する工夫を加えた．

5.2

Table 1

Attended
to C3

Attendedto E3

Attended
to G3

20-trial average

0.78

0.78

0.74

50-trial average

0.97

0.82

0.87

20-trial average

0.57

0.68

0.53

50-trial average

0.67

0.74

0.61

Multi‐channel classiﬁcation result

In experimentalroom
In BMI house

6

Averaging times

Averaging times

Attended
to C3

Attended
to E3

Attended
to G3

20-trial average

0.82

0.92

0.89

50-trial average

0.98

0.92

1.00

20-trial average

0.67

0.76

0.72

50-trial average

0.87

0.95

0.86

考察

実験室でおこなった実験と，BMI ハウスで行った実験の加算平均波形を比較すると，ERP の出方に大きな違いがあった．一方で， Accuracy of subject’s
performance は実験室，BMI ハウス共に高い数値を維持しており，被験者 A が目標音に正しく注意を向けていたことが分かる．このとから，計測器の違いが脳波の計測結果に大きな影響を与えたと考えられる．
これは，脳波形の電極数が 64 チャネルと 8 チャネルで大きく異なることに由来し，電極数が多い方がより正確に基準電位を算出でき精度よく脳波を計測できるからである．また，注意音をデコードする識別結果
は，実験室，BMI ハウスの双方で，シングルチャネ
ルよりマルチチャネルの方が高い識別結果となった．
これは，P300 検出されやすいと言われる Pz や C ｚ以外のチャネルでも，今回特徴量として使用した刺激
提示後 300 ms 〜500 ms の区間で，非注意音に比べ，注意音に対して正の電位変化を取る傾向がではないかということが考えられる．またマルチチャネル識別を行うことで BMI の精度が大きく向上したことから，実環境の様々なノイズに耐えうる BMI を構築するにあたって，マルチチャネルの有意性が示された．

7

まとめ

本研究では，脳波計測実験を実験室と BMI ハウスで行うことで，聴覚注意駆動 BMI の実環境での実現可能性を検証した．ここでは，一つのスピーカーから異なる 3 種類の刺激音を鳴らすという実験を行い評価を行った．得られた結果より，マルチチャネル識別を行うことで BMI 精度に向上が見られ，実環境における聴覚注意駆動 BMI の実現可能性が示唆された．

参考文献[1] B. Blankertz, S. Lemm, M. Treder, S. Haufe,
Klaus-Robert Muller, ”Single-trial analysis andclassiﬁcation of ERP components - A tutorial,”
NeuroImage, vol.56, pp.814–825, 2011.

- 657 -

2013年9月

Fig. 4 Subject A’s averaged EEG in experimental room. (a) shows averaged EEG when subject attended
to 261.6 Hz (C3 pitch) sine wave, where accuracy of subject’s performance is 88%. (b) shows averaged EEG
when subject attended to 329.7 Hz (E3 pitch) sine wave, where accuracy of subject’s performance is 98%. (c)shows averaged EEG when subject attended to 392.0 Hz (G3 pitch) sine wave, where accuracy of subject’s
performance is 88%.

Fig. 5 Subject A’s averaged EEG in experimental room. (a) shows averaged EEG when subject attended
to 261.6 Hz (C3 pitch) sine wave, where accuracy of subject’s performance is 100%. (b) shows averaged
EEG when subject attended to 329.7 Hz (E3 pitch) sine wave, where accuracy of subject’s performance is100%. (c) shows averaged EEG when subject attended to 392.0 Hz (G3 pitch) sine wave, where accuracy ofsubject’s performance is 100%.

[2]

J. R. Wolpaw, N. Birbaumer, D. J. McFarland, G. Pfurtscheller, T. M. Vaughan, ”Braincomputer interfaces for communication and control,” Clinical Neurophysiology, vol.113, pp.767–791, 2002.
[3] M. Kogure, M. Ebisawa, S. Yano, S. Matsuzaki,and Y. Wada, ”Estimation of human’s chosen direction using auditory-evoked event-related potentials,” IEICE Technical Report, no. NC 2010–152, 2011.
[4] J. B. Fritz, M. Elhilali, S. V. David and S.
A. Shamma, ”Auditory attention -focusing thesearchlight on sound,” Current Opinion in Neurobiology, vol.17, pp.437–455, 2007.

日本音響学会講演論文集[5] L. A. Farwell and E. Donchin, ”Talking oﬀ thetop of of your head: toward a material prosthesis utilizing event-related brain potentials,”
Electroencephalography and Clinical Neurophysiology, vol.70, pp.510-523, 1988.
[6] M. Schreuder, B. Blankertz, M. Tangermann, ”A
new auditory multi-class brain-computer interface paradigm: spatial hearing as an informativecue,” PLoS ONE, vol.5, issue 4, 4e9813, 2010.
[7] N. Ishido, T. Ogawa, S. Morimoto, A. Kanemura, M. Maruyama, M. Kawanabe, S. Ishii,
H. Saruwatari, S. Nakamura, “Basic Study on
Auditory ERP-Based Brain-Machine Interface,”
IEICE Technical Report, vol.113, EA2013-42,
pp.51-56, 2013.

- 658 -2013年9月