3-2-4
脳活動の空間性と時間性に着目したEEG可聴化 *	 ☆加庭輝明（筑波大），寺澤洋子（筑波大，JST さきがけ），松原正樹，	  	  	  	  	  	  	  	  	 Tomasz M. Rutkowski，牧野昭二（筑波大）	 
1

はじめに	  データ可聴化とは，本来音でないデータを非言語音に変換しデータ観察を行う方法であり，視覚障害者への支援や，データのモニタリングなどに応用されている[1]。データ可聴化において脳波（Electroencephalogram：EEG）の可聴化はいくつか事例があるが，その殆どの例は，てんかんをはじめとする脳機能異常の診断あるいは病状の把握など，臨床での応用を目指したものである[2,3]。本研究では，こういった特殊な事例ではなく，健常者にも起こりうる反応であり，ブレイン・マシン・インタフェース（BMI）の制御への利用が検討される定常状態誘発反応[4]の可聴化を目指している。可聴化を用いる事で，定常状態誘発反応の発生および伝搬のプロセスの理解を図ることが本研究の目標である。	  我々はこれまでにコヒーレンス解析を用いた可聴化手法を提案し，定常状態誘発反応の発生や伝搬方向の識別に可聴化が有用であることを示した[5,6]。本稿では新たに空間性と時間性に着目した可聴化を提案する。刺激周波数と同じ周波数の脳活動が発生するという定常状態誘発反応特有の性質に着目し，その周波数帯域のスペクトル情報を基に可聴化を行う。その際に，正規化によって注目したいデータの性質を明確にし，ユーザーにとって認知的負荷の低い情報提示を目指す。

2背景

2.1 定常状態誘発反応	  定常状態誘発反応とは，短い間隔刺激を 5〜50Hz 程度の周波数で繰り返し提示することで，脳内で刺激に対するリズム同調が起こり，提示された刺激と同じ周波数（刺激周波数）で脳活動が現れる現象である。この反応
は，視覚刺激ならば定常状態視覚誘発電位（SSVEP：Steady-State Visually Evoked Potential ）， 音 刺 激 な ら ば 聴 性 定 常 誘 発 反 応(ASSR：Auditory Steady-State Response)と呼ばれる。これらの反応は非常に安定して観察されるため，BMI や聴覚検査などに応用されている。しかし，観測される信号は微細電位であるため，反応を検出するには何回もの測定を繰り返し，観測データに対して加算平均を取る必要がある。また，脳全体で強い同調が起こるため，局所的な活動に分解することが難しく，どの部位で発生し，どのように伝搬されていくか，といった時間的なプロセスの詳細が未だに明らかになっていない。
2.2 定常状態誘発反応の可聴化の意義	  可聴化の特徴や利点は，Kramer の”AuditoryDisplay”[7]にまとめられている。その中から一部を抜粋し，表 1 に示す。本研究では，定常状態誘発反応の発生と伝搬のプロセスに焦点を当てている。このプロセスを解明するた
めには，時間精度が非常に高い EEG を利用する必要がある。EEG で得られる観測信号は脳の各部位からの混合信号であり，また，観測するチャンネル数は膨大となる。そのため，混合信号のチャンネル間でどのような時間遅延や位相差，相関が見受けられるか，を検討することが困難となる。このような検討のためには，視覚的な表現よりも，位相差や遅延，混合信号に強い聴覚的な表現を用いる方が適切である。表 1 で示した通り，ヒトの聴覚は時間変化に鋭敏であり，複数の情報を並列に処理する能力に長けているため，EEG の可聴化は，新たな洞察・知見を与える大きな可能性があると考える。
2.3 コヒーレンス解析を用いた可聴化の課題	  研究ではこれまでにコヒーレンス解析を用*EEG steady-state response sonification focused on the spatiality and temporality property, by KANIWA, Teruaki1, TERASAWA, Hiroko12, MATSUBARA, Masaki1, TOMASZ M. Rutokowski1,MAKINO, Shoji1 (1University of Tsukuba, 2JST PRESTO).

日本音響学会講演論文集- 1431 -2013年9月

いた可聴化手法を提案し，定常状態誘発反応に対する有用性を示した[5,6]。しかしながら，コヒーレンス解析を用いた可聴化では，定常状態誘発反応とは関係ない広い周波数帯域でコヒーレンス解析を行い，情報の提示に用いていた。そのため，受聴者にとって処理する情報が多く，認知的負荷の大きい可聴化であるといえる。また，アンケート調査を行った
結果，実験の参加者が「音像定位が難しい」と感じていることがわかった。これは，単一の周波数成分しか持たない正弦波によって音合成を行っていたことが原因であると考える。
そして，マルチチャンネル音響による音の提示は，音像定位を容易にさせる反面，再生環境に制限を与え，モニタリングなどの実環境には適していないといえる。
Table 1 Benefits of Auditory Display1
特徴
利点 / 応用例
視覚観察と組み合わせた	 
視覚を	  	  	  	 モニタリング,奪われない
視覚障害者支援
迅速検出
モニタリング
着目する領域のデータ調査,方向付け
注目する特徴の示唆
バックグラン
大規模なデータセットの	 ド処理モニタリング・探索
高次元システム,パラレル	  	  	  	 複数プロセスの監視,リスニング
複数データセットの比較
時刻列データ,高時間分解能広いダイナミック·レンジ
学習がしやすい，情動反応
大量の情報調査
データ全体の関係や傾向の多次元情報の洞察,表現
データ中のイベントや状態の選出

EEG

STFT 

Fig.1 The flow of proposed sonification method.
目する。まず，脳波信号に短時間フーリエ変換（short-time Fourier transform：STFT）を行い，刺激周波数に対応する周波数ビンのスペクトル情報を抽出し，それを基に音合成を行う。またその際に，正規化によって注目するデータの性質を明確にし，ユーザーにとって認知的負荷の低い情報提示を行う。
3.1 刺激周波数ビンの抽出	  まず，入力された EEG に対して STFT を行
い，信号のスペクトログラムを求める。求められたスペクトログラムから，刺激周波数に対応する周波数ビンを抽出し，それを基に音合成を行う。提案手法は定常状態誘発反応に関連した情報のみを提示するため，ユーザーにとっては処理する情報の少なく，認知的負荷の低い可聴化となる。次式に，チャンネルi における刺激周波数に対応する周波数ビンk0 のパワースペクトルを示す。ここで，xi はチャンネル i の脳波信号，N は STFT の窓幅である。
nXik0 [n] =3∑xi [m]e− j(2π)k0 mN(1)m=n−N+1

空間性と時間性に着目した可聴化	  コヒーレンス解析を用いた可聴化の課題の解決を目指し，新たな可聴化手法として，空間性と時間性に着目した可聴化を提案する（以後，提案手法）。可聴化の流れを図 1 に示す。提案手法では，刺激周波数と同じ周波数帯域で定常状態誘発反応が発生する性質に着1	  また，コヒーレンス解析を用いた可聴化では，解析する2組の脳波計測チャンネルの中間位置を3次元音響空間での音像位置に関連づけて スピーカーを設置し，可聴化音の提示を行っていた。そのため，マルチチャンネルを用いても，局所的な脳波計測位置の情報を反映することが出来なかった。それに比べ，提案手法では1つ1つのEEGチャンネルの情報を文献[7]より引用（著者らによる翻訳）。

日本音響学会講演論文集- 1432 -2013年9月

この正規化では，チャンネル間のパワーの比率が保存され，その情報が音に反映されるため，データの持つ空間的性質に着目できることが利点である。しかし，平均パワーが低いチャンネルでは，たとえ定常状態誘発反応が起こっている場合でも，時間変化の様子がわかりづらいという問題もある。チャンネル間の正規化の例を図 2 に示す。

Channel'2








 

Fig.2 The normalization focused on thespatiality property.
Channel'1




 Channel'2



3.2.2	  周波数ビン内の正規化	 	  周波数ビン内の正規化では，それぞれのチャンネルごとの刺激周波数ビン内の最大振幅

日本音響学会講演論文集



(2)

Channel'1

- 1433 - 

X ik0 [n] = Xik0 [n] / X max(3)

この正規化では，周波数ビン内の平均パワーの大小に関わらず，信号の時間変化に着目することが利点である。しかし，定常状態誘発反応が起こっていない時でも，正規化後のスペクトルが高い値となってしまい，定常状態誘発反応の識別の妨げとなってしまう問題もある。周波数ビン内の正規化の例を図 3 に示す。

3.2.1	  チャンネル間の正規化	 	  チャンネル間の正規化では，全チャンネルにおける刺激周波数ビン中の最大振幅値を用いて，時間領域でそれぞれのチャンネルのパワースペクトルを除算することで正規化を行う。正規化後のパワースペクトルは次式で与えられる。ここで，Xmax はチャンネル間の最大振幅値である。

X ik0 [n] = Xik0 [n] / Xi,max

3.2 正規化	  正規化とは，データを一定のルールに基づいて変形し，利用しやすくすることである。
本研究では，脳波信号のパワースペクトルの最大振幅値を求めて二種類の正規化を提案する。データの空間的性質（脳活動がどの部位で起こるのか）に着目するのか，時間的性質（どのようなタイミングで脳活動が起こるのか）に着目するのか，着目したい性質によって正規化の方法を変化させ，着目したいデータの性質を明確にすることがねらいである。
また，正規化によって，データの値が 0 から1 の範囲に限定されるため，特徴量を音合成パラメータと対応づけ，複数のデータ間での違いを音の違いに置き換えることが容易となる。正規化の種類は「チャンネル間の正規化」，「周波数ビン内の正規化」の 2 種類に分けられる。

値を用いて，時間領域でそれぞれのチャンネルのパワースペクトルを除算することで正規化を行う。正規化後のパワースペクトルは次式で与えられる。ここで，Xi,max はチャンネルi の周波数ビン内の最大振幅値である。

用いて，それぞれのチャンネルごとに音合成を行うため，より脳波計測位置を反映した空間情報の提示が可能になる。このことから，提案手法は定常状態誘発反応の発生と伝搬プロセスの分析に適していると考える。

  Fig.3 The normalization focused on thetemporality property.

2013年9月

3.3 音合成
3.3.1	 パルス波を用いた Parameter	 Mapping	 	  正規化されたパワースペクトルの値はパルス波の周期にマッピングされる。次式にスペクトルとパルス周期の対応関係を示す。ここで，fm はパルス波の周期，fmax はパルス波の最大周期である。パルス波の周期はパワースペクトルの値に応じて，0 から fmax [Hz]の範囲で変調される。

fm [n] = fmax X ik0(4)パルス波は間隔が十分に長いと，その間隔の「長短」として知覚されるが，ある程度短い周期になると連続音として聴こえ，ピッチの「高低」として知覚される特性を有している。
提案手法では，この特性を利用して定常状態誘発反応の知覚を促している。誘発反応が起こっていない，あるいは反応の強さが弱い場合，ユーザーは周期間隔の長いパルス音を聴くことになる。それに対して，誘発反応が起こっている場合，あるいは強い反応が起こっている場合，ユーザーはピッチを感じさせるパルス音を聴くことになる。このような知覚特性の違いから，誘発反応の発生や，反応の強さを直観的に理解することが可能となる。
また，パルス波は正弦波に比べて広い周波数成分を持っているため，従来手法と比べて音像定位精度の向上が期待できる。
3.3.2	 アンビソニックによる音の提示	 	  提案手法ではアンビソニック[8]を用いて，2 チャンネルステレオ（ヘッドフォン）での可聴化音の提示を行う。アンビソニックとは，音の方向性再現を目的とした収音−再生モデルである。当初，モデルの研究が先行し，その理論背景が不明確であったが，近年になり，受音点における音の物理量の再現方式として定式化されるようになった。特に，球面調和関数の導入によって，三次元音場の表現や再現が可能な三次元アンビソニックが理論化されている。アンビソニックを用いることで，2チャンネルステレオにおいても音の方向性の再現が可能になる。そのため，マルチチャンネル音響のような再生環境の制限が無くなるため，より実環境に適した可聴化システムが実現可能となる。

日本音響学会講演論文集

4

まとめと今後の課題	  空間性と時間性に着目した定常状態誘発反応の可聴化手法を提案した。提案手法では，誘発反応が刺激に対応した周波数で発生する性質に着目し，その周波数帯域のスペクトル情報を基にした可聴化を行っている。その際に，正規化によって注目したいデータの性質を明確にすることで，ユーザーにとって認知的負荷の低い情報提示を目指している。	  今後は定常状態誘発反応を観測したデータに対して提案手法を適用した聴取実験を行う予定である。誘発反応の発生や伝搬プロセスの識別に対する提案手法の有効性を確かめたい。
謝辞
本研究は，科学技術振興機構（JST） 戦略的創造研究推進事業 さきがけの支援により実施されている。
参考文献[1] Hermann T et al, Sonification Hand Book,
Logos Publishing House, 2011.
[2] Hermann T. et al, Vocal Sonification ofPathologic EEG Features, ICAD, 158-163,
2006.
[3] Baier G. et al, Event-based sonification of
EEG rhythms in real time, Clinical Neurophysiology, 118(6), 1377-1386, 2007.
[4] Picton T.W. et al, Human auditory
steady-state responses, International Journalof Audiology, 42 (4), 177-219, 2003.
[5] 加庭ら, コヒーレンス解析を用いた定常状態誘発反応の可聴化, 日本音響学会
2012 年秋季研究発表会講演論文集,
2-10-1 (2012).
[6] Teruaki K. et al, EEG Steady State Synchrony Patterns Sonification, APSIPA,
2012.
[7] Kramer G., Auditory Display: Sonification,Audification, And Auditory Interfaces,
Westview Press, 1994.
[8] 安藤彰男, 高臨場感音響技術とその理論,
IEICE Fundamentals Review, 3(4), 33-46,
2010.

- 1434 -2013年9月