2-10-1
コヒーレンス解析による定常状態誘発反応の可聴化*	 

☆加庭輝明 1，寺澤洋子 1，2，松原正樹 1，Tomasz M. Rutkowski1，牧野昭二 1（1 筑波大， 2 JST さきがけ）	 
1

はじめにデータ可聴化（本来，音でないデータを音に変換しデータ観察を行う方法）[1,2]において脳波（EEG）の可聴化はいくつか事例があるが，その殆どの例は，てんかんなどをはじめとする脳機能異常の診断あるいは病状の把握など，臨床での応用を目指したものである[3-5]。本論文では，こういった特殊な事例ではなく，健常者にも起こりうる反応であり，ブレインコンピュータインタフェース（BCI）の制御に利用される定常状態誘発反応[6]の可聴化を目指す事とした。可聴化を用いる事で，定常状態誘発反応の発生および伝搬のプロセスの理解を図ることが狙いである。本稿
では定常状態誘発反応の同調性に着目し，時系列データ間の関連度合を表すコヒーレンス解析を用いることで，EEG のチャンネル間の関連度合を反映した可聴化を行った。

2可聴化手法とその背景	  本研究ではコヒーレンス解析を用いた定常状態誘発反応の可聴化手法を提案する。図１
で示すように，脳波のデータ処理（定常状態誘発反応のコヒーレンス解析）を数値計算に特化した MATLAB で行い，その処理情報を反映した可聴化（overtone mapping による振幅変調）を音響合成用プログラミング言語である SuperCollider で行っている。また，求められるコヒーレンスの数に対応したマルチチャンネルの空間音響により音の提示を行っている。
2.1 定常状態誘発反応	  常状態誘発反応とは，短い間隔刺激を 5〜50Hz 程度の周波数で繰り返し提示することで，脳内でリズム同調が起こり，提示された刺激と同じ周波数で脳活動が現れる現象である。この反応は，視覚刺激ならば定常状態視覚誘発電位（SSVEP：Steady-State Visually

刺激

分析 (MATLAB)

脳波

コヒーレンス解析
Coh12

Coh13

Coh n-1n．．．

OSC 通信聴取可聴化 (SuperCollider)
．．．

#n
#3．
．
．

#n#3．
．
．

#n．．．#3

#2

#2

#2

#1

#1

#1．
．
．

Fig. 1 The flow of sonification
Evoked Potential），音刺激ならば聴性定常誘発反応（ASSR：Auditory Steady-State Response）と呼ばれる。これらの反応は非常に安定して観察されるため，ブレインインターフェースや聴覚検査などに応用されている[7]。しかし，脳全体で強い同調が起こるため，局所的な活動に分解することが難しく，どの部位で発生し，どのように伝搬されていくか，といった時間的なプロセスの詳細が未だに明らかになっていない。
2.2 コヒーレンス解析	  コヒーレンス解析は，2 つの時系列データ間の相関具合を周波数ごとに解析する手法である。コヒーレンスは 0 から 1 までの値を取り，0 の場合全く相関がなく，1 の場合完全な相関がある。EEG のチャンネル間の相関を調べるためにコヒーレンス解析を用いた研究例がいくつか報告されており，脳波解析にコヒーレンスを用いることの有効性が示されている[8]。	  コヒーレンスは 2 組の時系列データ間のクロススペクトル密度と，それぞれの時系列デ*

Sonification of steady-state response using coherence analysis, by KANIWA, Teruaki1, TERASAWA,Hiroko2, MATSUBARA, Masaki1, TOMASZ M. Rutokowski1, and MAKINO, Shoji1 (1University ofTsukuba, 2JST PRESTO).

日本音響学会講演論文集- 915 -2012年9月

ータのパワースペクトル密度によって求められる。信号 x(t) のパワースペクトル密度 Sxx(f)は以下の式より求まる。
∞

Sxx ( f ) = ∫ Rxx (τ )e− j 2 π f τ dτ(1)−∞また，信号 x(t)，信号 y(t) 間のクロススペク
トル密度 Sxy(f) は以下の式より求まる。
∞

Sxy ( f ) = ∫ Rxy (τ )e− j 2 π f τ dτ

(2)

−∞

実際のスペクトルでは f > 0 とするので，∞

G( f ) = 2S( f ) = 2 ∫ R(τ )e− j 2 π f τ dτ (3)−∞とする。ここで，G(f) を片側スペクトル，S(f)を両側スペクトルという。これより，コヒーレンス γ2xy(f) は以下の式にて求められる。	 
2xy

γ (f)=

Gxy ( f )2Gxx ( f )Gyy ( f )0≤ γ xy2 ( f ) ≤ 1(4)2.3 合成手法	  相関のあるマルチチャンネルの時系列信号から聴覚ゲシュタルト（組織化された音像）を生成する方法として，脳波信号の変動を倍音の振幅にマッピングする overtone mappingという手法が筆者らによって提案されている[9]。本研究ではこの手法を利用し，時系列信号間のコヒーレンスを倍音の振幅にマッピングした。合成の基本的な仕組みは次の様になる。まず基本周波数を決定し，それからコヒーレンスの周波数ビンと同じ数のハーモニクスを持つ，正弦波の倍音列を生成する。信号のチャンネルと各倍音を対応させ，n 番目の周波数ビンのコヒーレンスの変動によって n番目の倍音の振幅変動を行っている。相関の高い周波数ビンに対応する倍音は強く，相関の低いビンに対応する倍音は弱く聞こえ，コヒーレンスの変化が音色変化となる。	  SuperCollider では OSC（OpenSoundControl）
通信により MATLAB から送られた倍音の振幅値を用いて，上記の手法により音合成を行っている。MATLAB では，入力された EEGの特定のチャンネル間の組み合わせでコヒーレンスをフレームごとに求めている。求められたコヒーレンスは以下の式によって，上記で述べた overtone mapping における倍音の振幅に変換される。

A = 10
日本音響学会講演論文集

α (γ 2xy ( f )−1)/20

す。式(5)によって，0 から 1 の範囲で変化するコヒーレンスが，-αdB から 0 dB の範囲で変化する振幅値に変換される。

3定常誘発反応への適用

3.1 データと実装	  今回の可聴化には，LED を点滅させた時のSSVEP 反応を含む 4 チャンネル EEG データを利用し，４組のコヒーレンスを求めた。データ長は約 10 秒間であり，0.5 秒から約 6 秒間 SSVEP 反応が見られる。	  音合成で用いた各コヒーレンスに対応した倍音列の基本周波数および MIDI ノート番号を表 1 に示す。また，各合成音は図 2 に示す出力チャンネルから再生される。（コヒーレンス Coh の添字は EEG チャンネル間の組み合わせを示す）。基本周波数は聴取者に不快感を与えないように考慮し，音が重なった時に不協和音にならないように設定した。
Table 1 The mapping method of coherence
Coherence
Fundamental
MIDI note No.
frequency [Hz]Coh1213048
Coh13
16452
Coh2419555
Coh3423358
Coh12１r = 1.5mθ = 90°
Coh13

Coh24

２３４

Coh34

Fig. 2 The environment of hearing the sound
3.2 評価実験	  第２節で提案した手法について評価実験を行った。被験者は，20 代前半の男性 4 名および女性 2 名であり，聴力，発話に関する病歴のない健常者である。被験者には文章にて実験参加の同意を得た後，実験を行った。また，評価実験は筑波大学生命領域学際研究センター内のスタジオで行った。

(5)- 916 -

2012年9月

日本音響学会講演論文集のアンケート調査を行った。質問は以下の通りで、評価尺度は前述のアンケートと同様である。
A. 可聴化音の聞き心地はどうだったか？
B. 可聴化による SSVEP の発生と伝搬の様子はわかりやすかったか？
3.3 実験結果
3.3.1 SSVEP の同定実験	  図 3 にコヒーレンスの平均値および被験者が回答した区間を示す。また、アンケートの結果を表 2 に示す。被験者が回答した区間の全てで，コヒーレンスの平均値が最も大きくなる区間を含んでいることがわかる。また，被験者が回答した区間のばらつきは小さかった。この区間では定常状態誘発反応の特徴である強い同調反応が脳全体で起こっており，被験者は SSVEP を可聴化音によって同定できたといえる。	  また，被験者が判断する SSVEP の「始まり」と「終わり」の各瞬間に対応するコヒーレン
スを観察すると，コヒーレンスの値が非対称であることが観察された。多くの被験者がコヒーレンスの値が 0.5 から 0.6 へ上がる間にSSVEP が始まったと回答したのに対して，0.3から 0.2 に下がる間に SSVEP が終わったと回答している。これはコヒーレンスが立ち上がりでは段々と大きくなるのに対して，立ち下がりでは急激に変化していることが原因だと考えられる。
0.9

StartEnd

Start

End

Start

End

0.80.760.550.440.3

3Coherence

0.6

0.220.1

1002.55Subject

3.2.1 SSVEP 同定実験とアンケート	  この実験では可聴化音から定常状態誘発反応（SSSVEP）を同定できるかを確かめる。
被験者は可聴化音を聴取し，ストップウォッチを実装したインターフェースを介してSSVEP が出ていると思われる区間を回答する。実験を開始する前には，実験には使用しないデータを用いて，SSVEP がどのような音となって聞こえてくるかを被験者に確認してもらった。実際の実験で提示する可聴化音は
約 35 秒で，3.1 で示したデータを 3 回繰り返して生成した音である。	  また，実験を終えた被験者に対して，5 段階評価のアンケート調査を行った（評価点 1は「悪い」，評価点 5 は「良い」に対応する）。
質問は以下の通りである。
A. 可聴化音の聞き心地はどうだったか？
B. 可聴化による SSVEP の同定はわかりやすかったか？
3.2.2 SSVEP の発生と伝搬の同定実験
3.2.2.1	  2 チャンネルスピーカーによる聴取	  4 つの EEG チャンネルのうち１つのチャンネルの振幅を 0 にすると，出力されるコヒーレンスは 2 組になる。被験者はその 2 組のコヒーレンスから生成される倍音列がどのスピーカーから，どのような順番で鳴ったかを回答する。可聴化音の提示は全部で 32 回行い，1 回ごとに 3 秒の無音区間を挟んだ。また，毎回 EEG チャンネルの組み合わせを変えることにより，発生位置と遷移の様子をランダムに変化させた。実験を開始する前には，可聴化音を繰り返し提示し，音の発生と伝搬の様子を被験者が納得するまで確認してもらった。
3.2.2.2	  4 チャンネルスピーカーによる聴取	  被験者は 4 組のコヒーレンスから生成される倍音列がどのスピーカーから，どのような順番で鳴ったかを回答する。可聴化音の提示は全部で 24 回行い，1 回ごとに 3 秒の無音区間を挟んだ。また，毎回 EEG チャンネルの組み合わせを変えることにより，発生位置と伝搬の様子をランダムに変化させた。実験を開始する前には，可聴化音を繰り返し提示し，音の発生と遷移の様子を被験者が納得するまで確認してもらった。
3.2.2.3	  アンケート	  実験を終えた被験者に対して，5 段階評価

7.5 10 12.5 15 17.5 20 22.5 25 27.5 30 32.5 35

Time[sec]

Fig. 3 The detection of SSVEP
Table 2 The result of questionnaire survey（experiment 1）
AB
質問事項4.3
4.5
評価の平均値
3.3.2 SSVEP の発生と伝搬の同定実験	  2 チャンネルおよび 4 チャンネルスピーカ- 917 -

2012年9月

ーの聴取実験における被験者の正答率の平均値を表 3 に示す。2 チャンネル時の被験者の正答率の平均値が 87%だったのに対し，4 チャンネル時では 69%と 20%近く正答率の平均値が低下した。	  また，アンケートの結果を表 4 に示す。聞き心地については実験 1 と同等の評価がなされているのに対し，定常状態誘発反応の発生と伝搬のわかりやすさについては「ややわかりにくい」と被験者が感じている傾向にある。
また，正答率が 2 チャンネルと 4 チャンネルを通じて 100%だった被験者が「ややわかりにくい」という回答をしていた事に違和感を感じた。そこで，定常状態誘発反応の発生と伝搬のわかりやすさのアンケート評価と正答率（4 チャンネル）の関係を調べた（図 4）。
被験者は同定実験では実際に正答している割合が高いにも関わらず，アンケートではわかりくいと回答する傾向にある。つまり，定常状態誘発反応の同定タスクの実際の正答率（データの正確さ）と，タスクのわかりやすさの主観評価（本人が感じる正確さの印象）は，必ずしも対応しないと言える。
Table 3 The accuracy of the detection of the occurrence and the transmission of SSVEP
2ch
4ch
聴取環境
87%
69%
正答率の平均値
Table 4 The result of questionnaire survey（experiment 2）
AB
質問事項
4.5
2.7
評価の平均値

Fig. 4 The relationship between the accuracy andthe comprehensibility

4

まとめと今後の課題	  本研究では定常状態誘発反応の同調性に着目し，時系列データ間の関連を表すコヒーレンス解析を用いて，EEG のチャンネル間の関日本音響学会講演論文集連を反映した可聴化を行った。	  提案手法を評価するため，定常状態誘発反応の同定に関する実験と，その発生と伝搬の識別に関する実験を行った。その結果，定常状態誘発反応同定の正確さと，音のわかりやすさの評価には必ずしも対応関係がないことがわかった。	  今後は定常状態誘発反応の発生と伝搬の識別精度をどのように向上させるかが課題である。また，データのチャンネル数を増やし，3次元音響空間での可聴化を実装する。それにより局所的な脳活動の表現を向上させ，定常誘発反応の発生と伝搬の時間的プロセスの解析に取り組んでいきたい。
参考文献[1] Hermann T et al, Sonification Hand Book,Logos Publishing House, 2011.
[2] Barrass S. and Kramer G., Using sonification, Multimedia Syst., 7 (1), 23-31, 1999.
[3] Hermann T. and Ritter H., Listen to yourData: Model-Based Sonification for Data
Analysis, Advances in intelligent computing
and multimedia systems, 189-194, 1999.
[4] Hermann T. et al, Vocal Sonification of
Pathologic EEG Features, ICAD, 158-163,2006.
[5] Baier G. et al, Event-based sonification of
EEG rhythms in real time, Clinical Neurophysiology, 118(6), 1377-1386, 2007.
[6] Picton T.W. et al, Human auditory
steady-state responses, International Journalof Audiology, 42 (4), 177-219, 2003.
[7] 木村ほか, BCI のための律動成分抽出を用いた定常的視覚誘発電位の観測法(BCI/BMI とその周辺), 電子情報通信学会技術研究報告, 109(280), 23-28, 2009.
[8] Nunez, P. L. et al, EEG coherency: I. Statistics, reference electrode, volume conduction,Laplacians, cortical imaging, and interpretation at multiple scales, Electroencephalography and Clinical Neurophysiology,
103, 499-515, 1999.
[9] Terasawa H. et al, Sonifying ECOG sizure
data with overtone mapping: A strategy forcreating auditory gestalt from correlated
multichannel data, ICAD, 129-134, 2012.

- 918 -2012年9月