2017年1月27 (金)@九州大学病院キャンパス
MEとバイオサイバネティックス研究会

音声知覚時における脳神経活動の位相パターンとSVMに基づく日本語音声刺激の識別
渡部 宏樹・田中 宏季・Sakriani Sakti・中村 哲(奈良先端科学技術大学院大学)
渡部 宏樹 (WATANABE Hiroki) 博士課程 1年
Email: watanabe.hiroki.vx6@is.naist.jp
情報科学研究科 (Graduate School of Information Science)
奈良先端科学技術大学院大学 (Nara Institute of Science and Technology)

研究の背景とゴール
脳神経活動のデコーディング技術の発展
EEG/MEG/fMRI/NIRS…

Decoding

メリット・体動を必要としない意思疎通の実現= 運動障がい者のコミュニケーション支援

情報/意思の読み出し意思伝達までの速度が相対的に遅い
脳神経活動の測定
×
言語処理内容のdecoding
研究の最終目標

http://cognionics.com/index.php/videos

2019/3/25

脳波による発話したい文の識別➡意思伝達システム(Imagined speech recognition)
2 /29

本研究の目的
本研究の目的

脳波×言語処理内容のdecoding

 課題点

音声文聴取時の脳波による音声文の識別- 各レベル(文/句/音節/単語/音素)において限定された識別クラス数• 脳波の情報 < 100 Hz• 一個人から大規模データ取得の困難性限定された数でも音声文の識別を高い精度で実現したい
各レベルの情報の統合
多くの参加者からデータの取得

各レベルの識別精度の向上＋
各レベルの識別結果の統合

2019/3/25

個人差の少ない特徴量の使用
音声文の認識精度の向上＋
Subject-independent
データセットによる学習
3 /29

これまでの試み

位相同期現象を利用
振幅包絡を識別レベル

SENTENCE

目標
If neural decoding of spoken sentences is possible,
it leads to improve communication support device.

Phraseboundary

Luo & Poeppel (2007)など:MEG
クラス: 英語3文
特徴量: θ波位相情報
精度: 約 40%～50%

Steinhauer et al. (1999):
Closure positive shift
Correia et al. (2015): EEG
クラス: 英単語 2クラス
特徴量: Temporal windowed EEG
精度: 53.7%

WordSyllable

Wang et al. (2012):EEG
クラス: 英語32CV
特徴量:2-9Hzの位相情報
精度: 37.5%

PhonemeWang et al. (2012): EEG
クラス: 英語子音 8個
特徴量: 2-9Hzの位相情報
精度: 66.7 %2019/3/25

Chan et al. (2011): EEG
クラス: 英語10単語
特徴量: 各時点の振幅情報
精度: 70%Wang et al. (2012): EEG
クラス: 英語母音4個
特徴量: 2-9Hzの位相情報
精度: 45.8-90.0 %4 /29

先行研究 – 位相同期について-

2019/3/255

音声文聴取時の位相同期
 位相同期 (Phase locking)- “個人・試行・時間を超えた、外部刺激と脳神経反応における一貫した位相ラグ (p.4)“- 音声の振幅包絡 (speech envelope; 4-8Hz)
 脳神経反応のθ波 (4-8Hz)位相パターン(review Peelle & Davis, 2012)- 振幅包絡: 主に音節情報 (Greenberg et al., 2003)- 音節情報の効率的な ”サンプリング” を実現(Luo & Poeppel, 2007; Howard & Poeppel, 2010;
Peelle & Davis, 2012; Giraud & Poeppel, 2012)- 個人差は少ない (Kerlin et al., 2010)2019/3/25

Peelle and Davis (2012), p.7(上図), p.9 (下図),より引用
6 /29

位相パターンと音声文識別Classification rate θ波位相パターンによる音声文識別 (Luo & Poeppel,2007; Howard & Poeppel, 2010)- MEGによる音声文聴取時の脳神経活動測定
Sentence1- 英語音声文（3文）の識別
Sentence2- テンプレートマッチング
Sentence3- subject-dependent データセット

Sentence1 Sentence2 Sentence3
Luo & Poeppel (2007), p.1004より一部改変
2019/3/25

7 /29

本研究の手法–識別精度の改善方法-

2019/3/25

8

1. 機械学習アルゴリズムの使用: SVM
 統計的機械学習アルゴリズムの使用• Support Vector Machine (SVM)の使用• 音声文聴取時の位相パターンの統計的特徴を自動的に学習し識別

TEMPLATEMatchingSVM・マージン最大化による識別精度の高さ
・クラスを拡張するごとにテンプレートを作成する必要がない
・単語・音素の識別に拡張可能

2019/3/25

9 /29

2. 特徴量の追加: γ波位相パターン
 γ波における位相同期- Asymmetric Sampling in Time 仮説 (AST仮説) (Poeppel, 2003)• 長い時間枠 ( ～ 150-250ms: 音節情報など)• 右半球で処理• 短い時間枠 (～ 20-40ms: スペクトル変化など):• 左半球で処理- 短い時間枠 (～ 20-40ms)の音刺激• γ波 (38-42Hz)において位相同期が生じる(Luo & Poeppel, 2012)θ波

2019/3/25

γ波:～ 20-40ms

θ波:～ 150-250ms(スペクトル変化, etc)

(音節情報, etc)

< θ波＋γ波10 /29脳波からの位相同期度の計算- Dphase とPLV -2019/3/25

11位相同期度の計算: Dphase Crosstrial phase coherence (Cphase): Luo & Poeppel (2007)- 特定の音声文を聞いている複数の脳反応データ間でどれほど位相パターンが一貫しているかを表す指標 [0, 1]

短時間フーリエ変換 (STFT)Cphase𝑘𝑖𝑗=window: 500ms
shift:
100ms
Hanning window

2019/3/252𝑁
σ𝑛=1 cos(𝜃𝑘𝑛𝑖𝑗 )𝑁+2𝑁
σ𝑛=1 sin(𝜃𝑘𝑛𝑖𝑗 )𝑁(k=音声文, N=試行数(24), i=周波数ビン, j=時間窓)

12 /29位相同期度の計算: Dphase Dissimilarity phase (Dphase)の計算

Sentence1

Sentence2

Sentence3- Within-sentence group• 各音声文に対する脳波データ (計24)- Across-sentence group1• すべての音声文に対する脳反応からランダム (各8試行)に選択した脳波データ (計24)24

𝐷𝑖𝑠𝑠𝑖𝑚𝑖𝑟𝑎𝑟𝑖𝑡𝑦 𝑝ℎ𝑎𝑠𝑒𝑖 =1𝐽
σ𝐽
𝐶𝑝ℎ𝑎𝑠𝑒𝑘𝑖𝑗,𝑤𝑖𝑡ℎ𝑖𝑛 σ
𝐶𝑝ℎ𝑎𝑠𝑒𝑘𝑖𝑗,𝑎𝑐𝑟𝑜𝑠𝑠𝑗=1𝑗=1𝐾
σ𝑘=1−𝐽𝐽𝐾K=音声文の合計 (3), J=STFTの時間窓の合計 (29)24

Luo & Poeppel (2007), p.1003より一部改変
2019/3/25

13 /29位相同期度の計算: PLV Phase-locking value (PLV): Zoefel & VanRullen (2016)に基づく- 脳波データと音声文の位相がどれほど一致しているかを表す指標 [0, 1]
Downsampled (1,000Hz)

Bandpass- filtering

Hilbert変換

瞬時位相の算出

θ: 4-6Hz,
α: 10-12Hz
β: 16-18Hz, γ: 36-38Hz

PLV(ch) =𝐾

𝑁𝑇

𝑘=1

𝑛=1

𝑡=1

111෍ ෍ ෍ 𝑒 𝑖(𝜑𝑠𝑝𝑒𝑒𝑐ℎ 𝑛,𝑡 −𝜑𝑒𝑒𝑔 𝑛,𝑐ℎ,𝑡 )𝐾𝑁𝑇
2019/3/25

K=合計音声文 (3), N=試行数 (24), T=合計時間ポイント

14 /29位相パターンによる識別方法位相パターンの抽出
PLV TOP5電極

短時間フーリエ変換 (STFT)

Dphase TOP5電極

 特徴量- 各周波数帯の位相 [-pi, pi]を計算

window: 500ms
shift:100ms
Hanning window• (θ: 4-6Hz, α: 10-12Hz, β: 16-18Hz, γ: 36-38Hz)- θ/ α/ β/ γ/ θ+α/ θ＋β/ θ+γ/ θ+α+β＋γ
 評価方法- leave-one-out法
2019/3/25

15 /29位相パターンによる識別方法
 SVM- パラメータ調整（ガンマ: 10^(-5:5), コスト: 10^(-2:2)）- カーネル: RBFカーネル

 subject-dependentデータセット- PCA (主成分分析): 10次元
- 24試行×3文 = 72データ

 テンプレートマッチング

 subject-independentデータセット- PCA (主成分分析): 30次元
- 72データ×2名 = 144データ

Sentence 1

trial 1

Sentence 2

Sentence 3

trial 24
最小二乗距離のテンプレートを選択識別に使用するデータ

テンプレートテンプレート 2

平均化

テンプレート 1
テンプレート 3

2019/3/25

16 /29

脳波データの計測方法

2019/3/25

17

実験参加者と実験刺激 実験参加者- 対象: 日本語を母語とする男性 2名

あなたが昨日夢中で読んでいた本はおもしろかった(平均25.0 歳 , SD: 3.0, 右利き)
ついさっき女の子が私に言ったことは本当の話

向こうの壁に飾っているのは彼のお兄さんが描いた絵

2019/3/25

18 /29

実験手順
 実験の流れS1 – S1S2- S1S3 – S1- 音声文 3文のすべての組み合わせ (同一文含む)
S1 – S2
S2- S2S3 – S2- ペアをランダムな順に並び替え
S1 – S3
S2 – S3
S3 – S3- 以下の試行の流れに従って、ペアの音声を各提示 (Howard & Poeppel, 2010を参考)
Are you ready?

スペースキーを押す
ペアの1つ目の音声が再生
ペアの2つ目の音声が再生

0ms

1,500ms
ビープ音

×4
1音声文: 24回

2つの音声が同じかどうかを判断
同じ : Fキー
異なる: Jキー

7,500ms
12,000ms
14,500ms

2019/3/25

19 /29結果

2019/3/25

20日本語音声文への位相同期
γ波 (mean:36+38Hz)

θ波(4-6Hz)

γ波(36-38Hz)

θ波:～ 150-250ms(スペクトル)(音節情報)

各周波数帯で最もDphaseが高かった電極平均の参加者間平均

Dphaseθ波(mean: 4+6Hz)

γ波:～ 20-40ms

PLV

各周波数帯で最もPLVが高かった電極平均の参加者間平均

2019/3/25

21 /29位相パターンによる日本語音声文の識別
Subject-dependent データセットの平均
DphasePLV
54.2 %

47.9 %

47.9 %

2019/3/25

22 /29位相パターンによる日本語音声文の識別
Subject-independent データセット
Dphase50.0 %

2019/3/25

PLV
47.9 %

23 /29最高（平均）正解率のまとめ
最高 (平均)正解率の比較
subject-dependent (average)

subject-independent

Dphase54.2 % (θ+α：temp)

50.0 % (θ+α: SVM)

PLV

47.9 % (θ, θ+γ: SVM)

47.9 % (θ: SVM)

・SVM > temp
・subjet-dependent ≒ subject-independent「個人差の少ない特徴量」を支持
・θ＋γ = 最高 (平均)正解率:
PLVのsubject-dependentデータセットのみ
・< 12Hz の周波数帯/ γ(36-38Hz)は有用である可能性- 音素識別: 2-9 Hzの位相情報 (Wang et al., 2012)- 単語識別: 12 Hz 以下 +gamma (Correia et al., 2015)2019/3/25

24 /29考察
 日本語音声文に対する音声文聴取時の位相同期- θ波とγ波: 位相同期を観察- Topography• Dphase：θ・γともに左半球優位の傾向• PLV:
θ: 右半球優位、γ: 若干左半球優位の傾向• MEG / EEGの違いの可能性

2019/3/25

25 /29考察 テンプレートマッチング vs. SVM- 最高（平均）正解率 (Dphase/ PLV × Subject-dependent/ independent)• SVMによる識別が最高（平均）正解率: 3/4

 γ波の位相パターンの追加- γ波位相パターンの追加は精度改善につながらず- PCAによる大幅な次元削減による影響の可能性
 Subject-independent vs. subject-dependent• 音声聴取時の位相同期による位相パターンの個人間での一貫性を支持 (Kerlin et al., 2010)2019/3/25

26 /29

今後について データ数の増加

現状- 実験参加者数の増加 (今回: n=2)
- 統計的仮説検定による識別精度向上の検証- 精度: 約 50 %
- 3文

振幅包絡

 課題

日本語文識別- その他のレベルにおける識別との組み合わせ
句境界

単語音節

目標
- 精度: 90%
- 10文に拡張音素

 Imagined speech recognition (D’zmura et al., 2009, etc) への応用

- 発話想像中の脳波の位相パターンから発話内容を推定できるかどうか？
- Giraud et al. (2007)2019/3/25

27 /29References
 Chan, A. M., Halgren, E., Marinkovic, K., & Cash, S. S. (2011). Decoding word and category-specific spatiotemporal representations from
MEG and EEG. Neuroimage, 54(4), 3028-3039.
 Correia JM, Jansma B, Hausfeld L, Kikkert S, Bonte M. (2015) EEG decoding of spoken words in bilingual listeners: from words to language
invariant semantic-conceptual representations. Frontiers in Psychology, 6:1–10.
 D’Zmura, M., Deng, S., Lappas, T., Thorpe, S., & Srinivasan, R. (2009). Toward EEG sensing of imagined speech. In Human-Computer
Interaction. New Trends (pp. 40-48). Springer Berlin Heidelberg.

 Giraud, A. L., Kleinschmidt, A., Poeppel, D., Lund, T. E., Frackowiak, R. S., & Laufs, H. (2007). Endogenous cortical rhythms determine
cerebral specialization for speech perception and production. Neuron, 56(6), 1127-1134.
 Giraud, A. L., & Poeppel, D. (2012). Cortical oscillations and speech processing: emerging computational principles and operations. Natureneuroscience, 15(4), 511-517.
 Greenberg, S., Carvey, H., Hitchcock, L., & Chang, S. (2003). Temporal properties of spontaneous speech—a syllable-centric perspective.
Journal of Phonetics, 31(3), 465-485.

 Kerlin, J. R., Shahin, A. J., & Miller, L. M. (2010). Attentional gain control of ongoing cortical speech representations in a “cocktail party”.
Journal of Neuroscience, 30(2), 620-628.
 Steinhauer, K., Alter, K., & Friederici, A. D. (1999). Brain potentials indicate immediate use of prosodic cues in natural speech processing.
Nature neuroscience, 2(2), 191-196.
 Howard, M. F., & Poeppel, D. (2010). Discrimination of speech stimuli based on neuronal response phase patterns depends on acoustics
but not comprehension. Journal of Neurophysiology, 104(5), 2500-2511.

2019/3/25

28 /29References Luo, H., & Poeppel, D. (2007). Phase patterns of neuronal responses reliably discriminate speech in human auditory cortex. Neuron,54(6), 1001-1010.l oscillations carry speech rhythm through to comprehension. Frontiers in Psychology, 3(320), 1-17.
 Luo, H., & Poeppel, D. (2012). Cortical oscillations in auditory perception and speech: evidence for two temporal windows in human
auditory cortex. Frontiers in psychology, 3, 170.

 Peelle, J. E., & Davis, M. H. (2012). Neural oscillations carry speech rhythm through to comprehension. Frontiers in psychology, 3, 320.
 Poeppel, D. (2003). The analysis of speech in different temporal integration windows: cerebral lateralization as ‘asymmetric sampling intime’. Speech communication, 41(1), 245-255.

 Wang, R., Perreau-Guimaraes, M., Carvalhaes, C., & Suppes, P. (2012). Using phase to recognize English phonemes and their distinctivefeatures in the brain. Proceedings of the National Academy of Sciences, 109(50), 20685-20690.
 Zoefel, B., & VanRullen, R. (2016). EEG oscillations entrain their phase to high-level features of speech sound. NeuroImage, 124, 16-23.

2019/3/25

29 /29

ご清聴ありがとうございました。

2019/3/25

30

補足
4-6Hz

2019/3/25

31 /29補足
β波(mean: 16+18Hz)

α波(10-12Hz)

β波(16-18Hz)

PLV

Dphaseα波(mean: 10+12Hz)

2019/3/25

32 /29補足: Linear kernel
Dphase

2019/3/25

PLV

33 /29補足: Linear kernel
Dphase

2019/3/25

PLV

34 /29