関西地区

教育システム情報学会 2020年度学生研究発表会

CNN を用いた異なる音高を想起したときの脳波の識別
Identification of EEG When Recalling Different Pitches Using CNN
清水 菜々子*1, 曽我 真人*2
Nanako SHIMIZU*1, Masato SOGA*2*1
和歌山大学大学院システム工学研究科*1
Graduate School of Systems Engineering, Wakayama University*2
和歌山大学システム工学部*2
Faculty of Systems Engineering, Wakayama University
Email: s206128@wakayama-u.ac.jp
あらまし：近年，ブレイン・デコーディングと呼ばれる技術の研究が盛んに行われている．ブレイン・デコーディングは，脳活動データを変換することで，人の精神状態や思考を明らかにする技術である．しかし，音を想起しているときの脳活動に対するブレイン・デコーディングは明らかになっていない点が多く存在する．そこで，本研究では，異なる音高を想起したときの脳波を計測し，CNN を用いることで，脳波の識別が可能かどうか検証した．
キーワード：ブレイン・デコーディング，脳波，音高，想起，CNN

1.

研究背景

近年，ブレイン・デコーディングと呼ばれる技術の研究が盛んに行われている．脳活動を計測して得られる脳活動データは，人の精神状態や思考がコード化されたものであると考えられている．そのため，脳活動データをデコーディングすることで，人の精神状態や思考を明らかにすることができる．ブレイ
ン・デコーディングは様々な課題遂行時の脳活動データに対して試みられているが，異なる音高の音を想起する課題を対象とした脳活動データに対しては多くのことが明らかになっていない．

2.

研究目的

音高の異なる音を想起したときの脳活動データとして脳波の計測を行う．そして，取得した脳波に対して CNN を適用することで，想起していた音高を識別することが可能かどうかの検証を実施する．

3.

意義

本研究の意義は，ほとんど知見のない，異なる音高を想起した脳波を識別するという試みに対して，新しい知見を蓄積することができることである．また，本研究が発展することで，ALS の患者の音楽的表出に寄与することが期待できる．

4.

関連研究

2019 年の及川らの研究では，聴覚刺激聴取時の脳波から聴覚刺激の再構成を試みている(1)．この研究では，262[Hz]の純音を聴取したときの脳波に対して，短時間フーリエ変換を施し得られるスペクトログラ
ム画像を CNN に適用することで，聴覚刺激の再構成に成功している．
また，2019 年の繁本らの研究では，聴覚刺激聴取時の fMRI データから聴覚刺激を識別するデコード

131

アルゴリズムの開発を行なっている(2)．この研究では，C7（2097[Hz]）と C#7（2217[Hz]）の純音を聴取したときの fMRI データに対して，深層学習の一種である Deep Belief Network を適用することで，1人の被験者において 62.50%，もう 1 人の被験者において 70.83%の識別率を得ている．

5.

実験手法

本研究では，「低いラ」，「ラ」，「高いラ」の 3 つの音高の異なる音をそれぞれ繰り返し想起する課題を実施した．音の想起を行う前に聴覚刺激を呈示するようにし，事前に想起する音高を確認することが可能な実験デザインとしている．聴覚刺激の呈示は，想起を繰り返す間に想起する音高がずれることをなるべく防ぐ目的と，被験者が異なる場合においても想起する音高をなるべく揃える目的で行なっている．
「低いラ」を想起する実験パターンでは A3（220[Hz]）の音を呈示し，「ラ」を想起する実験パターンではA4（440[Hz]）の音を呈示，「高いラ」を想起する実験パターンでは A5（880[Hz]）の音を呈示した．なお，聴覚刺激は純音とピアノの音の 2 パターン用意したため，実験パターンはすべて合わせると 6 つとなる．
1 パターンにおける実験の流れを図 1 に示す．
脳波計測には，脳波計 BIOSEMI Active Two を使用した．64 電極を頭皮全体に設置し，512[Hz]のサンプリングレートで計測を行った（図 2）．

図 1 実験システム

関西地区

教育システム情報学会 2020年度学生研究発表会

を 3 に設定した．
6.4 結果・考察
10 名の被験者の脳波を計測した．聴覚刺激として純音を用いた場合，ピアノの音を用いた場合ともに全ての被験者において識別率が 33.3%となった．
本研究において高い識別率が得られなかった理由
として，CNN の入力データが不適切であった可能性，脳波の前処理・解析手法が不適切であった可能性，データセットの数が不十分であった可能性が考えられる．

7.

図 2 電極の配置（引用元：BIOSEMI, "Headcaps"(3)）

6.

CNN を用いた識別6.1 解析の方針
音を想起したときの脳の働きは明確にはなっていない．しかし，先行研究より楽曲を想起したときに運動前野が活性化したという報告がされている(4)．
また，一般的に音楽に関する脳内の働きは右半球が優位であることが多いとされている(5)．そこで，本研究では右半球の運動前野に相当する位置に設置した電極のデータを使用することとする．
聴覚刺激の音高の違いが脳波に与える影響について調べている先行研究が存在する(6)．この研究では，脳波におけるα波（8~13[Hz]），β波（14~30[Hz]），θ波（0.5~3[Hz]）のパワーに影響がある可能性を示唆している．そこで，本研究では音高の異なる音の想起時にもα波，β波，θ波のパワーに影響があると仮定し解析対象とする．また，脳波は時間分解能が高いため，時間変化も重要な要素となる．したがって，α波，β波，θ波を含む 0.5~30[Hz]の周波数帯域のパワーの時間変化に着目することとする．
6.2 脳波の前処理・解析前処理として，ノイズ除去のため 0.5[Hz]のハイパスフィルタと 30[Hz]のローパスフィルタを適用した．
解析対象となる電極のデータから想起中のデータのみを切り出し，切り出したデータ群から±100[μV]を超えるデータをノイズが含まれるデータとして除外した．そして，前処理を施したデータに対してウェーブレット変換を行った．
6.3 CNN
ウェーブレット変換により得られるスカログラムの画像を CNN の入力データとして用いた．なお，画像に対して想起していた音高を正解ラベルとして紐付け，データセットを作成している．使用した
CNN の構造を図 3 に示す．ネットワークの学習にはモーメンタム項付き確率的勾配降下法を用い，初期学習率を 0.01，ミニバッチを 16，エポックの最大数

132

特徴量の検証CNN の入力データが不適切であった可能性，すな
わち解析対象として着目した脳波の成分に CNN が識別するに足る特徴が含まれていなかった可能性についての検証を実施した．ここでは，α波，β波，θ波それぞれのパワーに対して，想起した音高の違いが影響を与えていたかに焦点を当てて検証を行うこととする．正規性・等分散性を有するパターンに対しては対応のない二元配置分散分析を実施し，有さないパターンについてはバートレット検定を実施した．検定の結果，全てのパターンにおいて有意水準を 5%とした場合，有意差を認めることはできなかった．すなわち，α波，β波，θ波それぞれのパワーについて，想起する音高の影響を受けているとは言えないことが明らかになった．

8.

まとめ

人が異なる音高で音を想起したときの脳波を計測し，CNN に適用することで，どの音高の音を想起していたか識別することが可能かどうか検証した．結果として高い識別率を得ることはできなかった．そこで，脳波に含まれる特徴量の検証として，α波，β波，θ波のパワーが想起する音高の影響を受けているか検証したが，音高による優位な差は見られなかった．今後の課題として，深層学習に適用した際の識別率を向上させるには，異なる音高を想起したときに脳波がどのような影響を受けるかについて更なる検証を行うことが必要であると考えられる．
参考文献(1) 及川大樹ら, “畳み込みニューラルネットワークを用いた脳波による音響信号再構成”, IPSJ SIG Technical
Report (2019)(2) 繁本成美ら, “fMRI を用いたヒト脳聴覚野からの音階
デコードアルゴリズムの検討”, 日本機械学会 中国
四国支部 第 57 期総会・講演会 (2019)(3) BIOSEMI,“Headcaps”,<https://www.biosemi.com/headcap.htm> (2020 年 10 月
19 日アクセス)(4) 藤澤隆史ら, “音楽を鑑賞する脳”, 情報処理 Vol.50
No.8 (2009)(5) 安井拓也ら, “言語と音楽と脳科学”, JOHNS Vol.27
No.8 (2011)(6) 中村貴展ら, “音高が脳波に及ぼす影響”, 音楽情報科学 45-6 (2002)