音楽刺激下の脳内情報処理における男女差の分析
茂木 比奈

1（指導教員：小林 一郎）

はじめにト抽出される特徴量において，配列の要素毎に最大値をとったものを 1 秒分の音楽特徴量とした．

ヒト大脳皮質の階層情報表現と深層学習の階層情報表現に類似性が認められて以来，深層学習を使用してヒト脳内の情報処理機構の解明を目指す多くの研究が行われている．ヒトに与えられる刺激の中でも，特に音楽は感情を管理するという前提の下，神経疾患の音楽療法としても用いられているが，音楽刺激に対する脳内情報処理の十分な解明はなされていない．本研究では，音楽刺激下の予測脳活動を対象に脳内情報処理の男女差の分析を行う．深層学習を用いて音楽の特徴量を抽出し，音楽特徴量から脳活動状態を予測する符号化モデリング [1] を行い，男女ごとに音楽刺激に対する階層的な脳活動を分析する．これにより，音楽刺激下の脳内情報処理において性差が存在するのかの検証を試みる．

2

音楽刺激下の脳活動状態予測

2.1

概要

2.4

fMRI で観測される酸素飽和濃度（BOLD）信号変化は，神経活動に対して時間的に遅れて生じる．これを踏まえ，3，4，5，6 秒前の音楽特徴量を説明変数として，リッジ回帰を用いて予測脳活動と実測脳活動が近づくように重みを学習させた符号化モデルを構築した．脳活動の連続性を考慮し，訓練データをチャンク50 としてシャッフルした上で 5 分割交差検証を行い，全ボクセルの平均の相関係数が最も高くなる正則化項の値を採用した．ここでは，ピアソンの積率相関係数を用いて予測値と実測値の相関係数を求めた．また，帰無仮説「予測値と実測値の間に相関関係はない」を立て，False Discovery Rate（FDR）で補正済みの p値が有意（p<0.05）なボクセルを棄却し，分析対象とした．

3

図 1 に研究の概要を示す．音楽刺激下の被験者の脳活動を機能的磁気共鳴画像法（fMRI）により観測することにより，脳活動データを収集する．次に，音楽をスペクトログラムに変換し，画像として保存する．画像として保存されたスペクトログラムを画像処理の深層学習モデルである VGG16 に入力し，モデルの中間層から抽出される表現を音楽特徴量とする．中間層の特徴量を説明変数として，リッジ回帰を用いて実測脳活動と予測脳活動が近づくように重みを学習させた符号化モデルを構築する．構築された符号化モデルを用いて，音楽刺激に対して脳活動を予測する．

2.2

実験結果・考察

以下に説明する表象類似解析を用いて，予測脳活動について男女ごとに階層的な脳内情報処理を分析する．

3.1

実験手法

表象類似解析 大脳皮質上の ROI（Region of Interest：関心領域）1 どうしの時間的振る舞いの類似性を調査するために，予測脳活動に対して RepresentationalSimilarity Analysis（RSA）を行った．RSA とは，脳内表象の解析に特化した多ボクセルパターン解析の一種で，各ペアの非類似度を検索できる行列である Representational Dissimilarity Matrix（RDM）を用いる．
本研究では，深層学習モデルの中間層の特徴量から予測される各被験者の予測脳活動から ROI ごとに（時間）×（時間）の RDM を作成した．それらの RDMを比較する，（ROIs）×（ROIs）の RDM を作成した．
これは，148 個の ROI の各ペアの時間的振る舞いの非類似度を格納している．そして男女ごとに RDM の各要素で平均をとった．

fMRI 実験

脳活動データは，情報通信研究機構 未来 ICT 研究
所 脳情報通信融合センターにて機能的磁気共鳴画像法（fMRI）で取得された．実験には男性 29 名・女性 21名が参加し，各被験者は合計 2 時間 20 分の音楽を鑑賞した．本研究では，大脳皮質のボクセルデータを使用した．音楽データは，MagnaTagATune Dataset から収集され，各曲は 15 秒の固定長である．

2.3

符号化モデルによる脳活動状態推定

3.2

音楽特徴量の抽出

ROI の非類似度をもとにした値

音楽刺激の脳内情報処理において階層的な処理が存在すると仮定し，音楽特徴量を抽出する深層学習モデ
ルの各階層から予測した脳活動状態を対象に各 ROI の時間的振る舞いについて調査した. 付録の図 4 に結果を示す．図はすべて左脳であり，図左側は耳の方から見た図，図右側は脳の中心部から見た図である．
（ROIs）×（ROIs）の RDM（148 × 148）を UMAP で次元圧縮して得られた（148 × 1）の行列の値を [0,1] に正規化し，濃淡色の各値をマッピングしている．値が高いほどその ROI は他の ROI と異なる時間的振る舞いをする ROI ということになる．脳の部位は図 2 を参照
されたい．1 から 2 層目までは男女共に後頭葉付近の値が高くなっている．女性は，値の高い ROI が後方か

Choi ら [2] は，音声信号をスペクトログラムに変換し画像情報として保存したものを，畳み込みニューラルネットワーク（CNN）の入力とし音楽の分類タスクを解いている．本研究においても，音楽をスペクトログラムに変換し CNN の入力として，中間層の特徴量を音楽特徴量として抽出した．CNN には VGG16 学習済みモデルを採用した．入力サイズは（224 × 224）である．本研究では，VGG16 の Max Pooling 層 5 層とFully Connected 層 3 層の計 8 層を中間層とした．これらの 8 層から音楽特徴量を抽出した．具体的な手続きとして，0.04 秒ずつ音楽を切り出しスペクトログラ
ムを作成し，それぞれ VGG16 に入力として与え，中間層 8 層から特徴量を抽出し，各層で 1 秒間に 25 セッ

1 本研究においては，ROI は Destrieux ら [3] による定義に従う．大脳皮質は機能的に 148 の領域に分割されている．

1

画像
特徴量
リッジ回帰計測
fMRI 脳活動時間予測
脳活動 RDM脳領域

音楽 鑑賞

VGG16時間

音楽特徴量
（画像）
変換脳領域
[24.754698, 16.246769, …]

次元圧縮
PageRank

RDM[0.00644389, 0.00670715, …]

図 1: 研究概要
ら前方に遷移する様子が 1 から 3 層目，4 から 6 層目，7 から 8 層目の 3 段階で確認された．男性は 1 から 3層目において値の高い ROI が後方から全体へ広がる様子が確認された．また，眼窩前頭皮質付近で，値の高い ROI が女性では 3 層目以降，男性では 6 層目と 8層目で確認された．眼窩前頭皮質は前頭葉の下側部分に位置し，情動処理や価値評価，行動の柔軟性に非常に重要な役割を持つと考えられている部位である [4]．
音楽刺激下では，女性の方が低層の時からこの部位の値が高くなることを観察した．

性別女性男性

1 層目

8 層目

実測上頭前回!"#$$$$$$$$$$$$$$$$$$$$$$$$$%&'%
(前方)

(後方)

図 3: PageRank 値

(後方)

4

眼窩前頭皮質本研究では，音楽刺激下の脳内情報処理について，深層学習モデルの中間層の音楽特徴量から脳活動を予測する符号化モデルを構築し，予測脳活動を対象に RSAを行った．その結果，大脳皮質上の ROI どうしの時間的振る舞いには，1 から 8 層目にかけて連続した階層的処理は確認できなかったが，1 から 3 層目など部分的には確認された．女性の方が，眼窩前頭皮質付近のROI の非類似度をもとにした値が低層から高くなることも判明した．また，予測脳活動における重要度の高い ROI は男女で順位が異なることが明らかになった．

図 2: 眼窩前頭皮質・上頭前回の位置

3.3

まとめ

各 ROI の重要度

各 ROI の重要度（ハブ性）を調査するため，PageRank [5] を適用した．
（ROIs）×（ROIs）の RDM は非類似度を格納しているため，1 −（非類似度）とすることで RDM から相関行列を作成し，これを遷移確率行列と捉え，ROI の重要度を調査した．図 3.3 に結果を示す．図左側は左脳，図右側は右脳である．男女ともに，上位 2 位は上頭前回という前頭葉の上側約 1/3を占める ROI であり，男性の 1 層目を除き，男女で上位 2 位が入れ替わる結果となった．女性は全層で左脳上頭前回が 1 位，男性は 2 層目以降で右脳上頭前回が 1 位であった．Goldberg ら [6] によると，上前頭回は感覚器の活動と連携して，自己認識に関係している部位である．男女ともに，上位 5 位までは階層的な順位の入れ替わりは見られなかった．6 位以降では，層が上がるごとに順位が高くなっていく ROI が存在し，階層的な順位の入れ替わりを観察した．実測脳活動と乖離がないか確かめるため，実測脳活動に対しても同様に PageRank を適用したが，上位 10 位の ROI に関しては予測脳活動の 8 層分の順位と大差のない結果であった．上位 2 位の順位に関しては，男女とも左脳上頭前回が 1 位，右脳上頭前回が 2 位であった．

参考文献[1] Thomas Naselaris, Kendrick N. Kay, Shinji Nishimoto, andJack L. Gallant. Encoding and decoding in fmri. NeuroImage, Vol. 56, No. 2, pp. 400–410, May 2011.
[2] Keunwoo Choi, György Fazekas, Mark Sandler, andKyunghyun Cho. Convolutional recurrent neural networks
for music classiﬁcation. pp. 2392–2396, 03 2017.
[3] Christophe Destrieux, Bruce Fischl, Anders Dale, and EricHalgren. Automatic parcellation of human cortical gyriand sulci using standard anatomical nomenclature. NeuroImage, Vol. 53, No. 1, pp. 1–15, 2010.
[4] Morten L Kringelbach and Edmund T Rolls. The functional neuroanatomy of the human orbitofrontal cortex: evidence from neuroimaging and neuropsychology.
Progress in Neurobiology, Vol. 72, No. 5, pp. 341–372,
2004.
[5] Lawrence Page, Sergey Brin, Rajeev Motwani, and Terry
Winograd. The pagerank citation ranking: Bringing orderto the web. Technical Report 1999-66, Stanford InfoLab,November 1999. Previous number = SIDL-WP-1999-0120.
[6] Ilan I. Goldberg, Michal Harel, and Rafael Malach. Whenthe brain loses its self: Prefrontal inactivation during sensorimotor processing. Neuron, Vol. 50, No. 2, pp. 329–339,
2006.

2

付録

図 4: ROI の非類似度をもとにした値

3