短歌を読む際の情動に関する脳活動の解析佐藤 杏奈

1(指導教員：小林 一郎)

はじめに

2.2

本研究における符号化モデル (Encoding model) の構築手法は，Naselaris ら [2] によるものを採用した．
符号化モデルの構築方法として，ヒト脳への刺激となるデータから抽出した特徴量と刺激下の脳活動状態を線形回帰し，計測脳活動パターンと予測脳活動パターンが近づくように重みを学習する．一般的に線形回帰にはリッジ回帰が適用され，回帰係数を観察することでボクセルに対する振る舞いを観察することなどが可能となる．

近年，深層学習に代表される機械学習技術の高度化により，ヒト脳内の情報処理プロセスの解明や定量的理解を行う研究が盛んになっている．自然言語の単語の意味をベクトルとして表現する word2vec が出現して以来，ヒト脳に与えられる言語刺激の特徴量が自然言語処理技術の汎用言語モデルを用いて表現され，脳内状態の推定に利用されるようになっている．本研究では，脳内状態を表現する特徴量として性能が良いとされる GPT-2 [4] を用いて，短歌を読んだ時のヒト脳内の情報処理プロセスの解明に取り組む．とくに，深層学習モデルの中間層となる各階層から脳活動状態を推定することで，ヒトが「詩的である」と感じる時の情報処理の階層的変化についての調査を行う．

22.3

表象類似解析 (RSA)

表象類似解析 (Representational Similarity Analysis, RSA) は，Kriegeskorte ら [1] によって提案された手法である．RSA を用いることにより，比較対象となる二つのパターンの非類似性は，それらの距離に対応するものとして表現される．全てのペアの表現距離(または非類似度) を測定することで，RepresentationalDissimilarity Matrix(RDM) を作成でき，また，RDM同士の相関を計算し様々な表現を比較することが可能になる．本研究では非類似度として相関距離 (1 − ピアソン相関係数) の値を使用する．

言語刺激下の脳活動解析

本研究の概要を図 1 に示す．言語モデルの中間層から抽出した表現ベクトルを特徴量として使用し，符号化モデル (2.2 節参照) を用いて脳活動を推定する．深層学習モデルの各階層が表現できる情報がどのように遷移するかを調べるため，各階層から符号化モデルを構築し．予測された脳活動を用いて RSA(2.3 節参照)を行い，関心領域 (ROI) の振る舞いを表す，ROI ×
ROI の RDM(図 1(※)，2.3 節にて後述) を作成する．

2.1

符号化モデル

被験者実験

3実験

3.1

符号化モデル作成

ヒト脳に与えられた刺激の特徴量から脳内状態を推定するために，符号化モデルを構築する．1 枚のスライドが提示されている間，そこに表示されている文で埋めて言語データを構築し，脳データと対応づけた．
言語モデルの中間層から抽出した言語特徴量を説明変数として脳活動データを予測する符号化モデルには，線形リッジ回帰を適用した．その際，神経活動に伴う血流の増加の反応時間を考慮し，fMRI で観測された脳活動データをその 3〜9TR1 前の該当区間全ての言語特徴量から予測する形で回帰を行う．全 6 セッションのうち，1 セッションをテストデータ，残り 5 セッションを訓練データとし，各セッションの脳活動データを予測した．また，訓練データについて 5 分割交差検証を行い，平均の相関係数が最も良くなる正則化項 α を[101 , 106 ] における 15 個の値の中から採用した．

本研究の被検者は日本人 32 名で，脳画像データはfMRI により取得した．実験では，『現代日本語書き言葉均衡コーパス』(BCCWJ) に含まれる短歌と, 同じ31 文字の平文各 150 文を fMRI 内で提示し，それが詩的と感じるかどうかを手元のボタンで解答させた．短歌または平文は 3 行に分けて，それぞれ 3 秒間提示された後，「詩的であると感じますか？」と記載された質問スライドが 3 秒間提示される (図 1 参照)．50 文を 1セッションとし，6 セッションを行った．文は各セッション内で被験者ごとにランダムな順に提示され，各セッションは短歌 25 首，平文 25 文で構成される．

3.2

実験設定

本研究では，言語特徴量を表現する言語モデルとして GPT-2 を使用する．事前学習モデルとして，GPT2medium 2 (24 層) を採用し，以下の 2 ステップでMulti-step ﬁne-tuning を行った．
短歌の学習 それぞれ，BCCWJ に含まれる実験で使用していない短歌 3571 首で ﬁne-tuning を行った．
学習タスクは事前学習として採用されている Causal
Language Modeling を使用した．

図 1: 詩的であると感じるときの脳活動調査の流れ.

1 1TR=0.75 秒
2 https://huggingface.co/rinna/japanese-gpt2-medium

1詩的感覚の有無の分類 被験者毎に，実験に使用した短歌平文 300 文を，被験者が fMRI 実験で詩的と感じる・感じないと回答した結果に合わせてラベル付けをし，huggingface の transformers3 で提供されている，GPT2ForSequenceClassification を使用し ﬁnetuning を行った．この時，符号化モデル構築時に訓練データとなる 5 セッションで提示された 250 文を訓練データとした．

3.3

実験結果

解析では，予測脳活動が実測脳活動に有意な正の相関がある (p < 0.01) 被験者 24 名を解析の対象とした．言語モデル各階層の予測脳活動を詩的と感じる(Poetic) もしくは感じない (Unpoetic) に分け，それぞれで，ROI 毎に時間×時間の RDM を作成する．本研
究では．実測脳活動と予測脳活動に相関がないという帰無仮説のもと．False discovery rate(q < 0.05) 補正を適用する．帰無仮説が棄却され．かつ．実測脳活動との相関が正となったボクセルのみを使用して RSAを行う．
ROI 毎に作成された RDM を比較することで ROI × ROI のRDM(図 1(※)) を作成する．その RDM を被験者間で平均をとったのち，各階層で詩的と感じるもしくは感じないで作成された (階層数× 2) 個の RDMを比較することで，層図 2: RDM 次元圧縮結果.
×層の RDM を作成し(付録図 4),UMAP を用いて 3 次元に次元圧縮をしたものを可視化する (図 2)．
次に，他の様々な ROI と類似した情報表現を持つ，脳内情報のハブとなっている ROI を見つけるため，
PageRank アルゴリズム [3] を用いて解析を行う．ROI間の非類似度を表している RDM(図 1(※)) を，(1 − 非類似度) とすることで相関行列を作成し, この相関行列を遷移確率行列として PageRank アルゴリズムを適用する．具体的に，BPi は相関行列 Pj から遷移する可能性のある相関行列の集合とし，相関行列 Pi における PageRank である r(Pi ) をべき乗法で以下のように求める．
∑ rk (Pj )rk+1 (Pi ) =|Pj |図 3: 詩的と感じる (赤)vs. 詩的と感じない (青).
従って変化していることがわかる．
図 3 では，GPT-2 の最終層である 24 層目でのPageRank 値の差分を可視化している．他の階層については一部付録 5.3 節で示している．殆どの層において帯状回，左島皮質周辺で差分後の値が大きくなる，詩的と感じている時の方がよりハブ性が強くなる様子が見られた．帯状回と島皮質はいずれも，大脳辺縁系の一部であり，感情の形成と処理に関わりを持つ領域と言われている．詩と散文を読んだときの脳活動を調査した先行研究 [5] では，文の情動性が上がるにつれて活性化した脳領域として，帯状回が挙げられている．
中層 (9 層目あたり) 以降では，視覚認知の中枢とされている後頭葉で差分後の値が大きくなる様子が見られた．

4

本研究では，詩的であるという情動がヒト脳内においてどのように表現されるのかを言語モデルの中間層から予測した脳活動に対して，RSA を用いて調査を行った．PageRank を用いて ROI のハブ性を調べた結果，情動と深く関係しているとされる大脳辺縁系の一部である帯状回と島皮質のハブ性が詩的と感じているとき強くなることが確認できた．一方で，後頭葉など，情動と関係しているとされていない領域でもハブ性が見られた．
今後は，計測脳活動との比較等も行い，解析結果について、より深い考察を進めていきたい．

参考文献[1] Kriegeskorte, N., Mur, M. and Bandettini, P.: Representational similarity analysis - connecting the branches ofsystems neuroscience, Frontiers in Systems Neuroscience,Vol. 2, p. 4 (2008).

Pj ∈BPi[2] Naselaris, T., Kay, K., Nishimoto, S. and Gallant, J.: Encoding and decoding in fMRI, NeuroImage, Vol. 56, No. 2,pp. 400–410 (2011).

各階層，詩的と感じる・感じないの各 RDM に対して
上記 PageRank アルゴリズムを適用し，(r(Ppoetici ) −r(Punpoetici )) として差分を取ったものを図 3 に示す．
赤い部分が，減算後値が大きくなった, つまり詩的と感じる時により PageRank 値が高かった脳領域であり．
青い部分が詩的と感じない時により PageRank 値が高かった脳領域である．

3.4

おわりに

[3] Page, L., Brin, S., Motwani, R. and Winograd, T.: The
PageRank Citation Ranking: Bringing Order to the Web,
Technical report, Stanford Digital Library Technologies
Project (1998).
[4] Radford, A., Wu, J., Child, R., Luan, D., Amodei, D. andSutskever, I.: Language Models are Unsupervised Multitask Learners (2018).
[5] Zeman, A., Milton, F., Smith, A. and Rylance, R.: By
Heart an Fmri Study of Brain Activation by Poetry andProse, Journal of Consciousness Studies, Vol. 20, No. 9-10,pp. 9–10 (2013).

考察

図 2 において，徐々に情報が遷移していることから，GPT-2 の各階層が説明できる脳活動は階層が進むに3 https://github.com/huggingface/transformers

25

付録

5.1

実験データ

2.1 節にて述べた対象被験者は，18 歳から 32 歳の、男性 15 名，女性 17 名の合計 32 名である．脳画像デー
タの撮像は，生理学研究所に設置された 3.0 テスラのMRI(シーメンス社製) を用いて取得された．解剖学的スキャンの撮像条件は，TR0.75 秒，ボクセルサイズ2.0mm × 2.0mm × 2.0mm である．
5.2

各階層同士の非類似度

2 層目

3.3 節では各階層が持つ情報が徐々に遷移していることを示した．次元圧縮前の RDM を図 4 に示す．また，詩的と感じる，もしくは感じないときの各階層同士の非類似度を可視化する (図 5)．階層が進むにつれて，詩的と感じる，もしくは感じないときの情報表現の非類似度が高くなっていることがわかる．

7 層目

図 4: 中間層の RDM.

図 5: 各階層の非類似度.

図 2 の異なる角度からの可視化結果を図 6 に示す．

12 層目

17 層目
図 6: RDM の次元圧縮結果 (図 2 別角度).

5.3

PageRank の差分結果

3.3 節で述べられているように，PageRank アルゴ
リズムを用いてハブ性を調査した．本文に掲載できなかった一部階層について，(詩的と感じる − 詩的と感じない) の差分結果を示す．
22 層目
図 7: GPT-2 各階層における PageRank 値の差分.

3