短歌を読む際の情動に関する脳活動の解析
佐藤 杏奈 1
近添淳一 2船井正太郎 2持橋大地 3鹿野 豊 4
浅原正幸 5磯暁6
小林 一郎 1
1 お茶の水女子大学 理学部 情報科学科 2 株式会社アラヤ
3 統計数理研究所
4 群馬大学5 国立国語研究所
6 高エネルギー加速器研究機構{g1920519, koba}@is.ocha.ac.jp{chikazoe junichi, funai shotaro}@araya.org
daichi@ism.ac.jp yshikano@gunma-u.ac.jp masayu-a@ninjal.ac.jp iso@post.kek.jp

概要

脳に与えられる言語刺激の特徴量が自然言語処理技術の汎用言語モデルを用いて表現され，脳内状本研究では，詩や短歌といった言語芸術が誘起す態の推定に利用されるようになっている [5, 6, 7]．

る情動がヒト脳内においてどのように表現されるのSchrimpf ら [5, 6] は，43 個の様々な汎用言語モデルかを調査する．とくに本研究では短歌を取り上げ，を用いて言語刺激を特徴量として表現し，ヒト脳活

fMRI 内で提示した短歌を読んだ際の被験者の脳活動との対応関係を調査した．Caucheteux ら [7] は脳動を観測し，BERT や GPT などの汎用言語モデルを内状態を表現する特徴量として性能が良いとされる

通じて抽出された言語特徴量を入力として脳内状態

GPT-2 [8] について詳細な調査をしている．

を推定する符号化モデルを構築し脳内状態を推定した．被験者が「詩的である」,「詩的でない」と感じヒト脳活動における情動を対象に解析したもの
として，Kim ら [9] は音楽刺激下の被験者の脳活動るのはヒト脳内でどのような処理が行われているを fMRI で観測したデータから感情反応を推定し，ことに起因しているのかについて調査を行った結

人間の感情処理に関連する特定部位の反応が優位

果，GPT を用いた際に, 情動と深く関係しているとになったことを確認している．Koide-Majima ら [10]される大脳辺縁系の一部である島皮質，中層では帯は，動画視聴時の脳活動を fMRI を用いて計測し，状回，高層では眼窩前頭皮質のハブ性が詩的と感じその刺激となった動画クリップに対して注釈づけさているとき強くなることが確認できた．

れた 80 個の感情表現との相関をとり，脳内における1はじめに感情の分布を調べている．また，Satpute ら [11] は，言語が情動にどのような役割を担っているかについ

近年では，磁気共鳴装置 (fMRI) や脳磁図 (MEG)て神経科学の文献をレビューすることによって調査などの非侵襲的な脳機能計測技術の発展と，深層学をしており，言葉の意味処理に関わる脳領域は，と習に代表される機械学習技術の高度化により，ヒトくに情動に関する表現内容を保持するという考えを脳内の情報処理プロセスの解明や定量的理解を行う示唆する証拠が得られたことを報告している．

研究が盛んになっている [1]．論理的な情報処理能力と共に，情動に関する情報処理能力はヒトの知能

このようなアプローチに対して，本研究では，自然言語を処理する深層学習モデルを作業モデルとしを解明する上で重要であり，本研究ではヒト脳内のて利用し，様々な刺激下のヒト脳内に直接の反応と情動に関する処理プロセスの解明を目的とし，統計して表出される感情を扱うのではなく，言語芸術でモデルを通じた調査を行う．

ある短歌によって誘起される感性や感覚に近いヒト

2

関連研究
近年，脳神経科学において脳内に生起する意味表象が知覚カテゴリとしてどのように大脳皮質上に構成されるかについても明らかにされてきてい脳内情動活動を対象に調査を行う．

3

言語刺激下の脳活動解析

3.1

実験概要

る [2, 3]．とくに自然言語の単語の意味をベクトル

本研究の概要を図 1 に示す．言語モデルの中間として表現する word2vec [4] が出現して以来，ヒト層から抽出した表現ベクトルを特徴量として使用

図 1: 詩的と感じるまたは感じないときの脳の振る舞いの調査の流れ.
し，符号化モデル (3.3 節参照) を用いて脳活動を推定する．深層学習モデルの各階層が表現できる情報激となるデータから抽出した特徴量と刺激下の脳活動状態を線形回帰し，計測脳活動パターンと予測脳がどのように遷移するかを調べるため，各階層から活動パターンが近づくように重みを学習する．一般

符号化モデルを構築し．予測された脳活動を用いて的に線形回帰にはリッジ回帰が適用され，回帰係数

RSA(3.4 節参照) を行い，関心領域 (ROI) の振る舞いを観察することでボクセルに対する振る舞いを観察を表す，ROI × ROI の RDM(図 1(※)，3.4 節にて後することなどが可能となる．

述) を作成する．

3.2

3.4

被験者実験

表象類似解析 (RSA)

表象類似解析 (Representational Similarity Analysis,

本研究の被検者は 18 歳から 34 歳までの日本人 32RSA) は，Kriegeskorte ら [14, 15] によって提案され名で，脳画像データは fMRI により取得した．実験た手法である．RSA を用いることにより，比較対では，『現代日本語書き言葉均衡コーパス』(BCCWJ)

象となる二つのパターンの非類似性は，それらのに含まれる短歌と, 同じ 31 文字の平文各 150 文を距離に対応するものとして表現される．全てのペfMRI 内で提示し，それが詩的と感じるかどうかを

ア の 表 現 距 離 (ま た は 非 類 似 度) を 測 定 す る こ と手元のボタンで解答させた．短歌または平文は 3 行に分けて，それぞれ 3 秒間提示された後，「詩的でで，Representational Dissimilarity Matrix(RDM) を作成でき，また，RDM 同士の相関を計算し様々な表現あると感じますか？」と記載された質問スライドがを比較することが可能になる．本研究では非類似度

3 秒間提示される (図 1 参照)．1 試行の所要時間はとして相関距離 (1 − ピアソン相関係数) の値を使用

12 秒であり，50 試行を 1 セッションとし，6 セッする．

ションを行った．文は各セッション内で参加者ごとにランダムな順に提示され，各セッションは短歌
25 首，平文 25 文で構成される．脳画像データは，
FreeSurfer1）を用いて解析を行い，それにより抽出さ4

実験

4.1

符号化モデル作成れた大脳皮質のボクセルのみを分析に用いた．まヒト脳に与えられた刺激の特徴量から脳内状態をた，脳領域区分アトラスには FreeSurfer で提供され推定するために，符号化モデルを構築する．1 枚のる Destrieux Atlas [12] を用いた．

スライドが提示されている間，そこに表示されてい3.3

符号化モデルる文で埋めて言語データを構築し，脳データと対応づけた．質問スライドが表示されている間は，直前

本研究における符号化モデル (Encoding model) の構築手法は，Naselaris ら [13] によるものを採用しに表示されていた短歌もしくは平文に，「詩的であると感じますか？」という文を加え，言語データとた．符号化モデルの構築方法として，ヒト脳への刺した．
言語モデルの中間層から抽出した言語特徴量を説

1） https://surfer.nmr.mgh.harvard.edu/

明変数として脳活動データを予測する符号化モデ

BERT

GPT

ルには，線形リッジ回帰を適用した．その際，神経活動に伴う血流の増加の反応時間を考慮し，fMRIで観測された脳活動データをその 3〜9TR2）前の該当区間全ての言語特徴量から予測する形で回帰を行う．全 6 セッションのうち，1 セッションをテストデータ，残り 5 セッションを訓練データとし，各セッションの脳活動データを予測した．また，訓練

図 2: 中間層×中間層の RDM.

データについて 5 分割交差検証を行い，平均の相関係数が最も良くなる正則化項 𝛼 を [101 , 106 ] における 15 個の値の中から採用した．

4.2

4.3

実験設定

本研究では，言語特徴量を表現する言語モデルとして BERT [16] と GPT [17] を使用する．事前学習モデルとして，BERT𝑙𝑎𝑟 𝑔𝑒 3）と GPT1𝑏 4）(共に 24 層) を採用し，以下の 2 ステップで Multi-step ﬁne-tuning を行った．
短歌の学習

それぞれ，BCCWJ に含まれる実験で使用していない短歌 3571 首 (訓練データ 90%) でﬁne-tuning を行った．学習タスクはそれぞれ事前学習として採用されている，BERT は Masked LanguageModeling(15%)，GPT は Causal Language Modeling を使用した．
詩的感覚の有無の分類

者 7 名のみを解析の対象とした．

被験者毎に，実験に使用した短歌平文 300 文を，被験者が fMRI 実験で詩的と感じる・感じないと回答した結果に合わせてラベル付けをし，huggingface の transformers5）で提供されている，BertForSequenceClassification とGPT2ForSequenceClassification を使用し ﬁne-tuningを行った．この時，符号化モデル構築時に訓練データとなる 5 セッションで提示された 250 文を訓練データとした．
また，解析では被験者間で平均をとるため，符号化モデルの精度が低い被験者のデータがノイズになってしまうことを鑑み，(1) 短歌もしくは平実験結果

言語モデル各階層の予測脳活動を詩的と感じる(Poetic) もしくは感じない (Unpoetic) に分け，それぞれで，ROI 毎に時間×時間の RDM を作成する．本
研究では．実測脳活動と予測脳活動に相関がないという帰無仮説のもと．False discovery rate(q<0.05) 補
正を適用する．帰無仮説が棄却され．かつ．実測脳活動との相関が正となったボクセルのみを使用してRSA を行う．
ROI 毎に作成された RDM を比較することで ROI× ROI の RDM(図 1(※)) を作成する．その RDM を被験者間で平均をとったのち，各階層で詩的と感じるもしくは感じないで作成された (階層数× 2) 個のRDM を比較することで，層×層の RDM を作成した(図 2)．
さ ら に 上 記 2 つ の RDM を 1 つ に し た RDM を
UMAP [18] を用いて 3 次元に次元圧縮をし，可視化する (図 3)．
次に，他の様々な ROI と類似した情報表現を持
つ，脳内情報のハブとなっている ROI を見つけるた
め，PageRank アルゴリズム [19] を用いて解析を行う．ROI 間の非類似度を表している RDM(図 1(※))
を，(1 − 非類似度) とすることで相関行列を作成し,この相関行列を遷移確率行列として PageRank アル

文，詩的と感じる・感じないでラベル付けをした
とき，マクロ 𝐹1 スコア >0.85 であり，(2) 事前実験
(ﬁne-tuning をしていない事前学習モデルから抽出した特徴量を使用) での予測脳活動が，実験で計測された脳活動に有意な正の相関がある (𝑝 < 0.01) 被験
2） 1TR=0.75 秒3） https://huggingface.co/cl-tohoku/
bert-large-japanese4） https://huggingface.co/rinna/japanese-gpt-1b5） https://github.com/huggingface/transformers

図 3: RDM の次元圧縮結果.

(a) 7 層目(c) 23 層目(b) 16 層目

図 4: GPT 各階層における PageRank 値の差分 (詩的と感じる (赤) vs. 詩的と感じない (青)).
ゴリズムを適用する．具体的に，𝐵 𝑃𝑖 は相関行列 𝑃 𝑗

大きく，10 層目あたりをピークに層が進むにつれから遷移する可能性のある相関行列の集合とし，相て小さくなっていった．また，殆どの層において左関行列 𝑃𝑖 における PageRank である 𝑟 (𝑃𝑖 ) をべき乗島皮質，左中心前溝 (図 4a, 4c 参照) 周辺の値が大き法で以下のように求める．
∑ 𝑟 𝑘 (𝑃 𝑗 )𝑟 𝑘+1 (𝑃𝑖 ) =|𝑃 𝑗 |𝑃 ∈𝐵くなった．島皮質は情動と密接な関係があるとされ

𝑗𝑃𝑖る大脳辺縁系の一部であり，BERT の高層でも同様にハブ性が強くなることが確認できた (付録 6.3 節参照)．

各 階 層，詩 的 と 感 じ る・感 じ な い の 各 RDM に

中層では，帯状回周辺で値が大きくなる様子が見対 し て 上 記 PageRank ア ル ゴ リ ズ ム を 適 用 し，られた．帯状回は，大脳辺縁系の各部位を結びつけ(𝑟 (𝑃 𝑝𝑜𝑒𝑡𝑖𝑐𝑖 ) − 𝑟 (𝑃𝑢𝑛 𝑝𝑜𝑒𝑡𝑖𝑐𝑖 )) として差分を取ったものる役割があり，感情の形成と処理に関わりを持つ領を図 4 に示す．ここでは，詩的と感じる・感じない域と言われている．詩と散文を読んだときの脳活動の非類似性が高かった GPT の結果のみを示す．赤い部分が，減算後値が大きくなった, つまり詩的とを調査した先行研究 [20] では，文の情動性が上がるにつれて活性化した脳領域として，帯状回が挙げら感じる時により PageRank 値が高かった脳領域であれている．また，高層では，情動の処理に重要な役り．青い部分が詩的と感じない時により PageRank割を果たしているとされている [21]，左眼窩前頭皮値が高かった脳領域である．

4.4

考察質 (OFC) が赤くなる様子が見られた．

5

おわりに

図 2 において，BERT では各階層同士で Poetic に

本研究では，詩的であるという情動がヒト脳内に対する Unpoetic の非類似度が他層に比べ低くなっている一方で，GPT ではその値の低下は小さい．よっ

おいてどのように表現されるのかを言語モデルの中て，GPT は詩的と感じているときと感じていないと査を行った．PageRank を用いて ROI のハブ性を調間層から予測した脳活動に対して，RSA を用いて調きでは．各階層でより異なる情報表現を持っている

べた結果，GPT において情動と深く関係しているとと言える．

される大脳辺縁系の一部である島皮質，中層では帯

図 3 において，BERT と GPT どちらも徐々に情報状回，高層では眼窩前頭皮質のハブ性が詩的と感じが遷移していることから，深層学習モデルの各階層が説明できる脳活動は階層が進むに従って変化してているとき強くなることが確認できた．一方で，後頭葉や中心前溝など，情動と関係しているとされていることがわかる．

いない領域でもハブ性が見られた．

図 4 では，低層，中層，高層として GPT の 7，16，

今後は，解析対象の被験者を増やした時の結果の23 層目での PageRank 値の差分を可視化している．

考察を行うつもりである．また，短歌を読んだとき他の階層や BERT での結果については一部付録 6.3のヒト脳内と深層学習モデルでの階層処理について節で示している．ほとんどの層において，後頭葉の調査，考察も進めていきたい．

(図 4a 参照) で差分後の値が正，つまり，詩的と感じているときの方がより，後頭葉周辺のハブ性が強くなっていることがわかった．この値は低層の方が

参考文献[1] Daniel L. K. Yamins, Ha Hong, Charles F. Cadieu,
Ethan A. Solomon, and James J. Seibert, Darren an d DiCarlo. Performance-optimized hierarchical models predictneural responses in higher visual cortex. Proceedings of
the National Academy of Sciences, Vol. 111, No. 23, pp.
8619–8624, 2014.
[2] Alexander G Huth, Shinji Nishimoto, An T Vu, and Jack LGallant. A continuous semantic space describes the representation of thousands of object and action categories
across the human brain. Neuron, Vol. 76, No. 6, pp. 1210–1224, Dec 2012.
[3] Alexander G Huth, Wendy A de Heer, Thomas L Griﬃths,
and Jack L Theunissen, Frédéric E andG̃allant. Naturalspeech reveals the semantic maps that tile human cerebral
cortex. Nature, Vol. 532, No. 7600, pp. 453–458, Apr2016.
[4] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado,and Jeﬀ Dean. Distributed representations of words andphrases and their compositionality. Vol. 26, , 2013.
[5] Martin Schrimpf, Idan Blank, Greta Tuckute, Carina Kauf,Eghbal A. Hosseini, Nancy Kanwisher, Joshua Tenenbaum, and Evelina Fedorenko. Artiﬁcial neural networks accurately predict language processing in the brain.
bioRxiv, 2020.
[6] Martin Schrimpf, Idan A Blank, Greta Tuckute, Carina
Kauf, Eghbal A Hosseini, Nancy G Kanwisher, Joshua B
Tenenbaum, and Evelina Fedorenko. The neural architecture of language: Integrative modeling converges on predictive processing. Proceedings of the National Academyof Sciences (PNAS), 2021.
[7] Charlotte Caucheteux, Alexandre Gramfort, and JeanRémi King. Gpt-2’s activations predict the degree of semantic comprehension in the human brain. bioRxiv, 2021.
[8] Alec Radford, Jeﬀrey Wu, Rewon Child, David Luan,
Dario Amodei, and Ilya Sutskever. Language models areunsupervised multitask learners. 2018.
[9] Hyun-Chul Kim, Peter A. Bandettini, and Jong-Hwan Lee.
Deep neural network predicts emotional responses of thehuman brain from functional magnetic resonance imaging.
NeuroImage, Vol. 186, pp. 607–627, 2019.
[10] Naoko Koide-Majima, Tomoya Nakai, and Shinji Nishimoto. Distinct dimensions of emotion in the human brain
and their representation on the cortical surface. NeuroImage, Vol. 222, p. 117258, 2020.
[11] Ajay B. Satpute and Kristen A. Lindquist. At the neural intersection between language and emotion. Aﬀective
Science, Vol. 2, No. 2, pp. 207–220, 2021.
[12] Christophe Destrieux, Bruce Fischl, Anders M. Dale, andEric Halgren. Automatic parcellation of human corticalgyri and sulci using standard anatomical nomenclature.
NeuroImage, Vol. 53, No. 1, pp. 1–15, 2010.
[13] Thomas Naselaris, Kendrick N. Kay, Shinji Nishimoto,and Jack L. Gallant. Encoding and decoding in fmri. NeuroImage, Vol. 56, No. 2, pp. 400–410, May 2011.
[14] Nikolaus Kriegeskorte, Marieke Mur, and Peter Bandettini. Representational similarity analysis - connecting the

[15]

[16]

[17]

[18]

[19]

[20]

[21]

branches of systems neuroscience. Frontiers in Systems
Neuroscience, Vol. 2, p. 4, 2008.
Nikolaus Kriegeskorte and Rogier A Kievit. Representational geometry: integrating cognition, computation, andthe brain. Trends Cogn Sci, Vol. 17, No. 8, pp. 401–412,Aug 2013.
Jacob Devlin, Ming-Wei Chang, Kenton Lee, and KristinaToutanova. Bert: Pre-training of deep bidirectionaltransformers for language understanding. 2018. cite
arxiv:1810.04805Comment: 13 pages.
Alec Radford, Karthik Narasimhan, Tim Salimans, andIlya Sutskever. Improving language understanding by generative pre-training. 2018.
Leland McInnes, John Healy, and James Melville. Umap:
Uniform manifold approximation and projection for dimension reduction, 2018.
Lawrence Page, Sergey Brin, Rajeev Motwani, and Terry
Winograd. The PageRank Citation Ranking: Bringing Order to the Web. Technical report, Stanford Digital LibraryTechnologies Project, 1998.
Adam Zeman, Fraser Milton, Alicia Smith, and Rick Rylance. By heart an fmri study of brain activation by poetry
and prose. Journal of Consciousness Studies, Vol. 20, No.
9-10, pp. 9–10, 2013.
Junichi Chikazoe, Daniel H Lee, Nikolaus Kriegeskorte,and Adam K Anderson. Population coding of aﬀect acrossstimuli, modalities and individuals. Nature Neuroscience,Vol. 17, No. 8, pp. 1114–1122, 2014.

6

付録 (Appendix)

6.1

実験データ

3 層目

6 層目

9 層目

12 層目

15 層目

18 層目

21 層目

24 層目

3.2 節にて述べた対象被験者は，男性 15 名，女性17 名の合計 32 名である．脳画像データの撮像は，生理学研究所に設置された 3.0 テスラの MRI(シーメンス社製) を用いて取得された．解剖学的スキャ
ンの撮像条件は，TR0.75 秒，ボクセルサイズ 2.0mm× 2.0mm × 2.0mm である．

6.2

非類似度の可視化

図 2 では，BERT と GPT において，詩的と感じる・感じないときの各階層の非類似性を RDM で示した．このときの Poetic に対する Unpoetic の非類似度を示す (図 5)．
BERTGPT

図 7: BERT 各階層における PageRank 値の差分.

図 5: Poetic-Unpoetic 間の各階層における非類似度.

3 層目

6 層目

9 層目12 層目

15 層目

18 層目

21 層目

24 層目

BERT と GPT2 どちらでも，8 層目あたりで非類似度があがり，その後は BERT は徐々に上がり，GPTでは下がる様子が見られた．
図 3 の異なる角度からの可視化結果を示す．

図 6: RDM の次元圧縮結果 (図 3 別角度).

6.3

PageRank の差分結果

4.3 節で述べられているように，PageRank アルゴリズムを用いてハブ性を調査した．本文に掲載できなかった BERT と GPT の一部階層について，(詩的と感じる − 詩的と感じない) の差分結果を示す．

図 8: GPT 各階層における PageRank 値の差分.