言語処理学会 第30回年次大会 発表論文集（2024年3月）

短歌固有の属性に対応する脳内情報表現
佐藤 杏奈 1
近添 淳一 2船井 正太郎 2
持橋 大地 3 小林 一郎 1
1 お茶の水女子大学大学院 人間文化創成科学研究科 理学専攻
2 株式会社アラヤ 3 統計数理研究所{g1920519,koba}@is.ocha.ac.jp {chikazoe junichi,funai shotaro}@araya.org
daichi@ism.ac.jp

概要
ヒト脳内における情動活動の理解は，脳神経科学における中心的な課題である．本研究では，情動理解の探究として言語芸術である短歌を取り上げ，文から誘起される詩的な情動が，脳内でどう表現されるのか，詩的感覚は文のどのような要素から構成されうるのかを，短歌を読んだ際の fMRI データを用いて調査する．サーチライト解析を行い脳内状態を調査した結果，文の詩的さと関連する情報は，後頭葉，ブローカ野をはじめとした大脳皮質上で広く表現され，また，詩的感覚はその文の珍しさや構造などに細分化される可能性が示唆された．

1

はじめに

近年，様々な課題を通じてヒト脳内における言語処理過程の解明に大規模言語モデルの有用性が示されている [1, 2, 3, 4, 5]．言語による刺激はヒト脳内において意味表象となり，情動にも大きな影響を与える．とくに詩，俳句，短歌といった言語芸術は，言語表現の中により繊細な価値を捉える芸術であり，通常の喜怒哀楽といった直接的な感情とは異なる．
本研究では，そのような言語芸術を刺激として与えられた際のヒト脳内の状態に着目し，文を読んだ際にヒトが感じる，詩的という情動について調査を行う．1) 詩的という情動そのものが脳内でどのように表現されるのか， 2) 文に含まれるどのような特徴がヒトの詩的感覚を構成するのかについて解明を目指す．

2

関連研究

情動が神経系活動の中でどのように表現されているかを理解することは，脳神経科学における中心的かつ未解決の問題である．情動に関する研究のなかでも言語芸術を刺激とするヒト脳活動を調査した研究として，Zeman ら [6] は fMRI を用いて，散文と詩の文章を読む被験者の脳活動を調べた．その結果，文学性と関連する領域は主に左脳に見られ，情動性と関連する領域は，音楽に対する感情に共通していると確認された．また，作詩時の脳活動を調査した
He ら [7] は，専門家と初心者を対象に，作詩テーマの馴染みの有無で機能的接続パターンがどのように変化するのかを報告している．船井ら [8] は，言語刺激の特徴量を BERT [9] によって表現し，BERT の各層と短歌を読んだ際の被験者の脳活動との対応を調査しており，BERT の低層では統語論的な情報を捉え，高層では文の意味的な情報を捉えているという BERT の性質と脳内での情報処理部位の対応関係を確認している．佐藤ら [10] は短歌を読んだ際のヒト脳活動の階層的な処理と関心領域 (ROI）のハブ性について調査を行なっており，BERT，GPT [11] それぞれの高層から符号化モデルによって予測した脳内状態において，情動を司る部位がハブとなっていることを確認している．
本研究では，短歌特有の言語的刺激に対応するヒト脳内状態を調査し，情動と脳活動の解明を目指す．

3実験

3.1

被験者実験

脳画像データの撮像は，生理学研究所に設置された 3.0 テスラの MRI(シーメンス社製) を用いて取得された．撮像パラメータは，TR = 750ms， TE =31ms， ﬂip angle = 55°, voxel size = 2.0mm × 2.0mm ×2.0mm である.
被験者 本実験には 18 歳から 34 歳までの日本語母語話者 32 名 (平均年齢 23.0 歳，うち男性 15 名) が参加した．全被験者が右利きであり，短歌の経験は― 1108 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

不問．解析には，ログの取得が困難であった 2 名をサーチライトのデコーディング精度は中心のボクセ除く 30 名の被験者のデータを用いる．

ルに挿入される．

実験タスク

被験者には fMRI スキャナー内で文を呈示し，その文が詩的と感じるか否かを右手に持特徴量の設定4つボタン押しで回答させた (図 1)．1 試行の所要時

本研究の目的である，1) 詩的感覚が脳内でどう表間は約 12 秒であり，50 試行を 1 セッションとし，現されるかの調査， 2) 詩的感覚を構成する要素の解休憩を挟み全 6 セッションを行った．

明 を目指し，サーチライト解析で用いられる被説明

実験刺激

刺激には，『現代日本語書き言葉均衡コーパス』(BCCWJ) 1），『桜前線開架宣言』[12]，『塔』[13] から抽出された短歌 150 首と, BCCWJ に含まれ変数を設定する．

4.1

文の詩的さ

る，短歌と同じ 31 文字程度の普通の文 (平文)150 文

感情には個人差があるとされるが，ここでは被験を用いた．短歌/平文は 3 行に分け，1 行目のみ，2者実験 (3.1 節) のタスク結果を用いて，どの程度の行目まで，3 行全てとそれぞれ約 3 秒ずつ呈示され人が詩的と感じると回答したか，もしくは詩的と感た後，「詩的であると感じますか？」と記載された質問スライドが 3 秒間呈示される．文はセッションじないと回答したかを文章の詩的さとして定義する．詩的と感じるを+1，詩的と感じないを-1，無回内で被験者ごとにランダムな順に呈示され，各セッ答を 0 とし，全 32 名の被験者の回答をもとにスコションは短歌 25 首，平文 25 文で構成される．

ア化を行った結果を図 2 に示す．

3.2

MRI データ処理

4.2脳 画 像 前 処 理 に は，fMRIPrep[14] の 標 準 パ イ
プ ラ イ ン を 用 い た．動 き 補 正，MNI152 標 準 脳

詩的感覚の構成要素

次に，文を詩的と感じさせるいくつかの要素を考え，それぞれについてスコア化を目指す．

へ の 変 換 等 を し た 後，被 験 者 毎 に 一 般 線 形

一般には，文に含まれる比喩表現，リズム，韻，モ デ ル (GLM) を 適 用 し，各 刺 激 に 対 す る ボ ク

また，読み手個人の経験などが様々な感情を呼び起

セ ル 毎 の パ ラ メ ー タ を 推 定 し た．GLM に はこすことにつながると考えられているが [16]，どのnilearn.glm.ﬁrst level.FirstLevelModel() を使用し，各刺要素も簡単に定量化できるものではない．例えば，

激に対応する回帰係数の Z-スコアが応答パラメータ

どのような比喩が使われているかは，文を詩的にさとして取得された．

せる重要な要因であると考える一方で，比喩の理解3.3を定量的に示すことは容易ではなく，そのようなこマルチボクセルパターン分析

本研究では，詩的感覚と関係のある領域を調査すとが可能な十分な精度をもった日本語モデルは著者らの知る限り未だ存在しない．また，個人の様々なるため，全脳を対象としたサーチライト解析 [15] を経験についても，どのような刺激がどのような経験用いる．この手法は，事前に決められた半径の球状ともに詩的感情を引き起こすかを個々人で定量化す

サーチライトに含まれるボクセルを用いたデコーることは困難である．

ディング分析手法で，サーチライトを対象領域内で上記を踏まえ本研究では，スコア化する個人のバ動かしデコーディング精度を測ることで，刺激と関イアスを防ぎつつ定量化が可能であると考えた，以係した情報を持つ脳領域を得ることができる．各下の三点について特徴量の設定を行った．
(a) 文の珍しさ

以下のように，我々が日常であまり用いないであろう語彙や言い回しを含んだ文に詩的であると感じますか？

はい3s

3s

3s

いいえ

3s

は，文学的な趣を感じることがある．

わがこころ たゆとう秋の夕舗道
手相の不幸買う男あり
ここでは，言語モデルを用いてスコア化を行う．

図 1: 実験タスク設定.
1） https://clrd.ninjal.ac.jp/bccwj/

本研究では 3.6B GPT-NeoX モデル 2）を採用した．大2） rinna/japanese-gpt-neox-3.6b― 1109 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

文の詩的さ(a) 文の珍しさ(b) 繰り返しと韻(c) 文法的違い

表 1: 詩的さと各要素の相関．

短歌

平文

短歌

平文

短歌

平文短歌要素

𝑟(a)
(b)

0.464
0.173

(c)

0.444

平文

図 2: 文の詩的さと，詩的感覚の構成要素のスコアの分布．
量のテキストデータで学習された言語モデルによる予測誤差が大きい文は，日常的に使われない文であるとし，文に含まれる全てのトークンのクロスエン通りの接続確立を求めた後，短歌と平文の 2 群に有意差がある項目を 𝑡 検定で調査する (𝑝 < 1𝑒 − 10)．
有意差が見られた 42 個の項目について，実験で使トロピー誤差の平均を求めることで，それぞれの文われた 300 文についても同様に i)，ii) を求め，短歌の珍しさとした（図 2a）．に多く見られた特徴に 1，その他に 0 を入れた基準(b) 繰り返しと韻繰り返し表現や韻を用いることは，詩的な文を構築するためによく使われる技法ベクトルとの cosine 類似度を測ることで，文法的な短歌らしさをスコアリングした（図 2c）．の一つである．
これら上記 3 つのスコアと，4.1 節で述べた詩的さ

きれいな言葉を使ってきれいにしたような街できれいにぼくは育った

スコアの相関を表 1 に示す．

5

実験結果

5.1

サーチライト設定

ここでは，GINZA[17] を用いて構文解析した後に人手で調節することで，実験に用いた短歌と平文，300 文の仮名振りを行なった．本研究では撥音，促

本研究では半径 4mm のサーチライト (33 個のボ音は省略，長音記号は直前と同じ音を続けるよう前処理をし，全てを母音に変換したときに 3 字以上でクセル) を採用し，デコーディングには線形サポー
トベクター回帰 (SVR) を用いた．ここでは簡単のた韻が踏まれている文字数を加算することでスコアリめ、事前実験で決めたパラメータ (𝐶 = 0.001, 𝜖 = 0.9)ングした（図 2b）．
(c) 文法的違い

を全被験者，全設定で採用した．サーチライト解析

詩，俳句，短歌といった言語芸の入力は 3.2 節で構築した各刺激に対する脳応答パ

術は，字数制限のための語の調節や，体言止め，倒ラメータ，出力は 4 章で求めた，詩的さ，珍しさ，置法などの表現技法より，特徴的な文法を持つ場合があると考える．以下の文章では，体言止めの他に繰り返し，文法の特徴を表す値の Z-スコアのいずれも，日常会話であまり用いない代名詞「君」が使わ

デルの訓練と評価どちらにも含まれることのないよ

れていることも文法的特徴として挙げられると考う，6-fold 交差検証でデコーディングを行う．

かである．同一セッション内の脳データが SVR モえる．

5.2

いつか君が歌ったこんな夕暮れのハートブレイクホテルの灯り

デコーディング結果

スコア化したそれぞれの要素へのデコーディング

こ こ で は 初 め に，BCCWJ，『桜 前 線 開 架 宣 言』，『塔』から抽出された実験に使われていない短歌
6542 首と平文 5061 文を使用し，短歌特有の文法的特徴を調査する．GINZA を用いて形態素解析を行い，i) 各品詞の出現回数と，ii) 品詞から品詞への全精度を図 3 に示す．評価には予測値と実測値のピアソン相関係数を計算した．値は被験者毎に FDR 補正 (𝑞 < 0.01) され，30 名の被験者で平均された後，閾値 0 で可視化されている．図 3d では 4 つの異なる領域に在るサーチライトのそれぞれの値に対する― 1110 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

図 3: サーチライト解析結果 (𝑧 = −20, −4, 11, 37, 59)．

える．
文の珍しさ，文法的特徴のスコアのデコーディン

文の詩的さ.
Lグ (図 3a，3c) では，両側後頭葉の精度が同等程度にR高くなった．詩的さと比較すると精度は劣るが，文の詩的さと共通した箇所に幾つかのクラスター（赤い囲いで表示）が確認できる．いずれも似た領域がそれぞれのスコアを優位に予測できたと考えられる(a) 文の珍しさ.

一方，その精度を比較すると必ずしも同じ位置付けなわけではなく，役割が異なるようにも捉えられる(図 3d)．
繰り返し韻スコアのデコーディング精度はさらに劣り，全脳に散らばっている (図 3b)). 仮説として，(b) 繰り返しと韻.

i) 繰り返し表現や文に含まれる韻は，文の詩的さを評価するヒトに与える影響が少ない，もしくは，ii)
繰り返し表現や韻を適切に表現できるスコアリングでなかったことが考えられる．しかし，やはり文のリズムが詩的表現に与える影響は無視できず，文の(c) 文法的特徴.

詩的さとの相関があまり見られていない (𝑟 = 0.173,
表 1) ことを踏まえると，ii) の可能性が高く，韻の特徴を適切に表現するスコア化方法において改善の余地があるだろうと結論づける．

おわりに6
V1

LOC

PT

MFC

本研究では，1) 文が誘起する詩的という情動がヒR

ト脳内でどのように表現されているのか，2) 我々が持つ詩的感覚は文のどのような要素から構成されているのか，を探究した．とくに，機械的にスコア化をした文の特徴を表す指標を用いてマルチボクセル
詩 (a) (b) (c)パターン分析を行うことで，それら特徴と関係のある脳領域の調査を行なった．まず，刺激として与え(d) 各サーチライトにおけるデコード精度.ている文の詩的さを予測できる脳領域は大脳皮質上V1: pericalcarine cortex, LOC: lateral occipital cortex,
PT: pars triangularis, MFC: middle frontal cortexに広く散布していること，なかでも後頭葉，ブローデコーディングの精度を示す (青：詩的さ，橙：珍しさ，緑：韻，赤：文法)．グレーの各点が被験者，棒グラフが平均を示している．

5.3

カ野の精度が優れていることがわかった．次に，本研究でスコア化した文の珍しさ，繰り返しと韻，文法的特徴へのデコーディングでは，文の珍しさ，文法的特徴は，文の詩的さとは独立して優位に予測さ考察れ，機能的局在している可能性を示唆した．一方で文の詩的さのデコーディングでは，後頭葉とブローカ野の辺りで高い精度が確認できた．視覚情報として与えた言語刺激が，初期の視覚処理を行う視覚野から，前頭葉等の高次の処理領域まで表されていることがわかる．他の 3 つの要素のデコーディン
グ精度と比べて優れていることから，文が誘発する詩的感情は，皮質全体のあらゆる領域と関係があり，大規模なネットワークで表現されているといどのスコアにおいてもデコーディングの精度が優れているとは言えないことから，詩的感覚の構成要素そのもの，また，そのスコアリング方法は引き続き議論する必要があると考える．

謝辞
本研究は JSPS 科研費 21H05061 の助成を受けたものです．

― 1111 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

参考文献[1] Alexander G Huth, Wendy A de Heer, Thomas L Griﬃths,and Jack L Theunissen, Frédéric E andG̃allant. Naturalspeech reveals the semantic maps that tile human cerebral
cortex. Nature, Vol. 532, No. 7600, pp. 453–458, Apr2016.
[2] Martin Schrimpf, Idan Blank, Greta Tuckute, Carina Kauf,Eghbal A. Hosseini, Nancy Kanwisher, Joshua Tenenbaum, and Evelina Fedorenko. Artiﬁcial neural networks accurately predict language processing in the brain.
bioRxiv, 2020.
[3] Martin Schrimpf, Idan A Blank, Greta Tuckute, Carina
Kauf, Eghbal A Hosseini, Nancy G Kanwisher, Joshua B
Tenenbaum, and Evelina Fedorenko. The neural architecture of language: Integrative modeling converges on
predictive processing. Proceedings of the National
Academy of Sciences (PNAS), 2021.
[4] Charlotte Caucheteux, Alexandre Gramfort, and JeanRémi King. Gpt-2’s activations predict the degree ofsemantic comprehension in the human brain. bioRxiv,
2021.
[5] Jerry Tang, Amanda LeBel, Shailee Jain, and Alexander G. Huth. Semantic reconstruction of continuous language from non-invasive brain recordings. Nature Neuroscience, Vol. 26, No. 5, pp. 858–866, 2023.
[6] Adam Zeman, Fraser Milton, Alicia Smith, and Rick Rylance. By heart an fmri study of brain activation by poetry
and prose. Journal of Consciousness Studies, Vol. 20,
No. 9-10, pp. 9–10, 2013.
[7] Ruizhi He, Kaixiang Zhuang, Lijun Liu, Ke Ding,
Xi Wang, Lei Fu, Jiang Qiu, and Qunlin Chen. The impactof knowledge on poetry composition: An fmri investigation. Brain and Language, Vol. 235, p. 105202, 2022.
[8] 船井正太郎, 近添淳一, 持橋大地, 浅原正幸, 松井鉄平, 川島寛乃, 磯暁. 人間の脳と人工知能における短歌の鑑賞に関する神経活動の比較. 言語処理学会年次大会発表論文集, 2023.
[9] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina
Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Jill Burstein,
Christy Doran, and Thamar Solorio, editors, Proceed-Craig A. Moodie, A. Ilkay Isik, Asier Erramuzpe, James D.
Kent, Mathias Goncalves, Elizabeth DuPre, Madeleine
Snyder, Hiroyuki Oya, Satrajit S. Ghosh, Jessey Wright,Joke Durnez, Russell A. Poldrack, and Krzysztof J. Gorgolewski. Fmriprep: a robust preprocessing pipeline forfunctional mri. bioRxiv, 2018.
[15] Nikolaus Kriegeskorte, Rainer Goebel, and Peter Bandettini. Information-based functional brain mapping. Proceedings of the National Academy of Sciences, Vol.
103, No. 10, pp. 3863–3868, 2006.
[16] Philip N. Johnson-Laird and Keith Oatley. How poetry evokes emotions. Acta Psychologica, Vol. 224, p.
103506, 2022.
[17] 松田寛. Ginza - universal dependencies による実用的日
本語解析. 自然言語処理, Vol. 27, No. 3, pp. 695–701,2020.

ings of the 2019 Conference of the North American
Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1(Long and Short Papers), pp. 4171–4186, Minneapo-

[10]

[11]

[12]
[13]
[14]

lis, Minnesota, June 2019. Association for ComputationalLinguistics.
佐藤杏奈, 近添淳一, 船井正太郎, 持橋大地, 鹿野豊,
浅原正幸, 磯暁, 小林一郎. 短歌を読む際の情動に関する脳活動の解析. 言語処理学会年次大会発表論文集, 2023.
Alec Radford, Jeﬀ Wu, Rewon Child, D. Luan, Dario
Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners, 2019.
山田航. 桜前線開架宣言. 左右社, 2015.
塔. 第 63 巻第 4 号. 一般社団法人塔短歌会, 2016.
Oscar Esteban, Christopher J. Markiewicz, Ross W. Blair,― 1112 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).