# 左隅型再帰的ニューラルネットワーク文法による 日本語 fMRI データのモデリング

杉本侑嗣 1 吉田遼 1 鄭 嫣婷 2
小泉政利 ${ }^{3}$ Jonathan R. Brennan ${ }^{4}$ 大関洋平 1
1 東京大学大学院総合文化研究科 2 東北大学大学院国際文化研究科
3 東北大学大学院文学研究科言語学研究室 ${ }^{4}$ University of Michigan, Department of Linguistics
\{yushis, yoshiryo0617, oseki\}@g.ecc.u-tokyo.ac.jp \{koizumi, jeong\}@tohoku.ac.jp
jobrenn@umich.edu

## 概要

本研究では、日本語を対象として、新たな fMRI データセットを構築するとともに、(i) 階層構造を明示的に扱うモデルである再帰的ニューラルネットワーク文法 (Recurrent Neural Network Grammar, RNNG) の確率的な予測が、扱わない言語モデルである Long Short-Term Memory (LSTM) の確率的な予測よりもよく脳活動データを説明できる脳部位は何処なのか、さらに、(ii) 左隅型 RNNG が、トップダウン型 RNNG よりも高い説明力を持つ部位は何処なのか、を調査する。結果として、言語処理に関連する複数の部位において、RNNG が LSTM よりも脳活動データをより良く説明できるが、その効果は左隅型 RNNG に限定的であることが示され、人間の脳内における左隅型解析による階層構造の構築の実在性が示唆された。

## 1 はじめに

人間の脳内で起こる逐次的な文理解は、理論言語学が仮定するような、自然言語の階層構造 $[1,2]$ の構築を伴うのであろうか。神経言語学では、非常に制約された言語表現の刺激 (e.g., 文vs. 単語のリスト）を用い、階層構造の処理に関わる脳部位を特定することで、この問いが検証されてきた $[3,4,5,6,7]$ 。一方近年では、自然言語処理のモデルの発達により、自然言語の階層構造を明示的に扱う・扱わない言語モデルそれぞれの確率的な予測と、人間の脳活動データを比較することで、「自然な」刺激文を用いてこの問いを検証することも可能になってきている $[8,9]$ 。この計算神経言語学のアプローチによる先行研究では、特定の脳部位におい
て、階層構造を明示的に扱う言語モデルの確率的な予測が、扱わない言語モデルの確率的な予測よりも、脳活動データをよく説明できることから、人間の逐次的な文理解は階層構造の構築を伴うことが示唆されてきた [10]。

しかしながら、先行研究では、階層構造を明示的に扱うモデル・扱わないモデルの二分法による比較が行われており、階層構造を明示的に扱うモデルの解析戦略には焦点が当てられていない。特に、Brennan ら [10] は、主要部先導型右枝分かれの言語である英語を対象とし、トップダウン型解析戦略の再帰的ニューラルネットワーク文法 (Recurrent Neural Network Grammar, RNNG; [11])を用いて階層構造の処理に関わる脳部位の特定を行なっているが、計算心理言語学の先行研究 $[12,13,14]$ では、 トップダウン型解析戦略は主要部終端型左枝分かれの言語の解析には適さず、左隅型解析戦略がより認知的に妥当であるとされている。

よって、本研究では、主要部終端型左枝分かれの言語である日本語を対象として、新たな fMRI デー タセットを構築するとともに、(i) 階層構造を明示的に扱うモデルである RNNG の確率的な予測が、扱わない言語モデルである Long Short-Term Memory (LSTM; [15]) の確率的な予測よりもよく脳活動デー タを説明できる脳部位は何処なのか、さらに、(ii) 左隅型 RNNG が、トップダウン型 RNNG よりも高い説明力を持つ部位は何処なのか、を調査する。結果として、言語処理に関連する複数の部位において、 RNNG が LSTM よりも脳活動データをより良く説明できるが、その効果は、トップタウン型 RNNG にはなく、左隅型 RNNG に限定的であることが示され、人間の脳内における左隅型解析による階層構造の構
築の実在性が示唆された。

## 2 橋渡し仮説: サプライザル理論

サプライザル理論 $[16,17]$ によれば、人間は文処理の際、逐次文脈から次にくる語や文節を予測しており、予測しやすい語や文節は認知的負荷が低く、予測しにくい語や文節の認知的負荷が高くなるとされる。さらに、その語や文節の予測しやすさは、(1) のように定式化できるとされる。

$
-\log p(\text { 語や文節 | 文脈 })
$

近年、様々なアーキテクチャの言語モデルが算出したサプライザルと、人間から得られる視線、脳波や fMRIを比較することで、各アーキテクチャの人間の逐次的な文理解のモデルとしての認知的妥当性が検証されている $[18,10,14]$ 。fMRI データを扱う本研究では、認知的に妥当な言語モデルにより得られた文節単位のサプライザルは、人間の認知的負荷を表す血中酸素レベル依存性 (BOLD) 信号の増加と近い傾向を示すことが予想される。

## 3 実験

## 3.1 言語モデル

n-gram $n$-gram は、自然言語の階層構造を明示的に扱わない言語モデルである。 $n$-gram は、固定窓幅内のみの単語を文脈として扱う（cf. マルコフモデル）ため、階層構造を明示的に扱う言語モデルに対する、単語列に基づく予測の弱いべースラインであると言える。本研究では、KenLM 実装の 5 -gram を用いた。1)

LSTM Long Short-Term Memory (LSTM; [15]) は、自然言語の階層構造を明示的に扱わない言語モデルである。LSTM は、先行文脈全体を 1 つの単語べクトルとして扱うため、階層構造を明示的に扱う言語モデルに対する、単語列に基づく予測の強いべー スラインであると言える。本研究では、単語埋め込み・隠れ層の次元数 256 の 2 層 LSTM を用いた。

トップダウン型・左隅型 RNNG 再帰的ニュー ラルネットワーク文法 (Recurrent Neural Network Grammar, RNNG; [11]) は、自然言語の階層構造を明示的に扱う言語モデルである。生成の各時刻では、 RNNG は逐次スタック LSTM を用いて先行する単語列とその階層構造を 1 つのべクトルに集約し、その


ベクトルに基づき次の時刻のアクションが次の 3 つから選択される：
- GEN：終端記号（単語）の生成。

・NT : 非終端記号（句）を開く。

・REDUCE：非終端記号（句）を閉じる。

REDUCE の際には、双方向 LSTM に基づく構成関数により、閉じられた句はそれを表す一つのべクトルへと集約される。本研究では、トップダウン型解析戦略、および左隅型解析戦略、という、2つの異なる解析戦略の RNNG（それぞれ、トップダウン型 RNNG、および、左隅型 RNNG）を対象として検証を行う。Noji and Oseki [19]により実装2 された、単語埋め込み・隠れ層の次元数 256 の 2 層スタック LSTM を持つトップダウン型・左隅型 RNNG を用いた。また、それぞれの RNNG の推論には、単語同期型ビームサーチ [20]を用いた。

各言語モデルは、吉田ら [14]により NINJAL Parsed Corpus of Modern Japanese (NPCMJ) ${ }^{3}$ )で学習されたものを用いた。

## 3.2 fMRI 実験手続

実験参加者本研究の fMRI 実験には 42 名の日本語母語話者（全員右利きの健常成人、女性 23 名、平均年齢 21.1 歳、 $\mathrm{SD}=1.7$ ) が参加した。参加者は全員正常な視力（矯正を含む）を有していた。

刺激文と課題本研究で使用する刺激文は、「現代日本語書き言葉均衡コーパス (Balanced Corpus of Contemporary Written Japanese: BCCWJ、[21]) にある様々なジャンルの中から新聞記事の一部を使用している。 BCCWJ-EyeTrack [22] と BCCWJ-EEG [23] と同様に、新聞記事 20 件の記事を使用し、 5 件の記事ごとに 4 つのブロックに分けられる。各記事の提示には PychoPy を使い [24, 25]、 Rapid Serial Visual Presentation (RSVP) によって文節が $500 \mathrm{~ms}$ ごとに表示される (各文節の間には $500 \mathrm{~ms}$ 何も表示されない)。また記事を読み終える度に質問が提示される。本実験では、fMRIによって実験参加者が文節ごとに区切られた刺激文を MRI 装置の中で読んでいる際の脳活動データ収集を行った。

前処理 fMRI データの前処理はSPM12を使用し、頭の動きの補正 (realignment)、スライスタイミング補正 (slice timing correction)、脳解剖画像の脳機能画像への登録 (coregistration) と脳解剖画像の分解

2) https://github.com/aistairc/rnng-pytorch

3) http://npcmj.ninjal.ac.jp
(segmentation)、脳機能画像の標準化 (normalization)、脳機能画像の空間的平滑化 (smoothing) の処理を行った。

## 3.3 fMRI データ解析

fMRI 解析するにあたり、42 名の fMRI データのうち 34 名分の fMRI データを使用した。また、最初のデータポイント 10 スライス分 $(20$ 秒、 $\mathrm{TR}=2.0)$ は、刺激提示されていないため、解析からは除いた。

説明変数本研究では、サプライザルを用いて人間の文処理における予測処理をモデル化することを目的としているが、人間の言語処理に際しては、その他の関連する脳活動も生じるため、これらをモデル化する説明変数をべースラインとして使用する。先行研究を踏襲し [10]、このベースラインには、文節のオフセットに 1、それ以外は 0 を与える word rate、文節の長さ (word length)、文節内単語頻度の対数平均 (word frequency)、記事内の文の位置 (sentid)、文中の文節の位置 (sentpos)、fMRI データ取得の際の各参加者の頭の動きのパラメータ $6 \supset(\mathrm{dx} 、 \mathrm{dy} 、$ $\mathrm{dz} 、 \mathrm{rx} 、 \mathrm{ry} 、 \mathrm{rz})$ を用いる。

本研究で関心のある各言語モデルのサプライザルの値とベースラインで使用する説明変数は Python のパッケージである nilearn ${ }^{4}$ を使用し、Hymodynamic Response Function (HRF) によって推定 BOLD 信号に変換した。また、各言語モデルのサプライザルは、 word rate に対して直交処理 (orthogonalization) を行なった。fMRI データポイントは 2 秒ごとに記録されるため $(\mathrm{TR}=2.0)$ 、各説明変数の推定 BOLD 信号には $0.5 \mathrm{~Hz}$ で再サンプリング処理を行った。

関心領域解析関心領域解析に伴い、先行研究に基づいて左脳の 8 つの関心領域を選んだ [4, 10, 26, 27, 28, 5]。具体的には、以下の関心領域を使用した; 下前頭回の弁蓋部 (Inferior frontal gyrus opercular part、IFG_Oper)、三角部 (Inferior frontal gyrus triangular part、IFG_Tri)、眼窝部 (Inferior frontal gyrus orbital part、IFG_Orb)、下頭小葉 (Inferior parietal lobule、 IPL)、角回 (Angular gyrus、AG)、上側頭回 (Superior temporal gyrus、STG)、上側頭極 (Temporal pole: superior temporal gyrus、sATL)、中側頭極 (Temporal pole: middle temporal gyrus、mATL)。fMRI データの各関心領域ごとの BOLD 信号の抽出には、Automated Anatomical Labeling (AAL) アトラス [29]を使用した。


これらの各領域のモデル化には、R の lmer パッケージの線形混合モデルを用いた。具体的には、 ベースラインの回帰モデルに各言語モデルのサプライザルを説明変数として 1 つずつ付け加え、モデルを付け加える前の回帰モデルとの間で R の anova 関数により分散分析を行う。分析の結果、統計的な有意差が出れば、より fMRI に対して言語モデルの精度の高いことを示す。ベースライン回帰モデルには参加者 (subject_number) をランダム切片として加えた、以下の線形混合モデルを用いる。

$
\begin{aligned}
& \text { ROI } \sim \text { word_rate }+ \text { word_length }+ \text { word_freq } \\
& + \text { sentid }+ \text { sentpos }+d x+d y+d z+r x+r y+r z
\end{aligned}
$

$
+(1 \mid \text { subject_number })
$

全脳解析探索的な全脳解析では、nilearn の一般線形モデルを用い、解析を行った。個人レベル解析では、頭の動きのパラメータ以外の説明変数を元にデザインマトリックスが作成され、各実験参加者の fMRI データごとに係数がマップされた NIfTI ファイルが集団解析のために作成された。集団解析では、 Yeo ら [30] のマスクを使用し、ガウスフィルター 処理 (8mm の半値全幅) が行われた。閾値マップは z-scored されたものを使用した。false discovery rate $\alpha$ $=0.05$ が設定され、 50 voxels のクラスターサイズの閾値とした。閾値のピークの座標と AAL での領域名を特定するため、AtlasReader [31]を使用した。

## 4 結果と考察

## 4.1 関心領域解析

関心領域解析の結果は、表 $1 、 2$ に示した。表 1 の結果では、階層構造を明示的に扱う RNNG が、扱わないモデルである LSTM よりもよく脳活動デー タを説明できる脳部位を同定することを目的とした。まず左隅型 RNNG の説明力を調べるため (表 1 上部)、ベースライン回帰モデルに $n$-gram、LSTM を加えたモデルと、更に左隅型 RNNG(RNNG_LC) を加えたモデルの分散分析を行うと、IFG_Oper、 IFG_Tri、IPL、AG、STGの 5 つの領域で統計的な有意差が認められた。同様の分散分析をトップダウン型 RNNG(RNNG_TD) で行った結果、どの領域でも統計的な有意差は認められなかった (表 1 下部)。表 2 では、トップダウン型 RNNG よりも左隅型 RNNG がどの脳領域で説明力があるかを調べるため、ベー スライン回帰モデルに $n$-gram、LSTM、RNNG_TDを

表 1 Model Comparison の結果。Bonferroni 法により有意水準 $\alpha=0.003125$ で検定した.

加えたモデルとそのモデルに RNNGLC を加えたモデルとの分散分析を行った。結果として、mATL 以外の部位で統計的有意差が見られた。表 1 と表 2 の結果を踏まえると、左隅型 RNNG は、LSTM に比べて、関心領域の 5 つでより脳活動データを説明でき、トップダウン型 RNNG と比べても mATL 以外の部分で説明力を示している。一方トップダウン型 RNNG は、LSTM に対してどの脳領域でもより高い説明力を示す結果にはならなかった。

表 2 Model Comparison の結果。Bonferroni 法により有意差 $\alpha=0.00625$ で検定を行った。

## 4.2 全脳解析

全脳解析では、図 $1 、 2 、 3$ に示される結果となった (詳細な結果は表 3 を参照)。LSTM(補正なし)では、左脳後側頭葉の脳活動が見られ、トップダウン型 RNNG（補正なし）では、左脳紡錘状回での脳活動が見られ、本研究の関心領域解析で扱った脳部位
では、活動が見られなかった。左隅型 RNNG では、左脳下頭小葉での脳活動が見られた。この脳領域は、領域関心解析の結果でも統計的有意差の出ており、先行研究ではトップダウン型 RNNG のサプライザルに対して、この部位での脳活動が報告されている [10]。つまり英語では、トップダウン型の RNNG で効果の見られる領域が、本研究では左隅型 RNNG で見られている結果となった。このことは、少なくとも日本語では、左隅型 RNNG のほうが、トップダウン型 RNNG より脳活動データに対して説明力を持つことを支持している。

図 1 LSTM (補正なし)

図 2 RNNG_TD (補正なし)

図 3 RNNGLC

## 5 おわりに

本研究では、日本語を対象として、新たな fMRI データセットを構築し、(i) 階層構造を明示的に扱うモデルである RNNG の確率的な予測が、扱わない言語モデルである LSTM の確率的な予測よりもよく脳活動データを説明できる脳部位は何処なのか、さらに、(ii) 左隅型 RNNG が、トップダウン型 RNNG よりも高い説明力を持つ部位は何処なのか、 を調査した。結果として、言語処理に関連する複数の部位において、RNNG が LSTM よりも脳活動デー タをより良く説明できるが、その効果はトップダウン型 RNNG にはなく、左隅型 RNNG に限定的であることが示され、人間の脳内における左隅型解析による階層構造の構築の実在性が示唆された。

## 謝辞

本研究は、JSPS 科研費 JP21H05061、JP19H05589、 JST さきがけ JPMJPR21C2 の助成を受けたものです。

## 参考文献

[1] Noam Chomsky. Syntactic Structures. Mouton, The Hague, 1957.

[2] Martin B.H. Everaert, Marinus A.C. Huybregts, Noam Chomsky, Robert C. Berwick, and Johan J. Bolhuis. Structures, not strings: Linguistics as part of the cognitive sciences. Trends in Cognitive Sciences, Vol. 19, No. 12, pp. 729-743, 2015.

[3] Christophe Pallier, Anne-Dominique Devauchelle, and Stanislas Dehaene. Cortical representation of the constituent structure of sentences. Proceedings of the National Academy of Sciences, Vol. 108, No. 6, pp. 2522-2527, 2011.

[4] D.K. Bemis and Liina Pylkkänen. Basic Linguistic Composition Recruits the Left Anterior Temporal Lobe and Left Angular Gyrus During Both Listening and Reading. Cerebral Cortex, Vol. 23, No. 8, pp. 1859-1873, 062012.

[5] Emiliano Zaccarella and Angela D. Friederici. Merge in the human brain: A sub-region based functional investigation in the left pars opercularis. Frontiers in Psychology, Vol. 6, , 2015.

[6] Emiliano Zaccarella, Lars Meyer, Michiru Makuuchi, and Angela D. Friederici. Building by Syntax: The Neural Basis of Minimal Linguistic Structures. Cerebral Cortex, Vol. 27, No. 1, pp. 411-421, 102017.

[7] William Matchin, Christopher Hammerly, and Ellen Lau. The role of the IFG and pSTS in syntactic prediction: Evidence from a parametric study of hierarchical structure in fMRI. Cortex, Vol. 88, pp. 106-123, 2017.

[8] Jonathan R. Brennan. Naturalistic sentence comprehension in the brain. Language and Linguistics Compass, Vol. 10, No. 7, pp. 299-313, 2016.

[9] John Hale, Luca Campanelli, Jixing Li, Shohini Bhattasali, Christophe Pallier, and Jonathan R. Brennan. Neurocomputational models of language processing. Annual Review of Linguistics, Vol. 8, No. 1, pp. 427-446, 2022.

[10] Jonathan R. Brennan, Chris Dyer, Adhiguna Kuncoro, and John T. Hale. Localizing syntactic predictions using recurrent neural network grammars. Neuropsychologia, Vol. 146, p. 107479, 2020.

[11] Chris Dyer, Adhiguna Kuncoro, Miguel Ballesteros, and Noah A. Smith. Recurrent neural network grammars. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 199-209, San Diego, California, June 2016. Association for Computational Linguistics.

[12] Steven P. Abney and Mark Johnson. Memory requirements and local ambiguities of parsing strategies. Journal of Psycholinguistic Research, Vol. 20, No. 3, pp. 233-250, 1991.

[13] Philip Resnik. Left-corner parsing and psychological plausibility. In Proceedings of the 14th Conference on Computational Linguistics - Volume 1, COLING '92, pp. 191-197, USA, 1992. Association for Computational Linguistics.

[14] Ryo Yoshida, Hiroshi Noji, and Yohei Oseki. Modeling human sentence processing with left-corner recurrent neural network grammars. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 2964-2973, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[15] Sepp Hochreiter and Jürgen Schmidhuber. Long Short-Term Memory. Neural Computation, Vol. 9, No. 8, pp. 1735-1780, 111997.

[16] John Hale. A probabilistic Earley parser as a psycholinguistic model. In Second Meeting of the North American Chapter of the Association for Computational Linguistics, 2001.

[17] Roger Levy. Expectation-based syntactic comprehension. Cognition, Vol. 106, No. 3, pp. 1126-1177, 2008.

[18] John Hale, Chris Dyer, Adhiguna Kuncoro, and Jonathan Brennan. Finding syntax in human encephalography with beam search. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2727-2736, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[19] Hiroshi Noji and Yohei Oseki. Effective batching for recurrent neural network grammars. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 43404352, Online, August 2021. Association for Computational Linguistics.

[20] Mitchell Stern, Daniel Fried, and Dan Klein. Effective inference for generative neural parsing. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 1695-1700, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[21] Kikuo Maekawa, Makoto Yamazaki, Toshinobu Ogiso, Takehiko Maruyama, Hideki Ogura, Wakako Kashino, Hanae Koiso, Masaya Yamaguchi, Makiro Tanaka, and Yasuharu Den. Balanced corpus of contemporary written Japanese. Language Resources and Evaluation, Vol. 48, No. 2, pp. 345-371, 2014.

[22] Masayuki Asahara, Hajime Ono, and Edson T. Miyamoto. Reading-time annotations for "Balanced Corpus of Contemporary Written Japanese". In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 684-694, Osaka, Japan, December 2016. The COLING 2016 Organizing Committee.

[23] Yohei Oseki and Masayuki Asahara. Design of BCCWJ-EEG: Balanced corpus with human electroencephalography. In Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 189-194, Marseille, France, May 2020. European Language Resources Association.

[24] Jonathan W. Peirce. Psychopy-psychophysics software in python. Journal of neuroscience methods, Vol. 162, No. 1-2, pp. 8-13, 2007.

[25] Jonathan W. Peirce. Generating stimuli for neuroscience using psychopy. Frontiers in Neuroinformatics, Vol. 2:10, , 2009.

[26] Angela D. Friederici. Language in our brain: The origins of a uniquely human capacity. MIT Press, 2017.

[27] Peter Hagoort. Chapter 28 - muc (memory, unification, control): A model on the neurobiology of language beyond single word processing. In Gregory Hickok and Steven L. Small, editors, Neurobiology of Language, pp. 339-347. Academic Press, San Diego, 2016.

[28] William Matchin and Gregory Hickok. The cortical organization of syntax. Cerebral Cortex, Vol. 30, No. 3, pp. 1481-1498, 2020.

[29] N. Tzourio-Mazoyer, B. Landeau, D. Papathanassiou, F. Crivello, O. Etard, N. Delcroix, B. Mazoyer, and M. Joliot. Automated anatomical labeling of activations in SPM using a macroscopic anatomical parcellation of the MNI MRI single-subject brain. Neurolmage, Vol. 15, No. 1, pp. 273-289, 2002.

[30] B. T. Yeo, Fenna M. Krienen, Jorge Sepulcre, Mert R. Sabuncu, Danial Lashkari, Marisa Hollinshead, Joshua L. Roffman, Jordan W. Smoller, Lilla Zöllei, Jonathan R. Polimeni, Bruce Fischl, Hesheng Liu, and Randy L. Buckner. The organization of the human cerebral cortex estimated by intrinsic functional connectivity. Journal of Neurophysiology, Vol. 106, No. 3, pp. 1125-1165, 2011. PMID: 21653723.

[31] Michael Philipp Notter, Dan Gale, Peer Herholz, Ross Markello, Marie-Laure Notter-Bielser, and Kirstie Whitaker. AtlasReader: A python package to generate coordinate tables, region labels, and informative figures from statistical MRI images. Journal of Open Source Software, Vol. 4, No. 34, p. 1257, 2019.

## A 全脳解析結果一覧

} & \multirow[t]{2}{*}{ Region (AAL) } \\

表 3 LSTM、RNNG_TD、RNNG_LCの全脳解析の結果。false discovery rate: $\alpha=0.05 、 50$ voxel のクラスターサイズの閾値を設定した。