# Modeling Human Sentence Processing with Left-Corner Recurrent Neural Network Grammars

吉田遼†

## 1 はじめに

本稿では， EMNLP2021 採録論文である "Modeling Human Sentence Processing with LeftCorner Recurrent Neural Network Grammars" (Yoshida et al. 2021) について解説する. 本研究は，私の卒業論文でもある。そして，私の人生で初めての研究でもある。このような論文の性質上，はじめに，私がどのようにしてこの研究に取り組むことを決めたのか，について，高校時代の興味関心にまで遡って述べさせていただきたい.

高校時代, 私は理系のコースに所属しており，数学の問題を友人と競うように解く日々を送っていた。そんな中，私の興味は次第に数式から言語に移っていき，やがて言語の計算的側面に魅せられるようになった，大学に入ると，私はその知的好奇心を満たすべく文転し，理論言語学や心理言語学を学んだ。言語の計算理論や, その脳内での実装について学ぶうちに, 私の高校時代からの興味は「人間の言語処理を計算機上に実装したい」という野心へと形を変えた。 ちょうど私が学部 4 年生になる年に，「人間らしい言語処理モデルの開発」を掲げる大関洋平先生が東京大学に着任し, 私は大関先生の元で卒業論文に取り組むこととなった

私はまず，具体的な現象・検討範囲を設定して，野心を卒業論文サイズのプロジェクトに落とし込む作業に着手した。その際に重要であったのが，「言語処理のリバースエンジニアリング」である。言語処理のリバースエンジニアリングとは，計算機上で実装されたモデルの言語処理が，行動実験などで計測される人間の言語処理と似た傾向を示すか，を観察することで，間接的に「人間らしい」言語処理モデルについて検証する，という手法である．英語における先行研究では, この枠組みに則り様々な知見が蓄積されている。その中でも, 理論言語学が仮定する自然言語の階層構造を明示的に扱う言語処理モデルは，そうでないモデルよりも「人間らしい」という知見 (Fossum and Levy 2012; Hale et al. 2018) は，言語学を専門に学んできた私の興味に大変合致するものであった，幸運なことに，能地宏先生（第二著者）が， Hale et al. (2018)で「人間らしい」言語処理モデルであるとされている，再帰的ニューラルネットワーク文法 (Recurrent Neural Network Grammars，RNNGs) (Dyer et al. 2016)の並列化・高速化を目指した開発を行っており，そのモデルを使わせていただけるらしい。これまた幸い，日本語にお


いては，人間の眼球運動データが BCCWJ-EyeTrack (Asahara et al. 2016) という視線計測コー パスとして整備されている。そこで私ははじめに，「日本語においても，階層構造を明示的に扱う言語処理モデルが，そうでない言語処理モデルよりも人間らしい」ことを示す, という目標を立てた，しかし，「英語でやられていることを日本語でもやりました」では，インパクトに欠ける。そこで私は，先行研究では言及されていない，階層構造の解析戦略に着目することにした. 詳細には, 先行研究で用いられているトップダウン型 (top-down) 解析戦略が, 主要部先端型右枝分かれ構造の英語と異なり, 主要部終端型左枝分かれ構造の日本語においては,「人間らしくない」という点 (Abney and Johnson 1991; Resnik 1992) に着目し, 左隅型 (left-corner) 解析戦略を新たに比較対象として導入した。こうして私は,「どのような解析戦略で階層構造を扱う言語処理モデルが人間らしいのか」というリサーチクエスチョンの下，人生で初めての研究に取り組むことになったのであった。

そこから，EMNLP2021 採択までの流れは，概ね以下の通りである。約 1 年間かけて卒業論文として結果をまとめ, 無事に提出. 言語処理学会第二十七回年次大会にも論文を投稿し, 若手奨励賞を受賞.その勢いで国際会議デビューを果たすべく，内容を発展させ ACL2021に long paperとして論文を投稿したが，「結果がそれほど多くないため, 実験手法が長く結果と考察で尻すぼみになっている」との理由で不採択. 査読者のコメントを踏まえて考察を充実させ, short paper に切り替えて EMNLP2021に投稿. 悲願の採択を果たした.

## 2 論文の解説

以下では, モデルと人間の言語処理の橋渡し理論 ( 2.1 節 $)$, 本研究の実験手法 ( 2.2 節), 及びその結果（2.3 節）に絞って, “Modeling Human Sentence Processing with Left-Corner Recurrent Neural Network Grammars”を解説する。詳細については，適宜論文を参照していただきたい.

## 2.1 橋渡し理論

モデルの言語処理と，人間の言語処理の傾向を比較する際に重要な役割を果たすのが,「サプライザル理論 (Hale 2001; Levy 2008)」である。人間は文を処理する際に次に来る単語や文節を予測しており，文脈から予測しにくい単語や文節ほど，処理負荷が高く（e.g., 読み時間が長く）なると言われている。サプライザル理論は，この「予測しにくさ」をサプライザル $(-\log p($ 単語や文節|文脈 $))$ と呼ばれる情報量で定式化したものである. この論文では, 言語処理モデルの算出する確率と，人間の読み時間の「橋渡し仮説」としてサプライザルを用い，言語処理モデルの「人間らしさ」を評価している.

## 2.2 実験手法

主要部終端型左枝分かれ構造を持つ日本語を用いて, LSTM・トップダウン型解析戦略の RNNGs・左隅型解析戦略の RNNGs という 3 つの言語処理モデルの「人間らしさ」を比較している．RNNGsは，自然言語の階層構造を扱うモデルである点が，LSTM と異なる．また，トップダウン型解析戦略と，左隅型解析戦略では，それぞれ以下の (a)，(b)に示したように，ノー ドが解析される順番が異なる。

a. トップダウン型解析戦略

b. 左隅型解析戦略

単語列の背後には無数の階層構造が想定されるため, RNNGsについては, ビームサーチ (Stern et al. 2017) を用いて想定される階層構造のうち確率の高いものを複数保持しつつ, 階層構造について周辺化することでサプライザルを算出した。論文では，複数のビーム幅について検証を行っている.

実験では，前述の視線計測コーパス BCCWJ-EyeTrackに付与された読み時間を，文節長などで推測するベースライン回帰モデルを構築し, そこに言語処理モデルにより推定されたサプライザルを説明変数として加えた際の予測精度の改善度を，読み時間モデリング精度として評価している（詳細は論文の 3 節を参照)，読み時間モデリング精度が高いモデルほど，「より人間らしい」言語処理モデルであるといえる.

## 2.3 実験結果

図 1 は，読み時間モデリングの精度（縦軸）を, perplexity（横軸）に対してプロットしたものである。縦軸に着目すると，左隅型解析戦略の RNNGs が最も読み時間モデリング精度が高く，次いでトップダウン型解析戦略の RNNGs, LSTM となっていることが分かる．また，論文では, nested model comparisonにより,これらのモデル間の読み時間モデリング精度の差が有意であることを確かめている（表 1）。この結果から，左隅型解析戦略で階層構造を扱うモデルが最も「人間らしい」と結論づけることができる.

さらに，図 1 からは, RNNGsについては perplexity が低いほど読み時間のモデリング精度が高いが，LSTM は perplexity の低さから予測されるほど読み時間モデリング精度が高くないこ

図 1 読み時間モデリングの結果. 横軸が perplexity,縦軸が読み時間モデリング精度.

表 1 Nested model comparison の結果. TD, LC はそれぞれ，トップダウン型解析戦略の RNNGs,左隅型解析戦略の RNNGs を表している. Bonferroni 法により有意水準 $\alpha=0.0056$ で検定した $(0.05 / 9)$.

とが分かる． RNNGs については，構文解析の精度と読み時間モデリング精度についても同様の傾向が観察された。

また, RNNGs について, ビーム幅と読み時間モデリング精度の関係に着目すると, トップダウン型解析戦略の RNNGs はビーム幅が大きいほど読み時間モデリング精度が高いが, 左隅型解析戦略の RNNGs は小さいビーム幅でも安定して読み時間モデリング精度が高いことが分かる. 我々は, この結果を, 「人間に近い」小さいビーム幅で正しい解析ができるという点でも,左隅型解析戦略の RNNGs はトップダウン型解析戦略の RNNGsよりも「人間らしい」, と解釈した. 論文内では, この点について, Jurafsky (1996) で提案されている「人間のビーム幅」を経験的に算出するなどしつつ, (i) なぜ左隅型解析戦略の RNNGs は小さいビーム幅で正しい解析ができるのか, (ii) なぜ小さいビーム幅で解析ができると人間らしいのか, という観点から詳細に議論している。

## 3 おわりに

こうして私は，どのような言語処理モデルが「人間らしい」のか，という知見の蓄積に貢献する形で，「人間の言語処理を計算機上に実装したい」という野心の実現に向けて第一歩を踏み出したのであった。しかし, この論文では，あくまで階層構造を明示的に扱う／扱わない， トップダウン型解析戦略／左隅型解析戦略という対立においては, どちらが「より人間らしい」か, ということについての示唆を与えたにすぎない．実験で用いたモデルは，どれも「人間の言語処理の実装」としては単純である。野心の実現へ向けた道のりは始まったばかりだ.

## 参考文献

Abney, S. P. and Johnson, M. (1991). "Memory Requirements and Local Ambiguities of Parsing Strategies." Journal of Psycholinguistic Research, 20 (3), pp. 233-250.

Asahara, M., Ono, H., and Miyamoto, E. T. (2016). "Reading-Time Annotations for "Balanced Corpus of Contemporary Written Japanese"." In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 684-694, Osaka, Japan. The COLING 2016 Organizing Committee.

Dyer, C., Kuncoro, A., Ballesteros, M., and Smith, N. A. (2016). "Recurrent Neural Network Grammars." In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 199-209, San Diego, California. Association for Computational Linguistics.

Fossum, V. and Levy, R. (2012). "Sequential vs. Hierarchical Syntactic Models of Human Incremental Sentence Processing." In Proceedings of the 3rd Workshop on Cognitive Modeling and Computational Linguistics, pp. 61-69, Montréal, Canada. Association for Computational Linguistics.

Hale, J. (2001). "A Probabilistic Earley Parser as a Psycholinguistic Model." In Proceedings of the Second Conference of the North American Chapter of the Association for Computational Linguistics, pp. 159-166.

Hale, J., Dyer, C., Kuncoro, A., and Brennan, J. (2018). "Finding Syntax in Human Encephalography with Beam Search." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2727-2736, Melbourne, Australia. Association for Computational Linguistics.

Jurafsky, D. (1996). "A Probabilistic Model of Lexical and Syntactic Access and Disambiguation." Cognitive Science, 20 (2), pp. 137-194.

Levy, R. (2008). "Expectation-Based Syntactic Comprehension." Cognition, 106 (3), pp. 1126-1177.

Resnik, P. (1992). "Left-Corner Parsing and Psychological Plausibility." In Proceedings of the 14 th Conference on Computational Linguistics - Volume 1, COLING '92, pp. 191-197, USA. Association for Computational Linguistics.

Stern, M., Fried, D., and Klein, D. (2017). "Effective Inference for Generative Neural Parsing." In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 1695-1700, Copenhagen, Denmark. Association for Computational Linguistics.

Yoshida, R., Noji, H., and Oseki, Y. (2021). "Modeling Human Sentence Processing with Left-

Corner Recurrent Neural Network Grammars." In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 2964-2973, Online and Punta Cana, Dominican Republic. Association for Computational Linguistics.

## 略歴

吉田遼：2021 年東京大学教養学部教養学科学際言語科学コース卒業. 現在,東京大学大学院総合文化研究科言語情報科学専攻在学中.