極小主義に動機づけられた統語的教示に基づく言語モデル

理論言語学では、人間の文法知識は離散的で再帰的な階層構造によって特徴づけられると主張されてきた[1,2]。近年主流の大規模な言語モデルにはそのような階層的な構造を明示的に扱わないものも多い（e.g.,[3]）が、階層構造を明示的に扱う（統語的教示がある）ことの重要性は今日に至るまで盛んに議論されている[4,5,6,7]。例えば、それら統語的教示のある言語モデルの代表の一つである再帰的ニューラルネットワーク文法(RecurrentNeuralNetworkGrammar,RNNG)[8]は統語的教示のない純粋な再帰的ニューラルネットワーク(RecurrentNeuralNetwork,RNN)[9]に比べて高い文法汎化能力[10,11,12]や心理言語学的評価[13,14]を達成できることが示されており、「人間らしい」言語モデルとして注目されている[15]。しかし、RNNGをはじめとする統語的言語モデルが扱う統語構造と、人間の言語知識についての有力な理論である主流生成文法、特に極小主義[2,16]で想定されている統語構造との間には開きがある。主∗共同第一著者流生成文法では、移動の痕跡や機能範疇として音形を持たない要素が存在し、人間の言語知識の説明に重要であることが主張されている。しかし、こうした音形のない要素は、主流なツリーバンク[17,18]のアノテーションに含まれているにも関わらず、統語的言語モデルに与えられる教示では一般に取り去られてしまっている[19]。そこで本研究では、RNNGをベースに、主流生成文法・極小主義の見地からより妥当な統語構造を用いた新しい言語モデル（極小主義(Minimalism)に動機づけられたRNNG,M-RNNG）を提案する。M-RNNGは、音形のない要素の生成NULL(*x)をアクションに含むことで、解析対象の文字列に含まれていない要素を推測できる。これを利用し、主流生成文法で広く受け入れられているいくつかの音形のない要素が、文法汎化能力に貢献するかを検証する。また極小主義では、階層構造を生成する操作である併合(Merge)は、常に2つの要素をとり、そのラベルはそれらの要素を元に決まるとされている[2]。これらを踏まえ、M-RNNGが扱う木は全て二分木とし、明示的な非終端記号を取り去った。これにより、RNNGなどの既存の統語的言語モデルにおける非終端接点を開くアクションNT(X)は不要となり、併合に相当するREDUCEアクションが常にスタックの上位2個の要素を参照してそれらを合成することになる。このように、M-RNNGは、理論言語学で有力視されている構造を統語的教示として用いた言語モデルであり、本研究は人間らしい言語モデルの開発へ向けて、人間の文法知識を探求してきた理論言語学の知見が生かせるかを検証するものである。