自然言語処理において広く利用されている深層学習モデルは、文をトークン列とみなして処理を行う。しかし文には統語構造が存在しており、意味合成のような言語学的な計算を行うためには、表層的な情報を越えた統語構造を明示的にモデル化する必要があると考えられる。文の統語構造を考慮する言語モデルとして、RecurrentNeuralNetworkGrammars(RNNGs)[1]がある。RNNGsは言語モデルと構文解析器の二つの側面を持ち、内部の文法としてはCFGを用いている。本研究ではRNNGsの内部文法として、CFGに代えて、より自然言語の統語構造を適切に捉える文法であるCCGを用いた実装を行い、CFGによるモデルとの比較・検証を実施した。

近年、BERT[2]やGPT-3[3]に代表される深層学習を用いた言語モデルの発展はめざましく、あらゆる自然言語処理タスクにおいて高精度を誇っている。これらのモデルは、膨大なデータと巨大なパラメータによって、データからある種の「傾向」を抽出することに優れている。しかし、文を文字またはサブワードからなるトークン列とみなして解析を行なっているため、文がもつ統語構造や依存関係を考慮しているわけではない。したがって、これらのモデルからは文が持つ言語学的な情報を得られず、統語解析やそれに基づく意味解析を行うことは難しい。一方で、C&C[4]、EasyCCG[5]、depccg[6]など、組合せ範疇文法(CombinatoryCategorialGrammar;以後CCG)を用いた構文解析器の開発が進んでいる。組合せ範疇文法は形式統語論の理論であり、これらの構文解析器の出力として得られるCCGの統語構造は、ccg2lambda[7]にみられるように意味合成に用いることができる。しかしながら、構文解析器の性能を向上するには、人手でアノテーションした専門的でコストの高いデータが必要となるため、このアプローチには大量のデータを用意するのが難しいという欠点が存在する。また言語モデルではないため、単語の埋め込みという形での出力や単語の出現確率などの確率的な情報は得ることができない。そのような潮流のなかで、RecurrentNeuralNetworkGrammars(以後RNNGs)[1]は、文の統語構造を考慮した深層学習モデルであり、言語モデルと構文解析器の2つの側面を併せ持つ。このモデルは、両方の側面で文脈自由文法(Context-FreeGrammar;以後CFG)を用いて統語情報を獲得する。RNNGsはLSTMsに比べ長期的な依存関係が捉えられることが知られている[8,9]。また、RNNGsが学習する内容は脳波に現れる人間の言語処理の困難さの指標とも対応し、人の文処理モデルとしての妥当性も示唆されている[10]。本研究では、RNNGsのモデルで使用する文法をCFGからCCGに変更したモデル(RNN-CCG)を構成・実装することを試みる。この変更には、CCGの統語構造を獲得し、そのまま意味合成につなげることができるという利点がある。実験を通して、文法としてCFGを使用した場合とどのような違いが生じるかを検証を行い、CCG特有の特徴を考慮するモデル構成や手法を検討する。