CCG統語解析器lightblueと定理証明器waniによるJSeMVerbsデータセットの自動推論

近年の研究において，大規模言語モデル(LLM)の振る舞いが，人間の言語理解のモデルとは異なっている点が複数指摘されている．例として，LLMによる推論は人間の推論が持つ体系性(systematicity)を欠くという指摘[1]や，LLMが複雑な問題を解けるかどうかはその問題の出現頻度に依存している，という指摘[2]などが挙げられる．一方，計算言語学においては，理論言語学が仮定する人間の言語理解モデルに従って統語解析，意味合成，自動証明のモジュールを接続した言語学的パイプライン[3,4,5,6,7]による自然言語理解の研究が進んでいる。言語学的パイプラインは，仮説検証を繰り返すことでモデルを改善する点で古典的な合理主義自然科学のパラダイムを踏襲しており，経験主義を標榜する大規模言語モデルとは相補的な関係にある．言語学的パイプラインの近年の進展には，複数の要因が貢献している．組合せ範疇文法(CombinatoryCategorialGrammar,以下CCG)[8]の成熟により，高速かつ頑健なCCG統語解析器[9,10,11]が実現したこと，また依存型理論(DependentTypeTheory,以下DTT)[12]に基づく証明論的意味論[13,14,15,16]が登場し，形式意味論による意味の記述と定理自動証明器の実装を組み合わせることが可能となったこと等が挙げられる．本稿ではそのような試みのひとつであるCCG統語解析器lightblue[17]とDTT定理証明器wani[18,19]を組み合わせた自然言語推論システムによって，JSeM日本語テストセット[20,21]（§3.5節参照）のVerbセクションの自然言語推論問題を解くことを試みる．この過程には，推論システムの評価，エラー分析，そしてパイプライン上の各理論へのフィードバックが含まれており，合理主義的計算言語学の一つの実践例として紹介する．