ツリーバンクの言語学的妥当性の自動評価

自然言語処理のさまざまなタスクの中でも、推論は重要な役割を果たしている。近年、大規模言語モデル(LLM)による推論の精度は目覚ましい向上を見せている[1,2]一方で、言語学的アプローチに基づく自動推論の研究も進展してきている[3,4,5]。とくに、計算可能な自然言語の意味論として依存型意味論[6]が登場し、依存型の自動証明器であるwani[7]の開発に成功するなど、理論言語学に基づいた言語処理の応用可能性が広がっている。このような理論言語学に基づく自動推論では、統語論や意味論の分析を推論プロセスに統合することで、推論結果だけでなく、その過程を証明図として明確に提示することが可能である。ここで出力される証明図は、推論結果の妥当性を保証できるというだけでなく、仮に推論の結果が誤っていた場合に、誤りの原因を検知することができるため、推論システムのさらなる改善へとつなげられるという利点もある。推論の精度は、推論を支える前処理である統語解析や意味解析の出力に大きく影響を受ける。とくに、誤りを含む統語解析や意味解析は、誤った推論結果へとつながるため、統語・意味解析を通して言語学的に妥当な統語構造と意味表示を得ることは、推論精度の改善に不可欠な要素である。しかし、統語構造や意味表示の正しさは、統語解析器や意味解析器が高い精度を示すこと自体によっては保証されない。現に、現在の統語解析器[8,9]の精度は、評価用データセットに対しては高い精度を実現しているものの、誤りが含まれたデータセットで学習・評価を行っているために、受身・使役をはじめとした複雑な構文に対しては、出力に誤りが含まれることが知られている[10]。一般に、統語解析器の学習・評価データセットとして、統語ラベル付きコーパスであるツリーバンクが用いられる。さまざまな言語や形式文法のツリーバンク[11,12,13,14,15,16]が開発されるとともに、ツリーバンクに含まれる語彙の網羅性や言語処理タスクでの評価実験が行われている。一方で、ツリーバンクのデータが言語学的にどれほど妥当であるかという観点からの評価が十分に行われていない。本研究では、ツリーバンクの言語学的妥当性を評価手法として、統語論に基づいたツリーバンクの評価手法と、意味論に基づいたツリーバンクの評価を提案する。また、これらの評価手法を用いて、Tomitaetal.[17]で構築されたCCGツリーバンクの言語学的妥当性の評価実験を行い、結果を議論する。