大規模言語モデルにおける日本語ゼロ照応解析能力の分析

日本語では述語の項が頻繁に省略される．そのような省略された項（𝜙）を同定するゼロ照応解析（図1）は，最先端のモデルにおいても𝐹1値が64%程度であり[1]，解析が困難なタスクの一つである．一方で，GPT-4[2]は，日本語理解能力を測るベンチマークのJGLUEにおいて大規模言語モデルの中で最高性能を示し，特定のタスクで追加学習されたBERT[3]などのモデルを一部タスクで上回った[4,5]．日本語の文章にはゼロ照応表現が多く含まれるため，日本語理解に優れたGPT-4はゼロ照応解析においても高い性能を発揮する可能性がある．本研究では，日本語理解に最も優れた大規模言語モデルのゼロ照応解析性能を明らかにすることを目的として，同タスクの主要なベンチマークデータであるNAISTTextCorpus(NTC)1.5[6,7]におけるGPT-4の性能を評価した．実験の結果，GPT-4の性能は最先端モデルと比較して大きく劣ることが明らかになった．さらにいくつかの詳細な実験とエラー事例の分析により原因の考察を行ったところ，タスクでは，「向かう」のガ格に項があること，およびその照応先が「私」であることを推定している．GPT-4の解析性能は，ヲ格とニ格に関する格フレーム知識と，ニ格に関する選択選好知識の不足に起因することが示唆された．