GPT-4に代表される大規模言語モデルは言語処理の様々な下流タスクで好成績を収めることが明らかになっているが，その能力が真に言語の基礎的理解能力に由来するものであるかは明らかではない．本研究では，自然言語処理の基礎解析タスクの中でも困難なものの一つとされてきたゼロ照応解析タスクについて，大規模言語モデルの能力を評価する．実験の結果，GPT-4はゼロ照応解析において十分な性能を発揮しないことが明らかになった．その原因を特定するための検証実験とエラー事例分析の結果から，ヲ格とニ格に関する格フレーム知識と，ニ格に関する選択選好知識の不足が原因であると示唆された．

日本語では述語の項が頻繁に省略される．そのような省略された項（𝜙）を同定するゼロ照応解析（図1）は，最先端のモデルにおいても𝐹1値が64%程度であり[1]，解析が困難なタスクの一つである．一方で，GPT-4[2]は，日本語理解能力を測るベンチマークのJGLUEにおいて大規模言語モデルの中で最高性能を示し，特定のタスクで追加学習されたBERT[3]などのモデルを一部タスクで上回った[4,5]．日本語の文章にはゼロ照応表現が多く含まれるため，日本語理解に優れたGPT-4はゼロ照応解析においても高い性能を発揮する可能性がある．本研究では，日本語理解に最も優れた大規模言語モデルのゼロ照応解析性能を明らかにすることを目的として，同タスクの主要なベンチマークデータであるNAISTTextCorpus(NTC)1.5[6,7]におけるGPT-4の性能を評価した．実験の結果，GPT-4の性能は最先端モデルと比較して大きく劣ることが明らかになった．さらにいくつかの詳細な実験とエラー事例の分析により原因の考察を行ったところ，タスクでは，「向かう」のガ格に項があること，およびその照応先が「私」であることを推定している．GPT-4の解析性能は，ヲ格とニ格に関する格フレーム知識と，ニ格に関する選択選好知識の不足に起因することが示唆された．