大規模言語モデルは日本語・中国語の状態パーフェクトを理解できるか?

近年，大規模言語モデル(LargeLanguageModel，LLM)はさまざまな自然言語理解タスクのベンチマークで高精度を達成しつつある.しかし，言語モデルが自然言語文に現れる時間関係をどの程度認識できているのかについては自明でない.テンス(時制)・アスペクト(相)は時間を捉えるための中核的な言語現象であり，LLMがどの程度テンス・アスペクトを理解しているかという問いに対して関心が寄せられている.近年の研究として，[1]と[2]はそれぞれ言語モデルの日本語と英語のテンス・アスペクトの理解度を分析している.しかし，これまでの日本語・中国語を対象とした研究の中に，「パーフェクト相(完了相)」を対象としたものはまだない.「パーフェクト相」は，アスペクトの一種であり，文中の動作または出来事の効力が，時間軸上に基準になる時点(参照時)まで存続しているという意味を表す.英語の完了形は，典型的なパーフェクト相である.日本語と中国語において，英語のhaveのようなパーフェクト相専用の文法的標識がないため，パーフェクト的意味は基本「テイル」「テイタ」[3]と「了(中国語)」[4]が担っている.(1)a.花子が先週帰宅したとき，太郎はすでに死んでいた.b.花子上周回到家的时候，太郎已经死了.c.WhenHanakoreturnedhomelastweek，Tarohadalreadydied.LLMの言語理解能力を評価する主要なタスクの１つとして，自然言語推論（NaturalLanguageInference，NLI）がある.NLIとは，与えられた前提文（Premise）が真であるとき，仮説文（Hypothesis）もまた真である場合は含意（Entailment）を,必ずしも真とはいえない場合は非含意（Non-Entailment）を判定するタスクである.もしモデルが日本語のパーフェクト相の表す時間的意味を理解できているならば，以下の2例に対して正しいラベルを出力するはずである.(2)P:太郎が３日前に退職した.H:太郎が退職している.（Entailment）(3)P:花子が来週帰国する時，太郎は三日前に退職している.H:太郎が退職している.（Non-Entailment）本研究は，日本語・中国語を対象言語として，NLIタスクを通じて，LLMが状態パーフェクト(2.1節参照)が表している複数の時点の関係性を正確に把握しているかについて分析する.本研究の貢献は主に以下の二点である.第一に，本研究は，日本語および中国語の状態パーフェクトに注目した初めてのNLIデータセットを構築した.第二に，前述したデータセットを用いてGPT-4およびClaude-3.5の評価を行い，日中両言語の状態パーフェクトについて，LLMの判断は一貫しておらず，人間の判断と一致していない傾向を明らかにした..