大規模言語モデルは日本語・中国語の状態パーフェクトを理解できるか?

近年，大規模言語モデル(LargeLanguageModel，LLM)は様々な言語理解タスクで高精度を達成しつつある．しかし，LLMが文中に現れる事象間の時間関係をどの程度理解できているのかについては，十分に研究が進められていない.本研究では，「パーフェクト相」の一種である「状態パーフェクト」に注目して自然言語推論（NaturalLanguageInference，NLI）データセットを構築し，LLMの日本語・中国語の状態パーフェクトが表す複数の時点の関係性を正確に把握しているかについて分析を行った.実験の結果，日本語・中国語の状態パーフェクトの表す意味について，LLMの判断は一貫しておらず，人間の判断と一致していない傾向を明らかにした.