とりたて助詞に関する推論データセットの拡張と大規模言語モデルの評価

文中の特定の要素を強調する役割を持つとりたて助詞（「も」，「しか」など）を含む自然言語推論(NLI)は，多層的な意味解釈や，とりたて対象の多様性により，含意関係の判断が複雑になる点で挑戦的である．そのようなとりたて助詞に関する広範な言語現象を扱った既存の日本語NLIデータセットは存在するものの，大規模言語モデル(LLM)の評価については，データのバリエーション，正解ラベルの分布に偏りがあるといった課題がある．そこで本研究では，既存データセットを人手およびLLMを用いて拡張する．そしてそのデータセットを用いてLLMの評価・分析を行い，LLMが表層的特徴を中心に推論を行っている可能性を示す．