とりたて助詞に関する推論データセットの拡張と大規模言語モデルの評価

とりたて助詞とは，文中の特定の要素を際立たせ，同類の要素との関係を背景として意味的な効果を付加する助詞であり[1]，累加の「も」，限定の「だけ」や「しか」などが存在する．とりたて助詞を含む表現では，単一の命題だけでなく，多層的な意味解釈が生じる場合がある．例えば，「太郎も来た」という文は，太郎が来たということに加え，太郎以外の人物も来たことを示唆する．また，とりたての対象は名詞句に限らず，節や述語などにも及び，数量表現や比較表現のような他の意味的に複雑な表現と組み合わさる場合も多い．このため，とりたて助詞を含む自然言語推論(NaturalLanguageInference;NLI)は容易ではなく，大規模言語モデル(LargeLanguageModel;LLM)がこのような推論をどの程度適切に行えるのかは，十分に明らかにされていない．先行研究では，日本語の意味理論や含意関係認識システムの評価を目的に，とりたて助詞を含む多様な言語現象を対象としたNLIデータセットJSeM[2]が構築されている．しかし，LLMの出力傾向や一貫性といった観点から挙動を分析するには，データのバリエーションや正解ラベルの分布の偏りなどの課題がある．そこで本研究では，JSeMに対して，人手およびLLMによる拡張を行い，LLMの挙動分析により適したデータセットを構築する．加えて，日本語に特化したモデルを中心としたLLMの評価を通じて，とりたて助詞を含む推論におけるモデルの特性を分析する．