否定理解能力を評価するための日本語意味的類似度計算データセットの構築

言語モデルの否定理解能力を評価するためのデータセットが構築されている．否定は意味を反転させるため，意味的類似度計算（STS）タスクを解く上でそれを理解することは重要である．STSタスクは大規模言語モデル（LLM）の評価に有用であるが，否定に着目したSTSデータセットを構築する取り組みは限られている．本研究では，言語モデルの否定理解能力を評価するための日本語意味的類似度計算データセットJSTS-Negを構築する．また，JSTS-Negを用いて既存のLLMを評価し，それらの否定理解能力の現状を明らかにする．