言語モデルの否定理解能力を評価するためのデータセットが構築されている．否定は意味を反転させるため，意味的類似度計算（STS）タスクを解く上でそれを理解することは重要である．STSタスクは大規模言語モデル（LLM）の評価に有用であるが，否定に着目したSTSデータセットを構築する取り組みは限られている．本研究では，言語モデルの否定理解能力を評価するための日本語意味的類似度計算データセットJSTS-Negを構築する．また，JSTS-Negを用いて既存のLLMを評価し，それらの否定理解能力の現状を明らかにする．

否定とは，事態の不成立を表すことであり[1]，自然言語において重要な言語現象である．言語モデルには否定を意味する表現（否定要素；negationcue）を正しく理解することが求められるが，否定に着目したデータセットを用いた調査により，既存の言語モデルは否定の理解が苦手であることが示されている[2,3,4]．意味理解のタスクとして，自然言語推論（NLI）や意味的類似度計算（STS）などがある．否定に着目したデータセットとして，NLI[5,6]，容認性判断[7,8]，質問応答（QA）[4,9]を対象としたものがある一方で，否定の観点から言語モデルを評価するためのSTSデータセットを構築する取り組みは限られている．否定は意味を反転させるため，STSタスクを解く上で否定の理解は特に重要である．本研究では，否定理解能力を評価するための日本語STSデータセットJSTS-Negを構築する1）．具体的には，JGLUE[10,11]の一部であるJSTSを吉田ら[12]の手法を用いて否定に関して拡張する．これに1）データセット及びソースコードをhttps://github.com/reiko-y/JSTS-Negで公開する．より，JSTS-Negは否定の有無のみに関して異なるデータ対（否定のミニマルペア）で構成される．否定のミニマルペアを用いることで，否定以外の要因を排除し，言語モデルの否定に対する振る舞いのみを評価することができる．また本研究では，JSTS-Negを用いた既存の大規模言語モデル（LLM）の否定理解能力を評価する．日本語及び多言語LLMを幅広く評価し，各LLMの否定理解能力の現状を明らかにする．