否定理解能力を評価するための日本語意味的類似度計算データセットの構築

否定とは，事態の不成立を表すことであり[1]，自然言語において重要な言語現象である．言語モデルには否定を意味する表現（否定要素；negationcue）を正しく理解することが求められるが，否定に着目したデータセットを用いた調査により，既存の言語モデルは否定の理解が苦手であることが示されている[2,3,4]．意味理解のタスクとして，自然言語推論（NLI）や意味的類似度計算（STS）などがある．否定に着目したデータセットとして，NLI[5,6]，容認性判断[7,8]，質問応答（QA）[4,9]を対象としたものがある一方で，否定の観点から言語モデルを評価するためのSTSデータセットを構築する取り組みは限られている．否定は意味を反転させるため，STSタスクを解く上で否定の理解は特に重要である．本研究では，否定理解能力を評価するための日本語STSデータセットJSTS-Negを構築する1）．具体的には，JGLUE[10,11]の一部であるJSTSを吉田ら[12]の手法を用いて否定に関して拡張する．これに1）データセット及びソースコードをhttps://github.com/reiko-y/JSTS-Negで公開する．より，JSTS-Negは否定の有無のみに関して異なるデータ対（否定のミニマルペア）で構成される．否定のミニマルペアを用いることで，否定以外の要因を排除し，言語モデルの否定に対する振る舞いのみを評価することができる．また本研究では，JSTS-Negを用いた既存の大規模言語モデル（LLM）の否定理解能力を評価する．日本語及び多言語LLMを幅広く評価し，各LLMの否定理解能力の現状を明らかにする．