否定理解能力を評価するための日本語言語推論データセットの構築

否定(negation)を正しく理解することは様々な自然言語処理タスクを解く上で重要であるが，言語モデルは否定の処理が苦手であることが報告されている（例えば[1,2,3]）．モデルの否定理解能力の適切な評価や，否定に頑健なモデルの開発を目的として，否定に焦点を当てたデータセットが英語で構築されている[4,5,6,7,8,9,10]．しかし，日本語においては，否定の観点でモデルを評価するためのデータセットを構築する取り組みは限られている．英語データセットにおける研究の知見は必ずしも日本語に適用できるとは限らない[11]ため，否定の観点でモデルを評価できる日本語データセットが必要である．本研究では，基本的な言語理解タスクである自然言語推論(NLI)を対象として，否定理解能力を評価するための日本語データセットを構築する．既存の日本語NLIデータセットとして，JSICK[12],JaNLI[13],JNLI[11,14]などがあるが，これらには否定を含むインスタンスがあまりなく，否定理解能力の評価には不十分であると指摘されている[15,16]．内田・南條[15]は，対偶により既存のNLIデータセットから否定要素（否定を意味する語）を含むデータセットを自動生成する手法を提案例．下線は否定要素を，太字はミニマルペア間で有無が異なる否定要素を表す．(1)は「重要でない」否定，(2)は「重要な」否定を含むミニマルペアである．𝑝:机の上にいくつかの白い皿がある。𝑝:机の上にいくつかの白くない皿がある。ℎ:机の上に皿がある。ℎ:机の上に皿がある。𝑙:含意(entailment)𝑙:含意(entailment)(1)𝑝:机の上にいくつかの白くない皿がある。𝑝:机の上にいくつかの白くない皿がある。ℎ:机の上に皿がある。ℎ:机の上に皿がない。𝑙:含意(entailment)𝑙:矛盾(contradiction)(2)している．しかし，この手法は，否定理解能力のより詳細な評価に必要である，否定の有無に関してのみ異なるデータ対（否定のミニマルペア;表1を参照）を含むデータセットを作成できない．また，文末の否定要素のみを対象としており，文の途中に否定要素を含むデータセットは作成できない．そこで本研究では，否定の理解能力を評価するための新たな日本語NLIデータセットJNLI-Negを構築する1）．既存データセットJNLIの前提文や仮説文に否定要素を自動付与し，それに人手でNLIラベル2）を付与することにより，否定を含む新たなNLIインスタンスを得る．JNLI-Negは十分な数の否定インスタンスを含むだけでなく，否定のミニマルペアを含むという点で既存データセットと性質を異にする．また，JNLI-Negは文末の否定要素だけでなく文の途中の否定要素も多数含む．これらの特徴により，より詳細に言語モデルの否定理解能力を評価・分析することができる．さらに本研究では，JNLI-Negを用いて既存の言語モデルの否定理解能力を評価する．幅広い日本語の言語モデルを評価し，否定理解能力の現状と課題を明らかにする．1）データセット及びソースコードはhttps://github.com/asahi-y/JNLI-Negで公開する．2）本研究では，JNLIと同様に含意(entailment),矛盾(contra-diction),中立(neutral)の3種類のNLIラベルを用いる．.