否定表現を伴う文における自然言語理解の性能検証

本稿では，自然言語理解タスク，特に含意関係認識と意味的類似度計算(STS)への否定表現の影響を調査する．否定表現を伴う文を含むように生成された既存の含意関係認識用データセットとしてJSICK[1][2]やJaNLI[3]などがあるが，ラベルに偏りがあり，ルールベースで解けることから，否定表現による文意の変化を問うデータセットになっていないという問題がある[4]．そこで，既存の含意関係認識用データセットから否定表現を伴うデータセットを生成する手法として対偶を提案した[4]．しかし，対偶で生成されたデータだけでは，前提文と仮説文共に否定表現が伴う場合しか評価できない．STSの場合は，既存のデータセットにJSICKなどがあるが，否定表現により非含意関係となるデータに対して，2文の表層表現が類似していれば高い類似度（正解ラベル）が与えられている．したがって，否定表現による文の意味の変化をモデルが捉えているか評価するには適切でない．そこで，含意関係認識では，否定表現の含意関係認識への影響を網羅的に調査するデータセットを生成して実験を行う．STSでは，既存のSTS用データセットに自動で否定表現を付与することで，否定表現の影響を調査するデータセットを作成して実験を行う．また，それぞれのタスクにて，対偶による拡張データを用いて学習する効果も確認する．本稿での否定表現は，文末を否定する「ない」や「なかった」，「ません」に限定し，その他の表現，たとえば文中の否定要素や否定の接頭辞である「非」や「不」などは本研究の対象としない．