否定表現を伴う文における自然言語理解の性能検証

本稿では，対偶により否定表現を伴う含意関係認識の学習・評価データセットを作成し，否定表現の自然言語理解タスクへの影響を調査した．実験の結果，含意関係認識では，前提文に否定表現が伴うことで精度が悪化することを確認した．悪化の原因として，否定表現に過剰に依存するshortcutlearningが発生している可能性を示した．STSでは，2文共に否定表現が含まれるだけで，類似度を高めに予測してしまう傾向を確認した．以上より，言語モデルは否定表現による意味の変化を捉えることなく推論していることを示した．