言語処理学会 第30回年次大会 発表論文集（2024年3月）

否定表現を伴う文における自然言語理解の性能検証
内田巧 1 南條浩輝 2
1 滋賀大学大学院データサイエンス研究科 2 滋賀大学データサイエンス学部
1 s6022105@st.shiga-u.ac.jp 2 hiroaki-nanjo@biwako.shiga-u.ac.jp

概要
本稿では，対偶により否定表現を伴う含意関係認
識の学習・評価データセットを作成し，否定表現の自然言語理解タスクへの影響を調査した．実験の結果，含意関係認識では，前提文に否定表現が伴うことで精度が悪化することを確認した．悪化の原因として，否定表現に過剰に依存する shortcut learning が発生している可能性を示した．STS では，2 文共に否定表現が含まれるだけで，類似度を高めに予測してしまう傾向を確認した．以上より，言語モデルは否定表現による意味の変化を捉えることなく推論していることを示した．

1

はじめに

本稿では，自然言語理解タスク，特に含意関係認
識と意味的類似度計算 (STS) への否定表現の影響を調査する．否定表現を伴う文を含むように生成された既存の含意関係認識用データセットとしてJSICK [1][2] や JaNLI [3] などがあるが，ラベルに偏りがあり，ルールベースで解けることから，否定表現による文意の変化を問うデータセットになっていないという問題がある [4]．そこで，既存の含意関係認識用データセットから否定表現を伴うデータセットを生成する手法として対偶を提案した [4]．
しかし，対偶で生成されたデータだけでは，前提文と仮説文共に否定表現が伴う場合しか評価できな
い．STS の場合は，既存のデータセットに JSICK などがあるが，否定表現により非含意関係となるデータに対して，2 文の表層表現が類似していれば高い類似度（正解ラベル）が与えられている．したがって，否定表現による文の意味の変化をモデルが捉えているか評価するには適切でない．
そこで，含意関係認識では，否定表現の含意関係認識への影響を網羅的に調査するデータセットを生成して実験を行う．STS では，既存の STS 用データセットに自動で否定表現を付与することで，否定表現の影響を調査するデータセットを作成して実験を行う．また，それぞれのタスクにて，対偶による拡張データを用いて学習する効果も確認する．本稿での否定表現は，文末を否定する「ない」や「なかった」，「ません」に限定し，その他の表現，たとえば文中の否定要素や否定の接頭辞である「非」や「不」などは本研究の対象としない．

2

関連研究

2.1

含意関係認識既存の言語モデルは含意関係認識において，否 定 文 に 対 し て 否 定 表 現 に よ る 意 味 の 変化 を 考 慮 し た 推 論 が で き て い な い [5]．そ の 理
由 に shortcut learning [6] と い う 問 題 が 上 げ ら れる．shortcut learning と は，学 習 デ ー タ と 同 分 布(Independent and Identically Distributed: i.i.d.) なデータには高い推論性能を発揮するモデルが，汎化につながる特徴量ではなく表層的な情報しか捉えておらず，学習データと異なる分布のデータ (Out ofDistribution: o.o.d.) に対して高い推論性能を発揮できないという問題である．文献 [7] では，非含意の推論において否定表現に強く依存していること，すなわち否定表現だけから非含意と予測する shortcutlearning が起きていることが確認された．これは，既存のデータセットによっては否定表現と非含意のラベルが強く共起していることが原因と考えられている [8]．さらに，shortcut learning を引き起こす要因がデータセットに含まれているとそれを早い段階で学習してしまう [9] ことから，既存のデータセッ
トでは shortcut learning を防ぐのは難しい．このように，言語モデルは否定表現を伴う文の意味理解を適切に行えていない．

2.2STS

否定表現をある文に付与すると，元の文とは意味が大きく異なる一方，表層表現は元の文と否定表現― 1581 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

以外で同一となる．このような元の文と大きく意と仮説文が共に肯定文または否定文のペアが大半を味が異なる一方，ほぼ同じ表層表現である文は soft

占める．いずれか一方が肯定文でもう一方が否定文

negative samples とよばれ [10]，feature suppression にであるデータはほとんど存在しない．したがって，より元の文との類似度が高めに予測されることが拡張データセットのままでは，このようなデータに知られている．この問題に対して，文献 [10] では上対する性能の評価を確認することができない．そこ記のような文を soft negative sample として扱う対照で，JSNLI と N-JSNLI を用いて，前提文あるいは仮学習手法 SNCSE が提案されている．否定表現だけ

説文の一方にのみ否定表現が伴うデータも含むよを付与した文と元の文のペアの評価はされている

うな，網羅的に否定表現の影響を調査できる評価用

ものの，元の表層表現が異なる 2 文（文献 [10] ではデータセットを作成する．その方法を以下に示す．

negative sample とよばれている）に対し，それぞれ• PP（含意/非含意）：JSNLI をそのまま使用

または片方に否定表現を付与した場合に言語モデル• PN/NP（含意）：JSNLI（含意）の片文を二重否定

は 2 文の意味的類似度を正しく予測できるのか，と• PN/NP（非含意）：JSNLI（非含意）の片文を否定いったことは十分に調査されていない．さらに，こ• NN（含意/非含意）：N-JSNLI を使用のような否定表現を含むデータに対する STS のためのデータセットも著者が知る限り見当たらない．

実験 1. 含意関係認識

3のそれぞれが肯定文か否定文かを表す．PN を例に本章では，含意関係認識において，文に否定表現が伴うことで言語モデルの推論性能に変化が見られるかを検証する．また，推論時に shortcut learning が発生していないかを調査する．

3.1

とって説明すると，これは前提文が肯定文 (P)，仮説文が否定文 (N) あることを表している．
これにより，両文が肯定文のデータ，仮説文のみ否定文のデータ，前提文のみ否定文のデータ，両文が否定文のデータの 4 種類に，それぞれ含意・非含対偶による学習・評価データの拡張

含意関係認識の実験では，JSNLI[11] に対して対偶によるデータ拡張を適用することで，否定表現を伴う学習・評価データセットを生成して使用する．前提文あるいは仮説文に否定表現を伴う割合は 1.7%程度であるため，対偶により生成したデータセットの大半は，前提文または仮説文に否定表現を伴うことになる．文献 [4] に基づき，JSNLI 学習データセット（533,005 件）に対して対偶処理を適用したところ，482,715 件を対偶処理対象として抽出でき，これらに対して対偶をとり否定表現を伴うデータからなるデータセットを生成した．本稿では以降このデータセットを N-JSNLI とよぶ．なお，正確な比較を行うため，元の JSNLI 学習データからも対偶処理の対象となったデータと同数を取り出して使用する．評価データセットに対しても同様の処理を行い，JSNLI 評価データセット（3,916 件）から，
N-JSNLI 評価データセット（3,593 件）を生成した．

3.2

ここで P, N はそれぞれ肯定文，否定文を表す．PP,PN などは，含意関係認識における前提文と仮説文

網羅的な評価データの生成

意のデータを作成した．例を付録表 A.1 に示す．片文が否定文かつ含意関係のデータ（PN/NP：含意）には二重否定が含まれている．これは，片文を否定しつつ含意のデータを作成することが難しいことが原因である．
N-JSNLI と同数の JSNLI 評価データセット（3,593件）に上述した処理を適用して，網羅的な評価データセット（3,526 件）を生成した．本稿では以降このデータセットを NegEval とよぶ．なお，本研究における含意関係認識は，対偶により付与された否定表現による意味の変化を捉えて明確に含意あるいは非含意と判定できるか調査するために 2 値分類タスクとする．そのため，JSNLI 内の中立 (neutral) ラベルのデータは使用しない．

3.3

実験設定

含意関係認識器には，東北大学が公開している
事 前 学 習 済 み BERT1）を 使 用 し，既 存 デ ー タ セ ット (JSNLI)，もしくは拡張データセット (JSNLI+NJSNLI) で学習したモデルを，NegEval で評価する．

既存の含意関係認識のデータセットは，前提文と仮説文ともに肯定文であるペアが多く，対偶処理により従来のデータセットを拡張したものは，前提文性能評価指標は Accuracy を使用する．

1） https://huggingface.co/cl-tohoku/
bert-base-japanese-v3― 1582 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表1

NegEval に対する推論性能の比較

Evaluation data(NegEval)
PN

NP

NN

JSNLI

0.98 0.90

0.55

0.60

JSNLI + N-JSNLI

0.98 0.91

0.55

0.96

Fine-tune data

3.4

PP

実験結果

結果を表 1 に示す．否定表現をほとんど含まない
既存データセット (JSNLI) で学習した BERT は NPと NN パターン，すなわち前提文に否定表現を含

図 1 NP/NN に対する含意関係認識の分類結果

むデータに対して精度が低い（表 1 上段）．一方で，対偶で生成したデータ (N-JSNLI) も共に学習させた語言語理解ベンチマーク (JGLUE)[12][13] に含まれBERT では，NN（前提文と仮説文の両方に否定表現る JSTS を使用する．

を含む）パターンのデータに対して精度が改善した
ものの，NP（前提文のみ否定表現を含む）パターン4.1

データ生成のデータに対しては改善しなかった．これは対偶に既存の STS 用データセットは否定表現をほとんどよって生成されたデータのほとんどが NN パター含んでいないため，STS への否定表現の影響を調査ンで構成されていることが原因である．否定表現をすることができない．そこで，JSTS の評価データほとんど含まないデータセット (JSNLI) で学習したセットに含まれる二文共に自動で否定表現を付与す

BERT の誤分類の傾向を図 1 の上段に示す．NP パることで，否定表現を含む STS 評価データセットをターンのデータに対しては非含意の事例を含意と誤分類する傾向が見られ，NN パターンのデータに対生成した．その際，評価データセットの両文に否定しては含意の事例を非含意と誤分類する傾向が見らしないと仮定した．本稿では以降このデータセット
を N-JSTS とよぶ．

れた ．この結果は既存の JaNLI を用いても確認できるが，JaNLI のテストデータには NP/NN がそれぞれ15 件しか含まれておらず，ラベルも偏っており，さ表現を付与する前後で二文間の意味的類似度は変化

4.2

実験設定

らにテンプレートをもとに生成したため，前提文とSTS への否定表現の影響を調査する実験方法に仮説文がほぼ同じ表層表現という問題点がある．ラ

ついて述べる．1 文ずつ文をモデルに入力して文ベルのバランスがよく，表層表現も異なる 3,500 件埋め込みを獲得し，その cosine 類似度を計算する

以上のデータで実施した本実験でも同様の現象が観こ と で 類 似 度 を 予 測 す る．事 前 学 習 済 み BERT1）

測されたことから，NP/NN を学習していない日本語と RoBERTa2）[14] に対して，既存のデータセット

モデルは否定表現ばかり着目して推論する shortcut(JSNLI) と拡張データセット (JSNLI+N-JSNLI) を用

learning が行われた可能性が考えられる．

いて，教師あり SimCSE による対照学習を行ったモ

そこで，誤分類した事例における pooler output へデルを使用する．そして，既存のデータセットでの Attention を付録図 A.1 のように可視化した．文末の否定表現に Attention がかかっているようにも見ある JSTS と，JSTS に含まれる 2 文それぞれに否定えることから shortcut learning の可能性を否定できう．さらに，アーキテクチャによって結果に違いが見られるかを確認するため，Encoder-Decoder モデルない．今後詳細に調査する必要がある．

4

表現を付与した N-JSTS で評価し，精度の比較を行を使用して実験を行う．Encoder-Decoder モデルに実験 2.STSは T53）[15] と Sentence-T54）[16] を使用する．性能評

本章では，STS において，文に否定表現が伴うことで言語モデルの推論性能に変化が見られるか検証する．また，否定表現を伴う学習データを学習する
効果も確認する．STS の評価データセットには日本

2） https://huggingface.co/nlp-waseda/
roberta-base-japanese
3） https://huggingface.co/sonoisa/t5-base-japanese4） https://huggingface.co/sonoisa/
sentence-t5-base-ja-mean-tokens― 1583 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表 2 否定表現の有無による STS タスクの精度比較

Evaluation data
Model

Fine-tune data

JSTS

N-JSTS

BERT

N/A

0.178

0.194

RoBERTa

N/A0.220

0.237

sup-SimCSE

JSNLI

0.774

0.656

JSNLI+N-JSNLI0.766

0.776

sup-SimCSE

JSNLI

0.7700.697

図 2 予 測 類 似 度 の 分 布（左: JSNLI で 対 照 学 習 し た
BERT，右: JSNLI+N-JSNLI で対照学習した BERT）+RoBERTa

JSNLI+N-JSNLI

0.775

0.774

※: 目的タスク (JSTS/N-JSTS) で学習していない

N/A

0.646

0.627

ため，正解ラベルと予測類似度は乖離している．

ST5-Enc(mean)
N/A
0.809
Spearman の順位相関係数を使用

0.786

類似度を高めに予測するようになったと推測する．

+BERT

T5以上より，既存のデータセットで学習したモデルでは否定文同士の意味的類似度を適切に予測すること

価指標には文献 [17] を踏まえてスピアマンの順位相ができないことが明らかになった．

関係数を使用する．

一方で，対偶により生成されたデータを含む拡実験結果

張データセットを用いて対照学習したモデルの4.3

結果を表 2 の 4，6 段目に示す．sup-SimCSE+BERT

実験結果を表 2 に示す．対照学習したモデルはは JSTS におけるスピアマン順位相関係数が 0.761,1，2，7 段目の baseline モデル (BERT/RoBERa/T5) とN-JSTS においては 0.775，sup-SimCSE+RoBERTa は比 較 し て 精 度 が 高 く な っ た．既 存 デ ー タ セ ッ ト

JSTS に お け る ス ピ ア マ ン 順 位 相 関 係 数 が 0.775,(JSNLI) で対照学習した Encoder モデルの結果は表2 の 3，5 段目である．sup-SimCSE+BERT のスピア

N-JSTS においては 0.774 となった．いずれも否定表

マン順位相関係は，JSTS では 0.774，N-JSTS では

現を含む文に対する推論性能が改善しつつ，肯定文のテストデータ (JSTS) に対しても性能が悪化しな

0.656，sup-SimCSE+RoBERTa の場合は，JSTS ではいことを確認した．拡張データセットで学習した

0.770，N-JSTS では 0.697 となった．いずれも否定表

sup-SimCSE+BERT による類似度分布を図 2（右）に現が付与されるだけで推論性能が悪化することが確示す．既存データセットで学習した BERT と比較し認された．次に，Encoder-Decoder モデルの結果を表て，拡張データセットで学習した BERT は否定文同2 の 7，8 段目に示す．T5 のスピアマン順位相関係

士の文ペア（N-JSTS）に対して，低い類似度を予測は，JSTS では 0.636，N-JSTS では 0.616，Sentence-T5するできるようになったことがわかる．このことの場合は，JSTS では 0.809，N-JSTS では 0.786 となっは，対偶データを学習データに追加したことで，否た．Encoder モデルと同様に，否定表現が付与され定表現という表層表現の類似度の影響を軽減し，意るだけで推論性能が悪化することが確認された．

味的な類似度をより反映した結果と考えられる．以

次に予測結果の変化について詳細に分析を行っ上のように，対偶により生成されたデータも含めてた．分析には，sup-SimCSE+BERT と Sentence-T5 を対照学習することで，既存のデータでは解くことが用いた．sup-SimCSE+BERT の予測類似度とラベル（正解の類似度）の分布を図 2 に示す．ほとんど否できなかった否定表現を伴う文章に対する STS タス

定表現を学習していない Sup-SimCSE+BERT（図 2左）は，テストデータの両文に否定表現が伴うだけで文章の意味的類似度を高めに予測していた．さらクを解くことができるようになることが明らかになった．

まとめ

5に，付録図 A.2 で示すように，Sentence-T5 でも同様対偶で拡張したデータセットを用いることで，含の現象が確認された．これは Transformer ベースの意関係認識と STS への否定表現の影響と，否定表現モデルが語彙の類似度と意味的な類似度の違いを区を伴う文を多く含むデータセットを学習する効果を別できないという feature suppression が働いたことが確認した．

原因と考えられる．両文に否定表現を付与したことで類似した語彙（否定表現）が増えたため，二文の― 1584 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

参考文献[1] Hitomi Yanaka and Koji Mineshima. Compositional Evaluation on Japanese Textual Entailment and Similarity.
Transactions of the Association for ComputationalLinguistics, Vol. 10, pp. 1266–1284, 2022.

[2] 谷中瞳, 峯島宏次. JSICK: 日本語構成的推論・類似度
データセットの構築. 人工知能学会全国大会論文集
第 35 回, 2021.
[3] Hitomi Yanaka and Koji Mineshima. Assessing theGeneralization Capacity of Pre-trained Language Models through Japanese Adversarial Natural Language Inference. In Proceedings of the 2021 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP (BlackboxNLP2021), 2021.

[4] 内田巧, 南條浩輝. 否定表現を伴う文における含意関係認識のための対偶によるデータ拡張. Technicalreport, 第 257 回自然言語処理研究会, 2023.
[5] Md Mosharaf Hossain, Dhivya Chinnappa, and EduardoBlanco. An Analysis of Negation in Natural Language Understanding Corpora. In Proceedings of the 60th Annual Meeting of the Association for ComputationalLinguistics (Volume 2: Short Papers), pp. 716–723.

Association for Computational Linguistics, May 2022.
[6] Robert Geirhos, Jörn-Henrik Jacobsen, Claudio Michaelis,Richard Zemel, Wieland Brendel, Matthias Bethge, andFelix A Wichmann. Shortcut learning in deep neural networks. Nature Machine Intelligence, Vol. 2, No. 11, pp.
665–673, 2020.
[7] Mengnan Du, Fengxiang He, Na Zou, Dacheng Tao, andXia Hu. Shortcut Learning of Large Language Models inNatural Language Understanding. Communications ofthe ACM, Vol. 67, No. 1, pp. 110–120, 2023.
[8] Suchin Gururangan, Swabha Swayamdipta, Omer Levy,
Roy Schwartz, Samuel Bowman, and Noah A. Smith. Annotation Artifacts in Natural Language Inference Data.
In Proceedings of the 2018 Conference of the North[13] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese General Language Understanding Evaluation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp.
2957–2966. European Language Resources Association,June 2022.
[14] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke
Zettlemoyer, and Veselin Stoyanov. RoBERTa: A Robustly
Optimized BERT Pretraining Approach. arXiv preprint
arXiv:1907.11692, 2019.
[15] Colin Raﬀel, Noam Shazeer, Adam Roberts, Katherine
Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li,
and Peter J Liu. Exploring the Limits of Transfer Learningwith a Uniﬁed Text-to-Text Transformer. The Journal ofMachine Learning Research, Vol. 21, No. 1, pp. 5485–5551, 2020.
[16] Jianmo Ni, Gustavo Hernandez Abrego, Noah Constant,Ji Ma, Keith Hall, Daniel Cer, and Yinfei Yang. SentenceT5: Scalable Sentence Encoders from Pre-trained Text-toText Models. In Findings of the Association for Computational Linguistics: ACL 2022, pp. 1864–1874. Association for Computational Linguistics, May 2022.
[17] Nils Reimers, Philip Beyer, and Iryna Gurevych. TaskOriented Intrinsic Evaluation of Semantic Textual Similarity. In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics:Technical Papers, pp. 87–96. The COLING 2016 Orga-nizing Committee, December 2016.

American Chapter of the Association for Computational Linguistics: Human Language Technologies,
Volume 2 (Short Papers), pp. 107–112. Association for

Computational Linguistics, June 2018.
[9] Mengnan Du, Varun Manjunatha, Rajiv Jain, Ruchi Deshpande, Franck Dernoncourt, Jiuxiang Gu, Tong Sun, andXia Hu. Towards Interpreting and Mitigating Shortcut
Learning Behavior of NLU models. In Proceedings ofthe 2021 Conference of the North American Chapter of the Association for Computational Linguistics:
Human Language Technologies, pp. 915–929, 2021.

[10] Hao Wang and Yong Dou. SNCSE: Contrastive Learningfor Unsupervised Sentence Embedding with Soft Negative
Samples. In International Conference on Intelligent
Computing, pp. 419–431. Springer, 2023.
[11] 吉越卓見, 河原大輔, 黒橋禎夫. 機械翻訳を用いた自然言語推論データセットの多言語化. Technicalreport, 第 244 回自然言語処理研究会, 2020.
[12] 栗原健太郎, 河原大輔, 柴田知秀. JGLUE: 日本語言語理解ベンチマーク. 言語処理学会 第 28 回年次大会,2022.

― 1585 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

A

付録
表 A.1

PatternLabel

両文肯定(PP)

片文否定(PN)(NP)

前提文 人が２頭の馬の間にひざまずいている。
仮説文 人と二頭の馬がいます。
前提文 男と女が丘の上を歩きます。
仮説文 男と女が座っています。

含意

前提文 人が２頭の馬の間にひざまずいている。
仮説文 人と二頭の馬がいないわけではありません。

含意
非含意

両文否定

Sentence

非含意

非含意

片文否定(NN)含意

Role

NegEval の例

含意
非含意

図 A.1

前提文 人が２頭の馬の間にひざまずいている。
仮説文 人と二頭の馬がいません。
前提文 人が２頭の馬の間にひざまずいていないわけではない。
仮説文 人と二頭の馬がいます。
前提文 人が２頭の馬の間にひざまずいていない。
仮説文

人と二頭の馬がいます。

前提文 人と二頭の馬がいません。
仮説文 人が２頭の馬の間にひざまずいていない。
前提文

男と女が座っていません。

仮説文

男と女が丘の上を歩きません。

NP データに対して誤分類した事例の推論根拠を Attention で可視化

図 A.2

Sentence-T5 の予測類似度の分布※: 目的タスク (JSTS/N-JSTS) で学習していないため，正解ラベルと予測類似度は乖離している．

― 1586 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).