因果的プロンプトによるNLIの敵対的ロバスト性の強化

因果的プロンプトは，言語モデルに与えられた入力に特定のラベルを割り当てるだけでなく，そのラベルをサポートする説明を言語モデルに生成させる．前提“Asoccergamewithmultiplemalesplaying”と仮説“Somemenareplayingasport”を持つ自然言語推論（NLI）の例を見てみよう．predict-onlyの設定では，モデルはentailmentのようなラベルを生成する必要がある．因果的プロンプトでは，モデルもラベルとこのラベルをサポートする説明，例えば“Itisentailmentbecauseplayingsoccerisplayingasport”を生成しなければならない．因果的プロンプトの当初の目的は，モデルの解釈可能性を向上させることであった[1]．この論文では，因果的プロンプトが敵対的な設定におけるモデル性能の向上にもつながる点を調査する．AdversarialNLI[2]のような敵対的ベンチマークは，SNLI[3]のような従来のベンチマークに含まれる表層的手がかり(superﬁcialcue)による「ショートカット」要因を取り除いたものである．敵対的ベンチマークにおける因果的プロンプトの利点を調査するにあたり，本論文では因果的プロンプトで自然言語推論タスクを解くために言語モデルを細かく設定し，その性能をPredict-onlyの設定と比較した．実験の結果，4つの敵対的なNLIデータセットと2つの非敵対的なNLIデータセットにおいて，因果的プロンプトが一貫してパフォーマンスを向上させることを発見した(§4)．この性能向上は，異なるアーキテクチャサイズや異なるプロンプトのバリエーションにおいても一貫している．さらに分析を進めた結果，ラベルの具体的な言語化と説明とラベルの因果関係の両方が，モデルの性能に重要であることが明らかになった．最後に，Predict-onlyの設定においてモデルがショートカットを可能にする表層的なな手がかりに頼っていないことを確認した．