多肢選択問題における言語モデルの頑健性の評価

大規模言語モデルの一般常識や推論能力，医療など特定ドメインの知識等の計測には，多肢選択問題からなる評価データセットが利用されることが多い．しかし，言語モデルが多肢選択問題に回答する際の頑健性はそれほど評価されてない．そこで本研究では，多肢選択問題で構成された既存の評価データセットを変換することで頑健性を検証するための新たな評価データセットを提案し，既存の言語モデルを評価する．結果として否定を含む問題に対する頑健性の低さが明らかになった．