多肢選択問題における言語モデルの頑健性の評価

OpenAIによるChatGPTの公開以降，大規模言語モデルへの期待が高まっている。これらのモデルの能力を評価するデータセットとして，例えば57の科目に関して問題が収集されたMMLU[1]や，常識推論に関するデータセットのHellaSwag[2]などがある．これらを含め，評価データセットの多くは多肢選択問題で構成されている．これらが言語モデルの推論能力や知識を評価するために設計されている一方で，選択肢問題を解くのに前提となる，設問形式や求められている回答の出力フォーマットを理解する能力を言語モデルが十分に持っているかは明らかではない．例えば選択肢問題の一部には「でないもの」を選ぶ問題のように，否定の理解を必要とするものがある．しかし，ある選択肢問題を図1のように単純な否定を問うような問題に変形しても，言語モデルは間違えることがある．また言語モデルの選択肢問題に対する回答の頑健性も議論がある．たとえば，Zhengら[3]は正答選択肢の位置を移動するとパフォーマンスが大きく変化することを明らかにしている．そこで本研究では，（1）言語モデルが選択肢問題という形式に対応する能力を持っているか，（2）頑健性があるか，の2点に着目して評価するための手...(5-shotexamples)WhatistheoptionthatisnotA,B,orC?A.4dB.2dC.dD.1/2dAnswer:4dう例.法を提案する．（1）については既存のデータセットを変換することで知識が不要なタスクを作成し選択肢問題を解く能力に焦点を当てた問題を作成することで，（2）については既存の問題に対し趣旨を変えない変更を加えた際に言語モデルが回答を変えないことを確認することで評価する．実験ではMMLUのうち150問をもとに，本手法を適用し3,440問の評価データセットを作成し，3つモデルを評価した．結果，否定を含むタスクで比較的エラー率が高くなることがわかった．また選択肢のラベルの参照を含むタスクでエラー率が高くなる可能性が示された．