大規模言語モデルにおける社会的バイアスの抑制と文化的常識の理解のトレードオフの分析

近年，大規模言語モデル(LargeLanguageModel，LLM)は，大量のデータを用いて事前学習することで様々なタスクで高い性能を発揮している．一方で，LLMはデータに含まれる社会的バイアスまで学習してしまい，特定の属性の個人・グループに対して有害な出力を生成するリスクがある．これまで，LLMの社会的バイアスを抑制するための様々な手法が提案されてきた．学習データセットの拡張[1,2]，社会的バイアス抑制のためのモジュールのモデルへの追加[3]，モデルの重みの操作[4]，さらにはプロンプトの工夫による社会的バイアス抑制も活発に議論されている[5,6,7]．社会的バイアスの抑制手法はLLMの他の性能に悪影響を及ぼしうるため，従来手法の提案においては同時に他の下流タスクへの影響も検証されている[3,4,7]．また，[8]では性別バイアス抑制による下流タスクへの影響は性別に関する単語が含まれる問題の方が大きいことを検証した．しかし，これらの検証で用いられているタスクは社会的バイアスと直接的な関連がなく，さらに問題の形式が社会的バイアスのベンチマークと異なっていることが多い．一方で，LLMが文化的常識を身につけているかという問題は社会に根付いた規範や価値観の理解を問うものであり，社会的バイアスの問題と密接に関わる．これまで，社会的バイアス抑制手法によるモデルの文化的常識への影響は考慮されてこなかった．そこで本研究では，LLMが持つ社会的バイアスと文化的常識を同じ形式で評価できる日本語のデータセットSOBACO(SOcialBiAsandCulturalcOmmonsensebenchmark)を構築する．これを用いて社会的バイアスの程度と文化的常識の理解を比較することで，LLMの社会的バイアスを抑制する手法が文化的常識に与える影響を評価することができる．実験では，SOBACOに対して，社会的バイアスを抑制するプロンプトベースの手法を複数用いてLLMを評価することで，それらの手法がモデルの文化的常識に与える影響を調査する．また，他のベンチマークで測れる影響と比較するため，同じ社会的バイアス抑制手法を用いて一般的な常識問題のデータセットであるJCommonsenseQA[9]でも評価する．実験の結果，社会的バイアスの抑制と文化的常識理解タスクの性能低下には，一般的な常識理解タスクよりも大きな相関が見られた．SOBACOデータセットは研究利用可能な形で公開予定である．