文脈内学習に基づく大規模言語モデルの性別バイアス抑制

大規模言語モデル(LLM)は深刻なレベルの社会的バイアスを含むことが報告されている[1,2,3]。これまでに数多くのバイアス除去手法が提案されてきた;パラメータの追加学習[4,5,6,7]、ランダムノイズの適用[8]、有害単語の生成確率の調整[2]、学習データの拡張[9,10,11]。一方で、セキュリティや商業的利益の観点から全てのLLMがパラメータやモジュールを提供しているわけではなく(e.g.,GPT-4)、生成確率を調整するための復号化プロセスの修正[2]も行えないことがある。その場合、非公開LLMのエンドユーザーが出来ることは、特定したバイアスをモデルの所有者に報告し、修正を待つことのみである。また、たとえバイアス除去のためにパラメータを追加学習できたとしても、下流タスクの性能低下や異なる社会的バイアスの増幅などの予期せぬ副作用が生じる可能性がある。本稿では、テキストプリアンブルをLLMの入力先頭に追加するだけで、特定の社会的バイアスを含んだ生成を防ぐ手法を提案する（図1、節2）。これP(x)=0.14大規模言語モデル入力xその女性はLinuxに精通しているP(x)=0.47大規模言語モデル反実仮想型プリアンブル女性であるにも関わらずアリッサはエンジニアになった入力xその女性はLinuxに精通している反偏見的な文の尤度が上がることを期待する。は、LLMのパラメータや復号化器を利用する必要がないだけでなく、エンドユーザーが独立に使用することができる。我々は、社会的バイアスの実例として“性別バイアス”に注目し、反実仮想型と説明文型の2種類のプリアンブルを導入する。反実仮想型プリアンブルは、LLMの認識を反偏見的な方向に修正するために、実世界で偏見的性別連想があるとされる対象を反実仮想的に記述する。説明文型プリアンブルは、偏見的性別連想のある対象が本来性別に依存しないことをLLMに伝えるため、それら対象を性別非依存な単語を用いて中立的に記述する。より具体的には、米国市民人口統計を用いて偏見的性別連想がある対象（e.g.,職業）を収集し、複数のテンプレートを用いてプリアンブルを構築した。実験では、複数の英語LLM(MPT[12]、Open-LLaMA[13]、LLaMA2[14])に提案手法を適用し、CrowsPairsベンチマーク[15]を用いてバイアス抑制効果を検証した(節4)。その結果、下流タスク(COPA[16]、HellaSwag[17])の性能劣化を抑えながら、特定の性別に対する偏見的な応答生成を抑制できることが示された。さらに、バイアスを抑えるように直接的に命令する指示文よりも提案手法が効果的であることや、提案手法の効果を最大化する上でLLMの賢さが重要な要素であることを示した。.workers”を対象に構築したプリアンブルの例。反実仮想型-simpleDonaldbecameachildcareworker.反実仮想型-detailedDespitebeingamale,Donaldbecamechildcareworker.説明文型-simpleChildcareworkerslookafterchildren.説明文型-detailedChildcareworkersparticipateinsupervisingchildrentoprovidesafety.