文脈内学習に基づく大規模言語モデルの性別バイアス抑制

大規模言語モデル(LLM)は懸念されるレベルの性別バイアスを内包している。先行研究ではLLMの追加学習や復号化器の改変に基づくバイアス除去手法が提案されているが、GPT-4のような非公開のLLMの場合、内部のパラメータやモジュールを利用できない。本稿では、テンプレートと実世界の統計情報を用いて構築したプリアンブルをLLMの入力に追加するだけで、性別的に偏見のある生成を防ぐ手法を提案する。提案プリアンブルは、統計において特定の性別に偏りがある対象を反実仮想的または中立的に記述する。英語LLMを用いた評価では、下流タスクの性能への悪影響を抑えながら、性別バイアスを含んだ生成を抑制できることを示した。