ジェンダーバイアスはどちらの属性の促進・抑制で表出されるのか？

大規模言語モデル（LLM）は多様な自然言語処理タスクにおいて高い性能を示す[1]．一方で，社会的に周縁化された集団に対して不公平なバイアスを示す傾向がある[2]．社会的バイアスを緩和・除去する手法として，CounterfactualDataAugmentation（CDA）[3]やSelf-Debias[4]等が存在する．しかし，既存手法の多くはLLMの内部動作と入出力の因果関係について解釈性に欠け，LLMの意思決定の過程を説明できず，社会実装に必要な透明性を確保できない．LLMの説明可能性を確保し，かつ社会的バイアスの緩和を実現するためには，モデル内部で社会的バイアスを表出する要素の特定・分析が不可欠である．特に，社会的バイアスの中でもジェンダーバイアスは，国・地域を問わず，全ての人々の潜在能力の発揮や機会均等を妨げる可能性があり，早急な対策が必要である．このような背景により，社会的バイアスのうちジェンダーバイアスに着目する．ここで，モデル内部においてジェンダーバイアスを保持・表出する要素としてニューロンを位置づける．これは，ニューロンがLLM内の知識保存に促進というより，むしろ男性属性の抑制によって機能する傾向が観察された．おいて基本的役割を担っているというDaiら[5]やGevaら[6]の示唆を論拠としている．本研究では，LLM内でジェンダーバイアスを担うニューロンを特定する手法を提案する．また，特定したニューロンが因果的にジェンダーバイアスに寄与しているかを検証し，それらがジェンダーバイアス表出の際に果たす機能的役割を分析する．検証実験の結果から，提案手法の有効性を確認した．また，ジェンダーバイアスを担うニューロンの中で男性バイアスに寄与するものが，男性属性の確率を大きくする方向に作用することで男性バイアスを表出する傾向，女性バイアスに寄与するものが，男性属性の確率を小さくする方向に作用することで女性バイアスを表出する傾向が見られた（図1）．