日本語LLMに含まれる交差バイアスと有害性の評価に向けて

自然言語処理では様々なバイアスの問題が指摘されている[1]．大規模言語モデル(LargeLanguageModel,LLM)は事前学習やチューニングによって思わぬバイアスを学習する可能性があり，テキスト生成などの下流タスクにおけるバイアスの再現が問題となっている．バイアスの中でも，年齢や性別といった様々な社会的属性に対する偏見やステレオタイプに関する社会的バイアスは，重要な問題の一つである．特定の対象に対するステレオタイプが反映されたテキストは，そのテキストが言及している対象に対して不利益や悪影響を与える可能性がある．そこで，BBQ[2]やBOLD[3]といった，生成タスクにおけるLLMの社会的バイアスを評価する様々なベンチマークが構築されている．社会的バイアスの評価では，個々の属性だけでなく，複数の属性が関わる交差バイアス(intersectionalbias)の評価の重要性が指摘されている[4].また，問題となる社会的バイアスは文化や社会的背景，言語によって異なるため，近年では2節で紹介するように社会的バイアスに関するベンチマークの多言語化が進められている．日本語については日本語社会的バイアスQAデータセットJBBQ[5]があるが，JBBQは年齢やジェンダーといった単一の属性に関するバイアスを対象としていた．そこで本研究では，JBBQのタスク設定と構築手法に基づいて，LLMに含まれる交差バイアスとその有害性を評価する日本語ベンチマークinter-JBBQを構築する．inter-JBBQを用いて日本語LLMを分析することで，ベンチマークとしての有用性を検証する．本論文で構築したinter-JBBQver1.0データセットは研究利用が可能な形式で公開予定である．