LLMの社会的バイアスの評価において，個々の社会的属性だけでなく，複数の属性の組み合わせからなる交差バイアスを社会問題の事例に基づいて評価することの重要性が指摘されている．本研究では，QAタスクでLLMの交差バイアスを評価する日本語ベンチマークinter-JBBQを構築する．inter-JBBQを用いてGPT-4oとSwallowを分析した結果，同じ問題でも属性の組み合わせによって回答に変動があり，曖昧な問題に対しGPT-4oはSwallowと比較して答えられないと回答する傾向が強化されていた．一方，曖昧性を解消した問題ではSwallowの正答率がGPT-4oの正答率を上回る場合も観測された．注意：本論文には不快な表現が一部含まれます．

自然言語処理では様々なバイアスの問題が指摘されている[1]．大規模言語モデル(LargeLanguageModel,LLM)は事前学習やチューニングによって思わぬバイアスを学習する可能性があり，テキスト生成などの下流タスクにおけるバイアスの再現が問題となっている．バイアスの中でも，年齢や性別といった様々な社会的属性に対する偏見やステレオタイプに関する社会的バイアスは，重要な問題の一つである．特定の対象に対するステレオタイプが反映されたテキストは，そのテキストが言及している対象に対して不利益や悪影響を与える可能性がある．そこで，BBQ[2]やBOLD[3]といった，生成タスクにおけるLLMの社会的バイアスを評価する様々なベンチマークが構築されている．社会的バイアスの評価では，個々の属性だけでなく，複数の属性が関わる交差バイアス(intersectionalbias)の評価の重要性が指摘されている[4].また，問題となる社会的バイアスは文化や社会的背景，言語によって異なるため，近年では2節で紹介するように社会的バイアスに関するベンチマークの多言語化が進められている．日本語については日本語社会的バイアスQAデータセットJBBQ[5]があるが，JBBQは年齢やジェンダーといった単一の属性に関するバイアスを対象としていた．そこで本研究では，JBBQのタスク設定と構築手法に基づいて，LLMに含まれる交差バイアスとその有害性を評価する日本語ベンチマークinter-JBBQを構築する．inter-JBBQを用いて日本語LLMを分析することで，ベンチマークとしての有用性を検証する．本論文で構築したinter-JBBQver1.0データセットは研究利用が可能な形式で公開予定である．