日本語LLMに含まれる交差バイアスと有害性の評価に向けて

LLMの社会的バイアスの評価において，個々の社会的属性だけでなく，複数の属性の組み合わせからなる交差バイアスを社会問題の事例に基づいて評価することの重要性が指摘されている．本研究では，QAタスクでLLMの交差バイアスを評価する日本語ベンチマークinter-JBBQを構築する．inter-JBBQを用いてGPT-4oとSwallowを分析した結果，同じ問題でも属性の組み合わせによって回答に変動があり，曖昧な問題に対しGPT-4oはSwallowと比較して答えられないと回答する傾向が強化されていた．一方，曖昧性を解消した問題ではSwallowの正答率がGPT-4oの正答率を上回る場合も観測された．注意：本論文には不快な表現が一部含まれます．