SocialStigmaQA-JA:社会的バイアス評価用日本語データセット

大規模言語モデルの普及に伴い，その出力の安全性を担保することが重要な研究課題として認知されている．本研究では，英語の社会的バイアス評価データセットであるSocialStigmaQAをもとにして日本語の社会的バイアス評価データセットであるSocialStigmaQA-JAを構築する．英語版SocialStigmaQAは米国の文化や法律を背景として構築されたものであるため，日本における社会的バイアスの評価に適するデータセットを構築するためには，単純な翻訳を超える修正が必要である．本稿ではこれらの日本の文化・法律を考慮した修正について詳述する．さらに，構築したSocialStigmaQA-JAを利用して日本語を利用可能な大規模言語モデルの社会的バイアスを評価し，今後の安全性評価の指針について議論する．注意：本論文には不快な表現が一部含まれます．