SocialStigmaQA-JA:社会的バイアス評価用日本語データセット

大規模言語モデル(LargeLanguageModel,LLM)が社会に急速に普及しつつある．LLMはweb上などの大量のデータを事前学習することで高い言語処理能力を獲得するが，その一方でデータに含まれている社会的属性に対するバイアスも同時に埋め込まれてしまう．チャットボットなどの通常の利用において社会的バイアスとは一見無縁であるようなLLMであっても，特定の社会的属性に対してバイアスを示してしまう可能性は存在する．特にLLMが商用利用される場合，その出力が法的に問題ないことを担保するだけでなく，社会的バイアスを抑えることが非常に重要である．また，これらの社会バイアスは国や言語ごとに固有のものがあり，注意深く評価する必要がある．本研究では，LLMの出力における社会的バイアスの度合いを評価するための英語のデータセットSocialStigmaQA(SSQA)をもとに，日本の法制度と文化を踏まえた日本語版SocialStigmaQA-JA(SSQA-JA)を作成する．英語版SSQAは米国の文化や法律を背景として構築されたものであるため，日本における社会的バイアスの評価には適さないQA(質問応答)ペアが存在する．この問題を解決するため，本研究では日本の文化・法律を考慮した上で単純な翻訳を超える修正を実施する．さらに，構築したデータセットを利用して既存の日本語LLMの社会的バイアスを評価するとともに，今後の安全性評価やモデル開発の指針について議論する．SSQA-JAはHuggingFace上で公開済みである1）．