大規模言語モデルの普及に伴い，その出力の安全性を担保することが重要な研究課題として認知されている．本研究では，英語の社会的バイアス評価データセットであるSocialStigmaQAをもとにして日本語の社会的バイアス評価データセットであるSocialStigmaQA-JAを構築する．英語版SocialStigmaQAは米国の文化や法律を背景として構築されたものであるため，日本における社会的バイアスの評価に適するデータセットを構築するためには，単純な翻訳を超える修正が必要である．本稿ではこれらの日本の文化・法律を考慮した修正について詳述する．さらに，構築したSocialStigmaQA-JAを利用して日本語を利用可能な大規模言語モデルの社会的バイアスを評価し，今後の安全性評価の指針について議論する．注意：本論文には不快な表現が一部含まれます．

大規模言語モデル(LargeLanguageModel,LLM)が社会に急速に普及しつつある．LLMはweb上などの大量のデータを事前学習することで高い言語処理能力を獲得するが，その一方でデータに含まれている社会的属性に対するバイアスも同時に埋め込まれてしまう．チャットボットなどの通常の利用において社会的バイアスとは一見無縁であるようなLLMであっても，特定の社会的属性に対してバイアスを示してしまう可能性は存在する．特にLLMが商用利用される場合，その出力が法的に問題ないことを担保するだけでなく，社会的バイアスを抑えることが非常に重要である．また，これらの社会バイアスは国や言語ごとに固有のものがあり，注意深く評価する必要がある．本研究では，LLMの出力における社会的バイアスの度合いを評価するための英語のデータセットSocialStigmaQA(SSQA)をもとに，日本の法制度と文化を踏まえた日本語版SocialStigmaQA-JA(SSQA-JA)を作成する．英語版SSQAは米国の文化や法律を背景として構築されたものであるため，日本における社会的バイアスの評価には適さないQA(質問応答)ペアが存在する．この問題を解決するため，本研究では日本の文化・法律を考慮した上で単純な翻訳を超える修正を実施する．さらに，構築したデータセットを利用して既存の日本語LLMの社会的バイアスを評価するとともに，今後の安全性評価やモデル開発の指針について議論する．SSQA-JAはHuggingFace上で公開済みである1）．