大規模言語モデルの発展とともに，モデルに含まれる社会的バイアスが問題となっている．英語圏では社会的バイアスに関する様々なベンチマークが構築されているが，英語以外のベンチマークは発展途上であり，日本語の大規模言語モデルにどの程度社会的バイアスが含まれているかについては十分に調査されていない．本研究では，英語の社会的バイアスQAデータセットBBQをもとに日本語社会的バイアスQAデータセットJBBQを構築し，日本語の大規模言語モデルの分析を行う．その結果，日本語の大規模言語モデルはJBBQに対して正答率が低く，正答率が高いモデルも社会的バイアスに従って答えている場合が多いということが分かった．注意：本論文には不快な表現が一部含まれます．

GPT-3[1]をはじめとした大規模言語モデル(LargeLanguageModel,LLM)はWebからクロールした大量のデータを事前学習して構築されており，様々なタスクで高い性能を発揮している．しかし，LLMの発展とともに，事前学習データからモデルが年齢や性別といった様々な社会的属性に対するバイアス（以下，社会的バイアスと呼ぶ）を学習してしまうことが問題となっている．英語圏ではBBQ[2]やBOLD[3]といった社会的バイアスに関する様々なベンチマークが構築されている．しかし，ベンチマークの多くは英語で構築されており，英語以外の言語のベンチマークは発展途上である．また，最近では日本語に特化したLLMがいくつか構築されているが，日本語のLLMに含まれる社会的バイアスについては十分に調査されていない．社会的バイアスは文化や慣習とも関わりが深いため，英語のベンチマークを自動翻訳したデータだけで日本語LLMに含まれる社会的バイアスを分析することは難しく，日本の文化や慣習を考慮したベンチマークの構築が求められる．そこで本研究では，英語の社会的バイアスQAデータセットBBQ(BiasBenchmarkforQA)をもとに日本語社会的バイアスQAデータセットJBBQを構築する．そして，JBBQを用いて日本語のLLMにどの程度社会的バイアスが含まれているかについて分析を行う．構築したJBBQデータセットは研究利用が可能な形式で公開予定である．