日本語社会的バイアスQAデータセットの提案

大規模言語モデルの発展とともに，モデルに含まれる社会的バイアスが問題となっている．英語圏では社会的バイアスに関する様々なベンチマークが構築されているが，英語以外のベンチマークは発展途上であり，日本語の大規模言語モデルにどの程度社会的バイアスが含まれているかについては十分に調査されていない．本研究では，英語の社会的バイアスQAデータセットBBQをもとに日本語社会的バイアスQAデータセットJBBQを構築し，日本語の大規模言語モデルの分析を行う．その結果，日本語の大規模言語モデルはJBBQに対して正答率が低く，正答率が高いモデルも社会的バイアスに従って答えている場合が多いということが分かった．注意：本論文には不快な表現が一部含まれます．