日本語社会的バイアスQAデータセットの提案

GPT-3[1]をはじめとした大規模言語モデル(LargeLanguageModel,LLM)はWebからクロールした大量のデータを事前学習して構築されており，様々なタスクで高い性能を発揮している．しかし，LLMの発展とともに，事前学習データからモデルが年齢や性別といった様々な社会的属性に対するバイアス（以下，社会的バイアスと呼ぶ）を学習してしまうことが問題となっている．英語圏ではBBQ[2]やBOLD[3]といった社会的バイアスに関する様々なベンチマークが構築されている．しかし，ベンチマークの多くは英語で構築されており，英語以外の言語のベンチマークは発展途上である．また，最近では日本語に特化したLLMがいくつか構築されているが，日本語のLLMに含まれる社会的バイアスについては十分に調査されていない．社会的バイアスは文化や慣習とも関わりが深いため，英語のベンチマークを自動翻訳したデータだけで日本語LLMに含まれる社会的バイアスを分析することは難しく，日本の文化や慣習を考慮したベンチマークの構築が求められる．そこで本研究では，英語の社会的バイアスQAデータセットBBQ(BiasBenchmarkforQA)をもとに日本語社会的バイアスQAデータセットJBBQを構築する．そして，JBBQを用いて日本語のLLMにどの程度社会的バイアスが含まれているかについて分析を行う．構築したJBBQデータセットは研究利用が可能な形式で公開予定である．