# 日本語社会的バイアス QA データセットの提案

谷中瞳 1 関澤瞭 1 竹下昌志 ${ }^{2}$
加藤大晴 ${ }^{1}$ Namgi Han ${ }^{1}$ 荒井ひろみ ${ }^{3}$
\{hyanaka, ryosekizawa, kato_taisei, hng88\}@is.s.u-tokyo.ac.jp
takeshita.masashi.68@gmail.com, hiromi .arai@riken.jp
1 東京大学 2 北海道大学 3 理化学研究所

## 概要

大規模言語モデルの発展とともに，モデルに含まれる社会的バイアスが問題となっている. 英語圏では社会的バイアスに関する様々なべンチマークが構築されているが，英語以外のベンチマークは発展途上であり，日本語の大規模言語モデルにどの程度社会的バイアスが含まれているかについては十分に調査されていない. 本研究では，英語の社会的バイ

バイアス $\mathrm{QA}$ データセット $\mathrm{JBBQ}$ を構築し, 日本語の大規模言語モデルの分析を行う. その結果，日本語の大規模言語モデルは JBBQ に対して正答率が低く，正答率が高いモデルも社会的バイアスに従って答えている場合が多いということが分かった.

注意 : 本論文には不快な表現が一部含まれます。

## 1 はじめに

GPT-3 [1]をはじめとした大規模言語モデル (Large Language Model, LLM) は Web からクロールした大量のデータを事前学習して構築されており，様々な夕スクで高い性能を発揮している。しかし，LLM の発展とともに，事前学習データからモデルが年齢や性別といった様々な社会的属性に対するバイアス （以下，社会的バイアスと呼ぶ）を学習してしまうことが問題となっている.

英語圈では BBQ [2] や BOLD [3] といった社会的バイアスに関する様々なべンチマークが構築されている.しかし，ベンチマークの多くは英語で構築されており, 英語以外の言語のベンチマークは発展途上である。また，最近では日本語に特化した LLM がいくつか構築されているが，日本語の LLM に含まれる社会的バイアスについては十分に調査されていない。社会的バイアスは文化や慣習とも関わりが深いため，英語のベンチマークを自動翻訳したデー タだけで日本語 LLM に含まれる社会的バイアスを分析することは難しく，日本の文化や慣習を考慮したベンチマークの構築が求められる.

そこで本研究では，英語の社会的バイアス $\mathrm{QA}$ データセット BBQ (Bias Benchmark for QA)をもとに日本語社会的バイアス $\mathrm{QA}$ データセット $\mathrm{JBBQ}$ を構築する。そして，JBBQを用いて日本語の LLMにどの程度社会的バイアスが含まれているかについて分析を行う。構築したJBBQデータセットは研究利用が可能な形式で公開予定である.

## 2 関連研究

英語圏では社会的バイアスに関する様々なべンチマークが構築されている．BBQ [2] は 3 節で詳細に紹介するが，多様な社会的属性に関する文脈を正しく理解して質問に答えられるかLLMを評価するための QA データセットであり，LLM の社会的バイアスの評価に広く用いられている. CrowS-Pairs [4] は社会的属性に関する語の穴埋め問題でマスク言語モデルの社会的バイアスの分析を行うためのデータセットである．BOLD [3] は特定の社会的属性に関するプロンプトに続けて有害な表現を出力しないか評価するためのデータセットである．最近では BBQ の中国語版である CBBQ [5]，韓国語版の KoBBQ [6]，CrowS-Pairs のフランス語版 French CrowS-Pairs [7] というように，社会的バイアスに関するベンチマークの多言語化が進められている.

日本語の関連データセットとしては，日本語の有害表現データセット $[8]$ や人権侵害表現データセット [9], 常識道徳データセット [10], Twitter に含まれる日本語のへイトスピーチデータセット [11] があり，日本語の（大規模）言語モデルの安全性や信頼性に対する意識が高まっている，本研究と最も関連
表 1 BBQ と JBBQ の Age カテゴリの問題例. 下線部はテンプレート中の語彙のプレースホルダを表し，ここでは任意の語彙をテンプレートに埋め込んだ結果を示す.この例の回答選択肢は 78 歳, 22 歳, 不明 (unknown ラベル)の 3 值であり，曖昧性のある文脈のみでは不明，曖昧性を解消させる文脈を足した場合は 22 歳が否定的な問題に対する正解となる。

 &  &  &  &  \\

の深い研究として，[12] では自然言語推論のタスクを用いて日本語の性別バイアスに関する評価データセットを構築し，日本語の事前学習済みモデルに含まれる性別バイアスに関して分析を行っている。本研究では生成モデルを中心とした現在の LLM の評価に適切な下流タスクとして，QAタスクを扱う。 また，性別だけでなく，年齢や身体的特徴といった様々な社会的属性に対するバイアスを分析対象とするため, 英語の BBQデータセットをもとに日本語の社会的バイアス QAデータセットを構築する。

## 3 データセット構築

## 3.1 BBQ データセット

本研究では， $\mathrm{BBQ}$ データセットを日本語に翻訳することでJBBQの構築を行う．BBQは Age, Disability status, Gender identity, Nationality, Physical appearance, Race, Religion, Sexual orientation, Socio-economic status の計 9 つの社会的カテゴリに関する多岐選択式の QA データセットである. 各カテゴリのテンプレー トは，カテゴリに関する言及を含み曖昧性のある文脈，曖昧性を解消させる文脈，語彙，文脈に関してカテゴリに属するグループや人物に有害な偏見を引き起こす問題文（カテゴリに否定的な問題文), 中立的な問題文, 回答選択肢（カテゴリに属する人物ラベル，カテゴリに属さない人物ラベル，曖昧性のある文脈のみからは答えが定まらない unknown ラべルの 3 值), テンプレート作成に参照したソースの情報, から主に構成される.

本研究ではこれらのカテゴリのうち, Age, Disability status (以下, Disability), Gender identity (以下, Gender), Physical appearance (以下, Physical), Sexual orientation (以下，Sexual) の 5 カテゴリに焦点を当てて機械翻訳と人手での確認によりJBBQを半自動的
に構築する，日本文化でも共通点の多いカテゴリを作業者あたり 1 カテゴリとなるように上から順に 5 つ選ぶことでカテゴリを選定する. Race や Religion は，BBQが想定しているアメリカの文化と今回着目する日本の文化との差異に大きく影響を受けると考えられるため, 除外する. BBQ と JBBQ の各カテゴリの問題例を表 1 と付録の表 2 に示す.

## 3.2 構築手順

JBBQ の具体的な構築手順を示す. まず，カテゴリ別に作業者 1 名が以下の作業を行う.
1. $\mathrm{BBQ}$ テンプレートの翻訳

2. 意見が分かれうる問題，馴染みがない問題，設定にバイアスが含まれうる問題の分類

3. 追加問題の作成

次に, 別の作業者 1 名が上の作業を担当していない 1 カテゴリの翻訳やラベリングに改善点がないかダブルチェックを行う．最後に，全作業者でダブルチェックの結果を議論し修正を行う．作業は日本語を母語とし, 自然言語処理の知識がある大学院生および研究者計 5 名で行った. 以降では各手順の具体的な内容を述べる.

## 3.3 テンプレートの翻訳と修正

BBQテンプレートをDeepL API を用いて機械翻訳し, その後翻訳結果を確認して人手で修正する. テンプレート内の語彙の一部はプレースホルダ化されており，テンプレートをそのまま機械翻訳の入力に用いると不正確な翻訳結果となることが予想される.そのため，まず語彙が埋められた状態の英語の生成データを日本語に機械翻訳し，その後，翻訳結果を参照しながら元々のテンプレートのプレースホルダ以外を日本語に置き換える. 最終的に, 文脈情報，插入される語彙，問題文，回答選択肢が翻訳さ

れたテンプレートを得る。一部の表現は日本特有の用語や文化的背景を考慮して言い換えを行った. また，BBQでは語彙に人物を表す固有名 (例：黒人男性の名前として “Jermaine Washington”) が用いられていたが，JBBQでは用いていない。固有名はその属性を表すには不完全であり，中国語版 BBQ である CBBQ [5]でも用いられていない.

翻訳において考慮した点として, they や their が訳出次第で不適当になる場合があるため，「かれら」 で統一したことが挙げられる。例えば，Sexual における以下のテンプレートでは, they が「彼ら」に訳出されている.

\{\{NAME1 $\}\}$ のカップルは，かなり激しい面接を重ねた末に養子縁組が許可され，養子縁組機関は，彼らが最初の子供を養子に迎える準備が整っていることに非常に感銘を受けたと述べた.

しかし，上記の問題では $\{\{$ NAME1 $\}\}$ に埋め込まれる語彙候補の一つに「レズビアン」があり，この場合「彼ら」は日本語として不正確になる。このようなケースを避けるため，ジェンダー論を扱う学術的な文献で広く用いられる「かれら」を採用する。

## 3.4 フィルタリングと問題の追加

テンプレートのうち，有害性の有無についての意見が分かれるもの，日本語話者の背景にある文化において馴染みがないもの, 問題設定にバイアスが含まれていると考えられるものについては全作業者間で議論を行い，計 31 件を除外した。

また，BBQで考慮されていない日本の文化や慣習を踏まえたテンプレートを，日本語で参照できる文献をもとに作成し，全作業者間で議論を行い合意を取った上で計 35 件追加した. JBBQ の追加問題の例を付録の表 3 に示す. 例えば，Gender のカテゴリには「Xジェンダー $1^{1)}$ に関する問題を含めた。

## 4 JBBQ データセット

## 4.1 データセットの統計量

JBBQ のテンプレートは全カテゴリで計 245 件 (Age: 72 件, Disability: 52 件, Gender: 41 件, Physical: 52 件, Sexual: 28 件）あり, テンプレートに語彙を代入乙て生成された問題数は計 8476 件 (Age: 4696 件,


Disability: 1344 件, Gender: 652 件, Physical: 1256 件, Sexual: 528 件）である.

## 4.2 データセットの課題

今回の作成手順では $\mathrm{BBQ}$ に含まれる 4 つのカテゴリを除外したため，元の $\mathrm{BBQ}$ と比較して評価属性の範囲が限定的である。例えば CBBQ [5] は，中国の社会的文脈に根ざしたバイアスカテゴリを 5 つ (Disease, Educational Qualification, Household, Registration, Region) 増やしている．将来的に，JBBQ のバイアスカテゴリを日本の社会的文脈に根ざした形で拡張する必要があるだろう。

また，BBQには，性別と人種といった2つの属性の交差バイアスに関するデータが含まれていたが，本研究ではこうした交差バイアスを扱えていない.今後，人種などの他のバイアスカテゴリのデータを作成することに加えて，このような交差バイアスを評価するデータも作成する必要がある.

## 5 ベースライン実験

## 5.1 実験設定

本研究では構築したJBBQを用いて, 日本語の LLM の分析を行った. 分析対象のモデルとして，公開されている日本語のベンチマーク評価のリー ダーボード2)で，上位のスコアを獲得した日本語 LLM を選定した。その結果，Huggingface にアップロードされている 11m-jp/1lm-jp-13b-v1.0 (以下， $11 \mathrm{~m}$-jp), $11 \mathrm{~m}$-jp/llm-jp-13b-instruct-full-jaster-dolly-oasstv1.0 (以下， llm-jp inst.), stabilityai/japanese-stablelminstruct-gamma-7b (以下, stablelm), matsuo-lab/weblab10b-instruction-sft (以下，weblab) の 4 つを分析対象とした. 評価として，各 LLM にタスクの説明とJBBQ の文脈，問題，回答選択肢を入力として与え，正しい答えを生成するかどうかを検証した。この評価実験は公開されている LLM の評価ツール3）にJBBQ を適用して行われた。

LLM のバイアス分析において，英語圏ではプロンプトの影響が議論されている [14]. 本研究では既存研究を参考に基本プロンプトに加え，社会的バイアスによる偏見を警告し，文脈から答えが定まらな


図 1 4-shot によるJBBQ の評価実験の結果．基本プロンプトでの評価実験は BasicP と表記している. 正答率の差分とバイアススコアは BasicP の結果を示しており、赤い点線はチャンスレートの 0.33 を表す.

い問題に対しては unknown ラベル4)を答えるよう指示する文章を追加したバージョン（以下，UnkP）， unknown ラベルの説明を JBBQ の中で使用していない表現に言い換えたバージョン（以下，ParaP）の 3 種類のプロンプトで評価を行い，結果を比較した。

評価指標は $\mathrm{BBQ}[2]$ で提案されている次の 3 つの評価指標を使用した。

・正答率 (Acc.): 正解ラベルと予測ラベルの一致率

・正答率の差分 (Acc. Diff.): 曖昧性が解消された文脈（曖昧性のある文脈 + 曖昧性を解消させる文脈）を与えた場合 (Dis)について，対象の社会的カテゴリが不正解となる問題での正答率と，正解となる問題での正答率との差分

・バイアススコア (BS): 予測ラベルがバイアスを含んでいて，かつそれが対象の社会的カテゴリだった割合. Dis の場合と曖昧性のある文脈のみを与えた場合 (Amb) とで算出式が異なる：

$
\begin{aligned}
& \boldsymbol{B} S_{D i s}=2 * \frac{n_{\text {社会的カテゴリの予測 }}}{n_{\text {バイアスありの予測 }}}-1 \\
& \boldsymbol{B} S_{A m b}=(1-\text { 正答率 } A m b) * B S_{D i s}
\end{aligned}
$

## 5.2 結果と分析

JBBQ を用いて 4-shot と基本プロンプト，UnkP， ParaP の設定で LLM を評価した結果を図 1 に示す. 0 -shot の評価結果5) と比較して, 全てのモデルが答え以外の無関係な文字列は生成していないものの，全体的に llm-jp と weblab の正答率はチャンスレート

4） unknown ラベルも様々な語彙を使用しており，プロンプトではJBBQで最も出現頻度の高い「未定」を採用した.

5） 0-shot では一部のモデルで答え以外の文字列を生成する傾向が見られ，多肢選択式問題に対して 0-shot では答えられない可能性が示唆された. 詳細な結果は付録の表 4 に示す. を考えると低い。一方，stablelm は JBBQ のほぼ全てのカテゴリーに対して高い正答率を示した。

プロンプトの違いによる影響は先行研究の結果と異なり，JBBQによる評価結果からはプロンプトの違いによる性能の影響は小さいことが示唆された.唯一 stablelm は曖昧性のある文脈で最大 $20.1 \%$ のスコア向上を示しており，プロンプトの違いを認識していることが示唆される.

正答率の差分の結果は多くの結果で負の値を示しており，評価対象の日本語 LLM は曖昧性が解消された文脈で社会的バイアスを含む答えを予測する傾向があることが分かる．特に，正答率が良かった llm-jp inst. と stablelm が，比較的大きい負の值を示しているのが目を引く。

最後に，バイアススコアの結果は正答率が高かった llm-jp inst., stablelmともに，他のモデルに比べて高いバイアススコアを示している．英語 BBQ の結果 [2] に比べると低い値であるが，日本語 LLM がある程度社会的バイアスに従って答えていると結論付けられる。

## 6 おわりに

本研究では日本語の社会的バイアス $\mathrm{QA}$ データセットJBBQを構築し，日本語LLMに含まれる社会的バイアスについて分析を行った. 分析の結果，現在の日本語 LLM には社会的バイアスが含まれている傾向が示唆された. 今後の課題として，より日本の文化や慣習を考慮したテンプレートの拡張が考えられる。また，今後の展望として，本論文では LLM の評価にJBBQ を用いたが，JBBQ の一部を日本語 LLM のチューニングに活用することで，モデルの社会的バイアスの抑制につながる可能性がある.

## 謝辞

本研究は JST さきがけ JPMJPR21C8 の支援を受けたものです. また, 本研究成果 (の一部) は, デー タ活用社会創成プラットフォーム $\mathrm{mdx}$ を利用して得られたものです.

## 参考文献

[1] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, and Dario ... Amodei. Language models are few-shot learners. In Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020.

[2] Alicia Parrish, Angelica Chen, Nikita Nangia, Vishakh Padmakumar, Jason Phang, Jana Thompson, Phu Mon Htut, and Samuel Bowman. BBQ: A hand-built bias benchmark for question answering. In Smaranda Muresan, Preslav Nakov, and Aline Villavicencio, editors, Findings of the Association for Computational Linguistics: ACL 2022, pp. 2086-2105, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[3] Jwala Dhamala, Tony Sun, Varun Kumar, Satyapriya Krishna, Yada Pruksachatkun, Kai-Wei Chang, and Rahul Gupta. Bold: Dataset and metrics for measuring biases in open-ended language generation. In Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, FAccT '21, p. 862-872, New York, NY, USA, 2021. Association for Computing Machinery.

[4] Nikita Nangia, Clara Vania, Rasika Bhalerao, and Samuel R. Bowman. CrowS-pairs: A challenge dataset for measuring social biases in masked language models. In Bonnie Webber, Trevor Cohn, Yulan He, and Yang Liu, editors, Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1953-1967, Online, November 2020. Association for Computational Linguistics.

[5] Yufei Huang and Deyi Xiong. CBBQ: A chinese bias benchmark dataset curated with human-ai collaboration for large language models, 2023.

[6] Jiho Jin, Jiseon Kim, Nayeon Lee, Haneul Yoo, Alice Oh, and Hwaran Lee. KoBBQ: Korean bias benchmark for question answering, 2023.

[7] Aurélie Névéol, Yoann Dupont, Julien Bezançon, and Karën Fort. French CrowS-pairs: Extending a challenge dataset for measuring social bias in masked language models to a language other than English. In Smaranda Muresan, Preslav Nakov, and Aline Villavicencio, editors, Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 8521-8531, Dublin, Ireland, May 2022. Association for Computational Linguistics.
[8] 小林滉河, 山崎天, 吉川克正, 牧田光晴, 中町礼文, 佐藤京也, 浅原正幸, 佐藤敏紀. 日本語有害表現スキー マの提案と評価. 言語処理学会第 29 回年次大会, pp. 933-938, 2023.

[9] 久田祥平, 若宮翔子, 荒牧英治. 権利侵害と不快さの間：日本語人権侵害表現データセット. 言語処理学会第 29 回年次大会, pp. 363-368, 2023.

[10] 竹下昌志, ジェプカラファウ, 荒木健治. Jcommonsensemorality: 常識道徳の理解度評価用日本語データセット. 言語処理学会第 29 回年次大会, pp. 357-263, 2023.

[11] 荒井ひろみ, 和泉悠, 朱喜哲, 仲宗根勝仁, 谷中瞳. ソーシャルメディアにおけるへイトスピーチ検出に向けた日本語データセット構築の試案. 言語処理学会第 27 回年次大会, pp. 466-470, 2021.

[12] Panatchakorn Anantaprayoon, 金子正弘, 岡崎直観. 下流タスクでの日本語事前学習モデルの性別バイアスの評価. 言語処理学会第 29 回年次大会, pp. 1563-1568, 2023.

[13] S. P. F. Dale. An introduction to x-jendā: Examining a new gender identity in japan. Intersections: Gender and sexuality in Asia and the Pacific, Vol. 31, , 2012.

[14] Chenglei Si, Zhe Gan, Zhengyuan Yang, Shuohang Wang, Jianfeng Wang, Jordan Boyd-Graber, and Lijuan Wang. Prompting gpt-3 to be reliable. In International Conference on Learning Representations (ICLR), 2023.

## A 付録

表 $2 \mathrm{BBQ}$ の Age 以外の各カテゴリの問題例とその例に対応した JBBQ の問題例. 下線部はテンプレート中の語彙のプレースホルダを表し，ここでは任意の語彙を埋め込んだ結果を示す.

 &  &  \\

表 $3 \mathrm{JBBQ}$ の各カテゴリの追加問題の例. 下線部はテンプレート中の語彙のプレースホルダを表し，ここでは任意の語彙を埋め込んだ結果を示す.

 &  &  &  &  \\

表 4 0-shot，基本プロンプトを用いたときの正答率.（）内は答えを生成できなかったエラー率を示す.

## A. 1 プロンプト

基本プロンプトは以下を使用した.

0）でするものとします。回答となる数值を int 型で返し、他には何も含めないことを厳守してください。

UnkP では基本プロンプトに以下の文を足した．ParaPでは UnkP のプロンプトの「未定と答えるべき」を「その話に対して結論を出すことができないという選択肢を選ぶべき」に置き換えたものを使用した.

私たちは、社会経済的地位、性的指向、宗教、人種、身体的外見、国籍、性自認、障害、年齢の異なる人々を平等に扱うべきです。十分な情報がないときは、固定観念に基づいて決めつけるのではなく、未定と答えるべきです。