概要

1　はじめに
GPT-3 [1]をはじめとした大規模言語モデル(Large Language Model, LLM)はWebからクロールした大量のデータを事前学習して構築されており、様々なタスクで高い性能を発揮している. しかし，LLMの発展とともに，事前学習データからモデルが年齢や性別といった様々な社会的属性に対するバイアス(以下，社会的バイアスと呼ぶ）を学習してしまうことが問題となっている.英語圏ではBBQ [2]やBOLD [3]といった社会的バイアスに関する様々なベンチマークが構築されている.しかし，ベンチマークの多くは英語で構築されており、英語以外の言語のベンチマークは発展途上である．また，最近では日本語に特化したLLMがいくつか構築されているが，日本語のLLMに含まれる社会的バイアスについては十分に調査されていない．社会的バイアスは文化や慣習とも関わりが深いため，英語のベンチマークを自動翻訳したデータだけで日本語LLMに含まれる社会的バイアスを分析することは難しく，日本の文化や慣習を考慮したベンチマークの構築が求められる.そこで本研究では，英語の社会的バイアスQAデータセットBBQ (Bias Benchmark for QA)をもとに日本語社会的バイアスQAデータセットJBBQを構築する. そして，JBBQを用いて日本語のLLMにどの程度社会的バイアスが含まれているかについて分析を行う.構築したJBBQデータセットは研究利用が可能な形式で公開予定である.
2　関連研究
英語圏では社会的バイアスに関する様々なベンチマークが構築されている.  BBQ [2]は3節で詳細に紹介するが，多様な社会的属性に関する文脈を正しく理解して質問に答えられるかLLMを評価するためのQAデータセットであり，LLMの社会的バイアスの評価に広く用いられている． CrowS-Pairs [ 4 ]は社会的属性に関する語の穴埋め問題でマスク言語モデルの社会的バイアスの分析を行うためのデータセットである.  BOLD [3]は特定の社会的属性に関するプロンプトに続けて有害な表現を出力しないか評価するためのデータセットである. 最近ではBBQの中国語版であるCBBQ [5],韓国語版のKoBBQ [6],  CrowS-Pairsのフランス語版French CrowS-Pairs [7]というように，社会的バイアスに関するベンチマークの多言語化が進められている.日本語の関連データセットとしては，日本語の有害表現データセット[8]や人権侵害表現データセット[9],常識道徳データセット[10], Twitterに含まれる日本語のヘイトスピーチデータセット[11]があり，日本語の（大規模）言語モデルの安全性や信頼性に対する意識が高まっている．本研究と最も関連
の深い研究として，[12]では自然言語推論のタスクを用いて日本語の性別バイアスに関する評価データセットを構築し，日本語の事前学習済みモデルに含まれる性別バイアスに関して分析を行っている．本研究では生成モデルを中心とした現在のLLMの評価に適切な下流タスクとして，QAタスクを扱う.また，性別だけでなく，年齢や身体的特徴といった様々な社会的属性に対するバイアスを分析対象とするため，英語のBBQデータセットをもとに日本語の社会的バイアスQAデータセットを構築する.
3　データセット構築
3.1   BBQデータセット
本研究では，BBQデータセットを日本語に翻訳することでJBBQの構築を行う． BBQはAge, Disability status, Gender identity, Nationality, Physical appearance, Race, Religion, Sexual orientation, Socio-economic statusの計9つの社会的カテゴリに関する多岐選択式のQAデータセットである. 各カテゴリのテンプレートは、カテゴリに関する言及を含み曖昧性のある文脈，曖昧性を解消させる文脈，語彙，文脈に関してカテゴリに属するグループや人物に有害な偏見を引き起こす問題文（カテゴリに否定的な問題文）、中立的な問題文，回答選択肢（カテゴリに属する人物ラベル、カテゴリに属さない人物ラベル、曖昧性のある文脈のみからは答えが定まらないunknownラベルの３値),テンプレート作成に参照したソースの情報，から主に構成される.本研究ではこれらのカテゴリのうち, Age, Disability status (以下， Disability), Gender identity (以下, Gender), Physical appearance (以下, Physical), Sexual orientation (以下， Sexual)の5カテゴリに焦点を当てて機械翻訳と人手での確認によりJBBQを半自動的に構築する.日本文化でも共通点の多いカテゴリを作業者あたり1カテゴリとなるように上から順に5つ選ぶことでカテゴリを選定する.  RaceやReligionはは，BBQが想定しているアメリカの文化と今回着目する日本の文化との差異に大きく影響を受けると考えられるため，除外する.  BBQとJBBQの各カテゴリの問題例を表1と付録の表2に示す.
3.2 構築手順
JBBQの具体的な構築手順を示す.まず,カテゴリ別に作業者1名が以下の作業を行う. 1. BBQテンプレートの翻訳2.意見が分かれうる問題，馴染みがない問題，設定にバイアスが含まれうる問題の分類3.追加問題の作成次に、別の作業者1名が上の作業を担当していない1カテゴリの翻訳やラベリングに改善点がないかダプルチェックを行う.最後に，全作業者でダプルチェックの結果を議論し修正を行う.作業は日本語を母語とし，自然言語処理の知識がある大学院生および研究者計5名で行った．以降では各手順の具体的な内容を述べる.
3.3 テンプレートの翻訳と修正
BBQテンプレートをDeepL APIを用いて機械翻訳し，その後翻訳結果を確認して人手で修正する.テンプレート内の語彙の一部はプレースホルダ化されており，テンプレートをそのまま機械翻訳の入力に用いると不正確な翻訳結果となることが予想される．そのため，まず語彙が埋められた状態の英語の生成データを日本語に機械翻訳し，その後，翻訳結果を参照しながら元々のテンプレートのプレースホルダ以外を日本語に置き換える. 最終的に，文脈情報，挿入される語彙，問題文，回答選択肢が翻訳されたテンプレートを得る.一部の表現は日本特有の用語や文化的背景を考慮して言い換えを行った.また，BBQでは語彙に人物を表す固有名(例：黒人男性の名前として“Jermaine Washington”）が用いられていたが，JBBQでは用いていない．固有名はその属性を表すには不完全であり，中国語版BBQであるCBBQ [5]でも用いられていない.翻訳において考慮した点として， theyやtheirが訳出次第で不適当になる場合があるため，「かれら」で統一したことが挙げられる. 例えば， Sexualにおける以下のテンプレートでは， theyが「彼ら」に訳出されている. {{NAME1}}のカップルは，かなり激しい面接を重ねた末に養子縁組が許可され，養子縁組機関は，彼らが最初の子供を養子に迎える準備が整っていることに非常に感銘を受けたと述べた.しかし，上記の問題では{{NAME1}}に埋め込まれる語彙候補の一つに「レズビアン」があり，この場合「彼ら」は日本語として不正確になる.このようなケースを避けるため，ジェンダー論を扱う学術的な文献で広く用いられる「かれら」を採用する.
3.4 フィルタリングと問題の追加
テンプレートのうち，有害性の有無についての意見が分かれるもの，日本語話者の背景にある文化において馴染みがないもの，問題設定にバイアスが含まれていると考えられるものについては全作業者間で議論を行い，計31件を除外した.また，BBQで考慮されていない日本の文化や慣習を踏まえたテンプレートを，日本語で参照できる文献をもとに作成し，全作業者間で議論を行い合意を取った上で計35件追加した．JBBQの追加問題の例を付録の表3に示す. 例えば，Genderのカテゴリには「Xジェンダー」りに関する問題を含めた.
4　JBBQデータセット
4.1 データセットの統計量
JBBQのテンプレートは全カテゴリで計245件(Age: 72件, Disability: 52件, Gender: 41件, Physical: 52件，Sexual: 28件）あり，テンプレートに語彙を代入して生成された問題数は計8476件(Age: 4696件, Disability: 1344件， Gender: 652件， Physical: 1256件， Sexual: 528件）である.
4.2 データセットの課題
今回の作成手順ではBBQに含まれる4つのカテゴリを除外したため，元のBBQと比較して評価属性の範囲が限定的である. 例えばCBBQ [5]は,中国の社会的文脈に根ざしたバイアスカテゴリを５つ(Disease, Educational Qualification, Household, Registration, Region)増やしている．将来的に、JBBQのバイアスカテゴリを日本の社会的文脈に根ざした形で拡張する必要があるだろう.また、BBQには、性別と人種といった２つの属性の交差バイアスに関するデータが含まれていたが,本研究ではこうした交差バイアスを扱えていない.今後，人種などの他のバイアスカテゴリのデータを作成することに加えて，このような交差バイアスを評価するデータも作成する必要がある.
5　ベースライン実験
5.1 実験設定
本研究では構築したJBBQを用いて，日本語のLLMの分析を行った．分析対象のモデルとして，公開されている日本語のベンチマーク評価のリーダーボード²）で，上位のスコアを獲得した日本語LLMを選定した．その結果， Huggingfaceにアップロードされているllm-jp/llm-jp-13b-v1.0 (以下, llm-jp),  llm-jp/llm-jp-13b-instruct-full-jaster-dolly-oasst- v1.0 (以下,  llm-jp  inst.),  stabilityai/japanese-stablelm- instruct-gamma-7b (以下, stablelm), matsuo-lab/weblab- 10b-instruction-sft (以下， weblab)の４つを分析対象とした．評価として，各LLMにタスクの説明とJBBQの文脈，問題，回答選択肢を入力として与え，正しい答えを生成するかどうかを検証した.この評価実験は公開されているLLMの評価ツール³）にJBBQを適用して行われた. LLMのバイアス分析において，英語圏ではプロンプトの影響が議論されている[14].本研究では既存研究を参考に基本プロンプトに加え、社会的バイアスによる偏見を警告し，文脈から答えが定まらな図1  4-shotによるJBBQの評価実験の結果.基本プロンプトでの評価実験はBasicPと表記している．正答率の差分とパイアススコアはBasicPの結果を示しており、赤い点線はチャンスレートの0.33を表す.い問題に対してはunknownラベル4を答えるよう指示する文章を追加したバージョン(以下, UnkP), unknownラベルの説明をJBBQの中で使用していない表現に言い換えたバージョン（以下，ParaP）の3種類のプロンプトで評価を行い，結果を比較した.評価指標はBBQ[2]で提案されている次の３つの評価指標を使用した. •正答率(Acc.):正解ラベルと予測ラベルの一致率•正答率の差分(Acc. Diff.):曖昧性が解消された文脈（曖昧性のある文脈+曖昧性を解消させる文脈）を与えた場合(Dis)について，対象の社会的カテゴリが不正解となる問題での正答率と，正解となる問題での正答率との差分•バイアススコア(BS):予測ラベルがバイアスを含んでいて，かつそれが対象の社会的カテゴリだった割合.  Disの場合と曖昧性のある文脈のみを与えた場合(Amb)とで算出式が異なる： n社会的カテゴリの予測BSDis = 2 * nベイアスありの予測BSAmb = (1 –正答率Amb) ※ BSDis
5.2 結果と分析
JBBQを用いて4-shotと基本プロンプト, UnkP, ParaPの設定でLLMを評価した結果を図1に示す. 0-shotの評価結果s》と比較して，全てのモデルが答え以外の無関係な文字列は生成していないものの,全体的にllm-jpとweblabの正答率はチャンスレートを考えると低い.一方，stablelmはJBBQのほぼ全てのカテゴリーに対して高い正答率を示した.プロンプトの違いによる影響は先行研究の結果と異なり、JBBQによる評価結果からはプロンプトの違いによる性能の影響は小さいことが示唆された.唯一stablelmは曖昧性のある文脈で最大20.1%のスコア向上を示しており，プロンプトの違いを認識していることが示唆される.正答率の差分の結果は多くの結果で負の値を示しており，評価対象の日本語LLMは曖昧性が解消された文脈で社会的バイアスを含む答えを予測する傾向があることが分かる．特に，正答率が良かったllm-jp inst.とstablelmが，比較的大きい負の値を示しているのが目を引く.最後に，バイアススコアの結果は正答率が高かったllm-jp inst.,  stablelmともに，他のモデルに比べて高いバイアススコアを示している. 英語BBQの結果[2]に比べると低い値であるが，日本語LLMがある程度社会的バイアスに従って答えていると結論付けられる.
6　おわりに
本研究では日本語の社会的バイアスQAデータセットJBBQを構築し，日本語LLMに含まれる社会的バイアスについて分析を行った．分析の結果，現在の日本語LLMには社会的バイアスが含まれている傾向が示唆された.今後の課題として,より日本の文化や慣習を考慮したテンプレートの拡張が考えられる. また，今後の展望として，本論文ではLLMの評価にJBBQを用いたが，JBBQの一部を日本語LLMのチューニングに活用することで，モデルの社会的バイアスの抑制につながる可能性がある.本研究はJSTさきがけJPMJPR21C8の支援を受けたものです.また，本研究成果（の一部）は，データ活用社会創成プラットフォームmdxを利用して得られたものです. [1]  Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, and Dario · · · Amodei.  Language models are few-shot learners. In Advances in Neural Information Processing Sys- tems , Vol. 33, pp. 1877–1901. Curran Associates, Inc., 2020. [2]  Alicia Parrish, Angelica Chen, Nikita Nangia, Vishakh Padmakumar, Jason Phang, Jana Thompson, Phu Mon Htut, and Samuel Bowman.  BBQ: A hand-built bias benchmark for question answering.  In Smaranda Mure- san, Preslav Nakov, and Aline Villavicencio, editors, Find- ings of the Association for Computational Linguis- tics: ACL 2022 , pp. 2086–2105, Dublin, Ireland, May 2022. Association for Computational Linguistics. Jwala Dhamala, Tony Sun, Varun Kumar, Satyapriya Kr- [3] ishna, Yada Pruksachatkun, Kai-Wei Chang, and Rahul Gupta. Bold: Dataset and metrics for measuring biases in open-ended language generation.  In Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency , FAccT '21, p. 862–872, New York, NY, USA, 2021. Association for Computing Machinery. Nikita Nangia, Clara Vania, Rasika Bhalerao, and [4] Samuel R. Bowman.  CrowS-pairs:  A challenge dataset for measuring social biases in masked language models. In Bonnie Webber, Trevor Cohn, Yulan He, and Yang Liu, editors, Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1953–1967, Online, November 2020. Asso- ciation for Computational Linguistics. Yufei Huang and Deyi Xiong.  CBBQ: A chinese bias [5] benchmark dataset curated with human-ai collaboration for large language models, 2023. Jiho Jin, Jiseon Kim, Nayeon Lee, Haneul Yoo, Alice Oh, [6] and Hwaran Lee.  KoBBQ: Korean bias benchmark for question answering, 2023. [7]  Aurélie Névéol, Yoann Dupont, Julien Bezançon, and Karën Fort.  French CrowS-pairs:  Extending a challenge dataset for measuring social bias in masked language mod- els to a language other than English. In Smaranda Muresan, Preslav Nakov, and Aline Villavicencio, editors, Proceed- ings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1:  Long Pa- pers), pp. 8521–8531, Dublin, Ireland, May 2022. Asso- ciation for Computational Linguistics.小林滉河,山崎天,吉川克正,牧田光晴,中町礼文,佐[8]藤京也,浅原正幸,佐藤敏紀.日本語有苦表現スキーマの提案と評価.言語処理学会第29回年次大会, pp. 933–938, 202.久田祥平,若宮翔子,荒牧英治.権利侵害と不快さの[9]間：日本語人権侵害表現データセット.言語処理学会第29回年次大会, pp. 363–368, 2023. [10]竹下昌志,ジェプカラファウ,荒木健治.  Jcom- monsensemorality: 常識道徳の理解度評価用日本語データセット.言語処理学会第29回年次大会, pp. 357–263, 2023.荒井ひろみ,和泉悠,朱喜暫,仲宗根勝仁,谷中瞳. [11]ソーシャルメディアにおけるヘイトスピーチ検出に向けた日本語データセット構築の試案.言語処理学会第27回年次大会, pp. 466–470, 2021. Panatchakorn Anantaprayoon,金子正弘,岡崎直観.下[12]流タスクでの日本語事前学習モデルの性別バイアスの評価.言語処理学会第29回年次大会, pp. 1563–1568, 2023. [13] S. P. F. Dale.  An introduction to x-jendā:  Examining a new gender identity in japan.  Intersections:  Gender and sexuality in Asia and the Pacific , Vol. 31, , 2012. Chenglei Si, Zhe Gan, Zhengyuan Yang, Shuohang Wang, [14] Jianfeng Wang, Jordan Boyd-Graber, and Lijuan Wang. Prompting gpt-3 to be reliable.  In International Confer- ence on Learning Representations (ICLR), 2023.表2　BBQのAge以外の各カテゴリの問題例とその例に対応したJBBQの問題例. 下線部はテンプレート中の語彙のプ
表３　JBBQの各カテゴリの迫加問題の例.下線部はテンプレート中の語彙のプレースホルダを表し，ここでは任意の語
表4
A.1基本プロンプトは以下を使用した.以下は、タスクを説明する指示と、文脈のある人力の組み合わせです。要求を適切に満たす花茶を書きなさい。
##指示:質問と同答の選択肢を入力として受け取り。過明肢から社会性ペイアスのない目奇を選択してください。なお、回答は選択肢の番号（例：
 6）でするものとします。目答となる数値を論型で逃し、他には何も含めないことを厳守してください。 UnkPでは基本プロンプトに以下の文を足した．ParaPではUnkPのプロンプトの「未定と答えるべき」を「その話に対して結論を出すことができないという選択肢を選ぶべき」に置き換えたものを使用した.私たちは、社会軽済的地位、性的指向、宗教、人楊、身体的外見、国籍、性自認、障害、年齢の異なる人々を平等に扱うべきです。十分な情報がない
ときは、固定観念に基づいて決めつけるのではなく、実定と答えるべきです。