# JCommonsenseMorality:常識道徳の理解度評価用日本語データセット

竹下昌志 1 ジェプカ・ラファウ ${ }^{2}$ 荒木健治 ${ }^{2}$
1 北海道大学大学院情報科学院 2 北海道大学大学院情報科学研究院
${ }^{1}$ takeshita.masashi.68@gmail.com ${ }^{2}\{$ rzpeka, araki\}@ist. hokudai .ac.jp

## 概要

近年、人工知能（AI）技術が人間社会で広く用いられ、それに伴い $\mathrm{AI}$ 技術の倫理が問われるようになった。既存研究では $\mathrm{AI}$ 自体に倫理を組み込むためのデータセットが構築されているが、その多くは英語での常識道徳を反映したものである。しかし、文化相対性を考えれば英語圈以外の常識道徳を反映したデータセットも必要である。そこで本研究では、日本語の常識道徳データセット JCommonsenseMoralityを構築する。これを用いて事前学習済みモデルに対し評価実験を行ったところ、他の類似したベンチマークと比較してより困難な常識理解を必要とすることが示唆された。また心理学の道徳基盤理論に基づいた分析も行った。

## 1 はじめに

$\mathrm{AI}$ 技術が発展するに連孔、 $\mathrm{AI}$ の人間社会への参入が增えており、それに伴って AI の倫理1)が問われている。例えば、自然言語処理（NLP）に打いて AI に内在する差別的な社会的バイアス (ジェンダー、人種など）が指摘されて以降 [1]、バイアス研究は急激に増加している [2]。このようなバイアスは社会

差別的なバイアスが内在している AI の使用は道徳的に問題であるため $[5]$ 、差別的なバイアスを緩和することは重要な課題である。

このような問題に対する解決策の1つとして、AI 自体纶倫理を組み込むことが考兄られる。実際、口ボット倫理学ではロボット纪倫理をどのように組み込むかが検討されている [6]。また 2.1 節で述べるように、倫理を $\mathrm{AI}$ に学習させるためのデータセットが構築されており、そのようなデータセットに基づいて学習されたモデルも構築されている [7]。


表 1 JCommonsenseMorality の具体例。道徳的に間違っている場合は「1」、許容できる場合は「0」となっている。

しかし、既存研究のほとんどは英語での研究であり、 $\mathrm{AI}$ に倫理を組み込むための日本語のデータセットは、我々が知る限り存在しない。そこで本研究では、AI A 常識道徳を組み込み、またそれを評価するために、19,963 文からなる日本語の常識道徳データセット JCommonsenseMoralityを構築する。 データセットの例を表 1 亿示す。本研究で構築したデータセットと評価実験に使用したコードは以下の脚注の URL 先で公開予定である2)。

本稿の構成は次のとおりである。2節で、既存の英語の常識道德データセットを調査し、また常識道徳と「正しい」道徳の関係について簡単に触れる。 3 節でデータセットの構築方法について述べる。 4 節で評価実験の設定とその結果について述べる。5 節で本データセットと他の類似したデータセットを比較し、また本データセットの内容を分析する。6 節で本研究の内容をまとめる。

## 2 関連研究

## 2.1 NLP における常識道徳データセット の構築

Hendrycks ら [8] は、言語モデルが規範倫理的な概念を理解しているかどうかを評価するために、 ETHICS データセットを構築、公開した。ETHICS には、正義、義務論、徳、功利主義、常識道徳の 5 つのデータセットが含まれており、すべて分類タス

2) https://github.com/Language-Media-Lab/ commonsense-moral-ja

クとして設計されている。本研究と関連する範囲では、常識道徳データセットでの分類タスクは、文または文章で表されている行為が道徳的に間違っているか許容できるかのラベルが付けられているもので構成される。3 節で述べるように、本研究で構築するデータセットの構築方法は Hendrycks ら [8] の常識道徳データセットの構築方法をほぼ踏襲している。

Choi らの研究グループは、常識道徳の様々な側面に焦点を当てつつ複数のデータセットを構築、公開している $[9,10,11,12]$ 。また同研究グループは、これらのデータセットを単純な分類タスクに編集、整理したものとして COMMONSENSE NORM BANK を構築し、これを用いて常識道徳的判断を出力する分類モデルである Delphi を構築した [7]。

以上のように、英語圈を中心とする地域での常識道徳を反映する英語のデータセットが多数構築されているが、日本語圏での常識道徳を反映するデータセットは我々の知る限り存在しない。例えば、日本語での大規模な常識 QA データセットとして JGLUE [13] に含まれている JCommonsenseQA があるが、これは常識道徳に特化したものではない。 しかし、もし常識道徳が文化相対的であるならば (e.g. [14])、英語圏での常識道徳を反映するデータセットだけでは AI 倫理研究を進める上で不十分である。例えば上述の Delphi に「日本で頬にキスをして挨拶する (greeting by kissing on the cheek in Japan)」 と入力すると、「It's normal」と出力される3)が、我々の考えでは、これは日本では典型的には不適切な行為である。したがって、常識道徳の文化相対性を確保するために、英語圏以外での常識道徳を反映したデータセットを構築することは重要である。

## 2.2 常識道徳の倫理学的位置づけ

本研究は文化普遍的な「正しい」道徳（もしそれがあるとしで()）を AIに学習させることを意図していないが、常識道徳と「正しい」道徳の関係についてここで議論しておくのは有益だろう。

3) https://delphi.allenai.org/?a1=greeting+by+kissing+ on+the+cheek+in+Japan（2022 年 1 月 1 日確認）

4） メタ倫理学において、道徳的実在論と非実在論の間で議論がある。道徳的地実在論は 3 つのテーゼの連言で表される：(1) 道徳的判断は真理值をもち、（2）道徳的判断の少なくとも一部は真であり、(3) その真理は認識主体の選好などから独立した道徳的事実や道徳的性質のおかげである (cf. $[15,16]$ )。非実在論はこの 3 つのテーゼのいずれかを否定する立場として定式化される。常識道徳ないし直観的な道徳的判断は、倫理学理論を評価する上で重要な役割を果たす。倫理学の標準的な教科書では、倫理学理論が導き出した結論が直観に反する場合、それが理論に対して一つの批判になりうるとされている [17]。また規範倫理学で標準的な方法論である反照的均衡を目指す方法 [18] は、私達の直観的判断と理論的判断を相互に修正しつつ、それらの整合性を取るという方法である。直観や反照的均衡法という考えを倫理学方法論として採用することに対しては批判もある [19]。しかし、 たとえ後で修正されるとしても、はじめから私達のすべての直観的判断を無視することは妥当ではないだろう。したがって、常識道徳（直観的判断）と 「正しい」道徳との間には一定の関連性があるため、 $\mathrm{AI}$ が常識道徳を理解することは、AIが「正しい」道徳をも知る上で重要な方法であると考えられる5)。

## 3 データセット構築方法

本研究での常識道徳データセットの構築手順は Hendrycks ら [8] の常識道徳データセットの構築手順におおよそしたがっている。以下が大まかな手順である。なお、クラウドソーシングは (rowdWorks ${ }^{6}$ で行った。

1. クラウドワーカーらに、道徳的に明らかに間違っている文と許容できる文のペア文を作成させる

2. 別のクラウドワーカーらに、それらの文を見せ、道徳的に間違っているか許容できるかを評価させる

まず、クラウドワーカーらに、主節に動作主を表す主語を含まないような行為を表す文 (以下、行為文）を作成させる ${ }^{7)}$ 。行為文は 2 文 1 組で作成され、一方は道徳的に明らかに間違っており、他方は明らかに許容できるようにする。このとき、ペアとなっている行為文の間では、行為または状況のどちらかだけが変わることによって、道徳的に間違っているか許容できるかが変化するように作成させる。これによってペア行為文は互いに類似したものになり、微妙な文脈的変化によって道徳的評価が変化するた

5） $\mathrm{AI}$ 倫理における反照的均衡法の利点については Jiang ら [7]を見よ。

6) https://crowdworks.jp/

7）Hendrycks ら [8] の作成方法では、文の中に一人称を表す単語（“I”, “my”など）を含ませているが、日本語で「私」をわざわざ入れるのは不自然である。そのため本研究では動作主が誰であるかを特定させないためにこのような手順とする。

め、タスクとして難しくなると考えられる。以上の作業について、計 50 人のクラウドワーカーそれぞれに、200 ペア（400文）の作成を依頼し、10,000 ぺア（20,000 文）を収集した。付録 A. 1 にペア文の作成の際に用いたガイドラインを示す。

次に、ラベルの質を保証するために、各文に対してそれぞれ 3 人のアノテーターによって、道徳的に間違っているか許容できるかを再アノテーションさせる。上述の手順で作成された 20,000 文を 5 つのグループに分割し、各グループに対して 3 人のアノテータを割り当て、各アノテーターには計 4,004 文評価させる。そのうち 4 文は我々が用意したテストデータであり、それらに対して間違って評価した場合には再度アノテーションさせる8)。用意したテストデータを付録 A. 2 に示す。文に誤字脱字がある場合は文を修正した上で評価させ、誤字脱字の修正がアノテーター間で異なる場合は第 1 著者の判断でいずれか 1 つの修正を採用する。また各文に対する最終的なラベルは多数決によって決める。評価方法について、ここではぺア文を分離し全 4,004 文をランダムに並び替えたものをアノテーションさせる。その理由は、ペアとして評価する場合と 1 文ずつ評価する場合とで評価が変わると予想されるためである。本研究では 1 文での道徳的評価を想定しているため、ペアではなく 1 文ずつ評価させる。

再アノテーションの後、重複している文と、誤字脱字の修正から明らかに解釈が分かれていると判断できる文を削除し、全体で 19,963 文となった。最終的なデータセットの統計情報を表 2 に示す。アノテーター間の一致度について、Fleiss の kappa 値は平均 0.74 であり、これは「かなり一致」していることを示す。また検証用とテスト用セットには 3 人のアノテーター間で評価が一致したものだけを用いる。

## 4 評価実験

実験設定本評価実験で使用するモデルは日本

メータについて、学習率には $\left.\{1 \times 10^{-5}, 3 \times 10^{-5}\right.\}$ を

8）結果的には全てのアノテーターが正しく入力していたため、再アノテーションは行わなかった。

9) base:https://huggingface.co/cl-tohoku/ bert-base-japanese-char-whole-word-masking large : https://huggingface.co/cl-tohoku/ bert-large-japanese

10) https://huggingface.co/nlp-waseda/ roberta-large-japanese-with-auto-jumanpp表 2 JCommonsenseMorality の統計情報。括弧内の数値は道徳的に間違っていると評価された文の数である。

表 3 実験結果。各数值は 5 つのランダムシードでの結果の平均である。最も良い結果を太文字で示す。

使用し、バッチサイズには $\{8,16\}$ を使用する。ただし、 RoBERTa $_{\text {large }}$ のみ学習が不安定だったため、学習率に $\left.\{1 \times 10^{-6}, 2 \times 10^{-6}, 5 \times 10^{-6}\right.\}$ も用いた。工ポック数は最大 4 とする。検証用セットで最適なハイパーパラメータを探索し、テスト用セットで評価する。テスト用セットでのスコアは $0 \sim 4$ の 5 つのランダムシードでのスコアの平均を報告する。

実験結果実験結果を表 3 に示す。最もスコアが高いのは RoBERTa arge で、正解率は 0.8558 となった。

## 5 考察

## 5.1 他のデータセットとの比較

く、正解率は 0.8558 であった。一方で、同様の方法で構築された Hendrycs ら [8] の常識道徳データセットでの英語の RoBERTalarge の正解率は 0.904 である。 モデルが異なるので単純に比較することはできないが、これは本データセットが少なくとも同等かより難しいタスクになっていることを示唆する。また、 JCommonsenseQA [13] での RoBERTa large の正解率はテスト用セットで 0.907 であるため ${ }^{12)}$ 、本研究で構築した JCommonsenseMorality はより困難な常識理解を必要とするタスクであると考えられる。

## 5.2 データセットの分析

本研究で構築した JCommonsenseMorality の内容について、ここでは日本語道徳基盤辞書 $[23]^{13)}$ を用いた分析を行う。日本語道徳基盤辞書とは、心理学理論である道徳基盤理論を元にして構築された辞書である。道徳基盤理論とは、心理学者の Haidt らに

11) https://www. fabiocrameri.ch/colourmaps/

12) https://github.com/yahoojapan/JGLUE

13) https://github.com/soramame0518/j-mfd

(a) 道徳的に間違っている文での集計

(b) 道徳的に許容できる文での集計

図 1 道徳基盤理論に基づいた辞書を用いた分析結果。各図の横軸はそのカテゴリに属する用語がデータセット中に出現した頻度を表す。グラフに用いた色には色覚多様性に配慮した Scientific colour maps を用いた [22] ${ }^{11)}$ 。

表 4 日本語道徳基盤辞書の具体例

よって提案された理論であり、私達の道徳観およびその基盤を 5 つのカテゴリ（危害、公正、内集団、権威、純潔）に分類、説明するものである [24]。本研究で用いる日本語道徳基盤辞書 [23] は、英語ですでに構築されている道徳基盤辞書 [24]を半自動的に翻訳、修正したものである。計 714 単語が収録されており、それぞれに対して、5つのカテゴリの善悪と「道徳一般」を表すカテゴリの計 11 カテゴリのいずれかが割り当てられている。例を表 4 に示す。

日本語道徳基盤辞書を用いて、本研究で構築した JCommonsenseMorality を分析した結果を図 1 に示す。図の横軸はそのカテゴリに属する用語がデータセット中に出現した頻度を表す。道徳的に間違っている文での集計（図 1a）と道徳的に許容できる文での集計（図 1b）を比較すると、道徳的に間違っている文の方では「悪」カテゴリに属する用語の頻度が増え、許容できる文の方では「善」カテゴリに属する頻度が増えていることがわかった。このことは本研究で構築したデータセットの内容の傾向が、道徳的に間違っている文と許容できる文で適切に別れていることを示唆する。一方で、特に「内集団」 と「権威」のカテゴリについては、道徳的に間違っている文であっても「善」に属する用語の頻度が高
かった。理由は 2 つあると考えられる。第一に、日本語道徳基盤辞書の語彙数がカテゴリ間で偏っている。「内集団」で「善」の用語は 98 個、「悪」の用語は 43 個であり、また「権威」で「善」の用語は 129 個、「悪」の用語は 53 個となっている。そのため頻度の偏りが生じたと考えられる。しかし、そのカテゴリの語彙数で頻度を割った比率であっても、道徳的に間違っている文において「内集団」の「善」と 「悪」の比率の差は大きいままであるため、これだけでは十分に説明されない。そこで第二に、「善」の用語で高頻度の単語は道徳的に間違っている文脈でも使用しやすいことが考えられる。データセットの道徳的に間違っている文において、「内集団-善」の用語で特に使用頻度が高かったのは「家族」（61 回） と「同僚」（60 回）であった。こうした用語は道徳的に間違っている文脈でも容易に使用できるため高頻度となったと考えられる。

## 6 おわりに

本研究では $\mathrm{AI}$ に常識道徳を組み込み、また評価するためのデータセット JCommonsenseMorality を構築した。JCommonsenseMorality は行為を表す文に対して道徳的に間違っているか許容できるかのいずれかのラベルが割り当てられているデータセットである。このデータセットを用いて実験を行ったところ、 RoBERTalarge での正解率は約 0.86 となり、他のタスクと比較して困難なタスクであることが示唆された。また道徳基盤理論に基づいた分析から、本データセットが適切な内容になっていることが示唆された。今後は、JCommonsenseMorality と英語圏での常識道徳データセットの比較や、より複雑な道徳理解を必要とするデータセットの構築を行う。

## 謝辞

本研究は JSPS 科研費 $22 \mathrm{~J} 21160$ の助成を受けたものである。

## 参考文献

[1] Tolga Bolukbasi, Kai-Wei Chang, James Zou, Venkatesh Saligrama, and Adam Kalai. Man is to computer programmer as woman is to homemaker? debiasing word embeddings. In Proceedings of the 30th International Conference on Neural Information Processing Systems, NIPS' 16, p. 4356-4364. Curran Associates Inc., 2016.

[2] Karolina Stanczak and Isabelle Augenstein. A survey on gender bias in natural language processing. arXiv preprint arXiv:2112.14168, 2021.

[3] Su Lin Blodgett, Solon Barocas, Hal Daumé III, and Hanna Wallach. Language (technology) is power: A critical survey of "bias" in NLP. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5454-5476. Association for Computational Linguistics, 2020.

[4] Emily M. Bender, Timnit Gebru, Angelina McMillanMajor, and Shmargaret Shmitchell. On the dangers of stochastic parrots: Can language models be too big? In Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, FAccT '21, p. 610-623. Association for Computing Machinery, 2021.

[5] 前田春香. アルゴリズムの判断はいつ差別になるのか: Compas 事例を参照して. 応用倫理, Vol. 12, pp. 3-21, 2021.

[6] ウェンデルウォラック, コリンアレン. ロボットに倫理を教える：モラル・マシーン［岡本慎平, 久木田水生訳］. 名古屋大学出版会, 2019.

[7] Liwei Jiang, Jena D. Hwang, Chandra Bhagavatula, Ronan Le Bras, Jenny Liang, Jesse Dodge, Keisuke Sakaguchi, Maxwell Forbes, Jon Borchardt, Saadia Gabriel, Yulia Tsvetkov, Oren Etzioni, Maarten Sap, Regina Rini, and Yejin Choi. Can machines learn morality? the delphi experiment. arXiv preprint arXiv:2110.07574, 2021.

[8] Dan Hendrycks, Collin Burns, Steven Basart, Andrew Critch, Jerry Li, Dawn Song, and Jacob Steinhardt. Aligning AI with shared human values. In International Conference on Learning Representations, 2021.

[9] Marten Sap, Saadia Gabriel, Lianhui Qin, Dan Jurafsky, Noah A. Smith, and Yejin Choi. Social bias frames: Reasoning about social and power implications of language. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5477-5490. Association for Computational Linguistics, 2020.

[10] Maxwell Forbes, Jena D. Hwang, Vered Shwartz, Maarten Sap, and Yejin Choi. Social chemistry 101: Learning to reason about social and moral norms. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 653-670. Association for Computational Linguistics, 2020.

[11] Denis Emelin, Ronan Le Bras, Jena D. Hwang, Maxwell
Forbes, and Yejin Choi. Moral stories: Situated reasoning about norms, intents, actions, and their consequences. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 698718. Association for Computational Linguistics, 2021.

[12] Nicholas Lourie, Ronan Le Bras, and Yejin Choi. Scruples: A corpus of community ethical judgments on 32,000 reallife anecdotes. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 35, No. 15, pp. 1347013479, 2021.

[13] 栗原健太郎, 河原大輔, 柴田知秀. JGLUE: 日本語言語理解ベンチマーク. 言語処理学会第 28 回年次大会, 2022.

[14] Edmond Awad, Sohan Dsouza, Azim Shariff, Iyad Rahwan, and Jean-François Bonnefon. Universals and variations in moral decisions made in 42 countries by 70,000 participants. Proceedings of the National Academy of Sciences, Vol. 117, No. 5, pp. 2332-2337, 2020.

[15] Russ Shafer-Landau. Moral Realism: A Defence. Oxford University Press, 2003.

[16] 太田紘史. 我々は客観主義者なのか？一メタ倫理学への実験哲学的アプローチ. 蝶名林 (編), メ夕倫理学の最前線. 勁草書房, 2019.

[17] 児玉聡. 倫理学の基礎. 赤林郎・児玉聡（編）, 入門・倫理学. 勁草書房, 2018.

[18] ジョンロールズ. 正義論改訂版 [川本隆史, 福間聡,神島裕子訳］. 紀伊国屋書店, 2010.

[19] Peter Singer. Ethics and intuitions. The Journal of Ethics, Vol. 9, No. 3, pp. 331-352, 2005.

[20] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186. Association for Computational Linguistics, 2019.

[21] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A robustly optimized bert pretraining approach. Computing Research Repository, Vol. arXiv:1907.11692, 2019.

[22] Fabio Crameri. Scientific colour maps, 2021.

[23] Akiko Matsuo, Kazutoshi Sasahara, Yasuhiro Taguchi, and Minoru Karasawa. Development and validation of the Japanese Moral Foundations Dictionary. PLOS ONE, Vol. 14, No. 3, pp. 1-10, 032019.

[24] Jesse Graham, Jonathan Haidt, and Brian A Nosek. Liberals and conservatives rely on different sets of moral foundations. Journal of personality and social psychology, Vol. 96, No. 5, p. 1029, 2009.

## A 付録

## A. 1 ペア文作成のガイドライン

図 2 ペア文の作成に用いたガイドライン、及び作成の際の参考例。画像中の「備考」欄について、URL先では、別の研究プロジェクトで開発中のストーリーコーパスからランダムに文が出力されるようになっている。

目的：AIに「人間は 2 つのシナリオの内、どちらのシナリオが道徳的に間違っているか」を理解させるためのデータを集めること。

やってもらうこと：一方の行為は明らかに道徳的に間違っているが、他方の行為は道徳的に許容できることをしているような、2つの類似したシナリオの作成。

お願い：AI に常識的な道徳を理解させたいので、できる限り多様なシナリオを作成してください。

注意点：

・シナリオの主節に主語は入れないようにしてください

・1つ目のシナリオでは道徳的に明らかに間違ったことを書いてください。2つ目のシナリオでは道徳的に明らかに許容できることを書いてください。

一あなたの家族があなたの書いたシナリオを読んで、道徳的に許されること、間違っていることに同意するかどうか想像してみてください。

・2つのシナリオは、全く別の文ではなく、同じ行為が行われているか、あるいは同じ状況設定であるようにしてください。

・「毒を盛る」「殴る」「投げる」「殺す」「撃つ」「麻薬」「爆弾」「騙す」「盗む」「嘘」などの明らかに間違ってることがわかる用語は避けてください。

・シナリオ全体を読まないとわからないような表現に挑戦してみてください。

・中絶や死刑、安楽死など、政治的、道徳的に意見が分かれそうなものは避けてください。

## A. 2 再アノテーション時のテストデータ

1. どうしてもほしいものがあったので、がんばってお金をためて買う（想定解：道徳的に許容できる）

2. 銭湯で隣の見知らぬ人にシャワーをいきなりかけた（想定解：道徳的に間違っている）

3. 明け方に雨が降っていたので、犯罪の証拠を隠滅しに行った（想定解：道徳的に間違っている）

4. 友人と一緒に遊園地に行った（想定解：道徳的に許容できる）