# 日本語徳倫理データセットの開発に向けて：英語データセットの翻訳と日本語データセットの比較

竹下昌志 ${ }^{1}$ 連慎治 ${ }^{1}$ ジェプカ・ラファウ ${ }^{2}$ 荒木健治 ${ }^{2}$
1 北海道大学大学院情報科学院
2 北海道大学大学院情報科学研究院
takeshita.masashi.68@gmail.com
\{shinjimuraji,rzepka,araki\}@ist.hokudai.ac.jp

## 概要

本研究では $\mathrm{AI}$ の安全性に対処するためのデータセットとして、規範倫理学の主要な立場である徳倫理を参照したデータセットの開発を試みる。既存の英語のデータセットを日本語に翻訳したもの、またそのデータセットと同様の構築方法によって新しく日本語のデータセットを作成する。日本語の大規模言語モデル (LLM) を用いて評価実験を行ったところ、F1 スコアが 0.5 以上である LLM はなく、多くの日本語 LLM にとって道徳に関する性格用語の理解が難しいことが示唆された。また翻訳データセットと日本語で新たに作成したデータセットを比較したところ、翻訳データセットでは翻訳上困難な部分があることが示唆された。

## 1 はじめに

大規模なコーパスによって学習された大規模言語モデル (LLM) は、そのままでは有害な生成をすることが知られている $[1,2]$ 。そこでこうした AIをより安全にするための AI アライメント方法が提案されている [3]。しかしこうした AIアライメントにおいて、人間のどのような価値観にアライメントすべきかは重要な問題である。

規範倫理学と呼ばれる分野では、どのようなことが道徳的に正しいのかについて、また道徳に関する様々な概念に関する理論的研究がなされている。特に現代の規範倫理学において、道徳的な正しさを説明する 3 つの主要な理論として、功利主義、義務論、徳倫理があげられる $[4]$ 。このうち徳倫理は行為者の性格に注目し、性格の望ましさから道徳の様々な側面を説明しようとする立場である。例えば道徳的に正しい行為とは何かについて、徳倫理の一つの有力な考えでは、有徳な人が行う行為という観点から特徵づける [5]。徳倫理はそのため、功利主義や義務論が行為に注目するのに対し、性格に焦点を当てる点で特徴的な立場となっている。

本研究ではこうした規範倫理学を参照したデータセットの一つとして、日本語で徳倫理データセットの開発を試みる。2 節で説明するように、英語の徳倫理データセットは Hendrycks ら [6] によってすでに作成されている。筆者らは過去に Hendrycks らのデータセットのうち功利主義と常識道徳に対応する日本語データセットを新たに作成した $[7,8]$ (2 節を参照)。そこで本研究では徳倫理データセットに注目し、Hendrycks らの作成方法にしたがって、まず日本語データセットの作成を試みる。また Hendrycks らの作成した徳倫理データセットの一部を日本語に翻訳し、これと比較することで、新たに作成する場合と翻訳の場合でどのような違いがあるか、またどちらが望ましいかを検討する。

## 2 英語の徳倫理データセット

Hendrycks ら [6] は AI の道徳の理解度を評価するためのベンチマークとして ETHICS データセット1) を作成した。ETHICS データセットは、正義、功利主義、義務論、徳倫理、常識道徳の五つのサブセットから構成されている。常識道徳以外の四つのサブセットはそれぞれ、規範倫理学や政治哲学で検討されている規範的概念、規範理論を参照した作成方法になっている。筆者らはこれまで ETHICS の日本語版の作成に向けて、功利主義データセット [7] と常識道徳データセット [8] を Hendrycks らの作成方法にならって作成したため、本研究では徳倫理データセットを作成する。今後、正義、義務論などを日本

語で作成する予定である。

徳倫理データセットは、ある人物が何らかの行為をしていることを記述する文と、その行為が表す性格用語のペアから構成されており、その性格用語がその行為と適切に対応するかどうかの分類タスクになっている。データの例を表 1 に示す。表 1 に示したデータからもわかるように、本データセットは似たような文のぺアによって構成されている。

Hendrycks らは次のようにしてデータセットを作成した。まず、道徳的に望ましい性格を表す行為と望ましくない性格を表す行為の文、及びそれぞれに適切に対応する性格用語をそれぞれクラウドワー カーに作成させる。各文はペアで作成され、互いに部分的に行為ないし状況だけを変えたような反事実的な 2 文が作成される。次に、別のクラウドワー カーに、その行為を表す性格として不適切な性格用語を 4 つ、それぞれの文に対して作成させる。最後に、別のクラウドワーカーに、各文と性格用語が適切に対応しているかどうかを再アノテーションさせる。このとき、各文に対して、対応すると想定される性格用語 (1 語)、反事実文で対応すると想定される用語 (1 語)、追加で作成された不適切だと想定される性格用語 (元の文と反事実文の性格用語をあわせて 8 語) の中から、一番適切だと思われる用語を 3 人のクラウドワーカー選ばせる。 3 人とも一致した場合のみ、それを適切な性格用語とし、そうでない場合はすべて不適切な性格用語だとする。したがって、各文に対して一つも適切な性格用語がないとなる場合もある。

## 3 データセット構築

本研究では Hendrycks ら [6] の徳倫理データセットの一部を日本語に翻訳し (3.1 節)、また同様の作成方法で日本語で改めて作成する (3.2 節)。

## 3.1 翻訳データセット

徳倫理データセットのうち test セットから 100 件をランダムに取り出し、各文と性格用語をそれぞれ DeepL $\mathrm{L}^{2)}$ を用いて翻訳する。test セットを用いたのは、各文に対して必ず一つ適切な性格用語が割り当てられているからである。ランダムに取り出すため、ペア文 (道徳的に望ましい性格を表す行為の文と望ましくない性格を表す行為の文のペア)として取り出されてないことに注意されたい。


DeepL で翻訳したのち、行為を表す文については、翻訳が適切ならそのままにし、不適切な翻訳については筆者のうち一人が修正し、別の一人が確認した。結果として 100 文中 23 文を修正した。性格用語についても同様に筆者のうち一人が、不適切な翻訳になっているものを性格用語であることに注意しつつ修正する。例えば“affection”を、DeepL は 「愛情」と翻訳したが、これを「愛情深い」と修正した。結果として 500 語中 257 語を修正した。

各文に対して5つの性格用語が割り当てられているが、以下で行う評価実験は二値分類で行うため、文・一つの性格用語・ラベルの三つ組にし、最終的に計 500 件となった。ラベルの比率は、ラベル 1 (適切): ラベル 0 (不適切)としたとき、 $100: 400$ となった。性格用語の種類数は全 500 個中 233 種類となった。翻訳前後のデータセットで、それぞれ頻度の高い性格用語を付録の表 6,7 に示す。

## 3.2 日本語データセット

Hendrycks らの徳倫理データセットの作成方法 (2 節を参照) と同様の方法で日本語で作成する。翻訳データセットと数を合わせるため、文のぺアが合計で 100 件になるようにし、ユニークな文 (反事実文を非ユニークな文とみなした場合) が 100 件になることを目指す。

データ作成にあたっては、CrowdWorks ${ }^{3}$ を用いてクラウドワーカーを雇った。Hendrycks らの作成方法と同様、3 回クラウドワーカーを募った。まず、文とそれに対応する性格用語を 4 人のクラウドワー カーに作成させた。次に、作成された文と対応する性格用語を与えて、各文に対して対応しない不適切な性格用語をそれぞれの文に対して 4つずつ、別の 4 人のクラウドワーカーに作成させた。最後に、各文と 10 個の性格用語を与え、そのうち文に適切に対応する性格用語を別の 3 人のクラウドワーカーにアノテーションさせた。 3 人の選んだ性格用語がすべて同じ場合にのみ、その性格用語が適切に文中の行為を表しているとした。最後のアノテーションにおいては、 2 件のテストデータを含めて、アノテー ションが適切かどうかをチェックし、 3 人とも各テストデータに適切にアノテーションした。また、最後のアノテーションの Fleiss の Kappa 値は 0.70 となり、概ね一致した。

その文だけでは適切な性格用語を評価するのが困

3) https://crowdworks.jp/
表 1 ETHICS データセット [6] の徳倫理データセットの具体例。実際には五值分類ではなく、文と性格を表す用語がそれぞれぺアになり、その用語が行為を表している $(1)$ か表していない $(0)$ かの二值分類の形式になっている。

難であったデータが 1 件あったため、それとぺアになっている反事実データも含めて計 2 件除外し、最終的に 198 件 (ユニークな文は 99 件) となった。ただし、各文に対して5つの性格用語が割り当てられているが、以下で行う評価穾験は二値分類で行うため、文・一つの性格用語・ラベルの三つ組にし、最終的に計 990 件となった。ラベルの比率は、ラベル 1 (適切)：ラベル 0 (不適切) としたとき、 $120: 870$ となった。性格用語の種類数は全 990 個中 515 種類となった。性格用語のうち頻度の高いものを付録の表 8 に示す。

## 4 評価実験

作成したデータセットを用いて、日本語 LLM を対象に評価実験を行う。使用するモデルは、1lm-jp の LLM リーダーボー ド4)や stability.ai の記事 ${ }^{5)}$ 参考に、JCommonsenseQA で正答率が高いことを基準に $1 \mathrm{~lm}$ jp/llm-jp-13b-instruct-full-jaster-v1.0 (以) matsuo-lab/weblab-10b-instruction-sft ${ }^{7 \text { ) }}$ (以下、weblab)、 stabilityai/japanese-stablelm-instruct-gamma-7b ${ }^{8}$ (以下、 stable), elyza/ELYZA-japanese-Llama-2-7b-instruct ${ }^{9}$ (以下、elyza) の四つとした。評価実験に用いるプロンプトは Hendrycks らが用いたものと LLM-jp 評価スクリプト10)を参考に作成した。使用したプロンプトを付録に示す。

本研究では zero-shot $\left({ }_{z s}\right)$ と few-shot (3-shot) $\left(f_{s}\right)$ 設定で実験を行う。few-shot には 3.2 節で日本語デー

4) http://wandb.me/llm-jp-leaderboard

5) https://ja.stability.ai/blog/

japanese-stable-lm-3b-4e1tjapanese-stable-lm-gamma-7b

6) https://huggingface.co/llm-jp/

$l l m$-jp-13b-instruct-full-jaster-v1.0

7) https://huggingface.co/matsuo-lab/ weblab-10b-instruction-sft

8) https://huggingface.co/stabilityai/ japanese-stablelm-instruct-gamma-7b

9) https://huggingface.co/elyza/

ELYZA-japanese-Llama-2-7b-instruct

10) https://github.com/llm-jp/llm-jp-eval表 2 翻訳での評価実験結果。太字は各指標で最も良い值を示している。

表 3 日本語での評価実験結果。太字は各指標で最も良い値を示している。

タセット作成するにあたり筆者らが試験的に作成した事例を用いる。また評価指標には正答率 (accuracy)、エラー率 (出力が 1 か 0 以外であった割合)、精度 (precision)、再現率 (recall)、F1 スコアを用いる。

## 5 結果

実験結果を表 2 と表 3 に示す。ただし、データのクラスが不均衡であることに注意されたい。全ての入力に対して 0 (不適切)を出力すれば、翻訳データセットでは正答率 0.8 、日本語データセットでは正答率 0.88 になる。実際、日本語データセットでの weblab $_{f s}$ はすべてに 0 を出力しているため正答率が 0.88 となった。よって本研究では $\mathrm{F} 1$ スコアが正答率より適切に LLM の性能を表している。F1 スコアでみると、翻訳データセットと日本語データセットの両方で $\operatorname{llmjp}_{f s}$ が最も良い結果となった。また
表 4 翻訳データセットで全てのモデルが間違えた事例の一部

 & 無気力 (apathetic) & 1 \\

表 5 日本語データセットで全てのモデルが間違えた事例

zero-shot 設定と few-shot 設定で比較すると、weblab と日本語データセットでの elyza を除き、他はすべて精度が向上した。また 11mjp と elyza は翻訳データセットと日本語データセットの両方で、few-shot 設定で F1 スコアが改善した。加えて、weblab と elyza は few-shot 設定でエラー率が 0.8 以上改善された。

## 6 考察

すべてのモデルが間違えた事例を表 4,5 に示す。翻訳データセット上では 10 件、日本語データセット上では 2 件あった。日本語データセット上で全てのモデルが間違えた事例は、そこまで難しい事例ではないように思われる。一方、翻訳データセットで全てのモデルが間違えた事例では、そもそもラベルが適切ではないように思われる。これは翻訳する際に問題が生じた可能性が高い。そこでこれらの元の文と性格用語も表 4 に記載している。

翻訳データセットについて、元の文と性格用語を見る限り、例えば、「惣菜店で、ロジャーは泣いている女性から離れた。のの翻訳は問題ないように思われるが、ここでの「apathetic」の翻訳は、「無気力」 ではなく「無関心」が適切であるように思われる。 しかし、「apathetic」単体ではどちらの翻訳が適切であるのか評価できない。これは英語の同じ性格用語に、日本語の複数の訳語が候補になるためである。 またここで文を考慮しても訳語は確定しない。このケースではラベルが重要であり、真のラベルを所与として翻訳する場合には「無関心」と訳すことが適切であるが、このラベルが「0」であるならむしろ 「無気力」と訳すのが適切であるだろう。だがこのようにラベルを所与として翻訳する方法は、ラベルに自明に対応するように翻訳することになり、タスクを容易にするため、LLM の徳の理解度評価デー
タセットとしては望ましくないと考える。こうしたことから、金銭的な問題があるとはいえ、日本語で新たにデータセットを作成するのが望ましいと思われる。

## 7 関連研究

常識道徳を反映することを目指した英語のデー タセットは多数作成されている。様々な経験則 (Rule-of-Thumb) を収集した Social Chemistry 101 [9] この経験則データセットを元に道徳的に望ましい行為とそうでない行為、およびそれらの帰結に関する物語から構成される Moral Stories [10]、また様々な常識道徳データセットを収集、再編集し、167 万個のデータからなる Commonsense Norm Bank [11] などが作成されている。

日本語でのデータセットとしては筆者らの一部が作成した常識道徳データセット [8] や、日本語の有害表現データセット [12]、判例を参照して作成された人権侵害表現データセット [13] などがある。

## 8 結論

本研究では規範倫理学の理論の一つである徳倫理を参照した日本語データセットの作成を行った。既存の英語のデータセットの作成方法を参照し、日本語で新たに作成し、また英語のデータセットの一部を翻訳した。日本語 LLM で評価実験したところ、多くの LLM で性格用語の理解が難しいことが示唆された。また翻訳データセットの翻訳上の問題も発見された。筆者らは日本語で新たに作成することが望ましいと考えるが、今後、より大規模なデー タセットの作成を目指すとともに、もし翻訳データセットの拡張をする場合には翻訳上の困難を解決することを目指す。

## 謝辞

本研究は JSPS 科研費 $22 \mathrm{~J} 21160$ の助成を受けたものです。

## 参考文献

[1] Samuel Gehman, Suchin Gururangan, Maarten Sap, Yejin Choi, and Noah A. Smith. RealToxicityPrompts: Evaluating neural toxic degeneration in language models. In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 3356-3369, Online, November 2020. Association for Computational Linguistics.

[2] Jwala Dhamala, Tony Sun, Varun Kumar, Satyapriya Krishna, Yada Pruksachatkun, Kai-Wei Chang, and Rahul Gupta. BOLD: Dataset and metrics for measuring biases in open-ended language generation. In Proceedings of the 2021 ACM conference on fairness, accountability, and transparency, pp. 862-872, 2021.

[3] Yuntao Bai, Andy Jones, Kamal Ndousse, Amanda Askell, Anna Chen, Nova DasSarma, Dawn Drain, Stanislav Fort, Deep Ganguli, Tom Henighan, Nicholas Joseph, Saurav Kadavath, Jackson Kernion, Tom Conerly, Sheer El-Showk, Nelson Elhage, Zac Hatfield-Dodds, Danny Hernandez, Tristan Hume, Scott Johnston, Shauna Kravec, Liane Lovitt, Neel Nanda, Catherine Olsson, Dario Amodei, Tom Brown, Jack Clark, Sam McCandlish, Chris Olah, Ben Mann, and Jared Kaplan. Training a helpful and harmless assistant with reinforcement learning from human feedback. arXiv preprint arXiv:2204.05862, 2022.

[4] 赤林朗, 児玉聡 (編). 入門・倫理学. 勁草書房, 2018.

[5] ハーストハウスロザリンド. 徳倫理学について [土橋茂樹訳]. 知泉書館, 2014.

[6] Dan Hendrycks, Collin Burns, Steven Basart, Andrew Critch, Jerry Li, Dawn Song, and Jacob Steinhardt. Aligning AI with shared human values. In International Conference on Learning Representations, 2021.

[7] 勝又友輝, 竹下昌志, ジェプカラファウ, 荒木健治. 個人の幸福の予測のためのデータセット構築. 第 15 回データ工学と情報マネジメントに関するフォーラム （第 21 回日本データベース学会年次大会）, 2023.

[8] 竹下昌志, ジェプカラファウ, 荒木健治. Jcommonsensemorality: 常識道徳の理解度評価用日本語データセット. 言語処理学会第 29 回年次大会, pp. 357-362, 2023.

[9] Maxwell Forbes, Jena D. Hwang, Vered Shwartz, Maarten Sap, and Yejin Choi. Social chemistry 101: Learning to reason about social and moral norms. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 653-670. Association for Computational Linguistics, 2020.

[10] Denis Emelin, Ronan Le Bras, Jena D. Hwang, Maxwell Forbes, and Yejin Choi. Moral Stories: Situated reasoning about norms, intents, actions, and their consequences. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 698718. Association for Computational Linguistics, 2021.

[11] Liwei Jiang, Jena D. Hwang, Chandra Bhagavatula, Ro- nan Le Bras, Jenny Liang, Jesse Dodge, Keisuke Sakaguchi, Maxwell Forbes, Jon Borchardt, Saadia Gabriel, Yulia Tsvetkov, Oren Etzioni, Maarten Sap, Regina Rini, and Yejin Choi. Can machines learn morality? the Delphi experiment. arXiv preprint arXiv:2110.07574, 2022.

[12] 小林滉河, 山崎天, 吉川克正, 牧田光晴, 中町礼文, 佐藤京也, 浅原正幸, 佐藤敏紀. 日本語有害表現スキー マの提案と評価. 言語処理学会第 29 回年次大会, pp. 933-938, 2023.

[13] 久田祥平, 若宮翔子, 荒牧英治. 権利侵害と不快さの間 : 日本語人権侵害表現データセット. 言語処理学会第 29 回年次大会, pp. 363-368, 2023.

## A 付録

評価実験で用いたプロンプト

以下は、タスクを説明する指示と、文脈のある入力の組み合わせです。要求を適切に満たす応答を書きなさい。

\#\#\# 指示:

文章と性格のペアを入力として受け取り、その性格がその文章に表れているかどうかを 0 か 1 で示してください。0 は反映していない、1 は反映していることを意味します。 0 か 1 以外を出力しないでください。

\{few-shot 用 $\}$

\#\#\# 入力:

文: $\{$ 文 $\}$

性格：\{性格用語 $\}$

選択肢：[0,1]

\#\#\# 応答:

表 6 翻訳前のサンプリングされたデータセットでの高頻度性格用語

表 7 翻訳後のデータセットでの高頻度性格用語

表 8 日本語データセットでの高頻度性格用語