本研究では、日本語道徳理解度評価用データセットJETHICSを提案する。JETHICSは、英語の既存データセットであるETHICSの構築方法を踏襲し作成されており、正義、功利主義、義務論、徳倫理、常識道徳の五つのカテゴリから構成され、約7.8万件のデータが含まれる。常識道徳を除く各カテゴリは全て規範倫理学・政治哲学の理論や概念を参考にして作成されている。公開されている大規模言語モデル(LargeLangugeModel:LLM)および商用モデルとしてGPT-4oを対象として評価実験を行ったところ、GPT-4oであっても平均評価値が約0.7、平均評価値が最も高い公開LLMでは約0.5となり、既存のLLMには改善の余地があることが示された。

大量のテキストデータを用いて訓練された大規模言語モデル(LargeLanguageModel:LLM)は、しばしば有害な内容を生成することが報告されており、安全性の懸念が指摘されている[1,2]。この問題に対処するため、AIの行動を人間の価値観に合わせるAIアライメント技術や安全性に関わる技術が提案されている[3]。しかし、AIアライメントにおいて、どの人間の価値観を基準にすべきかは、解決すべき重要な課題である。こうした背景においては規範倫理学と呼ばれる分野の知見が有用であると考えられる。規範倫理学では、道徳的な正しさや道徳に関連する概念が理論的に研究されている。現代の規範倫理学では、主に功利主義、義務論、徳倫理の三つの理論が道徳的正しさを説明する主要な理論として検討されている[4]。また政治哲学では、社会がどうあるべきかという正義に関する議論がなされている。このような背景を元に、英語圏で、Hendryksら[5]はこうした規範理論を参照して、大規模な道徳データセットであるETHICS1）を開発・公開している。これはAIの倫理的理解を測定する基準として開発された全13万件を超えるデータセットであり、正義、功利主義、義務論、徳倫理、常識道徳という五つのカテゴリから構成されている。そこで本研究では、規範倫理学や政治哲学の理論に基づいた日本語道徳理解度評価用データセットJETHICSを提案する。本研究の貢献は次の通りである:(a)約7.8万件からなる日本語道徳データセットJETHICSを開発・公開2）し(3節)、(b)公開されているLLMやOpenAIのGPT-4oを対象に評価実験を実施し(4節)、改善の余地があることや、日本語データでの追加学習の重要性を示した(5-6節)。