JETHICS:日本語道徳理解度評価用データセット

本研究では、日本語道徳理解度評価用データセットJETHICSを提案する。JETHICSは、英語の既存データセットであるETHICSの構築方法を踏襲し作成されており、正義、功利主義、義務論、徳倫理、常識道徳の五つのカテゴリから構成され、約7.8万件のデータが含まれる。常識道徳を除く各カテゴリは全て規範倫理学・政治哲学の理論や概念を参考にして作成されている。公開されている大規模言語モデル(LargeLangugeModel:LLM)および商用モデルとしてGPT-4oを対象として評価実験を行ったところ、GPT-4oであっても平均評価値が約0.7、平均評価値が最も高い公開LLMでは約0.5となり、既存のLLMには改善の余地があることが示された。