日本語常識道徳データセットにおける情報欠損検出・文脈補完の自動化検証

AIの社会実装が進む中で，人間社会の価値観や道徳を理解する能力は，AIと人間の調和的な共存に不可欠である[1,2]．道徳能力の評価に向けては，多様なドメインを対象としたデータセット[1,2,3]の整備に加え，物語理解に基づく資源[4]や価値観を明示的に扱うデータセット[5]が提案されている．さらに，社会規範を対象とした研究[6]に加え，それらを体系的に評価する手法も提案されており[7]，本分野における重要な研究基盤を形成している．道徳推論モデルを構築するための研究が進む中で，竹下らは日本語の道徳判断データセットJCommonsenseMorality（JCM）[8]を構築した．道徳観は言語や文化的背景に強く依存するため，英語圏を中心に構築された既存データセットを日本語環境へ直接適用することには限界がある．JCMは，微細な差異を持つ2文1組のペアに対して道徳的な許容性のラベルを付与した，現時点で唯一の日本語常識道徳データセットである．この希少性ゆえに，近年ではデータセットの拡張[9]や，異文化由来のアラインメントが大規模言語モデル（LargeLanguageModels;LLM）の道徳観に与える影響の検証[10]など，学術的に高い関心を集めるトピックとして取り扱われている．しかし，JCMデータセットの各事例は短文であるため，前提条件や状況説明が欠落し，道徳判断に必要な文脈情報が不足した事例が混在する．例えば，「帰宅するのをやめてしまった」のような文脈依存性の高い事例では，判断に必要な情報が十分ではない．この問題は入力文自体の情報不足に起因するため，ラベル修正ではなく文脈の補完が必要となる．本研究では，文脈情報の欠損により道徳判断の正誤が一意に定まらない課題を解決するため，LLMによる情報欠損文章の自動検出を第1段階とし，文脈情報の付加と人手による検証を含む第2段階を通じて，JCMの高品質化を試みる．検出から補完までの一連の工程を人手のみで実施することは非常にコストが高いため，本手順では，OpenAIModerationAPI[11]による事前フィルタリングとLLMの補助的活用を組み合わせ，効率的なデータセットの改善を図った．本研究の取り組みは，日本語環境におけるAIの道徳推論を適正に評価するための高品質なデータ基盤の確立に寄与する．