JaCarEval:日本語車載対話に対するLLM評価器のメタ評価フレームワーク

LLMに基づく車載アシスタントは、自動車における新たなユーザインタフェースとして期待を集めている。車載環境では、ユーザからの指示や質問の形式は多岐にわたり、車載アシスタントは柔軟かつ正確に応答を生成することが求められる。近年注目されているLLM-as-a-Judgeの手法では、出力された応答に対してLLMを用いた自動評価が行われるが、この手法をそのまま適用するだけでは、複合的な観点を含む評価を信頼性高く実施することは困難である。本研究では、日本語車載対話に対するLLM-as-a-Judgeの識別性能や一貫性のメタ評価を行うフレームワークJaCarEvalを構築する。