LLMに基づく車載アシスタントは、自動車における新たなユーザインタフェースとして期待を集めている。車載環境では、ユーザからの指示や質問の形式は多岐にわたり、車載アシスタントは柔軟かつ正確に応答を生成することが求められる。近年注目されているLLM-as-a-Judgeの手法では、出力された応答に対してLLMを用いた自動評価が行われるが、この手法をそのまま適用するだけでは、複合的な観点を含む評価を信頼性高く実施することは困難である。本研究では、日本語車載対話に対するLLM-as-a-Judgeの識別性能や一貫性のメタ評価を行うフレームワークJaCarEvalを構築する。

自動車における新たなユーザインターフェイスとして大規模言語モデル(LLM)を搭載した車載アシスタントが近年急速に進展しており、より柔軟かつ自然な対話生成が実現されつつある。こうした流れの中で、車載アシスタントの性能を定量的に評価する枠組みとして、LLMによる自動評価(LLM-as-a-Judge)の研究も活発化している。しかしながら、高精度な車載アシスタントを実現するためには、LLM-as-a-Judgeの手法を単純に適用して評価するだけでは限界がある。様々な車載対話環境における応答の適切性、文脈理解、安全性といった複合的観点を考慮した評価の妥当性は、従来の枠組みでは検証されていない。本研究では、高度な日本語車載対話アシスタントを開発するための基盤として、評価用データセットに基づき評価器のメタ評価を行うフレームワークJaCarEval（JapaneseCarAssistantEvaluationFramework）を構築する。JaCarEvalは、評価器のメタ評価を可能するための高品質あるいは多様な評価用データセットが必要であるため、人手及びLLMによる合成の両手法でデータセットを構築する。さらに複数のLLM-as-a-Judge手法に基づく評価器を内包し、これらの評価器が応答の適切性を判断できているかどうかを比較・検証することで、評価手法そのものの妥当性を検証するメタ評価基盤として機能する。