JaCarEval:日本語車載対話に対するLLM評価器のメタ評価フレームワーク

自動車における新たなユーザインターフェイスとして大規模言語モデル(LLM)を搭載した車載アシスタントが近年急速に進展しており、より柔軟かつ自然な対話生成が実現されつつある。こうした流れの中で、車載アシスタントの性能を定量的に評価する枠組みとして、LLMによる自動評価(LLM-as-a-Judge)の研究も活発化している。しかしながら、高精度な車載アシスタントを実現するためには、LLM-as-a-Judgeの手法を単純に適用して評価するだけでは限界がある。様々な車載対話環境における応答の適切性、文脈理解、安全性といった複合的観点を考慮した評価の妥当性は、従来の枠組みでは検証されていない。本研究では、高度な日本語車載対話アシスタントを開発するための基盤として、評価用データセットに基づき評価器のメタ評価を行うフレームワークJaCarEval（JapaneseCarAssistantEvaluationFramework）を構築する。JaCarEvalは、評価器のメタ評価を可能するための高品質あるいは多様な評価用データセットが必要であるため、人手及びLLMによる合成の両手法でデータセットを構築する。さらに複数のLLM-as-a-Judge手法に基づく評価器を内包し、これらの評価器が応答の適切性を判断できているかどうかを比較・検証することで、評価手法そのものの妥当性を検証するメタ評価基盤として機能する。